ОБРАБОТКА МНОЖЕСТВЕННЫХ ИСТОЧНИКОВ ИЗОБРАЖЕНИЯ HDR Российский патент 2020 года по МПК H04N1/60 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способам и устройствам для правильной обработки объединений множественных изображений из разных источников и с разными характеристиками яркости (или видеозаписей последовательных во времени изображений), по меньшей мере, некоторые из которых имеют высокий динамический диапазон.

УРОВЕНЬ ТЕХНИКИ

До недавнего времени, весь видеосигнал кодировался согласно так называемой философии низкого динамического диапазона (LDR), который также недавно назывался стандартным динамическим диапазоном (SDR). Это значит, какой бы ни была захваченная сцена, что максимум кода (например, 8-битовой люмы Y'=255; или 100% напряжения для возбуждения аналогового дисплея) должно, согласно стандартизованному определению, соответствуют визуализации белого цвета на дисплее LDR с пиковой светлотой дисплея PB_D (т.е. наиболее светлым белым цветом, который дисплей может визуализировать), составляющей согласно стандартному соглашению 100 нит. Если люди купили фактический дисплей, который был немного более темным или более светлым, предполагалось, что зрительная система зрителя будет адаптироваться таким образом, что изображение все же будет выглядеть подходящим, а не, например, неприятно слишком светлым (в случае, например, ночной сцены в фильме ужасов). Это парадигма относительной визуализации, которая всегда отображает цвет максимальной яркости в кодированном изображении в пиковую светлоту дисплея, каким бы он ни был. Это будет работать, если фактически имеющийся дисплей на стороне визуализации/потребления видеосигнала или изображения, в действительности, ненамного светлее 100 нит, но может давать нежелательные результаты, если дисплей гораздо светлее, например, в 10 раз светлее, т.е. имеет PB_D=1000 нит.

Конечно, приятно согласованно работать для каждой телевизионной системы со строго заданной колориметрией, для практической программы, делая это обычно подразумеваемым поддержанием настройки строгого управления освещением сцены, поскольку даже в полностью однородном освещении отражение различных объектов уже может давать отношение контрастности 100:1, и затем все еще существует различие в освещении различных участков. Обычно освещение и экспозиция (путем выбора настройки диафрагмы), таким образом, что белые цвета в (хорошо освещенной части) сцены, отображаемые приблизительно в код белый, т.е. максимальный код люмы, соответствующий кодированию пиковой светлоты PB_C, и обычно может отсекаться до этого значения яркости PB_C даже для более светлых объектов или участков в сцене. Обычно также камеры, в особенности, более ранние поколения цифровых камер начала 2000-ых, имели проблемы одновременного захвата очень светлых и достаточно темных участков, т.е. например, части сцены, наблюдаемой за окном комнаты или окном автомобиля обычно будут отсекаться до белого (давая красный, зеленый и синий аддитивные цветовые компоненты R=G=B=max., соответствующие их значениям квадратного корня из кода люмы R'=G'=B'=255).

Однако, недавно камеры высокого динамического диапазона (и, что важно, новые способы захвата изображения HDR или, в общем случае, создания изображения) и начали появляться дисплеи с HDR, и остальная технология видеоизображения и/или изображения, например, кодирование изображения, композиция изображения, и т.д., должно оставаться скоординированным с этими новыми требованиями технического уровня. Заметим, что, если в этой заявке динамический диапазон задается прежде всего только с пиковой светлотой (т.е. наиболее светлой визуализированной яркости), предполагается, что нижний конец диапазона является прагматически нулевой (тогда как на практике это может зависеть от условий наблюдения, например, отражения света от передней пластины дисплея или киноэкрана, например 0,1 нит), и что эти дополнительные детали не имеют значения для конкретного объяснения. В случае, если ничего конкретного не делается технически для самых темных цветов изображения, можно сказать, что нет конкретной причины, по которой дисплей более высокого динамического диапазона, который затем будет упрощаться до дисплея более высокой пиковой светлоты прежде всего, должен по-разному визуализировать самые темные цвета пикселей из дисплея более низкого динамического диапазона, например, в частности, дисплей SDR. Заметим также, что возможны несколько способов задания динамического диапазона, и что наиболее естественный обычно используется в нижеприведенных объяснениях является визуализируемым на дисплее динамическим диапазоном яркости, т.е. яркость наиболее светлого цвета относительно самого темного (конечно, на практике также можно предусмотреть психовизуальные аспекты, например, один светлый пиксель в темной сцене может не быть настолько выразительным, но для некоторых технических объяснений ниже это может быть отброшено, и пояснена только конструкция технических элементов, которая согласуются с тем, что требуется людям). Можно задавать изображение HDR как любое изображение, которое может содержать цвета пикселей, и, как сказано, в частности, более светлые цвета пикселей, которые не могут кодироваться в кодировании изображения SDR. Поскольку колориметрия такого изображения SDR или кодировок видеосигнала была фиксированной (с видеосигналом Rec. 709 OETF, соответствующей sRGB OETF неподвижных фотографий), можно математически установить, что 8-битовое кодирование люмы может согласоваться с динамическим диапазоном только 1000:1, т.е. от 0,1 нит до 100 нит, и ничего за этими пределами. Поэтому при желании иметь возможность кодировать яркости сцены, которые подлежат визуализации на дисплее, например, в 2 раза светлее, чем нормальный белый сцены SDR, т.е. до 200 нит, нужна новая форма изображения HDR или кодирования видеосигнала (новый SMPTE 2084 является примером OETF, позволяющей кодировать гораздо более светлые яркости сцены, или, по меньшей мере, как их нужно визуализировать на дисплее в нормальных условиях просмотра телевизора, например, до 10000 нит в качестве люм, даже как 10 или 8-битовые люмы, которые затем можно дополнительно обрабатывать как ʺнормальныеʺ люмы, например, для сжатия видеосигнала, например, сжатия HEVC). Зрительная система человека может обрабатывать значительно более высокие динамические диапазоны, и они также существуют в различных практических сценах HDR в мире (например, освещенной солнцем сцене, наблюдаемой изнутри пещеры или темной комнаты с малым окном), поэтому требуется цепи обработки видеосигнала более высокого динамического диапазона, для повышенной ʺжизненностиʺ изображений. Обычно освещенность внутреннего пространства может составлять одну сотую освещенности внешнего пространства, поэтому, зная, что черные объекты отражают около 1% входящего света, можно сделать заключение о необходимости динамического диапазона (DR) 10000:1. Но, если люди способны воспринимать один процент самых черных цветов в ночной сцене при просмотре в темноте, DR контента кодированного изображения может составлять порядка 1000000:1 (чего способны достигать и, например, логарифмически измерять некоторые камеры). Конечно, если, например, большая пещера наблюдается из внутреннего пространства, в принципе, в некоторых ситуациях можно художественно выбирать фактическую визуализацию, которую окружающая пещера формирует как отсеченный минимальный черный, но в других сценариях будет реально существовать желание или необходимость кодировать все разные значения серого от самого светлого до самого темного участка пикселей в изображении, например, когда некоторое действие происходит в пещере (и некоторые частичные виды внешнего пространства в некоторых формах пещеры могут выглядеть довольно странно при отсечении до черного, вследствие инверсии психологического восприятия переднего плана и фона, они выглядят как оторванные лоскуты бумаги, чего можно избежать путем визуализации дополнительных темных цветов внутреннего пространства пещеры). Поэтому визуализированный диапазон дисплея от 0,01 до 10000 нит на практике может быть приятным диапазоном HDR, но, как сказано, кодирование или визуализация даже пары факторов, в 2 раза больших PB 100 нит, уже квалифицируется как технология HDR, с соответствующей необходимостью тщательно наблюдать, как его нужно обрабатывать в отличие от традиционной философии видеосигнала SDR. Заметим также, что сама система кода по природе своей не имеет динамического диапазона, если не связывать с ней образцовый дисплей, и это означает, что, например, R'=G'=B'=Y'=255 должно соответствовать PB 100 нит или 1000 нит, и т.д. Общей ошибкой с давних времен является думать, что динамический диапазон кодированного изображения тесно связан с используемым количеством битов. Хотя это было справедливо для линейных кодировок, например, ADC камеры, нуждающейся в большем количестве битов для охвата большего диапазона фотоэлектронного изменения пикселя, и хотя может быть хорошо иметь, по меньшей мере, несколько большую точность кодирования т.е. биты для более высоких динамических диапазонов, количество необходимых битов также зависит от выбранной формы функции выделения кода люмы, которая также именуется оптоэлектрической передаточной функцией (OETF). Поэтому 10-битовое кодированное изображение Y'CbCr может быть некоторым изображением HDR, цвета которого кодируется до некоторого значения PB_C, а также изображение SDR с высокой точностью. Каков тип изображения, т.е. как люмы нужно визуализировать на дисплее с достаточно высоким PB_D, чтобы иметь возможность отображения всех кодированных люм как соответствующих яркостей, обычно будет определяться путем считывания метаданных, например, совместно кодированного значения PB_C в нитах принятого изображения. PB_C фактически также интерпретируется как PB_D идеального образцового дисплея, для которого изображение проградуированы по цвету, т.е. на этом дисплее оно будет выглядеть оптимально, не слишком темным и не слишком светлым.

Таким образом, кодирование изображения, которое способно кодировать изображения с визуализированными яркостями, например, до 1000 нит, является хорошей начальной точкой для того, чтобы иметь хорошее качество HDR, и читатель может иметь в виду такую настройку при необходимости для подытоживания части изложенного ниже принципа, если не упомянуты другие особенности.

Поэтому на практике существуют сцены, которые могут иметь очень высокий динамический диапазон (например, путем захвата внутреннего пространства с темными объектами, например 1 нит, одновременно наблюдая через окно освещенные солнцем объекты внешнего пространства с яркостями выше 10000 нит), и поскольку дисплеи улучшаются (PB в пару раз светлее 100 нит, с появляющимся в настоящее время 1000 нит, и предполагается PB несколько тысяч нитов), цель состоит в том, чтобы иметь возможность красивой визуализации этих изображений, хотя, и это важно: не в точности идентичной первоначальной, но, по меньшей мере, очень естественной, или, по меньшей мере, привлекательной. Поэтому HDR не относится лишь к самому светлому и самому темному цвету, но также ко всем яркостям между ними, т.е. фактически это окончательно относится к психовизуальным внешним видам для людей. Конечно технически, для некоторых технологий обработки HDR, например, только кодирования, можно сформулировать необходимый внешний вид в отношении технических яркостей, подлежащих визуализации на дисплее, поскольку это то, что должно происходить путем правильного возбуждения дисплея, чтобы человек видел правильно выглядящие цвета. Но заявитель хочет подчеркнуть (чтобы читатель понял всю нижеследующую историю, и что это означает), что, когда желательно разработать универсальную техническую систему HDR, нужно аннулировать старую парадигму вида прямого взаимно-однозначного соединения только кодирования. В Rec. 709, вещатель может видеть на своем стандартном (единственном существующем) мониторе SDR, какие яркости он захватил, наблюдая, как они были визуализированы на своем мониторе, и были бы визуализированы на всех домашних TV, которые будут одинаковы везде, поскольку это был только единичный аромат дисплея SDR с PB_D 100 нит. Единственное, что необходимо сделать, это преобразовывать эти подлежащие визуализации (измеренные камерой) яркости в коды люмы (поскольку такие коды будут лучше использовать имеющуюся технологию передачи технических сведений), путем приблизительного применения функции квадратного корня, и затем на стороне приемника обратная функция (EOTF) будет гарантировать, что зритель, смотрящий декодированный контент, по существу, на одном и том же TV в том же окружении наблюдения, что и на стороне создания, будет воспринимать программу желаемым образом. Это все еще вид HDR10. Используется EOTF другой формы, чем в Rec. 709, но все же опорные цвета, визуализируемые на дисплее, визуализируемые на стороне создания, по-прежнему визуализируются с идентичными яркостями на принимающей стороне, лишь применяя фиксированное математическое уравнение к принятым люмам. Но реальный мир HDR является очень переменным, где разные зрители, имеющие разные дисплеи с разными PB_D, разное количество ламп, включенных в их комнатах для просмотра, и т.д. И то, что было в точности то, для чего были раскритикованы фильмы HDR, кодированные в HDR10: поскольку фильмы HDR содержат многие пиксели, которые являются относительно темными, их будет трудно смотреть в светлом окружающем освещении (хотя важное действие часто происходит в относительно более темных частях видеоизображения). И HDR10 не предлагает решения для этого, надеясь на то, что его дадут изготовители дисплеев. Однако заявитель полагает, что это, в общем случае, сложный предмет, который зависит от типа изображения сцены HDR, и должны иметь механизм, позволяющий создателю контента обсуждать окончательные (переменная, т.е. не взаимно-однозначная непосредственно подключенная инвертированная фиксированная математика между некоторыми представлениями яркости и люмы желаемых цветов) цвета изображений HDR, визуализируемые на дисплее.

Читателю также следует понять, что, поскольку зритель обычно наблюдает контент в другой ситуации (сидя в слабо освещенной гостиной ночью, или в темном домашнем или общественном кинотеатре, вместо того, чтобы фактически стоять в светлом африканском ландшафте), не существует тождества между яркостями в сцене и окончательно визуализированными на TV (или другом дисплее). Фактически, ни один TV не может даже в точности визуализировать, по меньшей мере, некоторые объекты, например, солнце 1 миллиард нит, а также зритель не хочет быть ослеплен им (при просмотре малого экрана, углы или, тем самым, определенное сияние, не такие же, как в телесном угле окружения 4*пи, поэтому следует также позаботиться об этом). Заявитель решил это переход подходящих яркостей, визуализируемых на дисплее, от относительных значений RGB, захваченных камерой, задавая эталонную градуировку цвета HDR, чтобы начать с кодирования и передачи. Этот проградуированный к HDR набор изображений может создаваться по желанию художника (читателю должно быть совершенно очевидно, что, хотя можно отметить, что художник, какими должны быть технические аспекты этого изобретения, позволяя художнику осуществлять передачу и управление его требований), если у него есть образцовый монитор, например, он может сидеть в типичном окружении наблюдения и градуировать совершенным образом свое изображение HDR для дисплея с PB 5000 нит. Но это только половина истории, а именно, способность (в целом, в новом наборе требований видеосигнала) согласованно определять художественно привлекательное изображение вида для сцены HDR (и способность верно визуализировать это изображение, при наблюдении его на точно таком же дисплее PB_D 5000 нит при тех же ограничениях ситуации наблюдения). Что получится, если потребитель, получающий изображения HDR 5000 нит, имеет только дисплей 1000 нит, будет объяснено ниже (настройка дисплея). Это совсем другая тема, далекая от чего-то, что можно обрабатывать согласно подходу прямой взаимно-однозначной связи, и можно начинать обдумывать, чем должна быть эта одна-единственная образцовая система с одним образцовым дисплеем PB_D.

Если данная заявка говорит об изображениях ʺвысокого динамического диапазонаʺ, это значит один здесь имеет контент изображения, подходящий для отображения на по меньшей мере, дисплее с PB_D 1000 нит (конечно, контент также может быть показанный на дисплее 100 нит или 500 нит, но тогда не такой совершенный как мог бы быть, например, лампы будут более тусклыми, чем в идеале). Поэтому в этом изображении будет контент, который делает это визуально интересным, когда показанный на дисплее с более высоким PB_D, т.е. существуют некоторые объекты изображения, значительно более светлые, чем средние (или, напротив, по сравнению с самым светлым цветом. который можно нормировать как Y=1; по меньшей мере, некоторые объекты, значительно более темные, чем типичные для изображений SDR). Например, сцена внутреннего пространства может иметь светлоты, до 500 нит или даже более в первоначальной сцене, и в зависимости от того, имеется ли хорошо освещенная теплица или участок узкого туннеля пары нитов или ниже, и светлоты внешнего пространства могут в реальном мире составлять несколько тысяч нитов. На дисплее можно затем визуализировать внутреннее пространство ниже 100 нит, и использовать любой имеющийся дисплей выше чем оптимально для объектов внешнего пространства, например, до 500 нит, если имеется фильм или программа ʺхмурый деньʺ, и до 1500 нит, если это солнечное внешнее пространство, в случае наличия дисплея, который может визуализировать до 1500 нит или более (PB_D >= 1500 нит). Поэтому, даже в визуализации, может существовать отношение между более светлыми и более темными участками изображения (1500/2)/(100/2) или, по меньшей мере 500/100 (это обычно определяется как участки, по-разному освещенные, т.е. средние точки участков, которые имеют до 100:1 и обычно 30:1 контрастность внутри участка вследствие отражения от объекта). При связывании этого с кодами люмы посредством непрерывной функции эти люмы будут также распределяться отдельно, но менее полезно для указания контента (они будут зависеть от формы OETF, и, возможно, от технических требований). Когда данная заявка упоминает изображения более низкого (чем изображения HDR) или низкого динамического диапазона, мы говорим об изображениях (возможно, по-разному градуированный вид в точности какого же первоначального захваченного камерой изображения сцены, т.е. изображения HDR той же сцены), которые имеют (или фактически связаны с образцовым дисплеем PB) пиковая светлота, которая, по меньшей мере, на пункт (мультипликативный коэффициент 2) ниже, или обычно, по меньшей мере, на 2-3 пункта (в 4 или 8, или более раз). Изображение SDR согласуется с предписанным стандартом PB_C 100 нит. Отношение контрастности всех объектов в этих обычно не намного больше 100:1 или максимально до 1000:1, т.е. обычно наблюдается значительно более однородная гистограмма яркости или люмы.

Второе, что необходимо, если известен динамический диапазон яркости пикселя изображения (который подлежит окончательной визуализации), для которого нужно задавать коды люмы, это как фактически распределять коды, т.е. какую функцию выделения кода связывать с соответствующим кодом люмы Y' (не только 1023 в 10-битовом кодировании, которое может обычно отображать в PB_D соответствующего образцового дисплея, но, например, какой яркости должен соответствовать код люмы 743) с объектом или яркостью пикселя Y, или наоборот.

За прошедшие 2-5 лет пара компаний предложила разные способы кодирования видеозаписей HDR (т.е. движущихся изображений или, другими словами, наборов последовательных во времени изображений). Было несколько рывков к первым продуктам, предполагаемым в 2016 г., так что несмотря на сложность кодирования и обработки изображения HDR, некоторые углы могут быть срезаны. Это привело к разным методам кодирования, которые были даже на основе разных базовых философий. Это не было окончательно решено, что означают, что все системы обработки изображений должны иметь возможность заботиться о различиях, и что должны становиться весьма сложными (конечно, по сравнению с простотой единственной колориметрии эпохи видеосигнала SDR, 5 лет назад).

Dolby Laboratories Inc. начала с двухуровневой системы (т.е. основное изображение и корректирующее изображение требуется для создания изображения HDR, в соответствии с принципами масштабируемости при сжатии видеосигнала), что несколько дороже для помещения в дешевые микросхемы, но построила одноуровневое кодирование и предложила базовую EOTF, так называемый перцептивный квантователь PQ, недавно стандартизованный как SMPTE ST. 2084.

Технология приятно объяснена в: https://www.smpte.org/sites/default/files/2014-05-06-EOTF-Miller-1-2-handout.pdf.

Идея, лежащая в основе этого, состоит в том, что классическое на основе квадратного корня (или более в точности Rec. 709) оптоэлектронное преобразование или передаточная функция OETF (обратная квадратичной EOTF), которая традиционно использовалась для преобразования с помощью камеры яркостей сцены в коды люмы, не подходит для высоких отношений контрастности между разными участками, которые возможно возникают в изображениях HDR, независимо от того, сколько битов используется (или, по меньшей мере, для прагматичных количеств как 14 битов или менее, для высоких динамических диапазонов, которые могут возникать в реальной жизни, как эталонные градуировки для сцен 20 пунктов или более). Но это оказалось хорошим стимулом. Хотя первоначально построенный вследствие случайного физического поведения электронных пушек CRT, функция квадратного корня, хорошо моделирующая, как человеческое зрение преобразует яркости сцены в коды визуальной светлости, поэтому приятно наилучшим образом использовать коды (со следующим кодом, соответствующим следующему психовизуальному впечатлению светлости, поэтому не слишком много кодов растрачивается на но, что не легко воспринимать в любом случае, ни, что хуже, не существует участков, где слишком мало кодов для точного кодирования плавных и точных градиентов яркости). Теперь можно обобщить эту кривую, которая дает для каждого последовательного интервала яркости (например, на один пункт более светлого) приблизительно равное количество кодов люмы вплоть до максимальной кодируемой светлоты, которую Dolby обычно принимает равной 10000 нит (чего должно действительно хватать для прагматичной визуализации на дисплее, поскольку некоторые люди уже жалуются, что он слишком светлый, хотя эксперимент также показывает, что можно сделать выразительные изображения даже с большими участками и даже светящимися участками выше 20000 нитов, и все, конечно, зависит от выделения яркостей различных объектов изображения по возможному диапазону, и не всегда нужную заполнять его до PB для каждого рода изображения все время; и те, кто жалуются на болезненно светлые изображения, которые могут быть опасными, должны понимать, что полная луна ночью также имеет 5000 нит, и никто не ослеп, глядя на луну).

Поэтому Dolby стандартизировала опорную EOTF, и можно использовать обратную ей, которая является OETF (или приблизительно обратной в случае, когда нужны дополнительные действия) для задания люм для всех объектов/пикселей в изображении, и затем можно поместить эти коды (обычно цвет, кодированный классически как YCbCr, но также можно использовать кодирование RGB) например, на диск Blu-ray, после применения регулярных методов кодирования HEVC. Затем осуществляется эталонная градуировка HDR на BD, которую можно визуализировать, по желанию художника, например, на TV 5000 нит, который может декодировать его. Поэтому существует механизм для сквозного, взаимно-однозначного обеспечения для показа изображений HDR (только) некоторой сцены на дисплее потребителя, в жилище потребителя. Конечно, как сказано ниже, например, через BD, квалифицированный читатель должен понимать, что все остальные механизмы передачи изображения или видеозаписи, например, спутниковое вещание, доставка видеосигнала через интернет и т.д. также подразумеваются, поскольку представленные принципы имеют большую применимость. Это EOTF 2084 также была выбрана как функция отображения люмы в яркость для кодирования HDR10.

Британский вещатель BBC предложил другой способ кодирование видеосигнала HDR. Они используют стандартизованную OETF (поскольку они начали с камерного вида, а не со стандартизации на стороне дисплея EOTF образцового дисплея), который имеет несколько другую формулу. Их вид и технология приятно описаны в:

http://downloads.bbc.co.uk/rd/pubs/whp/whp-pdf-files/WHP283.pdf

Они задают OETF, которая следует классической форме функции квадратного корня Rec. 709 OETF до среднего серого (Y'=0,5) классической 100 нит Rec. 709 OETF, и для более высоких яркостей она становится логарифмической, чтобы иметь возможность сжимать более светлые цвета выше белого цвета объекта сцены в имеющиеся коды. Это было инспирировано тем, какие камеры уже делали долгое время, когда они необходимы для создания хорошего выходного изображения LDR для сцены, которая лишь несколько более похожа на HDR. Т.е., вместо приблизительно отношения контрастности 200:1 яркость пикселя, имеются, например, некоторые участки, которые слишком светлый, и делается попытка сжимать по светлотам, которые в 4 раза более светлые, чем белый сцены, которые следует отображать в Y'=255, следовательно, визуализированная яркость Y=100 нит. Хотя белые объекты сцены затем визуализируются сероватыми, это может быть временами психовизуально приемлемым, поскольку мозг также видеть и интерпретирует участки более светлых пикселей в полном изображении. Всегда можно отображать такие светлые яркости сцены для отображения PB просто снижая экспозицию камеры (например, изменяя диафрагму), но затем лицо, например, читатель новостей может становиться слишком темным. Что такие камеры делали, соответствует кривой до, например, Y'=80% или некоторой другой точки сгиба, и после этого использовать кривую, имеющую малый наклон, поэтому она могут представлять лишь несколько более высоких яркостей сцены в оставшихся 20% кодов. Или некоторая зависящая от камеры логарифмическая кривая может использоваться, которая несколько снижала более темные яркости пикселей (поэтому возможно немного затемняет лица, что не обязательно должно быть проблемой в сцене высокой контрастности, поскольку зритель понимает, что человек стоит в относительно темном участке (возможно, в тени), и светлоту можно надлежащим образом регулировать, на более светлом дисплее, в любом случае), но освобождение некоторых дополнительных кодов для реально светлых цветов пикселей, которые затем обычно представляются несколько грубее, например, с мягким отсечением. Таким образом существует баланс между цветами, подлежащими окончательной визуализации достаточно светлыми, и с приемлемым визуальным качеством для более светлых цветов. Но задача была в том, что каждая камера осуществляла логарифмическое отображение захваченных относительных яркостей сцены в (конечно, по существу, абсолютные) коды люмы по-разному, что было приемлемым, когда камеры были только очень хорошими камерами LDR, но более проблематичным для камеры, которая является реально хорошей камерой HDR, которая предполагает захват сложных сцен HDR возможно 20 пунктов. Поэтому BBC хотела задавать фиксированную кривую для всех практических целей. Все же, путем применения этой фиксированной кривой OETF в качестве кривой отображения яркости в эталонное градуированное изображение HDR в качестве входа, получается некоторая приемлемая ее версия SDR, и при вещании этого изображения, традиционные дисплеи могут непосредственно визуализировать изображение SDR, и дисплеи с HDR могут применять фиксированную обратную кривую для реконструкции эталонного изображения HDR. И преимущество способа BBC в том, что требуется небольшое изменение в технологии, поскольку все работает почти так же, как используемое для (но это может быть чрезмерно обманчивым и приходить с ценой для оплаты, в ходе производства или, по меньшей мере, некоторые объединения видеосигналов).

Они могут иметь различные начальные точки, например, Dolby может больше сосредотачиваться на рынке профессиональных фильмов, тогда как BBC может больше сосредотачиваться на практических требованиях телевидения, например, полевых съемках шоу, развернутом телевизионном оборудовании, и т.д. Но основное отличие, представляющее интерес для этой патентной заявки, состоит в том, что BBC рассматривала эти яркости пикселей (или фактически цвета) представляемыми относительно, тогда как Dolby рассматривала их представляемыми абсолютно. Это основное различие в философии, поскольку оно определяет, стоите ли вы на стороне на основе сцены или на стороне на основе дисплея промежутка, который нужно пересечь, чтобы прийти к оптимальной визуализации. Это основное различие в том, какие яркости будут кодироваться в двух изображениях, подлежащих объединению, но кроме того, это может влиять на то, насколько альтернативная философия будет указывать, что объединение может требоваться, из существенного подход и точки зрения на свойства.

Поэтому BBC достигала цели, задавая базовую OETF, которая задавала относительные эталонные градуированные (или, по меньшей мере, захваченные камерой, также с некоторыми решениями по виду, как выбор экспозиции, и, возможно, кривой гаммы) яркости и люмы HDR, и подходящие подлежащий визуализации яркости дисплея следует вычислять путем применения некоторой гаммы системы, которая будет зависеть от PB_D дисплея и светлоты окружения наблюдения. Это означает, что если создатель дисплея получает BBC-кодированный контент, который может содержать яркости до 12-кратного уровня белого цвета сцены, но, возможно, вне зависимости от фактического контента сцены и настройки диафрагмы камера, он может совершать любое из двух действий. Он может использовать философию BBC, и всегда отображать код PB_C в PB_D дисплея, независимо от PB_D дисплея (и затем, возможно, применять некоторое осветление гаммы и функцию модификации контрастности, в зависимости от фактического PB_D, но, по меньшей мере, белый будет визуализироваться в белый, что имеет, по меньшей мере, один преимущество, состоящее в том, что, в отсутствие таких чрезмерно светлых участков, но только относительно более темных цветов пикселей, как в туманной сцене, легко калиброванным образом устанавливается, что такие более темные кодированные цвета также будут визуализированы более темными, чем PB_D, но, с другой стороны, наиболее светлые части сцены будут визуализироваться с переменной яркостью PB_D; что будет выглядеть хорошим свойством для объединения данных изображения, но так ли это?). Или можно вообразить, что эти данные яркости кодированного изображения хороши вокруг или для в точности некоторого абсолютно значения яркости PB_D, например, 1000 нит, и затем делать свое собственное внутреннее понижение в случае, когда TV имеет, например, только PB_D 500 нит (посредством слепого отображения гаммы). Dolby однако рассматривала, что нужно задавать по абсолютной величине, какие яркости должны быть визуализированы, по меньшей мере, при наличии высококачественного дисплея 5000 нит Sim2 или пульсар, и как это изображение художественно генерировалось, не имеет значения, при условии, что можно задать необходимые яркости объектов в опорном диапазоне эталонных яркостей EOTF 0-10000 нит. Так, например, при наличии темного лица в фильме ужасов, в абсолютном способе обычно говорят, что это изображение должно быть визуализировано, например, при 15 нит, что можно визуализировать на дисплеях как с низким, так и высоким динамическим диапазоном. Однако, в относительном способе, светлота этого лица будет масштабироваться, даже не доходя до 15% от 100 нит, также будет означать 15% от 5000 нит, поскольку гамма-функция, зависящая от PB дисплея, будут несколько правильной для этого, но все же, это не будет точно определено, при какой яркости лицо будет окончательно визуализированный на дисплее. Это наводит на мысль о том, что понравится художнику, если на стороне визуализации произойдет такое изменение, поэтому есть, что сказать для более точной абсолютной визуализации (при использовании полного динамического диапазона дисплея, конечно чувствительность зрителя будет адаптироваться к этому, но обычно будет использоваться поддиапазон дисплея HDR, если контент потребует визуализации только, например, до 900 нит, по меньшей мере, для например 99% пикселей изображения). Опять же, также кодирование абсолютной яркости не имеет полного ответа, поскольку, если PB_D фактически присутствующего ниже, чем PB_C кодирования, т.е. необходимо визуализировать яркости чтобы изображение было оптимальным, все же необходима некоторая стратегия понижение, которой лучше не быть слишком слепой и против потребностей переградуировки внешнего вида конкретной сцены HDR или типа сцены. Читатель может представить, что такие разные философии приводят не только к разным EOTF определения кода, но, вероятно, также к разной обработке изображений, т.е. как яркости пикселей объекта будут выделяться различным участкам вдоль кривой или в соответствующем диапазоне опорной яркости. И если это уже приводит к трудным спорам при наличии относительно более простой задачи отображения некоторого входного изображения с конкретным PB_C на некоторый дисплей более низкого PB_D, что можно представить как несколько проектируемый по воле (например, при использовании так называемой r-кривой, вследствие своей формы, с некоторым усилением светлых цветов, и затем для более светлых яркостей начинает получение все меньшего наклона, эффективно сжимая их в меньших поддиапазонах диапазона яркости SDR, т.е. например, первой четверти окружности или эллипса), поскольку можно растягивать, например, часть увеличения для более темных цветов кривой отображения яркости HDR в SDR для небольшого усиления самых темных цветов, что увеличит светлоту некоторого типичного объекта на этой части диапазона входной яркости или кривой, например, чьего-то пальто, то читатель может представить, что вещи могут стать более сложными, когда желательно гармонизировать светлоты объектов в разных изображениях, разного динамического диапазона, обычно по-разному освещенных, и потенциально по-разному кодированных.

Заявитель наподобие Dolby также полагает, что лучше всего для задавать эталонную EOTF, которая задается как 0-5000 нит. Одна причина состоит в том, что изображение, захваченное из светлой африканской сцены, в основном, отличается по абсолютной величине от сцены норвежской осени, поэтому, хотя всегда можно применять все роды математических преобразований цвета (влияющего на, по меньшей мере, яркость) для окончательного получения подходящего вида светлоты, почему уже не кодировать эту разность в значения люма и их соответствующие абсолютные яркости в диапазоне опорной яркости? (Преимущественно можно даже сконструировать эти люмы коррелирующими уже с психовизуальными светлотами, затем легко кодировать художественные желаемые в подходящих формах дополнительной кривой, когда градуировка из эталонного начального изображения HDR, соответствующего изображениям другого динамического диапазона, который не имеет ни HDR10, ни BBC.) Но наиболее важно, в конце существует только окончательная визуализация цветов пикселей (даже если это может происходить на дисплеях с разными PB), и без, по меньшей мере, соответствующего образцового дисплея (заданного не только пиковой светлотой, но и его поведением в шкале серого, как EOTF), изображение является просто набором чисел (которые вероятно можно правильно декодировать), и ничем более. Это касается окончательного восприятия изображения HDR, и не настолько того, как произошло построение до этой точки, и что также является тем, что градуировщики видят на своих образцовых дисплеях. Нужно быть способным на стороне создания делать недвусмысленно заданное начальное изображение. Поэтому нужно начинать со стандартизации опорной EOTF, которая фиксирует это (в противном случае, например, числа цифровой люмы в компьютере, который используется для градуировки цвета, являются неопределенными), и затем можно построить дополнительные системы поверх этой (даже если есть желание построить обратно некоторую относительность в систему, по меньшей мере, которая затем будет управляемой относительностью, определенной на основе некоторой совместно согласуемой системы измерения опорной яркости).

Теперь обобщив здесь выше некоторые новые необходимые базовые фоновый HDR взгляды, можно перейти к более практической ситуации, где имеются разные изображения, для которых создатели решили по некоторой причине, они должны кодироваться тем или иным способом.

Отличие в поведении Dolby EOTF от BBC EOTF (заявитель настоящего патента построил EOTF, очень аналогичную Dolby PQ, или может использовать Dolby PQ) можно видеть на фиг. 1. OETF 113 является PQ EOTF (мы показали показанный только часть до 1000 нит, поскольку, если мы показываем график до 10000 нит две другие кривые становятся несомненно малыми). BBC OETF 112 является относительной кривой, поэтому можно спорить о том, какие абсолютные яркости следует кодировать, но предполагается, что это обычно доходит до 500 нит (или, возможно, 1000 нит, но затем может начинать показывать ошибки и становятся менее подходящими). Кривая Rec. 709 может только кодировать абсолютные яркости до 100 нит, и следует помнить, что по различным причинам в далеком будущем будет много контента SDR (который, например, не легко преобразовывать в некоторую версию HDR). На оси y показаны относительные люмы, поскольку мы хотим избежать рассмотрение битовой глубины, что не настолько релевантно для этой заявки (будем предполагать, что все кодировки будут использовать 10 бит для трех цветовых каналов, поэтому максимальная люма 1023 становится 1023/1023=1,0). Очевидно, что при получении входной люмы 0,5 (т.е. 512, или 128 в 8 битах) что может означать что угодно как соответствующая яркость, в зависимости от используемого способа кодирования (где-то около 0,7 может быть отличие в 10 раз, поэтому простая замена люмы пикселя переключение может внезапно давать очень темный или очень светлый замененный пиксель). На фиг. 1B мы показываем, как кривые отличаются, если также задавать их на относительной входной яркости 0-1,0. Очевидно, что если начинать с люм кодированного изображения, визуализируемые яркости можно вычислять из обратных кривых.

Теперь, игнорируя все практический проблемы как ошибки цвета после различные качества кодирования, затраты на перепроектирование микросхемы, и т.д., можно сказать, что все три механизмы кодирования работать приятно если только нужно для передачи единичный набор изображений HDR, то, на чем нужно сосредоточиться в первый фаза исследование, и разработка, и стандартизация.

Но практический HDR системы обработки нужны больше, в противном случае пользователи остаются с неупакованный концы и вопросы, который не может делать как система проектировщик.

Заявитель построил систему кодирования, которая не может только обрабатывать передача (кодирование) и использовать (подходящий визуализация окончательно) единичного стандартизованного видеосигнала HDR, для типичного единичный род дисплея в условиях эксплуатации (каждый нуждается иметь дисплей с PB 5000 нит, или возможно каждый кто не имеет 100 нит традиционный TV способный купить только 1000 нит PB TV), но которая система может обрабатывать различные возможный дисплей типы с различными PB_D в условиях эксплуатации, благодаря способности вычислять оптимально (пере)градуированное изображение для каждого конкретный дисплей, какая технология заявитель называет настраиваемостью или настройкой дисплея. Его основной характеристики, и в частности декодер 251, в целом показаны на фиг. 2 (насколько необходимо для этого применения).

Заявитель имел подход, который любой окончательный вид оптимизация в зависимости от окружение наблюдения может осуществляться на стороне дисплея, хотя без окончательной гаммы как BBC предлагает, но посредством механизма, который (хотя вычисленный приемником, например внутри TV или BD проигрыватель) не только определенный TV (т.е. его проектировщик), и не только на основе сторона приемника факторы как фактический пиковая светлота дисплея и светлота окружения наблюдения, но также зависящий от самого контента изображения, поскольку изображения сложны, и поэтому их оптимизация к особенности стороны визуализации. Это пересекает старый и трудный промежуток между создание контента и использование контента. Принимающая сторона может быть только сторона, которая фактически знает, какие возможности дисплея фактически имеющийся, но сторона создания является только сторона, которая определенно знает, о чем контент, например художественный желаемые. Если нельзя продать директор фильма или DOP вместо каждого TV для оптимизации вид цвета на принимающей стороне, можно, по меньшей мере, позволить создатель задавать намерения параметрически, по меньшей мере грубо, причем создатель изображения способен математически задавать: ʺесли бы у меня был дисплей с этим PB_D, я бы, по меньшей мере, предпочел визуализировать различные яркости пикселей как этот и этотʺ.

Инженеры заявителя возражали, что изображение контентозависимая часть может обрабатываться позволяющим художником градуировщик цвета (хотя можно очень хорошо использовать функции автоматического анализа изображения, т.е. определять функции отображения яркости на основе установленных яркостных свойств текущего изображения) для задания согласно ему оптимальных цветовых преобразований, которые будут по меньшей мере изменять яркости пикселей объекта для (лишь) двух видов, соответствующих разным динамическим диапазонам или фактически PB_C, на двух концах диапазона возможностей (пиковые светлоты дисплея). Поэтому изображение вида HDR должно соответствовать довольно высокой PB_C, которую заявитель выбирает 5000 нит (хотя заявитель может использовать другую PB_C очень хорошо), и изображение с низким DR может также быть градуировкой SDR в 100 нит, что удовлетворяет например 90% первоначально существующему рынку людей, использующих традиционный дисплеи SDR. Поэтому для конкретной сцены, градуировщик цвета может сказать: ʺесли бы я имел только PB 100 нит, я должен поместить лампы в изображении, которое я бы не видел визуализированным на 4000 нит, чтобы иметь приятно светло выглядящие объекты лампы в визуализированном изображении, но это невозможно теперь, на 95-100 нит, когда прежде всего желательно, чтобы было достаточно места яркости в диапазоне яркости дисплея для визуализации объектов более низкой яркости в комнате достаточно светлой, т.е. между, например, 10 и 90 нит, поэтому теперь, возможно, я помещу все пиксели лампы в точности на 100 нитʺ. То же самое может осуществляться, например, чтобы сделать ночную сцену надлежащим образом темной, а уличные источники света достаточно светлыми, для визуализация обоих 5000 нит и 100 нит на дисплее. Читатель должен остановиться на момент, чтобы обдумывать, что это не тривиально сделать ночную градуировку, которая выглядит надлежащим образом ночной, т.е. правильной яркости для объектов (например, черный человек, сидящий в плохо освещенной области тени), и затем оба в HDR и SDR (в особенности с дополнительными ограничениями как, например, сложность IC), но это может осуществляться, по меньшей мере если не перфекционистски, то приемлемо (конечно, если дисплей приблизительно следует спецификациям, и не делает полностью разные изображение сам).

Получив эти два градуированные изображения (M_HDR, и M_LDR, распределение яркости вид которого обычно определяется человеком), одно для ситуации, в которой один имеет высокое качество дисплей HDR для визуализации изображений, и один для традиционный 100 нит дисплеи SDR, заявитель хотел во избежание кодирования и передачи двух полных наборов изображений, т.е. необходимости в двойном кодировании, которое потребует два канала и т.д. И заявитель также хотел, чтобы два разных DR градуированных изображения кодировались существующими кодировками типа MPEG на основе DCT, поэтому мы решили одну из двух последовательностей изображений видеосигнала задавать параметрически функциями цветового преобразования (F_L), подлежащими использованию для вычисления изображений из набора изображений, которые передаются фактически (например, хотя не обязательно, последовательность изображений SDR). Поэтому мы можем передавать по некоторой системе 250 передачи видеосигнала (квалифицированный читатель понимает, что наша система может использоваться во многих системах, например, авиационное вещание в приемник, являющийся компьютером, либо от профессиональной службы, выдающей видеосигнал, или между потребительскими устройствами, подключенными к домашней сети, или профессиональной защищенной кабельной системе связи, причем приемник является профессиональным устройством в кинотеатре, или системе на основе интернета, и т.д.) например, эталонные изображения HDR M_HDR, как например кодированный HEVC видеосигнал S, кодированный видеокодером 203. Кодер также добавляет все параметры, задающие функции цветового преобразования F_L как метаданные, например сообщения SEI или аналогичные. Или наоборот, мы можем передавать эталонный градуировка LDR M_LDR, совместно с функции позволяющий повторно вычислять на принимающей стороне изображения более высокого динамического диапазона, как, например M_HDR.

Поэтому на стороне создания (или перекодирования) будет например находиться некоторое устройство 201 градуировки цвета, содержащее блок 202 цветового преобразования, выполненный с возможностью определения и применения различных функций цветового преобразования F_L по желанию, для получения эталонного изображения LDR вида M_LDR из ранее созданного эталонного изображения HDR M_HDR, например 5000 нит PB_C обычно (что можно делать на том же устройстве градуировки цвета одновременно, или определяться в противном случае, ранее). В порядке примера обработки изображения читатель может обратиться к WO2014/056679, и принципы заявки, таким образом, включены в полном объеме для стран, которые позволяют это. В порядке примера преобразования можно изображать функцию, не влияющую на цветности, а только на яркости пикселей (все рассмотрения нижеследующие будут для простоты понимания сосредоточены на преобразовании яркости), которая изгибает более высокие яркости несколько вниз и усиливает более темные цвета в относительный 0-1,0 HDR вход (ось x) в график выхода LDR функции, таким образом, что они будут выглядеть достаточно светлыми на относительно более темном в 100 нит дисплее (r-образная кривая). Но более сложные функции, которые настраиваемо и потенциально только локально точно настраивать яркости некоторых объектов, и также преобразование аспекты цветности, например насыщенность, также возможны, при условии, что можно создавать два связанных оптимальных вида: изображение LDR и изображение HDR.

Теперь следующее, что можно сделать с этой технологией кодирования, состоит в том, что если фактически не нужно повторно вычислять изображение M_HDR 5000 нит, поскольку нужны изображения среднего динамического диапазона M_MDR, которые имеют правильно градуированный вид для фактически подключенного дисплея 280 пиковой светлоты PB_D=1500 нит, например, можно с нашими алгоритмами настройки дисплея получать правильно градуированные изображения M_MDR, из принятых, например, изображений M_HDR (или M_LDR в других вариантах осуществления/применениях). Принимающая сторона имеет классический, например, декодер 260 HEVC, который выводит нормальное (например, например, линейный RGB, или YCbCr) изображение M_HDR, и необходимые функции цветового преобразования (F_L или ее обратную зеркальную функцию) для изменяющийся M_HDR в M_LDR. На основе всей этой информации, наш блок 271 настройки цвета в блоке 270 цветовой обработки (который, как мы предполагаем для этого иллюстративного пояснительного варианта осуществления, отделен от TV, например, внутри телевизионной приставки, или сервера поставщика видео по требованию, и т.д., но он также может располагаются внутри TV) может не только определять необходимые оптимальные функции F*_L для определения необходимого изображения M_MDR из принятого изображения, но также окончательно выводить это изображение среднего динамического диапазона M_MDR. Алгоритмы настройки дисплея для получения подходящей функции F*_L для преобразование яркости SDR в MDR на основе функции F_L преобразования яркости SDR в HDR или функции могут быть сложными в зависимости от того, какой вариант осуществления вариант желателен, например для учета сведений окружения наблюдения, но для понимания настоящей заявки все эти детали не требуются, поэтому читатель может просто отметить, что это будет функция F*_L яркости для применения для получения из любого входящего кодированного изображения и изображение MDR, например, гамма-функция.

Хотя этот механизм теперь позволяет иметь оптимальную визуализацию изображения HDR не просто для единственно возможного рода дисплеев HDR (например, каждый, кому нужно купить дисплей с PB_D 1000 нит и кто не может купить дисплей с PB_D 3000 нит, по-прежнему получает приятно выглядящее изображение, по меньшей мере, без заботы о колориметрической точности), но для любого возможного дисплея, эта дополнительная техническая экспертиза еще недостаточна для полностью гибкой экосистемы обработки HDR. До наших дней, обобщенная технология только сосредоточена на получении единичного набора изображений видеосигнала HDR, из единичной захваченной сцены HDR, правильно в различные места потребления, и способе надлежащей визуализации его на единственном имеющемся телевизоре. Это уже было обескураживающей задачей для готовности к новой видеотехнологии HDR, поэтому дополнительные аспекты откладывались на потом.

Но в настоящее время программирование видеосигнала сложнее. Можно желать получать подачи из разных мест любого рода, и это облегчает создание видеоконтента (даже для потребителей), с простыми портативными устройствами (даже новости в прямом эфире, поступающие с вертолета или от некоторого спортсмена, снимающего свои действия с помощью GoPro, установленного на его шлеме), и легко передавать его через несколько средств передачи, например, интернет. И действительно, по меньшей мере, теоретически поскольку большое развертывание потребителями все же может понадобиться снять, телевизоры становятся все больше похожими на компьютеры, с интернет-соединениями, и способными для использования или совместно подавать различные источники данных, представленные в качестве визуальной информации. Например, мы предполагаем различное использование видеосигнала, например, можно смотреть новостную программу на заднем плане, и одновременно играть в некоторую видеоигру в некоторой визуализируемой на дисплее области, это может быть областью того же дисплея или на соседнем дисплее.

Эта задача началась в области LDR, но это было, в основном, менее трудно, поскольку весь видеосигнал был задан в одной и той же колориметрии Rec. 709, и более или менее аналогично освещенной и экспонируемой. И даже компьютерная графика, например, игра задавались аналогично. Но в настоящее время видеосигнал или изображения HDR может быть всем, что угодно, поскольку это то, что хотелось бы учитывать, поэтому в отсутствие хорошей стратегии структура для обработки и, в частности, объединение множественные изображение (частичный) вклады, можно предположить хаос в будущем. Как сказано, в прошлом, весь видеосигнал был задан в одном и том же структура LDR, т.е. все максимальный коды люмы соответствовали одним и тем же визуализированным яркостям 100 нит, и яркости, соответствующие люмам ниже максимальный, можно декодировать посредством единичный существующий Rec. 709 EOTF.

Остаются некоторые вопросы (в особенности, при сложном производстве, или внешнем вещании и другом полевом производстве), и необходимость в аккуратной обработке, поскольку камеры могут иметь некоторые ʺмладшиеʺ настройки. Важными обычно являются баланс белого (т.е. хроматический аспект нейтральный, белые цвета, т.е. выглядят ли белые объекты слишком голубоватыми или слишком желтоватыми, которые могут становиться заметными при переключении между подачами разных камер) и настройка экспозиции. При снижении экспозиции захвата той же сцены одной из камер, что камера будет быстро пачкаться как дающая слишком темный изображение. В особенности для профессиональных многокамерных производств одного и того же шоу, которое было заметно, как в новостной программе, отсечение до живого персонажа можно предположить разные захват (в особенности, если это любительская видеосъемка на мобильный телефон), или по меньшей мере, то, что было захвачено (перемежающееся или во времени вложенное изображение) полностью иначе выглядящая сцена (например, ночная сцена Каира, вместо хорошо освещенной студии в США). Теперь существуют две ситуации из которых нужно сделать выбор. Конечно, при переключении между ночной сценой и дневной сценой пустыни, зритель будет предполагать некоторое различие в средней светлоте сцены, или яркостей объектов в сцене, хотя это должно быть еще приемлемым различием, например, со сценой пустыни, не удивляющим зрителя, или вызывающим у него косоглазие. Но с другой стороны, можно сделать вид сцены ночным или светлым, играя на объединении экспозиции камеры и окончательной светлоты дисплея визуализации. В эпоху SDR, которая иногда приводила к странным изображениям, если оператор должен делать неудобный выбор экспозиции. Например, кто-то стоящий далеко от окна в глубокий комната будет гораздо более темный, чем объекты вблизи окна. Затем оператор захотел экспонировать для человека в более темной области, чтобы сделать его приятно цветным, что может привести к тому, что левая сторона изображения, и все объекты в комнате, были полностью отсеченный до белого, заставляя зрителя наблюдать уродливое ʺполовинчатое изображениеʺ. Но, по меньшей мере, колориметрия была приемлемо задана. Было известно, что цвета будут выходить наподобие этого, и что будут в точности одинаковыми независимо от того, смешивались ли такие изображения или только визуализировались. В эпоху HDR хотели решать такие проблемы, делая все участки кодируемый вместо отсеченный до белого, например, снижая экспозицию в зависимости от того, насколько более светлый в точности светлые части комнаты оказываются соответствующим яркости актера или ведущего в конкретной сцене. Но это будет неприятно возвращаться в качестве задача, в случае если нужно гармонично смешивать видеоконтент, следовательно, необходимость в нижеследующих варианты осуществления технология.

Кроме того, более сложные более недавний камеры получили дополнительный настройки, например гамма черного. Может быть нелегко совершенным образом согласовывать два разные камеры (если они одной марки, можно, по меньшей мере, например, отключать или устанавливать аналогичный все ʺэкзотическиеʺ параметры), но, по меньшей мере, это была задача шейдера камеры, коим является инженер с особым глаз для цветовых различий (или технический директор) для дистанционного управления всех этих колориметрический настройки камеры. Это освобождает оператор фактический камера от сосредоточенности на кадрировании, что уже является достаточно трудной задачей, в особенности для некоторых производств с актеры прыгающими вокруг сцена и т.д. В любом случае, в структуре SDR, даже если действия немного неправильны, тот факт, что создатель контента убедился в том, что, по меньшей мере, его основная тема была приемлемо освещена (т.е. по меньшей мере 10% белого, или приблизительно на 1 пункт ниже средний серый как люма или визуальное впечатление светлости), объединенный с ограниченным диапазоном 100:1, который грубо соответствует различным диффузным отражениям, любое неправильное объединение с некоторой яркостью объекта, неправильно расположенного по сравнению с яркостями других объектов, обычно будет не слишком дисгармонично (по меньшей мере, критичные зрители могут воспринимать, что что-то неправильно, например, возможно, черные участки становятся чуть более молочно серый, но ничто не будет выглядеть реально мощно светлым, или блистать с большими различиями в светлоте, как то, что может случаться при производстве HDR).

Но теперь с наступлением эпохи HDR, не существует такого единичный опорный диапазон LDR 0-100 нит, и нет камер (и другие системы) относительно просто действующая в этом диапазоне (т.е. обычно совершающие неэкстремальные цветовые преобразования). Как можно видеть на фиг. 1, даже если в будущем мы выбираем для использования только один из возможный кодеки HDR, которые не очевидный, происходит переход к некоторый контент заданный кодеком LDR. И различие между 5000 нит и 100 нит настолько экстремально, что его нельзя называть ʺмладшимʺ изменением вида (иногда только указанный профессионалами реально), но очень заметный и потенциально даже чрезвычайно раздражающий изменение (и можно предположить, что если различные устройства, например, телевизор будет в будущем, например, действовать согласно предпочтениям проектировщика по этому обширный диапазон яркости этого обширный цветовое пространство, что изменчивость может становиться еще более экстремальным, и не по желанию).

Задача может не быть достаточно заметной, если смотреть единичный программа из единичного источника. Например, если кто-то наблюдает контент HDR дисплея с высоким PB_D в темном окружении, цвета могут быть несколько слишком светлый, но, по меньшей мере, его глаза могут адаптироваться. Различия всегда становятся очень отчетливыми, при наличии некоторой ссылки для определения изображения, например, в представлении вложенного изображения (PIP) двух видеозаписей.

Поскольку изображения могут в настоящее время поступать откуда угодно, не обязательно все под управлением директора, принимающего решение о виде изображений, ни показанный самостоятельно в управляемый структура, но только поступающих совместно потенциально иногда в первый раз на стороне дисплея (например, вставляемый назначенный рекламный ролик), существует настоятельная необходимость в хороший структура для координации объединения различных первоначальные изображения HDR.

Поэтому, как сказано, большая часть (новой) технологии HDR сосредоточена на способности передавать всю информацию изображения HDR, путем передачи отчетливо заданных люм пикселей, которые затем могут преобразовываться в визуализируемые яркости. При наличии дисплея с более низкий PB_D, чем PB_C контента, может понадобиться делать что-то, поскольку невозможно визуализировать яркость до PB_C на этом дисплее. Можно осуществлять линейное сжатие (отображение белый в белый относительно, т.е. визуализировать пиксели в изображении с кодированной яркостью PB_C фактически на дисплее с яркостью PB_D), но затем с полной вероятность визуализированное изображение будут выглядеть субоптимальный (например, некоторые из более темные части изображения могут выглядеть слишком темный, возможно даже с невидимым действием). Поэтому нужно постараться делать более разумное отображение яркости, которое поддерживает более темные яркости приемлемо видимый, например, с помощью r-образная кривая. Общие методы отображения гаммы будут возможный, например, внутри TV, но они будут слепыми, т.е. не адаптироваться к сведениям изображений HDR, и поэтому существенно субоптимальный.

Согласно US20150245004 два изображения могут смешиваться, из которых по меньшей мере, одно может быть изображением HDR, и другое может быть изображением SDR. В заявке описано, что может существовать оба рассогласования в цветовом пространстве (т.е. ширине треугольника RGB, поскольку другие аддитивные основные цвета используются в DCI P3 определение цветов, чем в sRGB обычный определение видеосигнала, но этот хроматический аспект не соответствует объяснению настоящей заявки, поскольку его можно выбирать помимо того, что является первичный сущностью здесь, а именно, яркости пикселей изображения, и соответствующий динамический диапазон кодирования изображения), и рассогласование в динамическом диапазоне. Эта заявка не очень детально описывает, как смешивание видеосигнала должно или может происходить. В [0029] упоминается, что смешивание может происходить в цветовом пространстве устройства отображения, т.е. динамический диапазон, который в названии данной заявки заканчивается в PB_D. Кроме того, обработка выглядит как преобразование в другую передаточную функцию TF, или гамма-коррекция [0027]. Наконец, существует очень универсальный принцип [0036], согласию которому блок композиции может оценивать динамический диапазон видеоконтента, и предположительно который соответствует дополнительно подробно не описанный принцип, что статистический анализ входных изображений может осуществляться [0028]. Специалист в данной области техники будет интерпретировать это в свете существующего знание. Это действительно принцип в оптимизации видеосигнала SDR, который смотрит на статистические свойства входного видеосигнала, а именно концевые точки гистограммы яркости, и оптимизирует эту гистограмму, в частности для имеющийся диапазон дисплея. Например, вследствие различные причины не является необычным, что черные или самые темные пиксели в захваченном изображении являются более светлыми, чем они могли бы (или, возможно, должны) быть, например, люма 30 вместо 0 (игнорируя, опять же, на момент, сложные детали о диапазонах защиты от переполенения, утечка света дисплея, зависящие от освещения проблемы видимости, и т.д.). Затем можно растягивать гистограмму, чтобы иметь самый низкий люма изображения 0 вместо 30, что приводит к милым изображениям вследствие повышенный контрастность структур изображения, и лучший черные участки, которые могут быть особенно приятны для наблюдения в темном окружении.

Фактически, когда нужна на первый взгляд конструкция смесителя видеосигнала, в отсутствие дополнительных особенностей изобретения, специалист в данной области техники может иметь следующие два варианта, чтобы рассматривать как объяснено на фиг. 13 (помимо смешивания кодов люмы, который, как пояснено со ссылкой на фиг. 1, хотя приятный и простой для смешивания чисто изображений SDR, не настолько очевидны или разумны при наличии по-разному заданных изображений). Если принцип говорит, что нужно преобразование вследствие разные передаточные функции, специалист в данной области техники подумает о естественно построенный система смешивания, как на фиг. 13a. При этом смешивании имеется диапазон естественных яркостей (1301), например, до 50000 нит быть достаточно большим, и фактически, при любых определениях форм кода OETF, преобразует их в яркости. Оба изображения содержащий (физически уникально заданный) яркости, можно, конечно, в принципе смешивать их, но вопрос в том, будет ли этого достаточно, из практических психовизуальных и художественных соображений. Во-вторых, если отображать в общий заранее установленный динамический диапазон дисплея (1302), с PB_D, например 700 нит [благодаря чему для простоты мы теперь пропускаем этап OETF и причина только о соответствующих яркостях], то другое естественное отображение (например, относительный отображение парадигма) можно рассматривать для регулировки (на основе ʺстатистических свойств изображенийʺ) изображений в возможности дисплея (т.е. динамический диапазон изображения в динамический диапазон дисплея). Естественный способ сделать это состоит в растяжении диапазонов (т.е. соответствующий отображению из белого в белый), например линейно. Можно также применять некоторую гамма-функцию отображения, но вопрос состоит в том, какой должен быть коэффициент гамма, и почему. Но это создает результаты, которые уже в точности то, что в несколько случаи мы бы точно хотели избежать. При растяжении например изображения SDR ландшафта с шоу до 700 нит, оно может становиться неприятно светлым.

Кроме того, хотя эти естественные системы отображения уже не совершенны только из соображений об их концевых точках, как где самый светлый цвет следует отображать, такие методы полностью игнорируют, которые, как сказано, являются вероятно наиболее важный аспект HDR, а именно (точно управляемый) распределение всех яркостей объектов между концевыми точками динамического диапазона (и в настоящее время это кажется пропущенным пониманием многих, если не большинства экспертов, которым понятно, что HDR относится лишь к значению яркости белого, деленное на черный любая технология может достигать, хотя часто изображение, которое правильно визуализируется на дисплее более низкого динамического диапазона может выглядеть лучше, чем плохо управляемый изображение на дисплее более высокого DR, например, на основе контрастности и эффекте HDR). Легко понять, что динамический диапазон не связан с техническими концевыми точками, сосредотачиваясь на примере шоу на эталонной градуировке HDR PB_C=5000 нит. Градуировщик например отображает наиболее светлая часть шоу на солнце в 800 нит, тогда как другой градуировщик может помещать его только в 550 нит, поэтому по существу это выглядит, как ситуация более низкого динамического диапазона, поскольку большинство возможностей кодека не используется для этого изображения. В градуировке SDR, можно предположить, что обычно градуировщик помещает самый светлый пиксель шоу в 100 нит. Для градуированных изображений MDR, можно обдумывать, в какую яркость самый светлый пиксель должен попадать, даже когда только визуализация одного изображение вместо возможно очень сложной смеси различного контента изображения. Как известно с какой окончательный (смешанной) яркостью пиксель шоу должен окончательно визуализироваться, поступает ли он из изображения SDR, где он относительно кодируется на максимуме 1,0, или из ʺнекоторогоʺ кодирования изображения HDR, где, даже игнорируя форму OETF поскольку это может не быть наиболее важным коэффициент определения, пиксель шоу является некоторым на первый взгляд несколько произвольно выглядящий относительная яркость, например 0,126.

Фиг. 14 поясняет другую важный точка обзора со способами, которые лишь относятся к динамическому диапазону любой технической системы, соответствует ли некоторое кодирование теоретическому образцовому дисплею, или фактическому дисплею, и т.д., как что-то с в основном степенью заданный концевой точкой, например, как слепые преобразования яркости для отображения гаммы будут работать. В особенности, в HDR, освещение объектов не должно быть строго управляемым, как, например, в новостной студии SDR, но может быть, в принципе, чем угодно. Если кто-то идет на солнце после лесной поляны, например, по траве, можно визуально воспринимать, что внутреннее пространство леса уже может выглядеть черный. Это, конечно, не всегда, поскольку то, что будет черным, поскольку деревья просто коричневые, как что-то еще, и подлесок свеже зеленым, но это поскольку локальное освещение составляет, например, 1/20, или даже меньше, чем локальное освещение является свободным пятном без деревьев, которые получает полный свет солнца и неба. И 1/20 начинает выглядеть для людей как психовизуальный черный, пока не примет более близкий вид.

Объект как футболка, может, следовательно, иметь разные яркости, даже в одном и том же фильме (другими словами, он может попадать во все место например, на диапазоне PB_C_HDR 1000 нит; заметим, что градуировщик может принимать решение ограничивать изменение несколько в его эталонной градуировке, но мы объясняем с естественный почти взаимно-однозначный соотношение с захваченными камерой относительными яркостями первоначальной сцены). На солнце, футболка будет +- 5 раз более светлый, чем в начальной полутени, где футболка по большей части освещена, значительный телесный угол, синим небом. Действительно 100 нит будет также художественно тем, что можно предполагать для визуализации ʺхмурого дняʺ на хорошем дисплей HDR, тогда как 500 нит может выглядеть реально освещенным солнцем. Дополнительно человек идет в лес, чем больше область неба, которая может освещать его, заслоняется листьями, поэтому яркость конкретного объекта, в этом случае, футболки человека, будет, например, 100 нит, следовательно, в 50 раз более темный, чем светлый футболка, следовательно, наиболее вероятно также выглядит несколько черноватым при визуализации этой конкретной сцены HDR. Возможно в кинематографической градуировке HDR для домашнего наблюдения яркости можно градуировать более консервативно, например, половина данных значений, но распределение различных яркостей может обеспечивать некоторую точку. Поэтому вопрос будет теперь, будет ли любой из вышеописанных относительно статических способов смешивания распределяют эти различные визуализации футболки в воспроизводимой видеозаписи (со сведениями своей собственной яркости), будет всегда ʺавтоматическиʺ приемлемо хорошим, и если нет, что нужно делать?

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Вышеозначенную проблему необходимости способа приемлемой координации объединения изображений с (потенциально очень) различным динамическим диапазоном можно решить посредством устройства (301) для объединения двух изображений или двух видеозаписей изображений (Im_HDR, Im_LDR), причем одно из них является изображением или видеозаписью высокого динамического диапазона, причем устройство (301) для объединения двух изображений или двух видеозаписей изображений (Im_HDR, Im_LDR), причем одно из них является изображением или видеозаписью высокого динамического диапазона, причем устройство содержит:

- блок (302) установления динамического диапазона, выполненный с возможностью установления динамического диапазона (CombRng) яркости объединения, причем, по меньшей мере, максимальная яркость (LMC) определяется на основе, по меньшей мере, одного из: максимальной яркости, по меньшей мере, одного из двух изображений или двух видеозаписей изображений, и пиковой светлоты дисплея для визуализации двух изображений или двух видеозаписей изображений, причем блок установления динамического диапазона дополнительно содержит блок (303) определения якоря яркости, выполненный с возможностью определения яркости (anc) якоря в динамическом диапазоне (CombRng) яркости объединения,

- блок (310) цветового преобразования, выполненный с возможностью осуществления, по меньшей мере, преобразования яркости на, по меньшей мере, одном из двух изображений или видеозаписей, причем блок (310) цветового преобразования содержит блок (311) считывания яркости исходного якоря выполненный с возможностью считывания, по меньшей мере, одной яркости (L_SA1) исходного якоря из первого источника (350), который доставляет первое изображение или видеозапись (Im1_LDR) из двух изображений или видеозаписей, и при этом блок цветового преобразования выполнен с возможностью установления цветового преобразования (FF_1), подлежащего применению к первому изображению или видеозаписи, причем цветовое преобразование зависит от значения яркости (L_SA1) исходного якоря благодаря обладанию свойством, состоящим в том, что яркость (L_SA1) исходного якоря отображается в выходную яркость, близкую к яркости (anc) якоря; и

- блок (320) объединения изображений, выполненный с возможностью объединения двух изображений или двух видеозаписей изображений для формирования, по меньшей мере, одного выходного изображения (Im_o). Прежде всего, во избежание сомнений, благодаря объединению изображений мы предлагаем различные возможные варианты для объединения контента изображения в пространстве или, в случае видеозаписи, возможно, также во времени. Под объединением следует понимать в широком латинском первоначальном смысле как ʺобъединениеʺ, и не в более ограниченном смысле, например, смешивание, который мы резервируем в этом тексте для взвешенного суммирования двух источников на пиксель. Специалист в данной области техники понимает, что различные варианты осуществления этого изобретения решают необходимость в хорошем (гармоничном по яркости или согласованно совпадающем) объединении видеосигнала, которая возникает помимо прочего в различных объединениях вложенное изображение (и, в общем случае, в настоящее время это включает в себя пространственное перемежение, по меньшей мере, некоторых пикселей первого изображения с некоторыми из второго изображения, например, в изменяющемся во времени количестве, который соответствует транспонированию первого изображения, как если бы это была страница и демонстрирующие пиксели нижележащего изображения, но это изобретение позволяет гарантировать, что цвета пикселей, и, в частности, их воспринимаемые светлоты, будут правильно соответствовать), объединения смешивания, например, затухание, или временное разбрасывание, например, усечение до рекламного ролика в регулярные моменты времени в ходе фильма и т.д. При наличии замены изображений пространственного участка некоторым другим (целиком или частично) вторым изображением, и при наличии демонстрации во времени изображений другой видеопоследовательности между или после изображений первого видеосигнала, не обязательно иметь слишком большое несоответствие по светлоте (т.е. одно из изображений не должно выглядеть чрезмерно более светлым, чем другое, например, в отношении его основного столбика гистограммы или ключевых объектов), в особенности при наличии также светящегося контента и т.д. В любом таком сценарии можно устанавливать динамический диапазон (CombRng) яркости объединения, который является динамическим диапазоном (пустого представления) объединенного изображения, подлежащего наполнению данными объединенного изображения (например, принять за временное разбрасывание или последовательность наибольшего диапазона обоих).

Специалисту в данной области техники должно быть ясно, каково изображение высокого динамического диапазона, и почему, а именно, изображение, которое не является традиционным изображением LDR, заданным для пиковой светлоты 100 нит, т.е. которое невозможно объединить в классическом режиме LDR (это на первый взгляд выглядит как некоторое рассогласование между яркостями объектов или пикселей изображения, заданными в двух разных структурах кодирования изображения). Квалифицированному читателю должно быть ясно, что, если устройство получает только 2 неподвижных изображения (или, например, 5), что обычно выходное изображение (Im_o) будет одним неподвижным изображением. В случае объединения двух или более видеозаписей последовательных изображений, будет генерироваться выходной видеосигнал, т.е. последовательность этих изображений в той или иной форме, например, в случае, когда каждый видеосигнал имеет изображение в каждый момент времени, результирующий видеосигнал может быть альфа-смешанный видеосигнал со в точности такого же количества изображений для соответствующих моментов времени в качестве двух первоначальных последовательностей изображений, или результирующий видеосигнал может иметь изображения для разных моментов времени, например, иметь длину 100% первого видеосигнала,+50% второго видеосигнала, причем ее различные изображения выделены в смеси некоторым из моментов времени.

Чтобы принципы этого патента оставались читаемыми и лаконичными, мы полагаем, что варианты осуществления просто осуществляют преобразования на яркостях (читатель может, при чтении, предполагать, что изображения являются изображениями серой шкалы), поскольку принципы, прежде всего, определяют, как обрабатывать различия в динамическом диапазоне яркости, и у зрителя будут складываться впечатления о светлоте. Однако, конечно квалифицированный читатель понимает, что фактически обычно будут осуществляться цветовые преобразования, например, он может понять и как яркость соответствует определению цветов линейного R,G,B, и как можно создавать пиксель с желаемой яркостью путем цветового преобразования его цвета, например, на линейном RGB, как в WO2014/056679. В случае для выразительности мы говорим ниже что-то для видеосигнала, специалисту в данной области техники понятно, что его можно применять также к неподвижным изображениям. В ряде случаев видеосигнал может, вследствие аспектов реального времени, желать более простых способов обработки, и с этой целью представлены элегантные быстрые решения для смешивания. Некоторые из наших лучше осуществляющихся вариантов осуществления будут работать с участием художника-человека, поскольку люди могут наилучшим образом решать, о каких именно изображениях HDR идет речь, и что им нужно в различных, смешанных, представлениях, но другие варианты осуществления будут работать с автоматической аннотацией посредством алгоритмов анализа изображения.

Устройство должно быть способно устанавливать наиболее подходящий динамический диапазон яркости объединения, который является новым динамическим диапазоном, что отчасти является причиной, по которой очень сложная задача объединения становится более решаемой. Как будет объяснено ниже, это должен быть не просто один из уже существующих динамических диапазонов, т.е. где уже изобретен и задан, а именно, не требуется ни динамический диапазон любого из исходных изображений, ни динамический диапазон окончательного дисплея, на котором следует визуализировать контент (даже известный в ходе объединения, что справедливо не для всех вариантов осуществления), назначенный дисплей (который может быть неизвестен в некоторых вариантах осуществления, хотя некоторое устройство на стороне создания может иметь приемлемую оценку того, чем может быть хороший образцовый дисплей, который является типичным примером предполагаемого дисплея в условиях эксплуатации, в жилище потребителя). Этот динамический диапазон яркости объединения должен быть таким, чтобы объединенное представление имело наилучшее визуальное качество или влияние на зрителя. Это может, конечно, зависеть от различных аспектов задаваемого контента. Если основной контент (который мы будем называть вторым изображением или видеозаписью, поскольку это облегчает чтение пункта формулы изобретения) является, например, фильмом, то создателю фильма, например, не понравилось бы, если бы его фильм слишком сильно нарушался. Например, не хотелось бы, чтобы после светлого рекламного ролика, зритель больше не мог хорошо видеть, что происходит в темной сцене фильма. В таком сценарии, поскольку обычно одна из двух видеозаписей искажается в своих яркостных свойствах для достижения большей гармонии с другим входным видеосигналом, и поэтому объединенный видеосигнал, фильм является наиболее важным (или ведущим) видеосигналом, яркости которого должны, по большей части, оставаться неискаженными (по возможности). Кроме того, продюсер или спонсор рекламного ролика хотел бы видеть свой рекламный ролик, выходящий в окончательной визуализации наилучшим возможным образом. Блок (310) цветового преобразования и/или блок (320) объединения может проводить политику, согласно которой рекламный ролик не может доминировать над фильмом, но, например, рекламный ролик LDR также не следует визуализировать слишком темным. Например, лицо может не выглядеть очень милым, если по сравнению с другим связанным с ним объектом в фильме оно выглядит почти черным. Как указано выше, лес может выглядеть черным по сравнению с очень светлыми освещенными солнцем участками, если зрительная система человека адаптирует свою интерпретацию значений серого в этой светлой области. Таким образом, если в фильме HDR или телепередаче (или игре, и т.д.) образуются важные (большие) области, которые очень светлы, например, 2000 нит, и в особенности, располагаются рядом с объединенными пикселями SDR, то объект SDR с светимостью приблизительно 20 нит может выглядеть черноватым, следовательно некоторое осветление может быть желательно до объединения. Также, видимость, например, черт лица или деталей других объектов уменьшается при снижении средней яркости и контрастности объекта. Хотя мы установили, что даже с одиночными изображениями некоторые люди могут жаловаться, что в некоторых ситуациях распределение светлоты объекта (например, гистограмма яркости пикселя визуализации HDR) не является полностью оптимальным, например, слишком светлым в некотором сценарии, визуальная адаптация и мозг человека обычно относительно снисходительны при визуализации одиночного изображения, поскольку мозг может определять и регулировать, какими должны быть все объекты в этом одиночном изображении. Но если объект теперь пространственно составлен в другом изображении, зритель склонен отмечать различия как серьезные, даже если некоторый контент находится в кадре. Поскольку мозг может рассматривать некоторый контент изображений как эталон для распределения светлоты сцены, и обычно сцены не настолько разъединены, как PIP, но, напротив, имеют плавное изменение освещенности. Как будет показано, на первый взгляд нелегко узнать, какое объединение имеет хорошую светлоту. По меньшей мере, это невозможно в ходе создания отдельных видеозаписей, поскольку, например, создатель фильма не знает, какой локальный рекламный ролик будет вставленный (например, оператором кабельного телевидения), или даже, какое второе изображение зритель выберет из некоторого источника изображения, например, в PIP, при просмотре фильма (возможно, воспроизводимым в потоковом режиме его домашним компьютером или центральным домашним устройством управления контентом). Также заметим, что визуальная важность некоторого, напротив, относительно светлого объекта зависит, помимо прочего, от его размера. При наличии двух изображений, устройство может принимать более разумные решения по объединению. Может потребоваться снижать максимальную визуализируемую яркость (LMC), например, чтобы контент HDR был более похож на первое изображение, если это, например, изображение SDR. Это может зависеть от взгляда на дополнительные свойства яркостей пикселя или объекта (где объект является надлежащим образом сгруппированным набором семантически связанных пикселей). Например, если наиболее светлыми объектами являются лампы, имеется возможность снижать светлоту этих ламп в динамическом диапазоне объединения (CombRng) на некоторое время. Это не будет наиболее эффектным HDR, но изображение HDR все же можно использовать для визуализации приятно светлых ламп, и в особенности для подключенных дисплеев с более низкой пиковой светлотой (LM_MDR), чем у объединенного изображения (LMC), которое никак нельзя в точности визуализировать наиболее светло кодируемыми лампами, т.е. яркостью кодека. Поэтому по-прежнему имеется фильм высокого динамического диапазона, но с динамическим диапазоном, более подходящим для ситуации объединения.

Фактически можно рассмотреть два типичных альтернативных сценария. В целом можно утверждать, что динамический диапазон объединения, т.е. по меньшей мере, его более высокая яркость (LMC) задается устройством на основе потребностей, с одной стороны, ввода, по меньшей мере, двух изображений, и, с другой стороны, если что-то, касающееся уже установленного, динамический диапазон (по меньшей мере, пиковой светлоты) предполагаемого дисплея, на котором объединение изображений должно быть визуализировано (т.е. HDR нуждается в надлежащим образом представленном контента изображения типичного дисплея HDR). Таким образом, некоторые варианты осуществления предусматривают определение CombRng на основе только двух изображений, если можно сказать, что ничего или во многом целесообразно не касается того, как их следует настраивать для использования (но, в некоторых вариантах осуществления, уже может быть настройка на некоторое предполагаемое типичное использование: например, если эталонные изображения HDR, например, PB_C=5000 нит подлежат показу, по большей части, на дисплеях более низкого динамического диапазона, и затем предполагается значительно разбросанным с материалом изображения SDR, можно рассмотреть уже создание, например, для сжатия видеосигнала для передачи, объединенных или объединяемых (на принимающей стороне, в том смысле, что все же может потребоваться преобразование яркости некоторой информации изображения) изображений в более низком динамическом диапазоне, чем PB_C=5000 нит, например, в 1,5 раза больше предполагаемой пиковой светлоты типичного дисплея на стороне потребления, например, 1000 нит, следовательно, динамический диапазон объединения будет иметь PB_C, например 1500 нит). В первом типичном примере рассмотрен фильм HDR, т.е. с большим динамическим диапазоном двух входных видеозаписей последовательных изображений, и контент SDR подлежит преобразованию по яркости, или, по меньшей мере, правильному аннотированию путем размещения его одного или более значений исходного якоря в совместно передаваемых метаданных, таким образом, чтобы он приемлемо гармонизировался (или может быть сделан гармонизируемым в месте окончательного представления), где фильм HDR является ведущим контентом. Однако альтернативный типичный сценарий может уже заранее преобразовывать контент HDR к некоторому более низкому динамическому диапазону, который более совмещен либо с предполагаемой типичной визуализацией на дисплее и/или со вставкой контента SDR. При наличии фактического дисплея для визуализации, например, 750 нит PB_D, такая система может, например, преобразовывать (или аннотировать с яркостями якорей для определения преобразований яркости) яркости обеих видеозаписей (что может происходить в полностью различных мест и времен создания, что является мощностью согласованного якорения) чтобы сделать их гармоничными на DR объединении, например, PB_C 1500 или 2000 нит, или, возможно, даже PB_C 1000 нит. Затем этот объединенный или объединяемый контент можно легко понизить до необходимого PB_D=750 нит, заданного динамического диапазона дисплея.

В особенности, поскольку заявитель построил структуру, в которой (различные) окончательные (переградуированные) изображения вида другого динамического диапазона могут передаваться не фактически, как реальные кодированные изображения (т.е. с цветами пикселей, окончательно и фиксировано заданными в цветовых компонентами обычно изображений, сжатых посредством DCT), но как функции для вычисления различных возможных светлот пикселя такого вторичного изображения из любого первичного изображения, эти функции могут быть повторно заданы, и, таким образом, более сложные определения могут передаваться (например, спецификации, как нужно вычислять яркости изображений для, по меньшей мере, некоторых особых объектов изображения в различных ситуациях, например, различных динамических диапазонах объединения). Классическое кодирование изображения или видеосигнала просто кодирует и передает изображение, подлежащее использованию, т.е. с его яркостями пикселей, поскольку их следует (!) визуализировать, но заявитель может передавать полностью другое изображение (т.е. с необходимой пространственной структурой и текстурой объектов, но не правильной колориметрии, в частности, пока не правильных яркостей объектов или пикселей изображения), и затем предписание способа, как окончательно создавать правильные яркости для окончательного изображения, что в этой заявке будет объединенным изображением, заданным всеми яркостями его пикселями на динамическом диапазоне яркости объединения CombRng.

Аналогично могут быть причины, например, увеличивать минимум (LmiC) диапазона объединения по сравнению с минимумом (LmiH) одного из изображений, которое является изображением динамического диапазона (с динамическим диапазоном Im2_Rng), например, поскольку с объединением относительно светлого изображения LDR (например, если оно не было очень точно затемнено) глобальная (или локальная по отношению к, по меньшей мере, некоторым темным частям изображения HDR) светлота объединенного выходного изображения такова, что более темные части, которые поступают исключительно из изображения HDR, не могут очень хорошо наблюдаться. Т.е. путем их цветового преобразования в более светлые черные участки CombRng, их можно надлежащим образом осветлять (что будет происходить вследствие выбора диапазона объединения, и не требуется дополнительно осуществлять интеллектуальную обработку изображения HDR самого по себе, т.е. его осветления надлежащим образом даже путем простого цветового преобразования в CombRng).

Поэтому читатель могут понять, как в различных точках в цепи обработки изображений, например, в некотором месте создания контент, где задается окончательный контент, устройствами обычно под управлением поставщиков контента, до ввода цепи части изображения потребления изображения, или некоторого места потребления изображения (например, смешивание двух типов контента только под ответственностью конечного пользователя, например, конечным пользователем, использующим свой пульт дистанционного управления, или под управлением компьютера), может устанавливаться подходящий динамический диапазон объединения, либо человеком, потенциально полуавтоматически, либо автоматически. В общем случае, такое устройство будет смотреть как на содержимое изображения (т.е. качество HDR, т.е. какой PB_C имеет тот или иной контент, так и на распределение различных яркостей объектов или пикселей в этом динамическом диапазоне, заканчивающемся в PB_C, и какого рода светлые объекты [например, эффекты HDR] присутствуют, и легко ли искажать их яркости без создания очень неприятным изменениям вида), а также потребности в окончательном использовании этих изображений, т.е. обычно визуализация на дисплее (если, например, изображения подлежат подаче на установленную основу потребителей дисплей SDR, то более низкий CombRng может быть по порядку). При автоматическом осуществлении, алгоритм будет использовать эвристические модели, которые определяют, какую методологию будут использовать люди-объединители (т.е. те, кто создают объединенные изображения и/или метаданные для них, например, указывая значение LMC и, по меньшей мере, одну точку якоря, которая будет исходной точкой якоря, по меньшей мере, одного из двух изображений или видеозаписей, подлежащих окончательному объединению). На темной стороне CombRng будет приниматься решение, какие самые темные цвета все же будут относительно хорошо видны, путем моделирования такой видимости на основе таких аспектов, как, например, взгляд из наиболее светлых областей более светлых объектов изображения, предполагаемой утечки света из дисплея, и маскировки в зависимости от окружающего света более темных цветов вследствие типичных отражений от фронтальной пластины дисплея и т.д. Новым элементом в этой модели по сравнению с единственным дисплеем и предполагаемым типичным (например, домашний кинотеатр, с притушенными источниками света) окружением наблюдения является введение контента вторичного изображения. Но, в целом, поскольку это установление CombRng обычно происходит сначала (до определения подходящего якоря), эта оценка может быть грубой (например, неточная проверка, где введен контент SDR, и оказывается ли наиболее светлая часть изображения SDR, даже потенциально осветленного, геометрически после темной части фильма, следовательно, потенциально значительной маскировки, хотя некоторые варианты осуществления могут также учитывать это при установлении более высокой и более низкой яркости CombRng, например, при прямом или итерационном определении, последние итерационно проверяют, насколько хорошей будет яркость якоря, и затем, соответственно, подходящие CombRng ограничивают яркости).

Поскольку в различных применениях грубое объединение уже может быть подходящим (например, если зритель фильма хочет окончательно наслаждаться своим фильмом, он не должен прерывать или объединять его с какими-либо дополнительными изображениями, но если он это делает, он должен подтвердить, что всегда будет присутствовать некоторое искажение в колориметрии этого ведущего видеоконтента, даже если оно является только психовизуальным в понимании впечатления полного изображения объединенного изображения, и не изменяя реально яркостей фильма, по сравнению с какими они были до объединения), уже может быть пригодно быстро вычислять некоторую эвристически более низкую яркость LmiC, на основе типичного контента. Например, если гистограмма показывает, что большая часть контента SDR попадает между 10 нит и 100 нит, причем примерно половина области отображения объединенного изображения занята пикселями SDR с яркостью выше 50 нит, устройство может устанавливать, что оно не нуждается в участках более глубокого черного, чем, например, 0,01 или даже 0,1 нит для этого объединения (поскольку типичный для дисплея эвристического алгоритма принимает решение, что более темные структуры изображения не будут хорошо наблюдаться в таких условиях). Что делает это установление диапазона объединения таким интересным, это то, что (хотя первоначальный создатель контента фильма HDR мог сделать фильм с заданными ультрачерными участками вплоть до 0,0001 нит, в случае, когда фильм смотрят в темной комнате, например, на дисплее OLED, который может визуализировать участки очень глубокого черного), устройство объединения (например, STB, или даже сам TV), может теперь принимать решение несколько осветлять самые темные цвета фильма HDR, путем определения подходящего отображения яркости установленного между фильмом HDR (или, в общем случае, ведущим контентом) DR и динамическим диапазоном объединения, и, в частности, нижней частью этих динамических диапазонов, до помещения пикселей фильма HDR в объединенное изображение. На светлой стороне диапазона яркости, алгоритмы обычно предусматривают определение, в какой степени отсечение или сжатие контрастности для первоначального изображения HDR все еще пригодно (которые будут отличаться, например, для ламп, которым не нужно иметь визуализированную внутреннюю структуру, в отличие от освещенных солнцем облаков, где, в идеале, будет достаточная контрастность в окончательном визуализированном изображении, и, таким образом, любое кодирование изображения для этого [таким образом, что, в идеале, определение окончательного изображения является достаточно простым на основе этого кодированного принятого изображения, которое в своих кодированных яркостях уже указывает, по большей части, какими окончательно должны быть окончательные визуализированные яркости всех пикселей], следовательно, меньшее сжатие для наиболее светлых цветов изображения, задавая эти светлые области с большим поднабором кодов люмы, будь то уже в объединенном изображении, или предварительно объединяя заданное изображение HDR прежде чем оно будет фактически преобразовано в пиксели объединенного изображения). Поэтому, в зависимости от потребностей, например, вставленный (предполагаемый создателем фильма, например, когда он знает на конкретном канале его фильм, следовательно, это потенциально переградуированное определение фильма, будут предлагаться соседние рекламные ролики) рекламный ролик, который не должен выглядеть неприятно темным, может потребоваться сжимать облака в несколько меньшем участке светлых яркостей не слишком высоко над наиболее светлыми яркостями изображения SDR, по меньшей мере, как это изображение SDR преобразуется для объединения. Чтобы по прежнему иметь возможность настраивать это изображение наиболее подходящим образом (и в целом, т.е., по меньшей мере, некоторая часть изображения SDR и некоторая важная часть или обычно объект изображения HDR) и для различных введенных, например, рекламных роликов SDR, в идеале, изображение HDR указывает несколько важных яркостей для этих облаков, например 3, между которыми устройство объединения может переключаться, обычно в сторону затемнения, для различных облачных областей (тем самым, также снижая контрастности, например, темно-серой части грозовой тучи). Но это, когда яркости якорей вступят в дело, как объяснено ниже, с настоящей частью принципа, просто объясняющей, что диапазон объединения конечно не должен оканчиваться значением LMC настолько низким, что начинает разрушаться вид ведущего изображения (например, если фильм посвящен грозовым тучам, которые обычно имеют приятные различные участки серого, если некоторые части облаков сильно освещены, например, освещенные солнцем края облаков, и нижние кромки облаков не освещены солнцем, но только светом окружающей среды, поэтому они могут быть значительно темнее, чем базовый аспект этого фильма, будут утрачены, если CombRng таков, что эти облака нужно сжимать в более высоком поддиапазоне CombRng, который составляет только, например, 10 люм, поскольку даже с сильным функциональным растяжением по яркости в качестве попытки при коррекции дисплеем, это никогда не даст хорошей визуализации HDR этих облаков, какой они достойны). Но в противном случае устройство объединения может принимать решение осуществлять некоторое качественное снижение светлоты и контрастности изображения HDR, для гармонизации (в особенности, когда из менее требовательных сцен HDR, как, например, футбольного матча, некоторый контент которого находится на солнце, и некоторый в тени) изображения HDR с изображениями типичного или фактический более низкого динамического диапазона, с которыми оно будет объединяться.

Конечно, хотя динамический диапазон (по меньшей мере, максимум, и, возможно, также точно заданный ненулевой минимум) является очень важным (начальным) определением свойства для окончательных изображений вида, но это все же не полностью финализирует, как светлоты объектов или пикселей будут располагаться в этом диапазоне. Простые способы обработки изображений действительно предусматривают, что требуется только знать верхний и нижний пределы некоторого динамического диапазона, и затем производить некоторое отображение (которое часто не является всем, что гораздо интеллектуальнее, чем всего лишь линейное сжатие, т.е. отображение белого цвета входного контента в белый цвет окончательного диапазона, и черного цвета входного контента в черный цвет окончательного диапазона). И которое может даже значительно изменяться, в особенности, когда начинается использование полного потенциала больших динамических диапазонов, с очень критичными сценами, как в отношении яркостей, подлежащих представлению, например, одновременно многих участков глубокого черного в пещере, и многих освещенных солнцем цветов, наблюдаемых через малую трещину, ведущую наружу, и даже объект, нуждающийся в критичном управлении своей внутриобъектной контрастностью, например, человек наблюдаемый через туман. Но, как сказано выше, автор изобретения полагает, что для хорошего управления видами изображений HDR, и в особенности, видом объединенных изображений, также важно хорошее управление всеми или, по меньшей мере, многими, или, по меньшей мере, наиболее критически важными яркостями между пределами CombRng, поэтому что-то еще также необходимо, чтобы иметь хорошие системы обработки изображения HDR, в частности, такие устройства, которые могут без дополнительного трудного участия человек создавать надлежащим образом выглядящие окончательно объединенные изображения, для любой ситуации, которая может возникнуть на практике (поскольку невозможно продать одного и того же голливудского директора в каждом STB или TV, чтобы он определял подходящие окончательные объединенные яркости для зрителя). Требуется быстрый механизм, который все еще может приятно адаптироваться создателями контента, какими бы критичными или сложными ни были их потребности, для получения хорошего результата приемлемо высокого качества, по меньшей мере, в наиболее практических случаях объединения контента изображения.

Поэтому второй компонент для управления в достаточной степени объединением, состоит в том, что устройство определяет яркость (anc) якоря. Это могут быть различные величины, но обычно - семантически релевантная яркость семантически важного объекта. Например, это может быть, в частности, типичный важный объект, освещенный определенным образом, дающий яркости в поддиапазоне полного диапазона изображения HDR. Это будет яркость, которая предполагается хорошей, в некотором диапазоне объединения, для определения других яркостей вокруг нее (т.е. эта яркость определяет, все ли яркости имеют подходящую светлоту, не слишком темную и не слишком светлую). Другими словами, в случае правильной визуализации яркости якоря, какой бы правильной она ни была для конкретного диапазона объединения, другие яркости также будут не плохи (и на фиг. 16 будет проиллюстрировано, как с помощью дополнительных технических компонентов управлять ими для дальнейшего их улучшения, согласно желанию создающего художника).

На фиг. 15 показана типичная сцена HDR, два участка которой имеют значительно разное освещение, а именно, сарай (Ins) с тусклым освещением (см. геометрию сцены на фиг. 15a), и солнечный участок внешнего пространства (Outs) со значительно более светлым освещением. Чтобы градуировщик контента создал надлежащим образом выглядящие изображение HDR для типичного просмотра телевизора (тусклое окружение) из физических яркостей сцены, может быть целесообразно градуировать яркости внутреннего пространства, как в изображении SDR, т.е. до 100 нит для наиболее светлого объекта внутреннего пространства. Яркости внешнего пространства в реальном мире будут приблизительно в 100 раз светлее, вплоть до 10000 нит, но будут восприниматься как слишком светлые для телевизионной визуализации (даже если зритель обычно имеет такой современный дисплей с PB_D 10000 нит). Поэтому градуировщик может, например, сделать эту сцену с более светлыми яркостями HDR внешнего пространства (в поддиапазоне яркостей пикселей внешнего пространства SDROU) эталонного диапазон HDR (DRH) вплоть до 1200 нит для наиболее светлого объекта (за исключением, возможно, некоторых малых зеркальные отражения на металле), и с типичной средней яркостью внешнего пространства 250 нит.

Мощность, обусловленная наличием яркости якоря, проиллюстрирована на фиг. 15c. В этом примере мы делаем это просто, и предполагаем, что более темные яркости, поддиапазона яркостей пикселя внутреннего пространства SDRIN, можно визуализировать с одинаковыми яркостями во всех ситуациях (с образованием устойчивого, неизменного набора яркостей в диапазоне объединения, что, конечно, не всегда имеет место; например, если рекламный ролик SDR содержит много светлых цветов, устройство может использовать нижнюю точку якоря AncS_ins, характеризующую внутренние пиксели эталонного материала исходного изображения HDR, фактически для некоторого подъема самых темных пикселей, но мы поясним базовые принципы наших вариантов осуществления на примере сценария, где одна-единственная точка якоря будет использоваться для правильного яркостного размещения яркостей пикселей, по меньшей мере, этого первого, эталонного изображения HDR, в диапазоне объединения (т.е. со второй точкой якоря AncS_outs из набора внешних, светлых пикселей). Прежде всего, хотя может использоваться любая яркость интересного объекта, например, с типичным спектром отражения света, приводящим к типичному внешнему виду значения серого, обычно неплохо использовать некоторую в среднем светлую позицию якоря в подстолбике гистограммы всех яркостей изображений, соответствующих участку приемлемо аналогичного освещения, когда желательно определить яркости пикселей вокруг такого значения anc. Читатель может представить, что ниже, согласно фиг. 16, поскольку, если по любой причине устройство желает ʺповторно осветитьʺ такой участок, например, для повышения освещенности, то яркости вокруг него можно осветлять непрерывно с точкой якоря, подобно тому, как реальные отражающие объекты начинают сильнее светиться, если падающее на них освещение увеличивается. Заметим, что для автоматических определений при вычислении иллюстративного значения anc следует действовать аккуратно, чтобы, например, очень светлые яркости освещенных солнцем краев облаков не слишком отклонялись от результата приемлемого среднего, поэтому обычно, если люди могут определять и передавать яркость якоря совместно с кодированными изображениями, это может давать наилучшие результаты.

Поэтому читатель должен понять, что существует два рода значения anc, а именно, прежде всего, результата (т.е. позиции в диапазоне объединения, куда должны окончательно попадать яркости изображений, которые соответствуют одному и тому же семантическому значению определения anc, т.е. близки к такому значению яркости anc, но в динамическом диапазоне (по-разному освещенного и по-разному кодированного) источника, при визуализации, или записываться в объединенное изображение), и второе (соответствующее) значение ancS для всех или, по меньшей мере, большинства входных изображений (в случае, когда в некоторых изображениях пропущен аннотированный anc, устройство должно оценивать некоторое значение, например, значение SDR, которое не должно быть слишком неразумным для наиболее типичного контента SDR). Если задается такое значение anc (даже семантически отличающееся от одного из объединения, но которое может быть связано с одним из объединения, например, путем умножения на 4), затем можно гармонизировать входной контент со структурой объединения, и, таким образом, со всем остальным контентом изображения.

Читатель может видеть, как значение anc (т.е. результирующее значение anc объединения изображений, и диапазон, который подготавливается до фактического смешивания двух изображений) координируется с определенным динамическим диапазоном яркости объединения, т.е. обычно, по меньшей мере, его пиковой светлотой, например, для объединения HDR повышенного качества PB_CS=2000 нит. Если блок (302) установления динамического диапазона выбирает диапазон объединения повышенного качества (CmbRngSup), получается динамический диапазон высокого качества, близкий к динамическому диапазону эталонного контента HDR. Поэтому имеет смысл также размещать результирующее значение anc (семантического типа: ʺпозиция, где, в среднем, светлые, второго подстолбика, цвета внешнего пространства должны попадать в объединенное изображениеʺ) при 250 нит (где устройство следует типичным правилам визуализации светлого участка в телефильмах, что также являлось основой для выбора (приблизительно) 250 нит эталонного градуировщика для эталонного изображения HDR). Эта ситуация объединения будет приводить к тому, что большинство релевантных яркостей HDR, также пикселей внешнего пространства, будет приятно визуализироваться, как назначено создателем контента, т.е. с теми же яркостями, которые закодированы в эталонном входном изображении HDR, и только, например, зеркальные отражения должны быть несколько притушены, чтобы попадать ниже 2000 нит. Это является примером вышеупомянутого первого типа сценария: диапазон объединения, по большей части, соответствует первоначальному эталонному видеоконтенту HDR, который является ведущим и, по существу, визуализируется без искажений яркости, и затем нужно лишь гармонизировать контент SDR (что будет осуществляться на основе соответствующих 1 или более значений anc для изображения SDR).

Для диапазона объединения пониженного качества (ComRngInf), устройство может уже учитывать необходимые снижения качества, также для эталонного изображения HDR. При этом устройству может потребоваться снизить позицию значения Anc_Outs, что обычно может осуществляться, например, путем эвристического оценивания потребностей в контрастностях между участками и внутри участка (даже без опоры на конкретные изображение и сцену, уже можно определить некоторые глобальные значения для хороших позиций яркостей якорей, которые должны согласованно работать для предстоящих различных кадров HDR фильма). Вторая результирующая позиция anc Anc_Outs2, должна, в зависимости от того, какая величина диапазона остается выше 100 нит или, другими словами, выше более низких яркостей SDRIN (например, в пунктах, в 10 раз больше 3 пунктов для размещения всех эффектов HDR, какими бы они ни были, т.е. отражающих объектов в светлом солнечном освещении, а также лампы или зеркальные отражения, и обычно также с учетом значений, которые потребители хотели бы видеть для изображений HDR хорошего качества, т.е. без больших областей объектов, которые являются слишком светлыми или слишком тусклыми) располагаться в позиции яркости в CombRng таким образом, чтобы светлый участок или его части достаточно превышали 100 нит (чтобы иметь реально солнечный внешний вид, например, коэффициент 5-10 может быть хорошим значением, и это можно сформулировать как деление двух значений anc), и при этом остается достаточно места для еще более светлых эффектов HDR, например, малых областей зеркального отражения на объектах, языках пламени или взрывах или лазерных пучках, и всего, что может фактически содержать фильм, что его можно было градуировать и визуализировать вблизи этого верхнего предела PB_C_Inf 1000 нит. Некоторые варианты осуществления автоматических способов, могут работать путем вычисления оценок ошибки. Например, можно анализировать текстуры на участках, со сложностью, указывающей необходимость в более высокой или более низкой контрастность внутри участка.

Поэтому, если известны только два изображения, например, фильм, создаваемый кинематографистом (аннотирующим с, по меньшей мере, одним значением anc, и, возможно, уже отображение яркости в обычно подходящий CombRng) и типичный средний вариант предполагаемого контента SDR, затем устройство может вычислять, по меньшей мере, ошибку для сжатия изображения HDR с искажением яркости, и искажение или дисгармония изображения SDR, при его повторном осветлении до объединения, как показано на фиг. 17. Такие ошибки искажения можно вычислять как для сценариев типичного среднего, например, на основе вероятности яркостей пикселей для одной или более типичных сцен HDR, оценивая, как такую сцену потребуется исказить (по большей части, в наиболее светлых областях изображения), при понижении до CombRng с PB_Co1, PB_Co2, и т.д. должно происходить, и/или для фактических изображений, т.е. с учетом оставшейся боли, если фактическое (оптимальное) отображение яркости применяется для отображения яркостей всех объектов или участков из естественного представления изображение и его динамического диапазона, в перекрашенное изображение в диапазоне объединения. На фиг. 17 схематически пояснено, как ошибку E_cmp можно связать со сжатием, по меньшей мере, одной части или объекта изображения, например, облачных структур. Различные практические варианты осуществления, представляющие поведение человека-градуировщика, могут, например, извлекать текстуру, и путем вычисления мер текстуры и других пространственных и/или статистических мер локальной оценки участка, насколько проблематичным будет понижение до меньшего поддиапазона. Например, для облаков, анализатор текстуры обнаружит отсутствие резких границ, и что понимание облака, в основном, будет происходить путем (плавного) распределения (многих) значений серого, и не по типичным аспектам геометрической формы (например, линейный рисунок текстуры шотландской юбки допускает большее сжатие или оконтуривание в меньших кодах люмы). Т.е. если много точно градуированных плавно распределенных значений серого отображается в более ограниченный набор неправильных светлот, можно предположить быстро, что возникнет некоторая ошибка, которая разубедит устройство делать это в слишком большой степени, в частности, если ведущее изображение имеет критичную колориметрическую важность, поскольку, например, потребитель должен быть способен наслаждаться точно градуированным качеством художественного цвета фильма, которое не должно снижаться до часто экстремальной и вульгарной грубой градуировки, например, некоторых рекламных роликов (помимо основного принципа обеспечения яркостей якорей, некоторые варианты осуществления позволят создателю контента указывать с помощью дополнительных метаданных, насколько большое искажение допустимое между или вокруг якорей, например, что диапазон между AncS_outs/10 и AncS_outs*10 предпочтительно не сжимать и не растягивать с коэффициентом, например, 2 или 3).

На фиг. 17 более конкретно показан пояснительный пример того, как можно сформулировать ошибки, для обеспечения гармонизации яркости согласно варианту осуществления на основе таких уравнений ошибки. Изображение сарая HDR и рекламный ролик SDR для безалкогольного напитка подлежат смешиванию, и помимо их диапазонов мы показываем гистограммы распределений яркости изображений сцены (hist_HDR соответственно гистограмма изображений рекламного ролика низкого динамического диапазона hist_SDR, с в горизонтальном направлении отсчеты N(Li) количества пикселей в суммарном количестве пикселей изображения, которые имеют яркость, равную некоторому значению Li). Сжатие изображения HDR в менее более высоком поддиапазоне CombRng до PB_comb, например, 1000 нит приводит к ошибке E_cmp. Эту ошибку можно сбалансировать, например, ошибкой для осветления контента SDR, или ошибкой, соответствующей несовместимости этого CombRng с типичными диапазонам предполагаемых дисплеев. Например, если предположить, что каждый в мире будет в любом случае иметь дисплей с PB_D 1000 нит, эту ошибку E-cmp можно нормализовать к нулю, поскольку эта модификация эталонного контента должна происходить в любом случае. Но все же CombRng, например, 1500 нит может быть лучше, т.е. иметь отрицательную ошибку, указывающую более высокое качество по сравнению с объединением 1000 нит, при очень высоком взвешивании визуального качества контента фильма. Помимо ошибок, которые можно вычислять для отклонения светлот контента SDR, который может быть менее важным (поскольку, с одной стороны, в парадигме SDR предполагается, что зрители имеют возможность быстро адаптироваться к разным светлотам, но, с другой стороны, светлота потенциально ʺнеправильноʺ визуализированного изображения SDR, например, определенного многими опытными или неопытными зрителями как слишком светлые при визуализации на своем собственном мониторе HDR с наиболее светлым пикселем, например, 1000 нит, для этого конкретного изображения, теперь определяется не сама по себе, но относительно эталонного изображения HDR), можно оценивать следующую ошибку. Можно определить ошибку рассогласования яркости SDR (E_MM), и это может осуществляться, например, столь же просто, как различие между значением Anc_HDR CombRng, т.е. также, в которое, в идеале, отображается исходное изображение значение anc изображения HDR (AncS_outs), и фактически отображается в яркость (D_AncSDR) яркости SDR исходного якоря AncB_SDR. Т.е. наилучшая гармонизация в этом примере будет соответствовать эвристике в случае, когда D_AncSDR равно Anc_HDR. Причина, по которой это работает, состоит в том, что этот тип изображения HDR содержит достаточно большую область пикселей светлого внешнего пространства (по какой причине его создатель контента задал более высокую яркость якоря, AncS_outs). Когда зритель при просмотре этой сцены фильма HDR уже привык к более светлым яркостям, внедрение приблизительно одинаково светлых пикселей для (например, PIP) рекламного ролика SDR гораздо менее неприятно, чем когда пользователь наблюдает только темные яркости, например, 5 минут в пещере или подвале (и в этом случае введение такого светлого рекламного ролика, вероятно, удивит зрителя, или, по меньшей мере, значительно помешает ему наслаждаться остальными сценами фильма, по меньшей мере, колориметрически). Эта система работает особенно хорошо, если создатель контента SDR использует конкретный тип его якоря, а именно, который может быть настолько простым, что он использует только два типа: светлоту выше средней и светлоту ниже средней. Даже независимо от того, как яркости фактически распределяются в диапазоне яркостей SDR 0,1-100 нит, создатель может указывать, какого рода изображения SDR оно является, и, таким образом, как его нужно визуализировать, в частности, согласно этому изобретению, как его можно гармонизировать с различными возможностями поддиапазоны изображения HDR. Например, изображение SDR, будучи нормальным контентом мрачной или темной сцены (ʺсветлота ниже среднейʺ), или оно может быть люмами, которые, предположительно, представляют солнечную сцену. Предполагается, что создатель рекламного ролика хочет показывать его как ʺсолнечнуюʺ сцену, цвета которой выглядят светлыми и яркими, которые в точности являются светлыми и яркими в объединении, конечно также в зависимости от других цветов изображения.

Теперь читатель уже может понять мощность яркости якоря в координации изображений, подлежащих объединению. Даже в такой простой системе, исходя из того, что создатель контента рекламного ролика заинтересован в том, чтобы его изображение визуализировалось ʺдостаточно светлымиʺ (но, вероятно, не заинтересован раздражать зрителя визуализациями его части полного контента изображения, которые являются слишком светлыми), но, конечно, также (в большем, одинаковом, или, возможно, несколько меньшем количестве сценариев) важно желаемое качество изображения также создатель фильма HDR, объединение может уже непосредственно работать приемлемо в случае, когда фильм HDR имеет только ʺболее темныйʺ контент в случае, создатель контента HDR включает в себя только более низкий AncS_ins. Тогда устройство понимает, что, по меньшей мере, эта сцена в фильме не имеет (слишком много, важных) светлых участков, и, таким образом, зритель будет адаптироваться к более темному контенту, например, в этом неограничительном простом пояснительном примере, только в поддиапазоне SDR SDRIN. Таким образом, устройство может создавать гармоничное объединение, если в этой ситуации она отображает AncB_SDR (несмотря на то, что он предполагается ʺсветлым контентом SDRʺ) в более низкий Anc_ins, или вблизи него. Под близостью мы понимаем фиксированную в устройстве или адаптируемую обычно мультипликативную долю значения anc выше или ниже значения anc, например, от 1/3 или 1/2 до соответственно, 2 или 3 anc. Степень близости можно определить (либо во время выполнения устройством объединения, либо на стороне создания, например, с явно передаваемыми границами близости яркости) на основе в различных вариантах осуществления таких аспектов, как, например, допустимые ошибки яркости объектов при отображении, различие типа или предполагаемая изменчивость якорей, и т.д. Но очевидно, если AncB_SDR составляет, например, 20% 100 нит, если он даже отображается в 3x 25 нит (т.е. позицию близости верхнего предела Anc_ins), то объединение является значительно более гармоничным (поскольку перфекционизм обычно не требуется достигать, но зато прагматически приемлемо работающая система, сбалансированная между точностью внешнего вида, и сложностью реализации системы на практике), чем с линейным растяжением, в котором контент SDR напрямую отображается из белого в белый, т.е. из 100 нит в 1000 нит, который будет визуализировать средний AncB_SDR в 200 нит (!), что, вероятно, имеет все объекты изображения SDR, выглядящие слишком светлыми, чтобы быть привлекательным (заметим, что, в принципе, anc может задаваться даже ниже фактических яркостей гистограммы, например, режим т.е. наиболее часто встречающееся значение яркости гистограммы, но в любом случае фактические яркости будут визуализироваться аналогично чрезмерно светлыми).

Возвращаясь к фиг. 15b, мы показываем, что интересно, как якоря, и их размещение в различных относительных позициях в любом CombRng, будут относиться к различным отображениям яркости (влиянию на них). Функция TL_CS является отображением яркости для отображения первоначальных яркостей эталонного изображения HDR в яркости в CombRng (т.е. готовность к осуществлению объединения изображений, будь то замена пикселей, альфа-смешивание, и т.д.). Заявитель нашел очень полезным осуществлять преобразования яркости в относительной системе координат, т.е. входные яркости и выходные яркости или люмы, заканчивающиеся на 1,0 (в случае, когда люмы используются как вертикальная координата, отображение задается с учетом OETF, например, некоторое фиксированное определение OETF наподобие SMPTE 2084, или Rec. 709 для обратно совместимых передач изображения). Для люм это очень полезно, поскольку это обходит рассмотрение на сколько битов следует квантовать вертикальную ось (1,0 это наивысшее значение кода люмы, т.е. самый светлый кодируемый цвет). Для осей яркости (например, входной), можно обдумать, является ли остаток относительной обработки яркостей, но в любом случае необходимые кривые можно задавать для любого необходимого преобразования изображения в любой динамический диапазон (поскольку эта версия всегда может быть математически приравнена ее соответствующей структуре абсолютной яркости). Мы видим, что если мы хотим поддерживать абсолютные яркости более темных пикселей идентичными, в относительной системе координат с более низкой пиковой светлотой это соответствует подъему этой части функции отображения яркости TL_CS выше диагонали, и можно отчетливо видеть, как оставшийся более высокий поддиапазон CombRng приводит к некоторому сжатию, которое не является слишком чрезмерным для диапазона объединения повышенного качества. Но для диапазона объединения пониженного качества, сжатие более светлых объектов HDR должно быть более существенным, поскольку также наблюдается из формы соответствующей функции отображения яркости до этого более низкого диапазона объединения, а именно, TL_CI. В любом случае, эта ситуация пиковой светлоты диапазона объединения, и хорошая точка якоря, поясняет, что, в целом, при возникновении любого кадра HDR, потребуется выполнять некоторое сжатие светлых цветов, которые будут архетипичными приближениями этой формы (конкретные возможности вариантов осуществления подробно рассмотрены ниже). Из объединения двух функций можно видеть, что если необходимо преобразование относительно от более высокого к более низкому CombRng, потребуется относительно осветлять более темные пиксели, но которые визуально, прежде всего, соответствуют сжатию более светлых участков HDR (относительный процентный поддиапазон, который является, помимо полного имеющегося диапазона, хорошей мерой кодирования или качества визуализации части изображения). В любом случае, таким образом, заявитель задает свои преобразования яркости в своих наиболее типичных фактических вариантах осуществления, и, в частности, очень полезное свойство, что будет пояснено на фиг. 16.

Способы обработки видеосигнала HDR (фактически лишь кодирования) наподобие HDR10, которые рассматривают лишь фиксированного представление изображений HDR, даже не требуется передавать одну фиксированную функцию преобразования яркости (поскольку они могут помещать все распределение светлоты объекта HDR в яркостях изображений, что не потребует передачи OETF при передаче люм, если эта OETF выбрана фиксированной). Технологии, которые имеют упрощенный взгляд на распределение яркости объекта HDR, т.е. его способность к переградуировке в другие динамические диапазоны, наподобие смешанной loggamma BBC, могут использовать фиксированную функцию для передачи, например, в виде LUT.

Заявитель хотел, чтобы и создатель контента, и пользователь (будь то изготовитель TV и/или конечный зритель) имел возможность высвобождать полное качество HDR (иерархически), т.е. строить систему, в которой создатель контента может указывать свое желание относительно контента изображения HDR пошагово (от грубого к точному, в зависимости от степени его критичности, или затрачиваемого времени и бюджета), и чтобы сторона потребления видеосигнала также могла принимать решение в отношении желаемой точности для следования этим спецификациям, или хочет ли конечная система сообщать изображениям некоторый микроаромат цветовой обработки, например, несколько отклоняясь от контрастностей объектов, заданных в функции(ях) точной регулировки.

На фиг. 16 показан пример мощности якорей, при объединении с одной из предпочтительных систем заявителей, позволяющих, например, обычно человеку-градуировщику иерархически задавать его потребности в переградуировке яркости, с набором последовательных функций.

Будет считать, что входной и выходной диапазоны квантуются перцепционно однородно (приблизительно логарифмически). Это будет создавать набор визуально эквидистантных уровней светлоты, например, ультраультратемный, ультратемный, очень темный, темный, и т.д., вплоть до экстремально светлого. Можно представить, что градуировщик может задать свой взгляд на изображение, приблизительно приравнивая яркости объектов с одним из этих уровней, например, изображение HDR хорошего качества должно иметь яркость лампы в поддиапазоне экстремально светлых яркостей, например, между 90% и 100% PB_C. Конечно, более низкий динамический диапазон выходного сигнала, в данном случае, диапазон объединения яркостей (L_Cmb_out) может не растягиваться до конца до уровня, выглядящего как экстремально светлые яркости, но затем градуировщик будет прибегать к отображению яркостей пикселей этой лампы в наивысший имеющийся уровень, например, очень светлый. Это будет формировать часть формы функции отображения яркости, и читатель может понять, как градуировщик (или также автоматическая система, использующая эвристический анализ изображения) может получить некоторую полную форму функции отображения яркости.

Теперь просто задание двух таких осей будет типичным на первый взгляд (хотя довольно прямым) способом отображения яркостей, заданных в одном динамическом диапазоне, в выходные яркости во втором, например, меньшем выходном динамическом диапазоне (что будет выражаться функцией, являющейся диагональю в этом графике). Действительно будут формироваться ʺнаполовину приемлемыеʺ выходные яркости, поскольку эта стратегия будет отображать белый цвет белых участков любого исходного изображения в самый светлый возможный (кодируемый или визуализируемый) цвет выходного динамического диапазона, и черный в черный, что, вследствие логарифмического определения, также было бы приемлемо распределенными значениями серого между черным и белым из входного в выходное изображение.

Но это дает довольно невзрачные изображения с неправильными светлотами и контрастностями, не гововря уже о том, что это позволяет художнику приятно адаптировать художественные потребности к композиции любой конкретной сцены HDR (хотя самый светлый и самый темный пиксель нашей сцены сарая например, при кодировании PB_C=5000 нит может иметь такое же значение, как в изображении, например, настольной лампы в темноватой комнате с несколькими объектами на заднем плане, конечно композиция и семантика изображения для этих двух изображений будут сильно отличаться, приводя к очень разным потребностям, касающимся градуировки и переградуировки различных яркостей объектов или пикселей).

Поэтому заявитель уже для единственного использования изображения, т.е. либо реконструкции к приближению первоначального эталонного изображения HDR, например 5000 нит, или оптимальной настройки дисплея для получения, таким образом, оптимального изображения MDR для возбуждения, например, дисплея с PB_D 750 нит, изобретена система определения отображения яркости, которая способна задавать, по меньшей мере, две последовательные функции. Прежде всего, функция грубой переградуировки F_CRS_MDR глобально перевыделяет светлоты всех перцептивных поддиапазонов, чтобы они имели лучший первоначальный вид для настоящего изображения HDR и сведений о нем. Мы видим некоторую грубо r-образную кривую, для которого наиболее светлая половина яркостей HDR пикселей сцены сжимаются в некотором малом поддиапазоне выходных яркостей, например, яркостей изображений SDR для возбуждения дисплея SDR, или, например, для лучшего согласования с принципами объединения, изображения MDR 1000 нит, когда эталонное изображение HDR имеет PB_C 5000 нит. В зависимости от потребностей сцены, градуировщик может адаптировать эту форму. Например, если существуют только некоторые участки зеркального отражения пары пикселей, или осветительные лампы в этой более высокой половине яркостей, градуировщик может, в принципе, даже задавать функцию, которая отсекает до 1,0 для более высокой половины входных яркостей, что не будет значительно ухудшать визуальное качество этой конкретной сцены. Но если более высокая половина содержит освещенные солнцем облака, даже небольшое снижение локального наклона кривой может привести к значительным ошибкам качества. Не следует забывать о том, что речь идет об осях относительной яркости, поэтому, при выводе, например, диапазона SDR, может не существовать много кодов люмы и соответствующих яркостей для верной визуализации одновременно очень темных яркостей, средних яркостей и очень светлых яркостей (рассматривая, например, 3 по-разному освещенных участка изображение, например, с темной кухней в областях 3D ближе к зрителю, где прячется черный человек, средней комнатой, которая обычно освещена, и опять же, солнечными объектами, наблюдаемыми через окна, как схематически показано на фиг. 16b; и другой типичный пример двух участков показан на фиг. 16c, со светлой витриной на улице ночью, т.е. другой семантикой, чем в примере сарая, но с поддиапазонами которые могут обрабатываться аналогично, или нет, по решению создателя контента).

Фиг. 16c может быть достаточно ʺпростойʺ (в отношении сложности эффектов HDR), чтобы иметь возможность достаточной градуировки, и путем регулировки функции переградуировки отображения яркости, задавая только функцию грубой градуировки F_CRS_MDR.

Но для более сложной сцены трех участков (R1 указывает светлое внешнее пространство улицы в дневном свете с объектами наподобие домов, наблюдаемое через окна, средний участок R2 освещен обычным образом или тускло, т.е. с типичными яркостями SDR, и в R3 источники света отключены, т.е. с темными яркостями) может быть труднее приемлемо отображать все поддиапазоны яркости и соответствующие светлоты объектов в малые поддиапазоны, в особенности, более низких динамических диапазонов (например, диапазона SDR). В таком случае градуировщик может находить его оптимальным для использования дополнительной кривой, а именно, кривой точной регулировки F_FINGR, которая подлежит применению к относительным яркостям, полученным в результате грубой градуировки, т.е. фактически эквивалентно отклоняющейся от этой показанной формы грубой кривой. Но такую стратегию также можно применять к ʺболее простымʺ сценам HDR, например, освещенной изнутри витрины в ночное время на фиг. 16c. Чтобы сделать витрину и ее объект достаточно выразительно контрастными и светлыми, чтобы они выглядели реально светящимися (согласованно, но при визуализации этого единственного изображения самого по себе, например, на дисплее HDR 5000 нит, на дисплей HDR 1000 нит, и при этом приемлемо приближающии и достаточно приятным насколько позволяют ограниченные возможности дисплея, на дисплее SDR с PB_D 100 нит), и также сделать относительно темные (по меньшей мере, в эталонной градуировке HDR) пиксели объекта ночной улицы достаточно светлыми и видимыми, градуировщик может создать функцию F_CRS_MDR, например, относительно плоскую на более высоком конце. Это может обеспечивать приемлемый вид и витрины, и темной улицы, т.е. приемлемый уже общий вид изображения. Но витрина может содержать конкретные объекты, которые не выходят в тесной связи с любым аспектом, например, их яркостью, контрастностью, или цветом, например, пламенем в витрине, или, возможно, некоторой сильно освещенной частью белой шеи или рубашки манекена, и т.д. Таким образом, градуировщик может задавать кривую коррекции (т.е. кривую точной градуировки F_FINGR), которая в некоторой части диапазона яркости, например, соответствующей яркостям этой рубашки, например, снижает светлоты, например, для получения большей внутриобъектной контрастности или цветонасыщенности или любой функции, которая реализуется как эффект (могут существовать даже различные пространственно локализованные отображения яркости, предусмотренные во избежание изменения других объектов с аналогичными яркостями в других участках сцены, но демонстрирующие, что дополнительная сложность нашей системы выходит за рамки необходимого для понимания настоящей заявки).

поэтому интересно, что грубая функция быстро делает все яркости объектов уже приблизительно правильными, с легким действием градуировщика (например, в одном из наших вариантов осуществления ему нужно просто повернуть две ручки, определяющие наклоны верхней части светлых цветов, начинающейся с 1,0, и нижней части функции, начинающейся с 0,0, и затем наш кодер автоматически определяет плавную кривую грубой градуировки, которая затем может использоваться различными устройствами объединения изображений HDR настоящего изобретения и заявки). Но затем может начинаться ʺреальная градуировкаʺ, путем точной настройки яркостей различных пикселей объектов изображения, и, следовательно, соответствующих внутри- и межобъектных контрастностей, позволяя градуировщику определять любую форму кривой точной регулировки по желанию.

Нормальный декодер, или блок настройки дисплея, будет просто использовать эти две кривые как есть. Двигаясь в направлении кодирования (в случае, когда используется обратно совместимая система, которая передает информацию изображения HDR фактически, как традиционные визуализируемые на дисплее изображения SDR), сначала применение функции грубой и затем точной регулировки создает оптимально выглядящее изображение SDR, соответствующее этому HDR эталонному градуированному изображению конкретной сцены HDR, которое было входным сигналом кодера. На стороне декодирования, для реконструкции приближения эталонного изображения HDR из принятого(ых) изображения(й) SDR, используются обратные функции именно этой функции точной и грубой градуировки, поскольку это фактически было связью между этими двумя оптимальными функциями, которые были заданы оптимальными в данных типичных ситуациях визуализации. Т.е. при наличии дисплея HDR, визуализация изображения HDR, и при наличии дисплея SDR, просматриваемого в типичных условиях наблюдения визуализация изображений SDR пары (и при наличии дисплея с PB_D, значительно отклоняющейся от этих двух PB_C градуированного изображения, наша настройка дисплея используется для создания изображения вида промежуточно динамического диапазона, надлежащим образом соответствующего эталонному изображению HDR, т.е. в достаточной степени приближающему его внешние виды яркости объекта, по меньшей мере, насколько позволяют более низкие возможности дисплея).

Но теперь мы имеем ситуацию, в которой нужно объединять контент, т.е. обычно может понадобиться повторно модифицировать яркости, по меньшей мере, одного и, возможно, всех изображений, чтобы сделать их гармоничными. Разделение градуировки в таких двух кривых должно быть очень мощным, поскольку это позволяет отделять потребности, связанные с объектом, например, достаточную локальную контрастность, от общего сжатия различных поддиапазонов в имеющемся (даже если оптимизированном для объединения) выходном динамическом диапазоне.

Поэтому грубая функция, заданная яркостью якоря, даже если она состоит из линейных отрезков, теперь может использоваться в порядке альтернативы грубому выделению поддиапазонов, поскольку очевидно, что это лучшая градуировка для смеси, чем первоначальная грубая функция F_CRS_MDR для единственной визуализации, например, фильма HDR, в динамическом диапазоне с, по существу, такой же пиковой светлотой, как выбранный диапазон объединения. Теперь различные варианты осуществления могут коррелировать формы различных подсегментов кривой F_CRS_MDR, но обычно это не требуется. Важно, чтобы устройство объединения могло применять особенности точной регулировки к различным вновь выделенным оптимизированным уровням (т.е. продвигая различные семантические подучастки эталонного изображения HDR, например, облака, или внутреннее пространство пещеры в различные поддиапазоны CombRng), при этом, по существу, поддерживая форму кривая точной градуировки. Таким образом, можно сдвигать кривую отклонение в новую позицию (вдоль оптимальной грубой кривой для отображения входной яркости HDR в диапазон объединения, то есть F_Cmb), реализуя новую, теперь, объединенно-оптимальную кривую точной регулировки F_FINCMB. Это может осуществляться, например, просто приравнивая эталонные яркости, т.е. сдвигая на вертикальных линиях, мультипликативные величины отклонения.

Теперь читатель должен начать понимать, что такие якорные системы очень мощны для гармонизации различного контента, даже если сложным в отношении желаемой переградуировки яркости, но при этом относительно простым, следовательно, осуществимым способом.

Теперь сначала опишем более простой вариант осуществления, в котором устройство может самостоятельно определять такую яркость якоря в изображении HDR, и соответственно в диапазоне объединения. Окончательно важно иметь яркость якоря в CombRng, но к этому можно легко приравнять в некоторых вариантах осуществления, где она находится в изображении HDR (и менее легко в других вариантах осуществления, и в этом случае создатель контента изображения HDR может явно совместно кодировать ее, как L_S2A1). Например, мы поясним принципы важным примером наличия лица (конечно, люди важны, поэтому во многих изображениях или видеозаписях будет, по меньшей мере, один актер, или ведущий, и т.д., и они могут обычно быть приемлемо хорошо освещены создателем контента, хотя, в области LDR никогда точно не задается, что будет приемлемо хорошо, а также, что реально необходимо). Но квалифицированный читатель должен понять, что наши принципы, касающиеся яркости(ей) якоря, универсальны, поэтому можно иметь другие яркости якорей для других изображений, которые могут даже не иметь лица, например, яркость среднего серого. Читатель должен понять, что в эпоху LDR средний серый был уникальным и очень точным (средним кодирования, который обычно визуализируется как усредненно выглядящий серый, и соответствуют в первоначальной сцене отражательной способности объект грубо 18% белого, или входящего освещения, что также будет следствием того, что визуализация относительного белого на белом соответствуют приблизительно 18% PB_D), но он не полностью уникален для HDR (поскольку может существовать средний серый отражающий объект в относительно тускло освещенном изображении, или даже темном участке изображения, и тот же серый объект может располагаются в относительно ярко освещенном изображении или участке, в особенности, при желании снова принудительно использовать контент HDR в прямом жакете LDR, очень точно производя освещение и захват, но при этом щедро освещать сцены, щедро художественно градуировать контент, и т.д.).

Выгодно, если некоторые из этих яркостей якорей стандартизованы (таким образом, что каждое устройство быстро поймет, что каждая конкретная ситуация яркости любого входного изображения), но даже если первое изображение задается с другим типом якоря, чем второе изображение, или якоря изображений отличаются от того (если только одного) якоря, который устройство считает оптимальным для задания CombRng, то эти различные спецификации все еще могут быть грубо связаны. Например, если черный не точно задан (и, конечно, совсем как в HDR, могут существовать различные белые участки и светлые цвета, могут существовать различные черные участки), устройство может предполагать, в зависимости от ситуации (т.е. PB_D или других возможностей дисплея, и, возможно, окружения наблюдения), что предполагается визуализированный, например, в 2,5 пунктах, или 4 пунктах ниже того, что устройство считает своим основным средним серым (является ли это первой яркостью якоря anc, или вспомогательной вторичной). Черные участки можно описывать (т.е. кодировать видеосигнал) и обрабатывать, например, визуализировать, с менее или более высокой точностью. Если создатель контента заботится о том, что происходит в черных участках, например, поскольку там осуществляется некоторое критичное действие преступника, скрывающегося в кустах, которые должны быть ʺнаполовину воспринимаемымиʺ т.е. ни слишком заметными, ни пропущенными зрителем, то он должен аннотировать изображение или видеозапись дополнительными описательными метаданными для этого поддиапазона или режима цветовой обработки. И, в частности, создатель должен задавать, по меньшей мере, одну яркость якоря для черных участков. Если он не или не очень заботится, например, поскольку в настоящей сцене HDR существует только некоторая фоновая текстура, например, фотографии в темном подвале, которую можно визуализировать с более или менее одинаковым семантическим качеством, хорошо ли они или не очень хорошо наблюдаемы, то создатель может опираться на типичные оптимизации принимающей стороны или промежуточной стороны черных участков, где устройство визуализации может визуализировать их с различными уровнями яркости, при условии, что она все еще выглядит приемлемо черной (т.е. глубокой черной, хорошей черной или молочно черный).

В простом примере, позволяющем пользователю легко улавливать основные моменты нашего изобретения, яркость (anc) якоря в динамическом диапазоне (CombRng) яркости объединения указывает, что яркость лица должна быть в объединенном (выходном) изображении, чтобы сделать его вид подходящим. Это, конечно, будет зависеть от того, хорошо ли освещено лицо, сильно освещено, или затенено. Это позволяет избегать, чтобы актер или человек, например, в рекламном ролике, или BD комментарии, или разговоре по видеотелефону, и т.д., был гораздо более светлым, чем в фильме. Конечно, устройство не обязано в точности выравнивать две яркости лиц, но должно визуализировать одно со смещением яркости (например, если актер в ведущем фильме HDR нарочно сделан очень темным, но остаток фильма HDR является (значительно) более светлым, рекламный ролик не обязательно притушивать до яркостных особенностей актера этого фильма; заметим, что некоторые варианты осуществления устройства объединения могут дополнительно принимать решение с использованием эвристики, например, как долго длится темная сцена фильма, например, отмечая прошедшее время, поскольку предыдущая значительно отличающаяся яркость anc или тип, например, сцена в дневном свете, и некоторые варианты осуществления даже могут аннотировать яркости anc дополнительными метаданными, например, anc в начале сцены фильма, имеющей второй элемент данных, указывающий, как долго будет длиться темная сцена, но мы опишем важные моменты рассмотренных здесь вариантов осуществления, исходя из того, что некоторые создатели контента не захотят испытывать трудности создания большого количества аннотаций, и будут просто совершать простое действие выбора где-то в изображении, или другом его представлении, например гистограммы, с помощью указателя, для задания настоящего значения anc, которое затем конечно может в пользовательских интерфейсах показывать, например, демонстрируя все яркости в изображении в диапазоне или вблизи значения anc в красном псевдоцвете, в качестве проверки выбора человеком значения anc).

Таким образом, устройство знает, где хорошая яркость визуализации лица (anc в этом пояснительном примере), в зависимости от особенностей ситуации, фактически должно быть (предположим на момент кавказское лицо со спектральной отражательной способностью, усредненной по длинам волны около 36%, и, конечно, другие типы кожи, например, отражательной способности 5%, попадут, в этом локальном освещении, в соответствующие позиции яркости CombRng). Читатель может не углубляться в дополнительные детали и более легко вникнуть в различные ключевые аспекты исходя из того, что CombRng в настоящем объяснении является именно динамическим диапазоном изображения HDR (Im2_Rng на фиг. 4), и устройство знает, где находится наиболее важная яркость лица, в этом диапазоне. Как объяснено выше, различные альтернативные определения оптимального CombRng могут возникать в различных вариантах осуществления устройства, которые зависят от, по меньшей мере, некоторых из, с одной стороны, характеристик яркости (кодируемого диапазона яркости, контента фактически в диапазоне, и т.д.) входных изображений, насколько они уже известны или поддаются оценке, или, с другой стороны, фактически установленного или предполагаемого использования контента изображения, например, яркостных возможностей дисплея, на котором контент подлежит визуализации в окружении наблюдения (т.е. фактически типичный внешний вид универсальных, средних или проверочных изображений, и конкретных присутствующих изображений). Это уже сложно, поскольку лицам не свойственно иметь один цвет или яркость (не гововря уже о том, что в некоторых фильмах лица могут быть окрашены синим и т.д.). при изучении различных лиц даже в изображениях LDR, можно видеть, что они могут содержать люмы пикселей даже до пределов диапазона LDR в принципе (т.е. в очень контрастном захвате, или градуировке, по меньшей мере, некоторые пиксели более темной части лица близки к нулю, например, в захвате подсветки, и отсечение выделений до 255; иногда, например, с контентом потребителя, можно даже видеть половину лица, отъеденной как отсеченный белый), хотя многие лица имеют меньшие контрастности между обычно освещенным и теневым участком, т.е. являются более нормальными. Здесь можно разделить контент на хорошо освещенные изображения и специально освещенные изображения, например, в полевых съемках реальной жизни (в настоящее время даже включают в себя изображения, сделанные непроффессионалами, например, в новостной программе, и в ночной сцене лица действительно могут быть плохо освещены). Можно сказать, что в таких сложных ситуациях было бы очень хорошо отказываться от точной визуализации или объединения, но, с другой стороны, также можно сказать, что чем более аномален (отклоняясь от практики хорошего захвата) некоторый контент изображения, который является кадром в первом месте, тем больше можно извлечь пользы из его последующей регуляризации, например с использованием подходящего значения anc (например, если оператор в условиях эксплуатации оказывается в неблагоприятной ситуации, например, не может осветить человека, который по той или иной причине должен стоять в более темной части сцены, и получается, что ему приходится пользоваться камерой с меньшими возможностями DR, чем может требоваться для оптимизации несовершенным образом своего кадра изображения, но затем, по меньшей мере, с помощью механизма anc он может быстро аннотировать (экзотические) особенности этого изображения, например, столь же просто, как с помощью стилуса на дисплее своей камеры, или на своем портативном вычислительном устройстве до передачи контента, например, в центр производства ТВ-программ, и т.д.). Предполагается, что с появлением лучших камер и других устройств обработки изображений, например, камер которые могут захватывать темные ночные сцены, как если бы они были дневными сценами, в далеком в будущем сложность обработки изображений (HDR) только увеличится, уже только потому, что в то время будут различные стандарты и уровни производства, например, также некоторые люди, все еще выдающие новостной контент плохого качества с помощью старых мобильных телефонов. Поэтому наилучшим решением было бы создать технологию, которая может приятно обрабатывать все эти ситуации. Например, фильм про бандитов может иметь скудное освещение, например, киношное черное, с контрастными лицами, и сильными выделениями, например, в волосах или на лысом лице. Ток-шоу могут освещаться менее контрастно, иногда с почти незаметными для дилетанта тенями, и можно освещать женщину более привлекательным, более однородным освещением. Следует также заметить, что это, например, не является первоначальным отношением освещенности лица 4:1 (наиболее светлая к самой темной половине лица) в сцене при захвате, что важно, но, напротив, тем, что находится в кодированном изображении (насколько контрастность эталонно проградуирована). Эта контрастность обычно может подвергаться некоторому отображению первичной яркости в люму в камере, и если изображение получено сканированием изображения на пленке или фильма, окончательные контрастности могут зависеть от таких аспектов, как проявка, проталкивание и т.д.

Мы идентифицировали этот аспект как диапазон цветов лиц, например, в пояснительном примере на фиг. 4 цвета лиц в изображении LDR мягко освещены (следовательно, малый диапазон яркостей R_f), и лицо в изображении HDR были более грубо освещены поскольку это был, например, фильм ужасов, приводящий к большему диапазону R_f2; например, человек может идти по коридору, освещенному редкими точечными источниками света, что делает его лицо то более темным, то более светлым, вокруг некоторого среднего значения). Также имеет значение, как, геометрически, освещается лицо. При наличии, например, малого белого пятна на лысой голове и неправильном, слишком светлом, смешивании этого изображения с другим фильмом HDR в CombRng, можно услышать замечание, что оно выглядит, как лампа, торчащая из головы (и у зрителя может возникнуть ложное впечатление, когда такой человек быстро промелькивает через изображение, и потенциально он теряет часть истории, или, по меньшей мере, отвлекается на неправильную часть изображения). Но малое пятно размером в пару пикселей не обязательно является основной проблемой. Обычно это можно игнорировать для определения типичного цвета лица. При визуализации на дисплеях с HDR, может показаться, что человек освещается чрезвычайно светлой лампой, но, по меньшей мере, пятно мало (например, пара пикселей). Если то же происходит со всем его носом, его глазами, или всей половинной его лица, это может приводить в еще большее замешательство.

Поэтому благодаря способности указывать яркость лица (например, L_SA1 в первой, например, изображении LDR) в контенте, создатель также может легко и быстро указывать, не только, где находится яркость лица, но и, потенциально, тип распределения яркости. Например, при наличии лишь малого выделения в его волосах, он может использовать среднее более темных пикселей фактического лица как L_SA1, и некоторые пиксели, визуализируемые более светлыми, будут выглядеть хорошо. Если, с другой стороны половина (или более половины) лица сильно освещена, он может использовать это среднее или другое характерное значение яркости как L_SA1, и затем остаток будет визуализироваться более темным, и это будет обычно лучшим способом объединения, с каким бы контентом это лицо ни объединялось. В этом случае создатель все же может указывать посредством дополнительных метаданных, что лицо является фактически атипично ярко освещенным лицом, например, на X пунктов выше нормального освещения. Такая информация может выгодно использоваться устройством объединения для определения, с какой яркостью (выше или ниже позиции anc в CombRng) это лицо должно затем (приблизительно) визуализироваться. Нормальное освещение кавказского (белого) лица можно брать из спектра отражения, который в среднем по длинам волны дает отражательную способность 36%. Поэтому на один пункт выше 18% среднего серого (что делает их соотносимыми значениями). Как сказано выше, в классической структуре LDR, этот средний серый также будет визуализироваться приблизительно на 18% пиковой светлоты дисплея, например, 12%. Конечно, другие расы должны визуализироваться немного более темными в зависимости от их типа кожи, поскольку в противном случае может быть трудно фактически определять тип кожи актера в фильме тем, кто может пожелать этого, что может вводить в замешательство. Например, черная кожа может отражать примерно 5%, т.е. быть на 3 пункта более темной, чем типичная кавказская. Что касается визуализации, можно визуализировать лицо несколько более светлым в диапазоне LDR, чем 36% пиковой светлоты, равной 100 нит, чтобы иметь приятно ʺосвещенные солнцемʺ лица. Например, создатель изображения может указывать в первой поле метаданных код люмы ʺсреднейʺ или опорной яркости (посредством EOTF люмы можно вычислять в абсолютные яркости) этого объекта лица, например, 853, или 80% в нормализованном кодировании люм, и он может указывать во втором поле, что это яркость лица типа ʺ2SBʺ, в том смысле, что оно освещается на два пункта светлее, чем остальные места в сцене и ее изображении, и т.д. Читатель понимает, что того же можно добиться другими механизмами кодирования, например, можно также кодировать вторую точку якоря L_S2A1pkS, которая является на k пунктов более светлой яркостью, все еще содержащей цвет лица (например, самый светлый, или 95-процентный, или самый светлый по-прежнему в лице, а не в выделении волос), и третью точку якоря L_S2A1mkS, указывающую некоторый более темный конец этого лица в этом изображении HDR или кадре изображений видеосигнала. Поэтому точки якоря различных типов могут указываться стандартно понимаемым образом (в соответствии с различными стандартами, реализующими систему), например, либо набором перечисленных типов, например, ʺFace36ʺ, ʺFace18ʺ, ʺFace72ʺ, ʺFace5ʺ, ʺMiddleDimGreyʺ, ʺMiddleBlackʺ, ʺMiddleDeepBlackʺ, либо может использоваться иерархическая, последовательная аннотация данных, например ʺлицоʺ+ʺна 1 пункт вышеʺ+ʺтусклыйʺ (в котором лицо означает отражение 36% среднего количества света, присутствующего в этой части изображения с конкретной разновидностью освещения, и более важно, конкретным поддиапазоном динамического диапазона дисплея, подлежащего использованию для визуализации этих пикселей, для придания правильно визуализируемой сцене внешнего вида: ʺтусклыйʺ будет средними светлыми цветами, которые, например, обычно визуализируются, на большинстве или всех дисплеях, в диапазоне 10-100 нит, ниже которого должен существовать, по меньшей мере, один участок черных цветов, и, предпочтительно, участок ʺчерных цветовʺ, который освещен чуть хуже, т.е. тусклое освещение до 10 раз более слабое (обычно яркости 1-10 нит), и участок глубоких черных цветов, до 1/100 нормального, тусклого освещения (т.е. с яркостями от 0,x до 1 нит), что обычно будет использоваться в визуализации художественной сцены HDR, например, для глубоких призрачных декораций, которые можно видеть в замке, когда герой идет по нему лишь со свечей. Выше тусклого освещения нужно иметь возможность получать уже хорошие результаты, обеспечивать приятно управляемые высококачественные декорации HDR, при добавлении участка для ʺсветлых цветовʺ (где будет визуализировано солнечное внешнее пространство, например, приблизительно 10-кратно для просмотра TV, где в реальных сценах оно будет в 100 раз лучше освещено, т.е. с яркостями 100-1000 нит), и одного для ʺультрасветлыхʺ, где можно визуализировать, например, лампы, взрывы и т.д., т.е. эффекты, для которых интересно иметь современные дисплеи с HDR, с более высоким поддиапазоном, например, 1000-10000 нит. Управление, будь то для настройки дисплея (для окончательного перекрытия промежутка между кодированием изображения на основе сцены и на основе дисплея, путем, после абсолютного кодирования структуры изображения, повторного введения некоторого правильного уровня относительности дисплея), или, как в этой заявке, для правильного объединения изображений, что позволяет точно дифференцировать управление в 5 сценах, должно быть достаточным. Фактически, если производить исследование типов сцены HDR, которые существуют в реальной жизни или которые могут создать художники, то часто видны два изображения участка, например, магазин ночью на фиг. 16c (одно однородно освещенное изображение участка, конечно, обычно кодируемо в SDR), и это уже несколько менее вероятно столкнуться с изображениями трех участков, как на фиг. 16b, и когда требуется полная мощность 5 разных режимов освещения, создается реально сложная сцена HDR (возможно, в некоторых фильмах появляющаяся только в начале в качестве рекламного ролика, демонстрирующего окончательные возможности HDR). Но теперь читателю будет понятно, что наши принципы не ограничиваются менее или более сложными вариантами осуществления. Если градуировщик контента указывает одно-единственное значение anc, уже возможно гармонизировать контент различных изображений с этим значением anc. Это обычно будет происходить при наличии одного-единственного критичного объекта в изображении, например, единственного актера или ведущего (но, как сказано, хотя этот актер, даже при очень контрастном освещении, будет иметь одно-единственное типичное освещение и яркость, теоретически может принимать значения между 0 нит и PB_C). Если для типа якоря не требуется ничего особенного, предполагается, что устройство объединения будут работать с нормальным якорем, связанным со средним значением серого, и нормальной яркости визуализации, обычно ʺтусклойʺ. Поэтому создатели контента, аннотирующие только 1 значение anc, обычно используют иллюстративное значение для средней позиции серого (в локальном освещении этой области сцены и ее изображения) своего актера, например, в двухрежимной гистограмме он находится на солнце, и затем аннотируют тип, например, как ʺсветлыйʺ, таким образом, что даже с этим малым объемом информации устройство объединения может приятно определять, что делать (например, в случае, когда фильм не должен слишком сильно нарушаться, может приниматься решение для визуализации ʺсветлогоʺ актера в рекламном ролике как тусклого PIP внутри фильма в любом случае, или все же создавая впечатление светлоты, можно визуализировать светлого актера несколько выше тусклого уровня, например, на (светлый+тусклый)/2, например, с (30+300)/2 нит; если стандарт позволяет передавать дополнительные метаданные, и эти метаданные заполнены, создатели контента, например, рекламного ролика, могут указывать, что они не хотят слишком сильно отклоняться от своей предпочтительной ʺсветлойʺ визуализации, но с другой стороны по различным причинам устройства могут игнорировать это, например, потому, что конечный зритель указал с помощью UI, что он хочет смотреть фильм, т.е. предпочтение должно отдаваться снижению ошибок помехи светлого вставленного контента в гистограмме фильма).

Конечно, если градуировщик аннотирует дополнительные значения anc, он может, например, задавать свои ʺглубокие темныеʺ, и затем устройство объединения может учитывать это в своем окончательном объединении, подготовлены ли уже для плохо окончательно визуализируемых черных участков в светлом окружении наблюдения (т.е. когда объединение все еще осуществляется в теоретически совершенной структуре идеальной системы визуализации до отображения настройки в реальную систему).

Таким образом, на основе яркости (anc) якоря, указывающей, куда приблизительно поместить цвет лица (для простоты объяснения этого варианта осуществления предполагается, что цвета HDR лиц, уже находящиеся на этом уровне яркости, так что получение цветов лиц из изображения HDR является тривиальной задачей, не требующей сложных соображений по отображению яркости), и способа идентификации местоположения, по меньшей мере, основного цвета лица в изображении LDR (яркости исходного якоря L_SA1), устройство можем относительно просто размещать все цвета лиц обоих изображений, правильно объединенных в изображении объединения, в качестве выходного изображения. И даже для простейших вариантов осуществления окружающие цвета (лица, с которого нужно начинать) и все остальные цвета изображения попадут относительно хорошо автоматически в окрестности этой яркости (anc) якоря. Философия для других цветов также относительно проста, поскольку не требует более детальной проработки для этих технических сценариев визуализация. Если все остальные цвета попали в диапазон 2-2,5 пунктов вокруг среднего серого (например, белый обычно на 90% или в 5 раз светлее в линейной яркости) это даст хорошее изображение. Отпечатки часто не могут получать участки очень глубокого черного, и также практическое телевидение LDR обычно ограничивалось 32:1 (пиковый белый против глубочайшего все же приемлемо различимые черные участки), ввиду отражения света от переднего стекла TV. 5 пунктов контента объекта изображения, означает, что, убедившись в том, что более темные цвета и, в частности, важные черные участки, находятся в 2-2,5 пунктах от среднего серого, можно заключить, что более темная сторона хорошо освещенной сцены LDR также имеет приемлемую яркость. Все это, в принципе не означает ничего большего в обработке изображения HDR, в частности, для компоновки и визуализации, следовательно, требуется усовершенствованный механизм, и, в частности, ввиду сложности (изображения могут содержать все, что угодно), некоторое руководство со строны человека того, что семантически релевантно, и, таким образом, того, что будет хорошим объединением. Более сложные варианты осуществления позволяют лучше координировать выборы, как можно правильно располагать яркости других объектов вокруг основного объекта, расположенного яркостью якоря anc, которым в этом простом для понимания примере является лицо. Можно аннотировать, например, точку якоря как предел диапазона, и т.д. Во избежание сомнений, под видеосигналом, мы подразумеваем просто временную последовательность изображений, и не ограничиваемся конкретной стратегией, подлежащей аналогичному применению для всего фильма, но, напротив, может применяться только к части этого фильма, например, кадру изображений той же сцены (т.е., например, CombRng может различаться в разные моменты времени, конечно, если затем объединяется новый рекламный ролик с другими характеристиками яркости объекта). Поскольку большинство характеристик вариантов осуществления нашего изобретения будут аналогичны, по меньшей мере, для пространственных объединений, используются ли неподвижные изображения или видеозаписи, во избежание утомительных менее читаемых формулировок, можно использовать в случаях, когда различение не требуется ни одним из двух вариантов осуществления, видеосигнала или изображения, в пояснении, и читатель должен понять, что он также может читать другой. Определение функции, которая отображает первую яркость (исходного якоря) во вторую яркость (якорь anc диапазона объединения), должно быть достаточно очевидно читателю для различных вариантов осуществления. Как сказано, можно, например, построить простой блок цветового преобразования устройства объединения, чтобы двухчастная линейная функция поднимала конкретную входную яркость (исходного изображения) от диагонали до необходимой позиции, и затем соединяла линии с максимумом и минимумом входного и выходного диапазона (0, и [PB_C_image_1; LMC]), но при наличии функции конкретной формы для повторной обработки яркостей изображений, чтобы они были более подходящими для разных динамических диапазонов или светлот и т.д., можно также, например, линейно масштабировать эту функцию таким образом, чтобы точка на ней для ancS попадала на выходное значение anc на оси y. Также должно быть ясно, как можно построить аналогичные системы, которые не нуждаются в использовании точного совмещения якорей, но работают с ним (не слишком большим) вблизи этого значения anc. Пригодная близость может устанавливаться как любое объединение между тем, что создатель контента мог указать в метаданных источника (например, этот якорь может быть визуализирован с отклонением 20% его точного значения) и что устройство объединения может принимать решение в зависимости от ситуации (как сказано, хотя, например, лицо в рекламном ролике может в простом вычислении выходить из вычисления для визуализации, например, на 150 нит, устройство объединения может, согласно различным правилам программы, принимать решение несколько отклоняться он него, например, может принимать решение, что PIP, которые желают располагаться в очень важной центральной позиции изображения, нужно несколько осветлить, например, настолько, чтобы устройство объединения, которое может быть только устройством, имеющим всю информацию всех частей изображения, подлежащих объединению, и, возможно, даже системы визуализации и окружения, на которой должно отображаться объединенное изображение, принимало решение быть оптимальным или приемлемым для настоящего полного представления контента объединенного изображения). Если дополнительно ничего не задано, прагматически приемлемая близость может быть в 2 раза ниже или выше идеальной позиции якоря.

Наконец, следует также заметить, что поскольку варианты осуществления заявителя могут работать с функциями, указывающими окончательный вид изображений, в различных вариантах осуществления не обязательно, чтобы фактическое устройство (например, устройство объединения) фактически создавало объединенное изображение. Например, если устройством объединения является STB, оно может отправлять уже полностью оптимально объединенное изображение на TV, например, кодированный HDR10 по HDMI, если этого стандарта достаточно для того, что требуется для этого изображения, и затем TV визуализирует его непосредственно как немой дисплей. Но STB может также просто определять и подготавливать ситуацию, и затем отправлять все необходимые данные: по меньшей мере, некоторые данные изображения, и некоторые преобразования (которые, став оптимальными преобразованиями FF для вычисления объединенного изображение, должны быть достаточными, но некоторые другие варианты осуществления также должны отправлять значения якоря, возможно даже дополнительные значения яркости якоря, определенные STB, на TV). В этом случае TV имеют всю информацию для уникального осуществления объединения, т.е. в объединении PIP он будет не только осуществлять выбор пикселей, но и применять FF_1 к принятым соответствующим пикселям изображения SDR до их сохранения в буфере объединенного изображения, и FF_2 к яркостям пикселей изображения HDR, для получения правильных яркостей этих пикселей в объединенном изображении. Простейшие варианты осуществления устройства объединения могут определять только одну хорошую позицию якоря. Например, в зависимости от того, что показывает TV, как он настроен (например, пользовательским управлением светлотой) и т.д., он может только определять среднее значение серого якоря тусклого света, которое должно при настоящем условии визуализировать приятно выглядящие изображения, например, anc_1D=30 нит. Конечно это не обеспечит наилучшее управление объединением изображений, но если первый контент указывает своим якорем (например, средним значением яркости черного), что действие происходит темной ночью, и второй контент указывает, что это светлый и вульгарный рекламный ролик, этот простой вариант осуществления устройства объединения уже должен быть способен весьма приемлемо гармонизировать оба изображения вокруг его значения anc_1D. Конечно, лучшие более сложные варианты осуществления устройства объединения будут определять, что было бы хорошей ситуацией объединения для нескольких разновидностей контента, и иметь заданные оптимальные значения anc для 5 вышеупомянутых значений anc типов яркости (от глубокого черного до ультасветлого). Тогда устройство будет способно мощно гармонизировать любой входящий контент, на основе его типа указанной ситуации или эффектов HDR, проверяя его исходные значения anc (и потенциально дополнительные метаданные, например, функции переградуировки, например, указывающие, как, при необходимости, черные участки можно сделать серыми), в эти разные поддиапазоны освещения CombRng, в любой ситуации (например, если объединение выполнено или подготовлено для предполагаемой дополнительной обработки, например, системы визуализации, которая имеет низкие светлые цвета, например, недостаточную пиковую светлоту дисплея, чтобы выразительно визуализировать ультра светлые, достаточно более светлые, чем светлые цвета, и в этом случае объединение может склоняться к некоторой форме оконтуривания для наиболее светлых пикселей изображения; что само по себе не было бы наилучшим теоретическим объединением цветов пикселей изображения, но хорошим объединением для таких систем более низкого качества). Поэтому яркость якоря в диапазоне объединения обычно определяется как, по меньшей мере, одна хорошая яркость для определения других яркостей вокруг нее, и определяется устройством объединения (на основе общих потребностей визуализации изображения хорошего качества и/или особенностей фактического или предполагаемого контента и/или возможностей дисплея), и якоря источника производят аналогичные действия в динамическом диапазоне исходного изображения, и обычно определяются согласно тому, что создатель считает важным для своих изображений, т.е., по меньшей мере, какие конкретные важные объекты и участки пикселей вокруг него (по меньшей мере, на основе яркости) должны быть визуализированы и используемы под хорошим управлением, согласно различным возможным сценариям использования, в частности, объединениям изображений. Можно понять, как задавать подходящую яркость якоря для конкретного объекта, т.е. пространственной и временной подчасти изображений, и должно быть ясно, что якоря может потребоваться переопределить, когда фильм сменяется новым (кадром) изображением(ями), из другой сцены, например, первая сцена происходит в гостиной дома при дневном освещении в дождливый день, и следующая сцена - в подвале, освещенном одним-единственным источником света, а именно, лампой в середине подвала (обе сцены будут иметь аналогичные объекты, которые могут указываться якорем, например, рубашкой актера, но, конечно, будут иметь разные градуированные яркости в эталонных изображениях, и нуждаются в разной визуализации в окончательных изображениях MDR для изменяющихся дисплеев).

Выгодно, когда блок (310) цветового преобразования выполнен с возможностью определения цветового преобразования (FF_1), таким образом, что выходная яркость (LF1_o), определенная в результате применения цветового преобразования (FF_1) ко входной яркости цвета пикселя первого изображения или видеозаписи (Im1_LDR), равной, по меньшей мере, одной яркости (L_SA1) исходного якоря, равна яркости (anc) якоря. Поэтому один способ координации яркостей по меньшей мере, двух изображений (или видеозаписей), подлежащих объединению, состоит в формулировании стратегии объединения таким образом, что выбранные яркости якорей для всех изображений одинаковы, и заданы равными значению подходящей яркости (anc) якоря в динамическом диапазоне объединения выходного изображения (Im_o), в котором предполагается окончательное объединение изображений (например, PIP или альфа-смешивание). Специалист в данной области техники понимает, как устройство может вычислять функцию, обладающую свойством: FF_1(L_i=L_SA1)=anc, и затем отображение для всех яркостей вокруг anc, соответственно, L_SA1. В частности, поскольку можно работать в цветовом пространстве линейной яркости (и разумные выборы, касающиеся размещения яркости объекта на оси яркости, уже, по большей части, сделаны декодером 251, работающим на, по меньшей мере, одном из изображений, поскольку создатель контента создал особенности разных градуированных изображений для динамического диапазона их изображений, и соответствующие функции переградуировки преобразования яркости, если передаются), часто можно использовать только линейное отображение (или иногда простую нелинейность в неравномерно распределенные контрастности, например, гамма-функцию). Как пояснено со ссылкой на фиг. 18a, можно понять, как нужно (с линейным коэффициентом затемнения) снижать яркости согласно входному кодированию изображения с тем же коэффициентом для более темных изображений, и происходит аналогичное несколько другое отображение в входные яркости изображений, более светлые, чем исходный якорь L_SA1.

В случае линейной функции, легко понять, что функцию можно определить (например, в системе координат, нормализованной к 1,0, где по оси x отложена линейная входная яркость, например, изображения LDR, и по оси y - нормализованная яркость в CombRng), а именно, как L_out=FF_1(L_in)=C*(L-L_SA1)+anc. C - постоянная контрастности, которую устройство может дополнительно оптимизировать, чтобы сделать два изображения более гармоничными. Можно определить, на основе семантики двух изображений, например, гистограммы, и пространственно-яркостного распределения (например, малые формы в верхней части изображения, то есть лампы, и т.д.), соотношения средней светлоты изображений, и т.д. Например, если фильм HDR состоит, в основном, из темного подвала, в котором человек идет в тенях, причем часть высокой светлоты состоит только из одной лампы, то релевантные контрастности (большей части изображения HDR) не будут очень высокое. Поэтому, если требуется объединение с очень контрастным рекламным роликом LDR, может потребоваться несколько снизить контрастность этого рекламного ролика, для большего согласования с более низкими контрастностями, которые воспринимает зрительная система и, следовательно, ожидает в темных окружениях (например, можно ограничивать наиболее светлую часть рекламного ролика LDR, путем применения слабо наклоненную часть FF_1 для этих наиболее светлых относительных цветов, какую бы семантику они ни содержали, будь то освещенные солнцем объекты внешнего пространства или пиксели лампы, как на фиг. 18c. С другой стороны, увеличение C несколько выше 1 может помогать увеличивать заметность рекламного ролика, даже если не показана максимальной или HDR-средней светлотой в фильме HDR, который является очень контрастным (т.е. можно управлять контрастностями в локальном поддиапазоне e HDR CombRng, которому все возможные яркости изображений SDR будут выделены, и т.д.). Конечно, читатель понимает, что устройство может также совершать другие преобразования FF яркости (цвета), например, функцию, которая имеет относительно высокую контрастность чуть ниже точки (L_SA1, anc), но затем начинает уменьшать свой наклон, выравниваясь на некоторых пороговых черных участках L_out=L_b, и т.д. Фактически, в принципе, любая функция можно определяться устройством объединения, при условии, что она приблизительно отображает яркость исходного якоря в яркость якоря, но обычно результирующие функции будут относительно простыми (и, например, кусочно-линейная функция обычно дает хорошие результаты, по меньшей мере, на меньше критичных изображениях HDR сцены), либо пока сторона создания не передала особенности для следования устройством объединения, например, формы частичных функций отображения яркости для переградуировки различных поддиапазонов яркости, либо вариант осуществления устройства объединения имеет значительные блоки внутреннего анализа изображения, которые позволяют ей предлагать более красиво выглядящие объединения (путем идентификации и оптимизации различных межпиксельных, или межучастковых контрастностей, качество визуализации текстуры, и т.д.).

Преимущественно, блок (310) цветового преобразования выполнен с возможностью определения цветового преобразования (FF_1), таким образом, что отношение второй выходной яркости (LT2_o), которая определяется в результате применения цветового преобразования (FF_1) ко второй входной яркости (LT1_i), к выходной яркости (LF1_o), в постоянное число (C) раз больше отношения второй входной яркости (LT1_i) к яркости (L_SA1) исходного якоря. Как сказано выше, более простые варианты осуществления могут определять фиксированное значение C для всего (частичного) диапазона яркости (входной яркости изображения, подлежащей обработке), но можно также сделать C переменной функцией входной яркости L_i (C=CF(L_i)). Частичные диапазоны яркости могут задаваться устройством объединения (опять же, либо согласно принятым дополнительным метаданным, либо самостоятельно) тем или иным образом, например, можно определить протяженность основного столбика гистограммы, или можно определить диапазон яркостей в изображении LDR между ancS/k и k*ancS, где k, например, равен 4, и остальные яркости LDR отображаются согласно двум пунктирным частичным функциям фиг. 18c, и т.д. В порядке примера более переменных функций FF, можно увеличивать контрастность наиболее светлых частей изображения LDR (выше постоянного L_it, например, как процентиль гистограммы и т.д.), в случае, когда важна информация (например, сильно освещенные лица), но, альтернативно, можно также уменьшать контрастность для этого светлого участка в случае, если это только менее релевантная информация выше основного действия, таким образом, что, например, устройство может несколько увеличивать среднюю яркость первой смеси, например, изображения LDR (например, путем отображения в anc+d_anc), но не доминировать над фильмом HDR слишком светло визуализированными выделениями в изображении LDR с отображением яркости в CombRng. Это позволяет, помимо прочего, делать яркости более соответствующими предполагаемому человеком - вычисленному распределению светлоты. Поэтому LT2_o можно выбирать, например, как некоторый процент над LF1_o (например, равным anc), например 150% LF1_o, или на k пунктов выше LF1_o, и затем задавать C1 для этого интервала яркости, и т.д. Разумная адаптация такого (по меньшей мере, одного или более) подучастка обычно менее важного одного из изображений (например, рекламного ролика SDR) позволяет значительно улучшить гармоничный вид полного объединения.

Преимущественно, блок (310) цветового преобразования содержит блок (312) определения отклонения, выполненный с возможностью определения, на основе, по меньшей мере, одной яркости (L_SA1) исходного якоря, смещения (d_anc) яркости, и при этом блок цветового преобразования выполнен с возможностью определения цветового преобразования (FF_1), таким образом, что выходная яркость (LF1_o), определенная в результате применения цветового преобразования (FF_1) ко входной яркости цвета пикселя первого изображения или видеозаписи (Im1_LDR), равной, по меньшей мере, одной яркости (L_SA1) исходного якоря, равна яркости (anc) якоря плюс смещение (d_anc) яркости. Как сказано, могут существовать значительные различия между такими связанными с яркостью объекта аспектами, как, например, освещением лица (например, очень контрастным), и отношение яркости лица к остальному изображению. Поэтому устройство может принимать решение, более целесообразно не визуализировать лицо LDR (или объект первого якоря изображения любого динамического диапазона, или участка и соответствующего поддиапазона яркостей) с в точности выходной яркостью anc, но, вместо этого, например, в 2 раза более светлым. Это можно, помимо прочего, определять на основе типа освещения лица (который, например, обычно указывается посредством кодификации типа якоря), например, если яркость (L_SA1) исходного якоря определяется как средняя яркость очень ярко освещенной половины лица, и лицо подлежит визуализации в окончательном изображении с большим размером, то устройство может принимать решение для определения отрицательного d_anc, например 50%. Эвристические соображения, лежащие в основе этих правил программы и математика может рассматривать, например, что светлые участки могут затмевать окружающие более темные участки, или быть слишком заметными и привлекающими внимание, или просто раздражающе светлыми по сравнению с остальным изображением, которое может быть основным контентом, который смотрел зритель, например фильм, и т.д. Соображения также могут оценивать состав светлоты изображения фильма HDR. Например, это изображение может состоять из темного участка внутреннего пространства и более светлого участка внешнего пространства, наблюдаемого через открытую дверь гаража. Если PIP относительно более светлого рекламного ролика LDR предполагается разместить в темной части, его следует затемнить (т.е. относительно большой d_anc, например, чтобы сделать так, чтобы средняя яркость лица в LDR, или яркости дополнительных якорей, характеризующие изображение LDR, взвешенная в единой иллюстративной яркости для изображения LDR, посередине между anc и локальной средней яркостью этого темного участка второго, изображения фильма HDR), имела контрастность между двумя изображениями, и локальные контрастности, наблюдаемые оттуда мозгом в соседних объектах этих двух изображений, не были чрезмерными. Но если светлый PIP подлежит представлению вблизи части солнечного внешнего пространства фильма HDR, его даже может потребоваться осветлить с положительным d_anc. Поэтому, в общем случае, эти отклонения d_anc будут вычисляться на основе идеального объединения (например, двух лиц), которая была бы в идеальной ситуации (например, если бы лица были окружены в обоих изображениях средним серым фоном), и фактической ситуации, по меньшей мере, основного изображения (т.е. в этом примере фильма HDR, в который вставлен рекламный ролик LDR), как глобально (т.е. какие виды объектов она содержит, со средней яркостью, и размером, и, потенциально, дополнительными семантическими характеристиками, например, внутренней сложности с мерой текстуры и т.д.), так и локально в том месте, где образовалась композиция (например, в PIP малого размера X,Y). Поэтому смещения будут определяться, в общем случае, на основе того, что гармонично для двух изображений, и в различных вариантах осуществления того, что будет зависеть от особенностей самих изображений (контрастностей, типа исходной позиции якоря и контента объекта в этой близости, и контента за пределами этой близости, геометрического размера и т.д.), и объединения (например, располагается ли PIP в малом менее критичном месте в нижней правой части изображения, или как смесь будет просвечивать через частичную информацию в смеси смешивания и т.д.). Более простые варианты осуществления будут только использовать относительно простую структуру гармонизации, которая сама по себе не так плоха (в особенности, если значение anc+d_anc можно оптимизировать для снижения, например, риска чрезмерной контрастности, если это определено для рекламного ролика), но более совершенные объединения могут смотреть более точно, где и как в точности располагается информация второго изображения, или даже дополнительные свойства объединения.

Преимущественно, блок (310) цветового преобразования выполнен с возможностью считывания, по меньшей мере, одной яркости (L_S2A1) второго исходного якоря, полученной из второго источника (351), который доставляет второе изображение или видеозапись (Im1_HDR) из двух изображений или видеозаписей, и при этом блок (312) определения отклонения выполнен с возможностью определения смещения (d_anc) яркости также на основе, по меньшей мере, одной яркости (L_S2A1) второго исходного якоря. Выше мы описали простой вариант осуществления, в котором структура яркости основного изображения (которое мы называем изображением 2 в нашей формулировке пункта формулы изобретения) имеет известную структуру яркости, и, таким образом, легко преобразовать и формировать базовую ссылку в CombRng. Это полезный способ объединения в случае, когда изображение HDR является ведущим изображением, которое будет минимально искажаться, следовательно, это, по большей части, вторичный контент, который преобразуется к нему. Это может происходить, например, если известно, что изображение HDR относится к типу, создаваемому чтобы гарантировать, что все ламбертовы отражающие объекты (например, в студии для проведения ток-шоу) имеют заданную яркость, которая всегда попадает в строго заданный диапазон 0-400 нит динамического диапазона Im2_Rng для Im_HDR (и который соответствуют, например, диапазону 0-300 нит в CombRng, или тому же диапазону 0-400 в CombRng), и все, что выше, являются, по большей части, выделениями, например, малыми зеркальными отражениями на металлах. В этом сценарии, имеется конкретная разновидность сцены HDR, в которой нижняя часть создается по большей части аналогично производству телевидению LDR, и эффекты HDR являются, по большей части, источниками света, для которого не слишком критична их точная яркость (и не являются, например, объектами через окно, которое не только отчетливо наблюдаются, но эти объекты внешнего пространства, возможно, даже должны иметь конкретные яркости для передачи некоторого художественного настроения). В этом случае, задача, по большей части, состоит в координации рекламного ролика LDR с ситуацией освещения ток-шоу HDR, по большей части, часть до 400 нит, и скоординированная также до некоторой степени с тем, что именно находится в светлых участках (например, можно использовать вышеупомянутый механизм контрастности с мультипликативными постоянными C, или любое общее определение и применение функции отображения яркости, для осветления малых участков выделения (идентифицированных или предполагаемых) в рекламном ролике LDR, чтобы больше соответствовать яркостям этих выделений, фактически присутствующих в ток-шоу HDR).

Но, в общем случае, контент HDR может быть любым. Например, его лица могут не освещаться до приблизительно 25% 400 нит строго, но попадают на всю ось яркости, если актер бежит, например, по темному коридору в шахте с редко расположенными лампами. Таким образом, выгодно, если каждый создатель контента аннотирует свой контент таким образом, что также изображение HDR будет указывать, где одно или более из его лиц попадают на его оси яркости, с, по меньшей мере, одной яркостью (L_S2A1) второго исходного якоря. Затем более определенно, что оба изображения будут гармонировать в своем окончательном объединении, поскольку устройство может, путем считывания L_S2A1, проверять, где находятся яркости лиц во втором изображении HDR (см. соответствующий пояснительный пример на фиг. 4). Затем изображение HDR может оптимально преобразовываться для наилучшей окончательной ситуации объединения (в частности, CombRng), например, с учетом того, что, наиболее вероятно, в фильме будет показано внешнее пространство вместо темного окружения и т.д. Например, функция FF может модулировать другое освещение лиц в меньшей степени, в частности, если, например, ситуация наблюдения будет такой, что визуализация текстуры темного объекта будет ухудшаться по сравнению с оптимальный кинематографическим просмотром фильма.

Также преимущественно, если блок цветового преобразования выполнен с возможностью установления цветового преобразования (FF_1) применительно к первому изображению или видеозаписи также в зависимости от первых функций (F1_L) повторного отображения цвета, которые задают изменение распределения яркости объектов в первом изображении или видеозаписи (Im1_LDR) для отображения этого первого изображения или видеозаписи из динамического диапазона, связанного с кодированием первого изображения или видеозаписи, в динамический диапазон, который отличается от пиковой светлоты, по меньшей мере, в 2 раза, или блок цветового преобразования выполнен с возможностью установления цветового преобразования (FF_2) применительно ко второму изображению или видеозаписи также в зависимости от вторых функций (F2_L) повторного отображения цвета, которые задают изменение распределения яркости объектов во втором изображении или видеозаписи (Im2_HDR) для отображения этого второго изображения или видеозаписи из динамического диапазона, связанного с кодированием второго изображения или видеозаписи, в динамический диапазон, который отличается от пиковой светлоты, по меньшей мере, в 2 раза. Как объяснено выше, в нашей базовой структуре кодирования видеосигнала или изображения HDR мы указываем с передаваемыми функциями цветового преобразования (по меньшей мере, задающими преобразование яркости, но иногда также необходимое преобразование насыщенности, например, для увеличения насыщенности объектов, которые необходимо затемнять в виде LDR, чтобы они оставались достаточно живо выглядящими; функции, указывающие вид для динамических диапазонов, которые отличаются, обычно, по меньшей мере, в 2 раза в PB_C, например, как преобразовывать одну экстремальную или среднюю градуировку, например, PB_C 5000 нит в другую, например, PB_C 100 нит), как распределение яркости объектов должно изменяться (что является, в общем случае, сложной оптимизацией к более низким возможностям дисплея или кодека с меньшим PB, с учетом семантических особенностей сцены HDR) при переходе от более высокого динамического диапазона к более низкому (или наоборот). Т.е. при преобразовании из эталонного градуированного изображения HDR 5000 нит, например, в изображение 100 нит, или некоторое изображение среднего динамического диапазона между ними, например, оптимальное для возбуждения дисплея 1200 нит. Обычно создатель может определять, как бы он хотел изменять вид, например, постепенно затемнять выделения и темные участки.

Мощность структуры объединения состоит в том, что может приниматься решение, как формулировать новый вид функций, которые отображают не в динамический диапазон другой (единственной) оптимальной визуализации, но в динамический диапазон объединения, в зависимости от, помимо прочего, как именно желательно управлять колориметрией объединения (которая сама может зависеть от различных внешних настроек параметров, причем параметры количественно выражают, помимо прочего, желание создателя, владельца или распространителя контента, зрителя, если он пытается внимательно смотреть фильм, например, или даже производителя дисплея). Конечно, объединения полного вида могут изменяться в зависимости от конкретного объединения и того, что в ней, но это не означает, что функции переградуировки сами по себе не содержат интересных потребностей или желаемых переградуировки (будь то в наиболее светлом поддиапазоне, например, выше 20% люм, существуют облака, требующие аккуратной переградуировки, или менее важные объекты), которым также устройство объединения может хотеть до некоторой степени следовать.

Теперь, если вышеупомянутый простые линейные функции FF используются для отображения входных яркостей изображений вокруг яркости якоря anc, детали F_L могут не требоваться. Но более сложные отображения могут изменяться на линейной стратегии, и, в частности, делать это согласно тому, что неявно требуется создателем контента в функциях F_L для этого конкретного изображения этой конкретной сцены HDR, в этом поддиапазоне яркостей. Например, если создатель хочет, чтобы более темные яркости быстро исчезали в черный, блок (310) цветового преобразования может учитывать это при определении оптимальной функции FF, например, он может растягивать некоторую из контрастности для более светлых участков (например, вокруг цвета лица anc) путем более быстрого отсечения до черного большего процента яркостей LDR, чем делала бы линейная функция. Поэтому устройство может оценивать функциональную форму, по меньшей мере, функции преобразования яркости набора функций F_L (которые для простоты понимания читателем можно предположить только одной функцией произвольной формы, отображающей нормализованные к 1,0 входные яркости в нормализованные к 1,0 выходные яркости), и использовать часть этой формы для разработки формы окончательной функции для отображения в CombRng. Следует отметить, что в таких функциях могут задаваться различные желаемые для переградуировки частей изображения, либо сами по себе, либо в связи с другими возможными яркостями в других частях других изображений, и т.д. Например можно задавать для геометрических изображений участка, что яркости, присутствующие там, не следует, например, чрезмерно усиливать, даже если, например, в остатке этого изображения являются пикселями с одной и той же яркостью, которую можно усиливать в большей степени. Любая такая форма частичной функции, в принципе, может быть указана (например, предыдущие варианты осуществления, разработанные заявителем, позволяют указывать поднабор пикселей в изображении, удовлетворяющий свойству попадания в конкретный геометрический участок, например, прямоугольник, и иметь яркости между L_min и L_max, и затем можно задавать желаемое поведение частичной функции отображения, например, для яркостей на этом участке, например, изображения HDR, которые попадают между L_min+k и L_max-l, с постоянными k и l. Например, можно задавать единственную или параметризованную возрастающую функцию для этих яркостей L_out=B*L_in+O, где B и O могут быть функцией различных свойств, например LMC, или среднего яркостей объединенного выходного изображения, окружающего прямоугольник, в котором располагаются данные из изображения HDR, и т.д. Любое поведение разделенной переградуировки может указываться в функциональных спецификациях до окончательного объединения, или даже разрушаться после создания объединенного изображения (для, по меньшей мере, части полного контента, подлежащего объединению).

Выгодно, если блок (302) установления динамического диапазона выполнен с возможностью установления динамического диапазона (CombRng) яркости объединения в зависимости от яркостей в, по меньшей мере, одном из двух изображений или видеозаписей. Не все варианты осуществления необходимы или могут учитывать особенности окончательного окружения наблюдения. Например, выходное изображение могут смешиваться в некоторой комнате управления эталонами для передачи различным пользователям. Окончательная ситуация может не быть известна, и может значительно изменяться (если один зритель смотрит, например, в поезде, а другой в кинозале, который он устроил у себя на чердаке). В этом случае выгодно, если объединение оптимизируется на основе характеристик обоих (или всех, при смешивании более 2) изображений, поскольку это всегда будет релевантно. Конечно читатель поймет, что в случае хорошего применения, парадигма объединения дополнительно масштабируема. Например, первый создатель контента может смешивать два источника изображения, но это не означает, что ниже линии дополнительный контент не может смешиваться. И то, что может произойти как после, так и согласно предположению первого создателя, и, по меньшей мере, некоторые из вариантов осуществления устройства объединения должны учитывать для всех таких ситуаций. Например, первый создатель контента может сначала обсуждать о том, что должно произойти, поэтому он может определять CombRng (и/или anc), оптимальный для своего контента, но, возможно, уже предполагая, что некоторая сущность дополнительно ниже линии будет добавлять некоторый контент изображения с некоторыми типичными дополнительными характеристиками (например, более толстая лента с новостной информацией на дне, или в ситуации кинозала или магазина или музея вторичный проектор, проецирующий некоторую вторичную информацию изображения помимо или частично через первичный визуализированный контент изображения и т.д., причем вторичный контент будет иметь динамический диапазон, среднюю светлоту, динамику, например, временную эволюцию средней светлоты, и т.д.). Смеситель вторичного контента может затем принимать решение, лучше ли следовать указанию первого создателя контента, например, сохранять CombRng, или, возможно, лучше точно настраивать его, при условии теперь наличия дополнительной информации, касающейся окончательного объединенного изображения, или его представления. Возможны два класса вариантов осуществления. В более простом классе два изображения уже на этой стадии неразделимо смешиваются (например, окончательная композиция PIP), и окончательная принимающая сторона может только оптимизировать это полное изображение согласно его особенностям визуализации (PB дисплея для визуализации на дисплее, средняя светлота окружения, и т.д.). Т.е. для простоты понимания, например, берется это объединенное изображение и применяется как функция квадратного корня к эго яркостям, для получения окончательных выходных яркостей, подлежащих визуализации. Этого может быть достаточного для многих сценариев, поскольку смешанное изображение уже может иметь гармонизированные светлоты, и окружение наблюдения может не слишком отличаться от назначенного.

Более усовершенствованные варианты осуществления позволят повторно определять распределения яркости объекта/пикселя двух изображений на принимающей стороне, и в некоторых вариантах осуществления могут содержать повторное определение первоначальных изображений, по меньшей мере, до некоторой степени (например, их основное кодирование, или, по меньшей мере, первоначальная градуировка яркости; которая является вышеупомянутой возможностью разрушения). Например, некоторые варианты осуществления могут задавать, например, объединение PIP в некотором режиме распределения яркости, но совместно кодировать особенности CombRng, и функции FF для приведения, по меньшей мере, одного из двух изображений к правильно гармонизированным яркостям в CombRng. Например, можно, предположительно, просто помещать PIP LDR в изображение окружения HDR с яркостями, линейно масштабированными до PB 5000 нит, которые, без правильной обработки на принимающей стороне, конечно, дадут ужасно выглядящее объединение. Но принимающая сторона получает всю необходимую информацию, чтобы сделать объединенную визуализацию правильной, со своей стороны, т.е. с гармонизированным изображением PIP. Это можно делать, надлежащим образом изменяя яркости пикселей в этом прямоугольнике, с учетом всего, что известно (т.е., например, частичных функций отображения яркости, принятых для этого участка, или особых дополнительных значений anc для этого прямоугольного участка, и т.д.; или того, что можно со своей стороны определить, например, что такой участок выглядит значительно светлым по сравнению с окружающими пикселями и т.д.). Специалисту в данной области техники теперь будет понятно, что эти функции FF сами по себе не являются функциями F_L для переградуировки в другой динамический диапазон, например, не просто функциями для приемлемого отображения единственного изображения LDR надлежащим образом в динамический диапазон дисплея MDR с PB например 1500, но, напротив, функциями, с помощью которых сторона создания указывает (или устройство объединения, где бы оно ни было установлено), что это даст хорошую смесь для изображения LDR, гармонизированного с изображением HDR, т.е. с учетом особенностей двух изображений вместе.

Преимущественно, блок (302) установления динамического диапазона выполнен с возможностью установления динамического диапазона (CombRng) яркости объединения в зависимости от пиковой светлоты дисплея, на котором, по меньшей мере, одно выходное изображение (Im_o) подлежит визуализации, и, предпочтительно, также от характеристики светлоты окружения наблюдения. Если вариант осуществления нашего устройства включен в конечное устройство или систему места визуализации, например, TV или компьютер, может быть целесообразно даже дополнительно задавать объединение согласно особенностям наблюдения. Если изображение LDR выглядит чрезмерно светлым при наблюдении само по себе в темном окружении, оно, вероятно, будет слишком светлым для этого темного окружения наблюдения при объединении с фильмом, в частности, поскольку этот фильм уже может быть оптимизирован для этой конкретной ситуации наблюдения (см. на фиг. 3, подходящее автоматически переградуированное в MDR изображение вида Im2_MDR вычисляется, например, для дисплея с PB 1200 нит, наблюдаемого в тусклом окружении, например, из Im_HDR 5000 нит, которое принимают все зрители, имеющие подписку на один и тот же контент или смотрящие одну и ту же широковещательную программу). Затем частичные изображения могут смешиваться в их подходящем динамическом диапазоне MDR (Im1_LM и Im2_HM). Это будет особенно важно, когда, например, самые темные пиксели некоторого изображения трудно наблюдать в более светлых окружениях наблюдения, в частности, если зритель отвлекается (возможно, даже пространственно соседствующим) светлым контентом от другого объединенного изображения, и затем, на основе, например, дополнительного значения anc для более темных пикселей в, по меньшей мере, одном из изображений (например, ведущем изображении) может значительно повысить оптимальность окончательного объединения. Квалифицированному читателю будет понято, что, конечно, с объединенным представлением двух изображений оптимизация обычно должна отличаться от оптимизаций единственного изображения, и, в зависимости от ситуации в целом, то есть того, что зритель готов воспринимать (конечно, прагматически будут построены устройства, производящие оптимизацию более или менее точно на основе сложности, которую можно себе позволить с учетом рыночной цены устройства; некоторые более простые варианты осуществления уже могут работать весьма приемлемо). При просмотре единственного рекламного ролика LDR, который является слишком светлым, даже в темном окружении наблюдения зрителю придется, по большей части, адаптировать свое зрение к тому, что наблюдается на экране. Но при объединении двух изображений, заранее неизвестно, к чему именно будет адаптироваться человеческое зрение, и, следовательно, в соответствии с какими светлостями и светлотами мозг будет видеть объединение визуализированных яркостей пикселей (существует вероятность, что он в начале будет плохо видеть ведущий фильм), следовательно, желание иметь систему, где создатель контента может, по меньшей мере, указывать минимально необходимую информацию и руководство (практические технические системы всегда балансируют между сложностью, например, трудом, затраченным создателем контента, и стоимостью IC, необходимых для осуществления вычислений, относительно необходимости иметь возможность обрабатывать, по меньшей мере, некоторые минимально необходимые цветовые преобразования, чтобы система вела себя, по меньшей мере наполовину приемлемо, а не совсем плохо; и затем различные варианты осуществления, обычно стандартизованные, будут принимать решение, как далеко зайти с какими дополнительными конкретными функциями управления в этих сценариях).

Поэтому квалифицированный читатель понимает, что выгодно определять CombRng (и также обычно яркость якоря, и также конкретные формы функций FF, в случае нелинейности, или коэффициент C контрастности в случае линейности) в зависимости от, по меньшей мере, возможностей дисплея (его PB может быть достаточной в большинстве ситуаций, но могут быть включены дополнительные характеристики, например, если он не полностью используется по соображениям энергосбережения, и т.д.). И если устройства подключены для оценивания светлоты окружения зрителя, можно захотеть сделать больше. Например, может использоваться измеритель освещенности, но может быть лучше использовать камеру где-то в комнате принимающей стороны, например, подключенную к дисплею, которая может быть откалибрована к измерителю яркости для различных участков изображаемого окружения наблюдения, и уже присутствует в некоторых TV. На этом основании можно грубо оценивать, как зритель будет воспринимать изображения. Могут использоваться более простые или более усовершенствованные версии, например, камера, которая проверяет различные яркости на участке за (см. вокруг) TV до 1 ширины TV в каждую сторону.

Выгодно, если блок (303) определения якоря яркости выполнен с возможностью определения яркости (anc) якоря в зависимости от, по меньшей мере, одного из: динамического диапазона (CombRng) яркости объединения, яркостей в, по меньшей мере, одном из двух изображений или видеозаписей, пиковой светлоты дисплея, на котором, по меньшей мере, одно выходное изображение (Im_o) подлежит визуализации, и характеристики светлоты окружения наблюдения. Также следует устанавливать, по меньшей мере, одну яркость якоря anc, от которой распределения яркостей обоих изображений могут гармонично распределяться. Читатель должен понять, что различные варианты осуществления могут осуществлять определение CombRng и anc в любом порядке. Например, некоторые варианты осуществления могут сначала устанавливать, например, в зависимости от возможностей (фактического или предполагаемого) дисплея и характеристик светлоты окружения наблюдения, насколько хорошим будет CombRng, например, обычно, для ситуации текущего фильма, или даже для каждого кадра изображений и т.д.

Например, некоторые варианты осуществления могут до начала фильма анализировать первые изображения фильма, или характеристический набор изображений, выбранных на протяжении фильма. Или фильм может иметь совместно кодированные метаданные, из которых устройство может устанавливать даже до декодирования первого изображения, насколько приемлемым будет, по меньшей мере, первоначальный CombRng. Например, метаданные могут указывать, что средняя светлота фильма равна 200 нит в более низком диапазоне до 400 нит, и с наиболее экстремальной последовательностью, например, кадром в пустыне, падающая до (т.е. что предпочтительно визуализировать на любом дисплее MDR, имеющем достаточные возможности для этого) яркостей диффузных объектов, например, неба или песка до 900 нит (и в среднем 600 нит). Затем вариант осуществления устройства объединения изображений может принимать решение, что следует зарезервировать в CombRng (в особенности, для обслуживания дисплеев с различными PB) фиксированную затмевающую область, например, до 200% от этих 900 нит, что будет наиболее чрезмерным требованием для этого фильма, таким образом, что более 100% яркостей может использоваться для всех выделений (будь то малые участки зеркального отражения, лампа, или даже затмевающие участки, содержащие детали изображения, например, очень ярко освещенную часть сцены). Конечно, более усовершенствованные спецификации могут помогать в определении, каким именно должен быть участок более светлых яркостей в CombRng, также путем кодирования, какого рода эффекты HDR типичны в программе или фильме, или его части. Работа с парой таких поддиапазонов является мощной и универсальной (указывают ли они, по большей части, потребности контента, или возможности предстоящей визуализации, или оба), в особенности, в случае дополнения парой хороших яркостей якорей для этих диапазонов.

Определив оптимальный CombRng, устройство может на этом основании определять, где должна находиться яркость якоря, например, цвета лица. Например, если половина диапазона соответствует хорошо освещенным ламбертовым объектам, то может приниматься решение использовать 40% из этих 50% пиковой яркости в качестве точки яркости лица anc. Однако некоторые варианты осуществления могут работать иначе. С учетом всех характеристик визуализации, устройство может определять подходящую яркость anc для лиц или среднего серого ламбертовых объектов основного участка, таким образом, чтобы она выглядела достаточно светлыми для зрителя. Затем вокруг нее можно построить подходящий CombRng. Например, оно смотрит на наиболее требовательный изображение HDR, и видит светлые объекты (см. лампы) до 20 раз ярче лиц. Затем оно может принимать решение поместить максимум диапазона в этом значении яркости, или рассматривать, например, 80% этого значения достаточным для объединенной визуализации двух наборов изображений, и затем более высокие значения в Im_HDR, соответственно, Im2_MDR (какое бы ни использовался в объединении в конкретном варианте осуществления) обычно будут отсекаться до максимального LMC динамического диапазона объединения. Это может быть очень полезно, когда желательно гармонизировать контент, например, с меньшими возможностями динамического диапазона, в особенности, если, например, фильм HDR не является ведущим контентом, но, например, PIP на дисплее компьютера, который, по большей части, показывает другие участки изображения, например, с информацией и т.д. Таким образом, простые варианты осуществления будут делать объект, в 2 раза более светлый, чем цвет лица или, в общем случае, любая яркость якоря в любом изображении (т.е. первом и втором изображении HDR, или изображении LDR в случае, когда изображение LDR используется в объединении) в два раза более светлый также в соответствующих пикселях изображения при готовности к добавлению в изображение объединения, или изображения (Im_o). Или более усовершенствованные цветовые преобразования (или объединения, некоторые из которых также могут взвешивать или изменять яркости пикселей в математике их объединения) могут делать некоторые яркости более темными или более светлыми. И по аналогичным соображениям устройство может приходить к нижнему пределу яркости LmiC для CombRng, например, несколько более светлому, чем, в, по меньшей мере, одном из исходных изображений, таким образом, что объединенное изображение (которое теперь может иметь гораздо больше светлых объектов, чем, по меньшей мере, один из оригиналов) не выглядит ни слишком темным, ни слишком контрастным, и т.д.

Дополнительные варианты осуществления можно реализовать как соответствующие устройства (либо малые, составляющие часть IC, либо большие, как вся потребительская или профессиональная система) или способы, например:

способ объединения двух изображений или двух видеозаписей изображений (Im_HDR, Im_LDR), причем одно из них является изображением или видеозаписью высокого динамического диапазона, причем способ содержит:

установление динамического диапазона (CombRng) яркости объединения, характеризуемого, по меньшей мере, максимальная яркость (LMC), причем установление дополнительно содержит определение яркости (anc) якоря в динамическом диапазоне (CombRng) яркости объединения;

применение цветового преобразования (FF_1) на, по меньшей мере, одном из двух изображений или видеозаписей, состоящего из, по меньшей мере, преобразования яркости, причем цветовое преобразование устанавливается на значение яркости исходного якоря (Im1_LDR), которое считывается из первого источника (350), который доставляет первое изображение или видеозапись (Im1_LDR) из двух изображений или видеозаписей; и

объединение изображений, причем цвета их пикселей находятся в динамическом диапазоне (CombRng) яркости объединения для формирования, по меньшей мере, одного выходного изображения (Im_o).

Способ объединения двух изображений по п. 10, в котором цветовое преобразование (FF_1) определяется таким образом, что выходная яркость (LF1_o), определенная в результате применения цветового преобразования (FF_1) ко входной яркости цвета пикселя первого изображения или видеозаписи (Im1_LDR), равной, по меньшей мере, одной яркости (L_SA1) исходного якоря, равна яркости (anc) якоря, или смещение яркости от яркости (anc) якоря на определенную разность (d_anc).

Способ объединения двух изображений в котором цветовое преобразование (FF_1) определяется таким образом, что отношение второй выходной яркости (LT2_o), которая определяется в результате применения цветового преобразования (FF_1) ко второй входной яркости (LT1_i), к выходной яркости (LF1_o), в постоянное число (C) раз больше отношения второй входной яркости (LT1_i) к яркости (L_SA1) исходного якоря. Как объяснено выше, другие яркости, возникающие в изображениях вокруг яркости якоря, могут либо просто отображаться вокруг яркости якоря, либо более точно определенным образом.

Способ объединения двух изображений в котором цветовое преобразование (FF_2) второго изображения или видеозаписи изображений определяется на основе, по меньшей мере, одной яркости (L_S2A1) второго исходного якоря, полученной из второго источника (351), который доставляет второе изображение или видеозапись (Im1_HDR) из двух изображений или видеозаписей. Можно определять различные яркости якорей не только первого, но и второго изображения, таким образом, что их различные диапазоны светлоты (например, хорошо освещенные, светотени, глубокие тени, лампы и т.д.) можно оптимально скоординировать при отображении друг на друга в выходном диапазоне выходного изображения CombRng.

Способ объединения двух изображений в котором, по меньшей мере, одно из цветовых преобразований (FF_1, FF_2), подлежащих применению к соответствующему одному из, по меньшей мере, двух изображений или видеозаписей, определяется, по меньшей мере, частично на основе, по меньшей мере, одной принятой функции (F1_L, F2_L), которая указывает, как нужно преобразовывать соответствующее изображение из динамического диапазона, соответствующего тому, которое кодируется, в динамический диапазон, который, по меньшей мере, а два раза выше или ниже. Как сказано эти функции определяют, как именно светлоты всех объектов в их сцене должны выглядеть в любом динамическом диапазоне (по меньшей мере, в 2 раза отличаться от его естественного динамического диапазона, т.е. PB образцового дисплея, который соответствует EOTF, которая задает коды люмы Y' принятого входного изображения). Поэтому, эта информация также может использоваться при необходимости в переградуировке, например, к несколько более низкому динамическому диапазону (например, CombRng чуть меньше диапазона MDR Im_MDR). Это будет наиболее элегантно обеспечивать скоординированные яркости, по меньшей мере, одного изображения или видеозаписи, используемой самостоятельно, но это может быть хорошей начальной точкой для грубого определения первоначального набора яркостей пикселей отображаемого изображения в CombRng также для представлений контента объединенного изображения. Дополнительные точные настройки могут происходить, либо несколько упрощенные, например, эвристическое линейное растяжение, определенное устройством или способом объединения, или более усовершенствованные с учетом конкретных необходимых координаций яркости в изображениях в их объектах или поддиапазонах яркости (либо разумно определенных согласно, например, алгоритмам сегментирования объектов и соответствующим диапазонам яркости, или более приблизительно, путем, например, деления CombRng на 5 равных или неравных поддиапазонов, и то же самое для двух диапазонов яркости входного изображения, и их соответствующих поддиапазонов), поскольку они задаются создателем контента в форме характеристик функций F1_L, соответственно, F2_L, каждая из которых проверяется и используется в любом варианте осуществления.

Способ объединения двух изображений по любому из предыдущих пунктов, в котором, по меньшей мере, один из динамического диапазона (CombRng) яркости объединения и яркости (anc) якоря определяется на основе, по меньшей мере, одного фактора из набора: свойства объектов, зависящих от распределения яркости в, по меньшей мере, одном из двух изображений, информации, обобщающей характеристики яркости, по меньшей мере, одного из двух изображений, динамического диапазона дисплея, на котором объединенное, по меньшей мере, одно выходное изображение (Im_o) подлежит визуализации, и меры светлоты для окружения наблюдения, в котором выходное изображение подлежит наблюдению.

Все вышеперечисленное может быть включено в различные системы и формы, будь то потребительские устройства, или профессиональные системы, из которых некоторые компоненты могут располагаться на серверах в других странах, подключенных через интернет, и т.д.

Может быть выгодно дополнять изображение метаданными, например, спецификация CombRng (например, его более высокая яркость LMC, и его нижний предел яркости LmiC), и/или типичная яркость якоря, например, лица, и, возможно, также, по меньшей мере, одна функция цветового преобразования, указывающая, как отображать яркости пикселей изображения в CombRng.

Также преимущественно, если создатель контента аннотирует свои изображения, по меньшей мере, одной семантически релевантной (и, предпочтительно, заранее согласованного типа) яркостью якоря, таким образом, что при приеме выборов освещения изображения, может быть понята устройством, желающим объединить различные изображения.

Преимущественно, каждый из способов можно реализовать в виде компьютерной программы, которая может передаваться через некоторый физический носитель, например, компьютерный программный продукт, содержащий программный код, позволяющий процессору выполнять код таким образом, что при выполнении кода осуществляется все этапы любого из вышеописанных вариантов осуществления способа.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства согласно изобретению явствуют из и будут пояснены со ссылкой на реализации и варианты осуществления, описанные ниже, и со ссылкой на прилагаемые чертежи, которые служат лишь неограничительными конкретными иллюстрациями, представляющими более общие принципы, и где штрихи используются для указания, что компонента является необязательной, компоненты без штрихов не обязательно являются важными. Штрихи также можно использовать для указания, что элементы, которые, согласно объяснению, важны, скрыты внутри объекта, или для нематериальных вещей, например, выделений объектов/участков (и как они могут быть показаны на дисплее).

В чертежах:

фиг. 1 схематически демонстрирует, как в (недавно начавшейся) эпохе HDR различные разные способы кодирования видеозаписей были предложены (в 2015), которые будет приводить к изображения с очень разными характеристиками яркости, которые нелегко связывать;

фиг. 2 схематически демонстрирует базовые компоненты, как технология кодирования HDR заявителя может кодировать изображение HDR, совместно с другим видом более низкой яркости LDR (или градуировка цвета) светлот объектов того же изображения HDR сцены, и как эта информация достаточна для вычисления подходящего вида с правильными светлотами объектов изображения на любом имеющемся дисплее HDR с любой пиковый светлотой (PB_MDR);

фиг. 3 схематически демонстрирует базовый вариант осуществления настоящего устройства объединения изображений или видеозаписей с возможностями HDR, демонстрирующего основной блоки;

фиг. 4 схематически демонстрирует, как подходящее цветовое преобразование в оптимально выбранные объединения динамического диапазона происходит до объединения видеосигналов или изображений;

фиг. 5 схематически демонстрирует, какие проблемы могут возникать в отсутствие тщательной колориметрической подготовки яркостей пикселей (или, в общем случае, цветов) двух изображений, но, напротив объединяет их в упрощенном режиме, для одной из возможных объединений, являющейся композицией вложенного изображения;

фиг. 6 схематически демонстрирует, как устройство может определять некоторую иллюстративную подходящую функцию преобразования (FF) цвета, или, по меньшей мере, яркости, для, по меньшей мере, одного из, по меньшей мере, двух изображений, подлежащих объединению;

фиг. 7 схематически демонстрирует, какие алгоритмы можно использовать, разработанные авторами настоящего изобретения, для художественно оптимальной автоматической переградуировки, по желанию создателем контента, изображения из первого динамического диапазона в другое второе изображение, динамический диапазон (по меньшей мере, его пиковая светлота) которого может отличаться кратно двум;

фиг. 8 схематически демонстрирует некоторые более усовершенствованные примеры того, как устройство может настраивать функции (FF) для цветового преобразования изображений, подлежащих объединению, в диапазон объединения (CombRng), на основе семантических особенностей распределения яркости объекта в сцене HDR, как изображено;

фиг. 9 схематически демонстрирует один пример применения варианта осуществления описанного здесь устройства и способа, а именно в первоначальном производстве множественных видеозаписей, например, ток-шоу для TV;

фиг. 10 схематически демонстрирует второй пример, в котором вариант осуществления устройства и способа используется в системе на промежуточном узле сети передачи видеосигнала, например, комнате управления передачей для обслуживания локальной области (читатель должен понять, что другие варианты осуществления устройства объединения могут располагаются в других местах цепи обработки видеозаписей или изображений, например, в жилище окончательного пользователя видеоизображения);

фиг. 11 схематически демонстрирует, как варианты осуществления устройства могут определять CombRng, и выделять исходные яркости изображений в нем, начиная с хорошей позиции значения яркости для яркости якоря;

фиг. 12 схематически демонстрирует дополнительный пояснение примеры того, как варианты осуществления устройства могут определять CombRng, и выделять исходные яркости изображений в нем, начиная с хорошей позиции значения яркости для яркости якоря;

фиг. 13 схематически демонстрирует как можно упрощенно объединять пиксели из двух изображений, если не используются технические аспекты настоящего изобретения, но которые могут привести к плохому качеству объединенных изображений;

фиг. 14 схематически демонстрирует, как даже в одном способе захвата изображения, в частности, кодированный соглласно одному техническому способу кодирования видеосигнала HDR, можно иметь очень переменные яркости для одного и того же объекта, в частности если желательно наиболее щедро использовать потенциал формирования изображения HDR;

фиг. 15 дополнительно схематически поясняет, как можно определить различные диапазоны объединения, и то, что можно означать на практике, в частности, для установления связанной целесообразной яркости якоря (anc), и отсюда типичные функции отображения яркости для гармонизации частичного контента из, по меньшей мере, двух изображений или видеозаписей;

фиг. 16 схематически демонстрирует, в частности, как можно очень мощно гармонизировать в случае, когда задана более ранняя часть цепи обработки видеосигнала, кодирование видеосигнала сам по себе, определенным образом грубой и точной переградуировки различных яркостей изображений;

фиг. 17 схематически демонстрирует, как автоматические версии могут формулировать определение различных переменных на основе различных алгоритмов определения таких факторов, как ошибки, искажения контента изображения и/или дисгармонии контента, которые в случае градуировки и аннотации изображения человеком может определяться человеком-создателем контента; и

фиг. 18 схематически демонстрирует некоторые дополнительные примеры полезных вариантом осуществления функции преобразования яркостей для определения гармонизированных яркостей для объединения изображений.

ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 и 2 объяснены выше, и на фиг. 2 показано, как предпочтительно кодировать видеосигнал HDR, или более точно градуированное изображение LDR и градуированное изображение HDR (обычно PB 5000 нит) той же сцены, которое можно декодировать (путем применения функции преобразования яркости к принятому изображению LDR) для получения оптимально переградуированного изображения для пиковой светлоты дисплея где-либо в или даже вне диапазона динамических диапазонов, охватываемых градуировкой LDR и HDR в качестве крайностей.

Фиг. 3 поясняет на более высоком уровне некоторые базовые компоненты, лежащие в основе большинства вариантов осуществления нашего изображения HDR, или видеосигнала, устройство или способ гармонический объединения. Ниже описана ситуация с примером PIP, хотя те же методы также могут использоваться, например, для согласованного затемнения светлоты градуировки во временной последовательности перемежающегося видеосигнала из разных источников. Например, можно устанавливать хороший уровень CombRng для рекламного ролика LDR, и адаптировать яркости в изображениях HDR постепенно к нему (различные дополнительные метаданные могут отправлять в отношении временной эволюции различных видеозаписей). Квалифицированному читателю будет понято, что после того, как ситуация очень разных и по-разному заданных яркости (помимо кодов люмы) двух изображений был преобразован в имеющий соответствующие связанные, аналогичные яркости (подлежащие объединению), можно также начинать смешивание контента более сложным образом, например, альфа-смешивание, или замена части лица с некоторой генерируемой компьютером структурой лица надлежащим образом скоординированными яркостями и т.д. Например, если яркости лиц (например, на любой стороне по-разному освещенного лица), отображаемые в CombRng первого изображения равны x и y, и второго изображения x+e1 и y+e2, с e1 и e2 достаточно малыми отклонениями, то можно применять уравнения смешивания, например, L_out_comb=альфа*L_im1_comb+(1-альфа)*L_Im2_comb, в котором L_im1_comb и L_Im2_comb являются, соответственно, яркости пикселей первого и второго изображения после цветового преобразования (с соответствующей подлежащей использованию функцией FF) в CombRng, и альфа - действительное число между 0,0 и 1,0, и L_out_comb - окончательная яркость для этого смешанного пикселя в выходном изображении Im_o, т.е. объединенном изображении, имеющем CombRng в качестве динамического диапазона.

Читатель могут понять, что если создатель имеет самое полное возможное управление первоначальными изображениями (в частности, может даже нужно знать особенности назначенного окружения визуализации), можно, конечно, настраивать объединенное изображение любыми средствами, пока не станет полностью удовлетворительный согласно желанию. Но настоящие варианты осуществления учитывают многие ситуации, где это не так просто или возможно, например, поскольку нет времени осуществлять всю регулировку вручную, или некоторый вход или переменные, задающие оптимальный вид еще не управляемый, или даже неизвестно. Что-то может всегда изменяться к ситуации обработки изображений, таким образом, что это то, что наиболее усовершенствованная технология обработка HDR должна учитывать. Или, по меньшей мере, наши варианты осуществления позволяют универсальные применения, в котором может осуществляться в различные моменты колориметрическая точная настройка, например, согласно новым желаниям, и можно удерживать часть информации первоначального вида изображения. Это важно, остается что-то, по меньшей мере, наиболее важные аспекты изображений на каждой стадии. Конечно, конечный пользователь может принимать решение полностью перекрасить видеосигнал, но затем все усилия создателя контента обойдены и потеряны, и что фактически не полезно ни для кого (даже если, например, изготовитель TV хочет добавлять несколько из его собственного конкретного вкуса для визуализации изображения, не обязательно делать это, игнорируя все, к чему относится изображение, в частности, что создатель контента задал для изображения; но, с другой стороны, принимающая сторона не должна ощущать, что она абсолютно ничего не говорит о колориметрии изображения, даже если это отчетливо выглядит неподходящий для ситуации).

Декодер 251 опять же аналогичен тому, что пояснено на фиг. 2, т.е. он может обрабатывать градуировки (HDR, LDR) изображения согласно нашему объясненному способу кодирования HDR (извлекать функции отображения яркости, определять новый переградуированные изображения MDR из них, и т.д., согласно различным возможным глобальный или локальный по отношению к изображению варианты осуществления). Конечно, читатель понимает, что это лишь пояснение одной из возможных реализаций, и устройство обычно способно обрабатывать (т.е. декодировать и объединять) все разновидности видеосигнала или изображений HDR или LDR, т.е. Im_HDR также может задаваться согласно PQ EOTF, или способ BBC-HLG, и т.д. В этом примере однако предполагается, что из некоторого (второй) источник 351 изображения (например, спутниковый широковещательный канал, или соединение с хранилищем видеозаписей по интернету, или даже подключенная камера, и т.д.), второе одно из двух изображений для смешивания получается (например, основная, наиболее важный (ведущий) программа является фильмом HDR, кот точно художественно проградуирован по цвету), и например это градуировка HDR PB 5000 нит каких изображений преобразуются с PQ EOTF, и затем кодируются посредством DCT, и кодируются согласно некоторому профилю и уровню HEVC. Также передаются метаданные которые содержат функции F2_L для понижения это изображение HDR до изображения LDR 100 нит. Декодер может создавать оптимальное изображение для подключенного дисплея, например 2500 нит, изображение MDR, Im2_MDR. Это будет правильный градуировка в этом фильме, просматривается самостоятельно, без объединения с любой другой (первый) данные изображения, разбросанный в пространстве или во времени.

На фиг. 7 подытоживается, как согласно один из наши варианты осуществления можно производить такую переградуировку из вида первого динамического диапазона во второй. Предположим L_in это нормализованные [0,0, 1,0] HDR входные яркости, которые соответствуют фактическим (подлежащий визуализации на дисплее при визуализации изображения HDR) яркости 0-5000 нит. L_out это яркость LDR, нормализованный, но соответствующий PB=100 нит (т.е. яркость SDR). Функция 702, отображающая этот HDR в это изображение LDR является примером цвета F2_L в частности преобразование яркости (можно предполагать для простого понимания, что имеется лишь изображение в шкале серого, но мы показали, что можно применять также необходимый цветовое преобразование на цветах RGB таким образом). Предположим, мы хотим вывести оптимальная функция 703 переградуировки, который соответствует PB_MDR дисплея MDR, например 3400 нит. Диагональная линия 701 будет необходимым отображением яркости, если нужно отображать входное изображение 5000 нит в изображение, оптимальный для дисплея PB=5000 нит, поскольку изображение HDR уже оптимально проградуировано для этого дисплея (т.е. символически преобразовано тождественным преобразованием). Установим направление DIR вывода, например, вертикальный. Масштабированная функция для PB дисплея 3400 нит, должна давать значение F*(Ls) для любой входной яркости Ls между F(Ls), т.е. всякой оптимально определенной понижающей функцией F (F2_L) происходит в этой точке яркости, и Ls. Эту точку можно определить как Ls+FI(PB_MDR, Ls)*(F(Ls)-Ls), где FI - некоторая функция, дающий значения между 0 и 1, и в более простой сценарии является только функцией PB_MDR, которая также может быть записана мультипликативно как k(PB_MDR)*Ls. Какая именно функция используется, зависит от философии переградуировки используемого варианта осуществления, и читатель может представить может существовать различные более или менее сложные варианты осуществления в зависимости от например особенностей окружения наблюдения (или даже с учетом предпочтений зритель), но детали выходят за пределы объяснения данной заявки, что уже довольно сложно (читатель просто должен понять что некоторая функция переградуировки может устанавливаться, и применяться к входное изображение, для получения правильно переградуированный изображение с правильными яркостями изображений объектов для дисплея MDR).

Как сказано, первое изображение может быть любым, но мы поясним принципы рекламным роликом LDR, принципы наших вариантов осуществления аналогичны для другого контента. Этот 2500 MDR может не быть подходящий градуировка (т.е. 2500 может не быть подходящий PB) при смешивании с рекламный ролик LDR 100 нит, по меньшей мере, вследствие большого различия в динамическом диапазоне двух изображений, но также вследствие возможно экстремального распределение яркостей объектов в рекламном ролике LDR (т.е. 2500 нит может не быть наилучший значение LMC для CombRng, но затем другое значение можно выбирать). Следует понимать высокий динамический диапазон не только как ʺвысокийʺ, т.е. светлый, но и в отношении ʺдинамическийʺ, т.е. где на оси яркости создатель выделил различные семантический объекты и/или участки в изображении(ях). В отличие от популярный заблуждений, демонстрирующих изображение лишь с высокой светлота может приводить к довольно плоскому подобному LDR внешнему виду, и даже раздражающе светлый, поэтому желателен более строгое управление всеми или многими между значений серого. Например, создатель рекламного ролика может сделать рекламный ролик LDR более светлый и вульгарный, чтобы придать ему высокий визуальный влияние на экранах LDR 100 нит. Но это влияние может быть даже слишком высокий в динамический диапазон 2500 нит (помимо на дисплее PB_D 5000 нит для зрителя, купившего такой дисплей), поэтому, например, CombRng с учетом обоих необходимость показать приятно светлые лампы в фильме, и крайность градуировки LDR, может для этого случай необходимо быть, например, LMC 1500 нит. Устройство может использовать способы например измерение глобальной контрастности изображения LDR, например, отсчет количества пикселей выше k%=например, яркость 80% в изображении LDR, частоты высокой и экстремальной средней яркости, или изменение количества пикселей выше k%, и т.д., и отсюда определять мера крайности, и отсюда определять, например, по меньшей мере, насколько светлыми наиболее светлые части этого рекламного ролика LDR могут окончательно стать при отображении в CombRng, и например отсюда определять, какой LMC должен быть (например, самый светлый пиксель из пикселей LDR может стать 300 нит, в зависимости от используемой нелинейности, или в зависимости от необходимой степени осветления для совмещения яркостей лиц, и самый светлый ламбертов пиксели фильма HDR (т.е. идентифицированный в более низком диапазоне этого фильма, например, как 5-кратно кодированный средний серый этого основного участка для фильма HDR) может, например, становиться в k раз больше или меньше, т.е. например, 200 или 450, и светлые лампы могут становиться 5-кратно 300 нит, то есть LMC=1500 нит).

Квалифицированный читатель понимает, что существуют различные способы получения CombRng (или anc), например, его можно определить, в основном, фильмом HDR, и затем определять, как координировать изображение LDR с фильмом HDR, отображаемым в этот CombRng (согласно вышеописанным примерам), или как представленный здесь его можно определить, в основном или в большей степени характеристиками изображения LDR, обеспечивая безопасность достаточное качество изображений HDR при определении, как далеко самый светлый объекты HDR могут выходить за самые светлый или средняя цвета в изображении LDR, или итерационно, пока приемлемый оптимум для двоих не будет найден, и т.д. Это все зависит от потребностей конкретной ситуации, и конкретный вариант осуществления устройства объединения поведение. Какое из двух изображений имеет наивысший важность может присутствовать в различных способах, например, зритель может в некоторых вариантах осуществления своим пультом дистанционного управления указывать, что он хочет минимальный помеха своего фильма со стороны каких-либо изображений будут объединены, или создатели контента могут давать указания о своем контенте, о чем устройство объединения окончательно принимает решение, и т.д.

Возвращаясь к фиг. 3, первый источник 350 изображения доставляет первое изображение, которое предполагается изображением LDR Im1_LDR, т.е. кодированный стандартным образом например согласно Rec. 709 (конечно, может существовать блок декодера, который не показан для него). Это может, в случае это недавний видеосигнал, был аннотирован своими собственными функциями F1_L для преобразования в HDR, или может не аннотироваться, в случае если это старый видеосигнал SDR. Т.е. он может иметь функции F1_L, связанный в своих метаданных, позволяя художественно оптимальный преобразование в другие динамические диапазоны, чем его естественный 100 нит DR. В случае пропуска функций, устройство объединения может всегда применять в среднем приемлемо работающие функции, и оценки. Опять же, источник 350 изображения может быть различные источники, например, камера безопасности на входной двери дома зрителя может PIP изображение, когда кто-то звонит в дверь, и т.д.

Как объяснено, согласно одному из различные возможных алгоритмов, блок (302) установления динамического диапазона анализирует ситуацию, например характеристики яркости первого и второго изображений, и устанавливает подходящий динамический диапазон (CombRng) яркости объединения, в вышеприведенном примере с LmiC=0 нит, и LMC= 1500 нит. Блок (303) определения якоря яркости будет определять яркость (anc) якоря. Например, он считывает из первый источник изображения в метаданных, связанных с первым изображением яркость (L_SA1) исходного якоря типа ʺяркость лицаʺ, это значение равно например 45 нит. Зная, что для, по меньшей мере, одно из изображений лица кажутся важными, то необходимо установить, что будет хороший цвет лица anc в CombRng (конечно другие варианты осуществления может принимать решение сначала на anc, даже не глядя, какие исходные яркости якорей были заданы, или видя, что яркость якоря была, например, средний серый в светлом подучастке внешнего пространства, он может определять для CombRng общий средний серый, и позиция d_anc, где размещать яркости светлого внешнего пространства по сравнению с общей нейтральной визуализации цветов в CombRng. В зависимости от сложности варианта осуществления, типичный вариант осуществления может хотеть проверить, какое значение яркости второго исходного якоря L_S2A1 типа цвет лица указывает, какие цвета лиц в настоящее время находятся в этом кадр фильма. На нормализованной оси яркости это будет, конечно, более низкий значение, поскольку более высокий диапазон используется для эффектов HDR, например, ярко освещенный объекты или участки, или лампы. Все же, если приемлемый значение в диапазоне диффузных объектов до например 400 нит будет 180 нит, и мы находим значение только 30 нит, известно, что у нас есть либо темное по природе лицо, либо тускло освещенный лицо, или оба. В любом случае, даже если это лицо должен выглядеть более темным, чем в рекламном ролике, оно будет гораздо более темный, если принято решение поместить значение anc на, например, 180*1500/2500. Поэтому мы можем захотеть вычислить значение anc, которое несколько ближе к 30 нит, позиция яркость LDR лица на или вокруг этого значение, например, 0,8*180*1500/2500 нит, и также иметь цвета HDR лиц, отображаемый ближе к этому значению anc, например 0,3*180*1500/2500. Это гарантирует, что мы имеем надлежащим образом притушенный лица для изображения LDR, и надлежащим образом темный лица, как они должны быть согласно истории, для фильма HDR, и оба скоординированный согласно оптимальному значение anc. Конечно, то же самое может осуществляться с учетом других или дополнительных яркостей якорей, например, среднего серого, в частности, для участка, освещенного в HDR.

Установив CombRng с яркостью якоря anc, единственное, что остается сделать, в целом, это оптимально отображать два изображения в этот динамический диапазон согласно одному конкретному значению яркости, который определяется, поскольку он должен попадать на или около значения anc. Один способ сделать это состоит в том, чтобы в линейном выделение яркостей, с оптимально определенный значением C контрастности, каков наклон линии функции отображения яркости, и затем выделять яркости путем вычисления линейного уравнение, пока не произойдет отсечение (и величина отсечения можно управлять совместно со значением C; заметим, что можно отсекать до некоторое значение в CombRng, т.е. ниже максимального значения LMC). Отображение с понижением до CombRng в этом примере также может осуществляться с учетом той же математики, которую использует декодер 251, а именно с использованием, по меньшей мере, отображение яркости (F2_L) с формой, которая кодирует необходимый поведение для более светлых и более темных частей изображения, определяемых обычно человеком-градуировщиком. Например, когда известен CombRng, можно иметь пиксели, соответствующие второму изображению, отображаемый декодером 251 непосредственно из изображение HDR 5000 нит Im2_HDR. Блок (310) цветового преобразования выполнен с возможностью делать все необходимые цветовые преобразования пикселя, в частности, по меньшей мере, подходящая регулировки яркости, таким образом, что блок (320) объединения может применять простые алгоритмы (например, простое аддитивное взвешивание или замена пикселей или переключение блока, поскольку вся колориметрический оптимизация уже произведена). Блок (311) считывания яркости исходного якоря будет по меньшей мере считывать одну яркость исходного якоря, связанную с одним из двух изображений, например, яркость лица изображения LDR, или хороший среднее значение для черных участков в изображаемой сцене, и т.д. как показано выше, он может в некоторых вариантах осуществления также считывать несколько исходных яркостей якорей, которые характеризуют особые участки яркости в изображениях (например, особый значение серого, или значение серого, связанный с общим семантически важным объектом, например, средняя яркость светлого или темного неба, и т.д.), из обоих или, в общем случае, всех изображений. Поскольку в некоторых менее простых сценариях нежелательно отображать яркости двух изображений на основе приравнивание только одной аналогичной яркости якоря (приякоренной к anc), но зато желательно разумно позиционировать выходную яркость по сравнению с anc, блок (312) определения отклонения выполнен с возможностью определения подходящий смещение (d_anc) яркости. Как представлено, это может быть, например, поскольку рекламный ролик содержит хорошо освещенный и контрастный лицо, и фильм ужасов содержит мрачный темное лицо, и, например, если anc определяется вблизи яркости лица темного фильма, то желательно достаточно большой положительное смещение d_anc для того, где отображать цвета лиц рекламного ролика лицо LDR. Промежуточный изображения правильно с отображением яркости Im2_HM и Im1_LM поступают на блок (320) объединения, который может затем, например, быть столь же простой, как переключатель пикселя, который зависит от позиция (x,y) пикселя либо помещает отображаемый цвет HDR (т.е. Im2_HM) в выходном изображении Im_o, или цвет LDR Im1_LM, либо как линейный RGB, либо повторно вычисленный в Y'CbCr, и т.д.

Фиг. 4 поясняет все дополнительное для выбранного примера, демонстрируя отображения на динамических диапазонах яркости. Im1_Rng является динамическим диапазоном LDR 0-100 нит первого изображения LDR, т.е. имеющего кодированные яркости, которые должны попадать между минимальной яркость Lmi_L=0 нит, и максимальная яркость LM_L=100 нит. Im2_Rng это, например, динамический диапазон изображения HDR с LMH=5000 нит (может быть оптимизированным для дисплея изображение MDR и в этом случае LMH будет 2500 нит в вышеприведенном примере). Отсюда следует, что нет необходимости, чтобы CombRng был каким-то образом равным или близким к Im2_Rng или диапазону дисплея Di_Rng. Этот диапазон дисплея показан для сравнения, но он может в некоторых вариантах осуществления даже не использоваться в объединении, но затем вместо этого Im_o будет поступать на блок цветового преобразования для настройки дисплея для отображения объединенного выходного изображение Im_o, заданный до, например, 3000 нит, в динамический диапазон дисплея, например, 1400 нит, или любые возможные значения (специалист в данной области техники понимает, что может существовать сценарии, где LMC выше, чем LM_MDR, например, если объединение произошло в другом устройстве, например, в законцовке кабеля, и конкретный пользователь имеет дисплей HDR с ограниченным PB, например 950 нит; или, в случае, когда смешивание происходит в местоположении зрителя, и зритель имеет дисплей с высокий PB, например 7000 нит, но в настоящее время принимает контент программы HDR, например, новостную программу с PB=1200 нит, или менее, и изображение LDR, то LMC можно определять как значительно более низкий, чем LM_MDR=7000 нит). Тогда функции настройки могут, например, быть для контент фильма HDR (т.е. F2_L), поскольку рекламный ролик LDR уже достаточно гармонизирован с ним. Конечно, более сложные варианты осуществления могут непосредственно оптимизировать оба изображения с динамическим диапазон дисплея. Читатель поймет, что возможны ситуации, когда CombRng не может даже быть, например, динамический диапазон дисплея, например, в месте производства или передачи видеосигнала, где особенности TV зрителя еще даже не известны. Это одна из сложностей, что создан рынок HDR, который нужно обслуживать. В эпоху LDR все телевизоры были приблизительно одинаковы (с PB около 100 нит), поэтому обработка видеосигнала была простой, но теперь некоторые зрители может иметь TV HDR 1000 нит, другие TV HDR 7000 нит, другие традиционный TV SDR 100 нит, тогда как другим нравится рассматривать изображения на своих Ipad или мобильных телефонах, с PB, например, 500 нит (еще не начиная раскрывать все детали различного контента изображения). Следует понимать, что только с их большим отклонение, эти динамические диапазоны дисплея не могут все тривиально всегда быть наиболее подходящий CombRng для объединения двух изображений и оптимального представления обоих. Но и, в особенности, если нужно окончательно визуализировать, например, на TV или мониторе 1000 нит, было бы наиболее оптимально, если повышать и объединять LDR до конца до 5000 нит изображение 2 динамический диапазон HDR, если затем нужно снова значительно понизиться, и риск, в особенности при использовании функций F2_L, потерять некоторую важная часть более светлых цветов LDR?

Мы объясняем, что немного дополнительно с фиг. 5, который использует пример PIP 501 (но аналогичный проблемы возникают, например, с временной маскировкой и адаптацией, и т.д.) на основном участке 500 фильма HDR.

Классические объединители LDR могут осуществлять свое объединение в Y'CbCr (т.е. люма+2 координаты цветности), нелинейный R'G'B', линейный RGB, или, в принципе, любое цветовое пространство (хотя это может быть менее типично для систем, которые должны работать на скорости видеосигнала, но также хотят сэкономить вычислительные ресурсы). Предположим, у нас есть изображение значения серого.

В случае упрощенного попиксельного переключения кодов люмы Y' пикселей, которое приведет к очень плохим результатам, поскольку они определяются так по-разному для изображений HDR и LDR (это в основном становится основной проблемой недопонимания устройства обработки). Например, все, наблюдаемое через окно 510 в PIP LDR (например, комментарий директора) может отсекаться до максимальный код люмы, Y'=255, или нормализоваться к 1,0, поскольку это слишком светло для LDR и в любом случае не интересный в этом единственном видеосигнал. При визуализации объединенное изображение Im_o в кодировании люма, где некоторые из нормализованных люм пикселей первоначального фильм HDR (например, темный ночная сцена) пиксели заменяются нормализованными люмами изображения LDR, путем декодирования его например с помощью PQ HDR EOTF, PIP будут выглядеть чрезмерно светлый (цвета окна будут визуализироваться как, например, PB_D=4000 нит, где можно альтернативно, в принципе, иметь приятно гармонизированный цвета объекта внешнего пространства, или, по меньшей мере, менее раздражающе светлый отсеченные цвета). Это будет приводить к переоблучению 502 также именуемый размытость контуров или распределение света. Если это не уже вследствие физики дисплея (например, низкий количество LED подсветки, взаимных отражений на передней пластине дисплея), то часто сияние в человеческом глазу также может приводить к тому, что очень светлые участки на дисплее HDR трудно наблюдать без использования руки для перекрытия светлой области. Короче говоря, зрителю это не нравится, и он хотел бы другого, если технология это позволит. По меньшей мере, очевидно, что те яркости PIP LDR и темные участки ночной сцены в фильме HDR не хорошо гармонизированы. Но может происходить и обратное. Если PIP следует за солнцем в фильме HDR, или другой очень светлый частью, оно может быть слишком тусклым. Что также может быть уродливым, например, цвета, которые очевидно предполагаются белыми, выглядят слишком сероватыми. Если, как показано справа, мы снижаем яркость лица PIP, приводя его ближе к яркости темного лицо HDR, поскольку яркости других объекты в изображении LDR связаны с цвет лица (в отношении контрастности), они также станут более надлежащим образом притушенный. Поэтому все цвета должен выглядеть относительно приятно скоординированными.

Можно наивно думать, что все проблемы можно решить, выделяя надлежащий поддиапазон LDR изображению PIP (т.е. поддиапазон яркостей 0-100 нит, поскольку он попадет в HDR CombRng, каким бы он ни был), который соответствует правильному его декодированию с Rec 709 максимизированному до LDR PB 100 нит, а не (относительный) PB дисплея например 3000 нит, и затем доводя этих пикселей LDR до максимально 100 нит на динамическом диапазоне яркостей дисплея (исходя из того, что CombRng полагается равным имеющийся дисплей DR). Но, как сказано, хотя в некоторых ситуациях это может быть хорошим выбором, это оставляет решение, зависящее от фактического динамического диапазона дисплея (наблюдаемый относительно, это становится случайный соотношение). Для очень светлый освещенная солнцем сцена, может случиться, что рядом с PIP LDR максимально 100 нит, на дисплее 3000 нит существуют соседний объекты с, например, яркостью 1500 нит. Это делает PIP довольно разочаровывающе темный, и его цвета будут выглядеть мрачными, а не яркими, и это не то, на что рассчитывал человек, заплативший за рекламный ролик. То же самое может происходить при объединение в изображении динамический диапазон HDR (Im2_Rng). Поэтому следует понимать, что подходящее смешивание не тривиально, т.е. хороший структура как требуется в настоящем изобретении. Также при наличии двух изображений HDR, даже если EOTF не разные, можно быть уверенным в том, как создатель контента использовал этот имеющийся диапазон, т.е. колориметрически построил свою полную систему (правила производства контента, и т.д.). Даже если PB двух кодировок не слишком отличаются, например, 5000 от 4000 нит, создателю приходится принимать значительно разные решения (по хорошим причинам, например, чтобы его конкретный история с приятно построенными сценами HDR выглядела эффектно, тогда как другой создатель, создающий новостное шоу, легко преобразуемое в другие динамические диапазоны, например, для просмотра на портативный дисплеи, при этом изображения все же должны иметь некоторое вкрапление HDR в них), например, о более низком диапазон, в котором ламбертовы отражающие объекты, например, сцены внутреннего пространства, попадают. Первый создатель может задавать их до 300 нит (в системе 4000 нит), тогда как создатель второго изображения может решать для своей сцены, например, внутреннее пространство является некоторой космической станцией, довести до 900 нит (в системе 5000 нит). Иногда это так простого, как если бы вы хотели светлые, или нереально темный космические станции. Даже если следовать очень строгим правилам касающаяся освещения или, по меньшей мере, яркостей визуализации лиц, например 50% диффузного белого (т.е. 300 или 900 нит), без надлежащий гармонизации лица в объединении может выглядеть значительно, даже таинственно, разные, возможно даже сияющий. И то же самое может происходить со многими другими колориметрически критичными объекты изображения HDR может содержать, например, бассейн может выглядеть несколько сияющим и освещенным изнутри, или просто хмурой обычной водой, или темной, как ночная сцена, или как туманный день, или кто-то может даже позаботиться о яркостях на освещенном плакате на лицевой поверхности закусочного автомата, в особенности, если это относится к другие объекты в сцене, и истории и передаваемому настроению, и т.д.

Фиг. 6 демонстрирует два возможный примеры цветового преобразования в CombRng. Мы имеем в качестве входное изображение одно из изображений, подлежащих объединению, с относительный входные яркости L_in. Как объяснено, устройство нуждается в определении функции цветового преобразования (FF_1), которая выделяет выходную яркость L_out_comb в CombRng всем возможным входным яркостям. Имея эта функция, например загруженный в LUT, можно затем начать обработку входящих цветов пикселей для последовательных изображений. Первый простой линейное определение дает линейную функцию 601, определенный двумя параметры anc_Fc для яркости L_SA1Fc цвета лица во входном изображении, и мультипликативной постоянной C контрастности. Эта функция может отсекать в черном или белом, что может быть или не быть желательным (опять же, в зависимости от того, насколько просто сторона принятия решения хочет это, является ли окончательно создателем контента, или производителем устройства). В более сложных вариантах осуществления мы можем улучшать после этого. Функция 602 отображения яркости показана как можно приятно конфигурировать желаемый отображения на основе только пары важных яркостей якорей. Это будет, в общем случае, хотя не гораздо более трудный для использования, создавать значительно лучший результаты. Возможно, это изображение рекламного ролика LDR имело слишком много светлых пикселей, например, в фоне. При применении конкретных правил фотографической композиции можно по выбору фотографировать основного человек на более темном или более светлом фоне, например, среднем сером фоне, или очень светлом или белом фоне, или потенциально даже на темном фоне. Часто в видеосигнале, который будет зависеть от фактического фона (например, если видеосигнал сообщает о модном фотографе, намеревающемся сфотографировать свою модель на белом фоне, видеосигнал будет показывать его говорящим напротив белых стен или задника, который будет сфотографирован). В студиях фон может быть построен. В прогнозе погоды, синоптик может стоять напротив (виртуальный обычно, зеленым экраном) визуализации фотографии, поданной зрителем, не профессионалом. Или в фильме кто-то может сидеть напротив светлого публичного экран, например, экран LED, по некоторой причине, и т.д. Это другой пример необходимости для координации, где-то, поскольку в прошлом демонстриировалось бы приятно скоординированный фотография LDR в прогнозе погоды LDR, но скоро зрители сможет отправлять фотографии HDR для показа, что еще создается в режиме LDR, или пара лет отныне кто-то может отправлять фотография LDR очень низкого качества для показа следовательно смешанный в программе HDR. В любом случае, для кривой 602 предполагается, что будет много слишком светлые пиксели в изображении LDR, чтобы походить на PIP. Может не только понадобиться снижать выходные значения функции 602 для некоторого белого, но и, например, начинать мягкое отсечение для самый светлый входные яркости. Поэтому кривая 601 будет давать слишком светлые результаты. Устройство (301) сделало это путем считывания трех типов яркости исходного якоря во входном изображении, и выделение их соответствующим яркостям якорей в CombRng выходное изображение. А именно, создатель контента также задал хороший опорный уровень для диффузного белого, т.е. какие яркости в своем изображении соответствуют ламбертовым отражающим объектам, которые являются белыми (т.е. с отражательной способностью, например 90%), и которые в среднем освещены. Устройство будет выделять для этого изображения LDR яркость anc_DW для диффузных белых участков изображения LDR в CombRng, который явно ниже, чем то, что даст кривая 601 линейного преобразования яркости. Поэтому устройство объединения может теперь разумно принимать решение как преобразовать яркость таких светлых пикселей изображения, что бы оно ни определило как конкретные потребности в этих более светлых пикселях в изображении объединения. Аналогичный подходящий поведение можно задавать на темном конце, например, в этом случае во избежание отсечение, путем указания заранее в контенте яркость черного якоря L_SA1RBk, и определение во время объединения подходящей яркости черного якоря anc_RBk. Затем устройство может например принимать решение продолжать функция линейно к абсолютному черному (т.е. 0,0) от этой точки anc_RBk, и делать ее возрастающей с очень малым наклон над anc_DW. Или оно может оптимизировать черные участки для конкретной ситуации визуализации, со знанием L_SA1RBk яркости черного якоря источника.

Поясним пару возможных более сложных примеров на фиг. 8, а именно, как некоторые из наших вариантов осуществления устройства и способа могут не только конструировать кусочно-непрерывные функции на основе различных яркостей якорей, но и определять форму частей кривой (FF) преобразования яркости на основе поведения переградуировки, заданного в функциях цветового преобразования (F2_L, и если имеется, F1_L) как совместно передаваемые с изображением от стороны создания в метаданных.

Можно предположить, что определение функции (FF) между тремя яркости якорей происходит снова как и раньше (посредством линейной, или нелинейный интерполяция), но что устройство намеревается определить поведение преобразования яркости усовершенствованной функции 810 преобразования яркости на фиг. 8B на основе полученного знания о градуировке создателем контента из принятых метаданных (F2_L). F2_L - теперь преобразование яркости (для второго изображения, но то же самое можно понять для всех других изображений, подлежащих объединению в выходном изображении объединения) второго изображения, из его естественного динамический диапазон (DR1) в другой заранее указанный динамический диапазон (DR2), т.е. входные яркости L_DR1_im2 связаны с выходными яркостями L_DR2_im2, которые другой вид динамического диапазона для той же изображаемой сцена HDR). Из графика можно видеть, что есть основная часть (между anc_DW и anc_RBk), которая хорошо представлена (будет визуализироваться) хорошими достаточно светлыми и контрастными яркостями (для ситуации объединения), но что черные участки (ниже L_SA1RBk) можно легко сбрасывать, по меньшей мере, для некоторых видов, соответствующих некоторым динамическим диапазоны, поскольку функция быстро падает до нуля, и отсекает. Т.е. в этом примере не будет очень важных объектов в этом поддиапазоне самых темных яркостей. Устройство может использовать это для определения своей подходящей функции 810, например, быстро сбрасывая функцию для этих темный черные участки, и может определять это на основе того, насколько темным или контрастным оно хочет, чтобы было объединение, или, по меньшей мере, часть второго изображение в этом изображении объединения (например, на основе количества пикселей с яркостью ниже L_SA1RBk в этом втором изображении, или после подходящего объединения, например, масштабирование, в выходном изображении Im_o, и т.д.). Т.е. устройство объединения смотрит на поведение переградуировки кодирования принятых двух градуированных изображений (т.е. как самые темные яркости пикселей обрабатываются при переградуировке из эталонного, например, градуированного изображения PB_C 5000 нит, в градуировку SDR 100 нит, в этой части формы принятой функции отображения яркости), и определяет частичный форму, которая аналогична до некоторой степени.

Мы также проиллюстрировали возможность для самых светлые пиксели. Нарушение непрерывности кривой F2_L указывает, что существует два участка, например, ламбертовы объекты в сцене внутреннего пространства, и светлые цвета, которые представляют лампы (или аналогичные ситуации). В особенности, если у нас лампы, это означает, что можно щедро выделять их окончательный яркости, в зависимости, помимо прочего, от динамического диапазон на дисплее MDR и/или CombRng. Поэтому устройство может определять подходящий средний уровень L_RefB для этих яркостей пикселей, и финализировать форму кривой 810 таким образом. На фиг. 8A показано, как выглядит принятая функция F2_L отображения яркости для отображения между принятыми градуировками эталонного HDR и SDR, с соответствующими формой и поведением светлый частичный (802) и темный частичный (801) функция.

Квалифицированный читатель понимает, что настоящие различные варианты осуществления применимый во многих системах и ко многим сценариям объединения, и с различными компонентами в различных сочетаниях, но мы поясним некоторые иллюстративные дополнительные возможности на двух фигурах.

На фиг. 9 показан пример системы производства телепрограмм. Это может быть производство в многокамерной студии (первая камера 901 и вторая камера 902), и некоторый живой контент может поступать из местоположения, и т.д. Это также может быть полевое производство, с передвижной студией, и т.д. Технический директор должен смешивать подачи камер, и другие видеосигналы, некоторые из которых могут быть HDR, и некоторые, например, LDR, и видеозаписи HDR могут, конечно, отличаться от видеозаписей LDR, которые являются однотипными (универсальный единый стандарт Rec. 709 который существовал), наличием различных типов и характеристик. Желательно определить оптимальное объединение, на устройстве 903 определения объединения, которое может располагаться в комнате управления производством. Хотя он определяет объединение, мы показываем в этом примере, что это объединение не обязательно приводит к фиксированно заданному Im_o (напротив, техническому директору нужно только определить подходящее объединение, но особенности этого объединения могут передаваться по-разному в различные принимающие места дополнительно по конвейеру передачи видеосигнала, причем приемники могут даже хотеть повторно определить объединение по-другому, например, немного отличным от предпочтительного для технического директора; т.е. объединение может передаваться как грубое изображение и функция и другие метаданные, до объединения). В этом случае, сигнал изображения 910 с метаданными может передаваться, который содержит два изображения (например, с функциями масштабирования для определения решенного объединения PIP), и с определенным CombRng, anc, и, возможно, также с цветовыми преобразования FF_1 и FF_2 для отображения изображений в CombRng, таким образом, что любой приемник (например, приемник 904 передачи, на некотором промежуточном узле, например, в комнате управления передачей) может фактически применять окончательное объединение. Для потенциального повторного определения (по меньшей мере, одного из CombRng, anc, FF_1, или FF_2), сторона производства может также переносить дополнительные метаданные на видеосигнале, например, содержит ли он много светлых сцен, которым нужна дополнительная 3-кратная светлота над средней светлота фильм (т.е. как желательно отображать яркость этого контента в окончательный CombRng), особенности, касающиеся яркостей объекта или участка, или семантическая информация, например, диапазон яркости и/или местоположение неба, и т.д.

На фиг. 10 показан другой возможный вариант осуществления, а именно промежуточное устройство (1001) объединения. Это может быть, например, в комнате управления передачей поставщика кабельного телевидения или аналогичный. Он может получать изображение(я) из основного производства (созданный на фиг. 9, и передаваемый либо как окончательные изображения, либо первоначальные изображения с достаточными метаданными для надлежащего объединения им согласно директору), а именно Im_Prod, и например, источник локального рекламного ролика ImLocComm. Промежуточное устройство (1001) объединения может потенциально также осуществлять преобразование динамического диапазона, например, для преобразования 5000 нит Im_Prod в выходные изображения, кодированный с PB=3000 нит, которые могут лучше подходить для цели, например, дополнительного распределение по некоторой заранее установленной системе передачи видеосигнала. Последнее, конечно, интереснее, если устройство 1001 выводит два отдельных потоков изображение для дальнейшего смешивания, и в этом примере предполагается окончательный подходящий поток изображений генерируется (только для настройки дисплея окончательными приемниками), которые обычно уже имеют LMC, отличный от 5000 нит.

Читатель также может понять, как аналогично система строны потребителя может объединять изображения HDR или видеозаписи, например, фильм совместно с изображениями, принятыми через компьютер, и объединенными в IC телевизионной приставки, персональный компьютер, и т.д., или как это может использоваться в комнатах видеоконференцсвязи, и т.д. Im_o на фиг. 3 может поступать на телевизор, одно из изображений может приниматься на диск Blu-ray через BD проигрыватель, и т.д.

На фиг. 11 и 12 приведена пара возможностей определения CombRng. По оси яркости отложены единицы Log_base2, поскольку это дает лучшую корреляцию с визуальной светлостью человека и впечатлениями о светлоте изображений при визуализации. Алгоритмы для определения различных яркостей пикселей также преимущественно формулировать в таком логарифмическом представлении, фактически, некоторые из наших предпочтительных вариантов осуществления кодирования видеосигнала также работают в таких перцепционно униформизированный представлениях яркости. В этих вариантах осуществления, устройство уже определило хорошее значение anc_FC. Например, устройство предполагает, что значение LDR приблизительно 30 нит будет хорошим значением, также для визуализаций HDR. Теперь устройство будет смотреть на ситуацию распределения яркости двух изображений, объединенную со сведениями объединения, для достижения хороших выборов LMC и LmiC. Устройство будет иметь правила для этого, которые может выбираться и изменяться, например, зрителем, управляющим настройками. В первых двух примерах изображение более высокого динамического диапазона (Im2, показанное более толстой линией) является основным изображением, и изображение более низкого динамического диапазона (не обязательно SDR) Im1 является PIP, например, занимающее 1/4 площади (который является одним из параметров управления, который может указывать визуальное преобладание объектов или участков Im1 по сравнению с объектами в сцене Im2. В этих примерах устройство будет хотеть, чтобы вид HDR Im2 преобладал, поэтому оно сначала определяет CombRng и помещает туда Im2, и согласно предписанию, и затем гармонично помещает туда Im1. В этих вариантах осуществления цвета лиц уже выделены оптимальному окончательному цвету лица anc_FC, поэтому остается вопрос о выделении остатка яркостей. На это будут влиять обе крайности CombRng, и оттуда возрастающие функции цветового преобразования для согласования по координате яркости с другими яркостями, и изменчивость, допустимая для изменения формы этих функций поскольку того требует влияние светлоты. На фиг. 11A, HDR Im2 имеет гистограмма, согласующаяся с типичной сценой с лицом при визуализации вокруг anc_FC, т.е. лицо в Im2 обычно освещено. Мы видим из длинного хвоста к черным участкам, что в сцене существуют темные области, например, это может быть неосвещенная комната где-то позади актера. Может быть так, что некоторые из цветов пикселей будут невидимыми в некоторых визуализациях поскольку они неразличимо темные, но, по меньшей мере, они кодируются, и вычисляются устройством, таким образом, что любое окончательное устройство визуализации (например, TV, выполняющий настройку дисплея на этот диапазон MDR, и зависящую от поставщика обработку осветления самых темных участков) может использовать эти данные надлежащим образом. Мы видим, кроме того, что существует режим светлой яркости HiLaIm2, которая может соответствовать, например, лампе, в котором мы хотели бы видеть некоторую структуру в идеале (например, как лампа отражается в своем металлическом светильнике). Изображение, чтобы быть PIP, Im1, имеет характеристика с высокими пиковым отсчетом пикселей HiModIm1 вблизи белого (наиболее светлые яркости в этом коде). Это может быть, поскольку человек (который также имеет приемлемо большую площадь, как можно видеть из режима вблизи anc_FC, где типичный цвет лица должен быть в обычно освещенных изображениях) стоит напротив большого светлого экрана, например, светового короба, который находится вблизи белого или даже отсечен потенциально до максимального белого. Этот пик имеет большую вероятность быть слишком светлым и возмущающим в объединении. Однако в этом первом примере, поскольку цвета лиц находятся в обоих изображениях в нормальных позициях, и существует приемлемо большое количество более светлых цветов уже в изображении HDR (оба режим диффузно освещенных объектов, например, под основным набором ламп, и некоторые выделения HLaIm2, которые в 100 раз более светлый, чем лицо), можно помещать HiModIm1 в его нормальной позиции (т.е. на то же число пунктов выше якоря в CombRng, закодированное в Im1 при декодировании в линейное представление яркости, которое также в этом примере является нормальным декодированным значением около 100 нит, поскольку яркость лица находится в своей нормальной позиции LDR), поскольку будет существовать нормальная яркость, которую также можно видеть возникающей в Im2, т.е. это не будет слишком дисгармонично. Это также означает, что выделения Im2 могут оставаться в своих нормальных позициях (поскольку не требуется повторного согласования или повторной координации, поскольку все согласованное цвета укладываются в текущий профиль распределения яркости изображения HDR, который имеет свои выделения, где они возникают для этого изображения), т.е. устройство может выбирать LMC равным верхнему пределу режим яркости HiLaIm2, или пиковая светлота диапазона HDR Im2 в случае отсутствия яркостей до PB. Это не обязательно так, но может быть приемлемым выбором, если дополнительные особенности неизвестны, например, касающиеся типичного использования дополнительно под линией цепи обработки изображения HDR). На фиг. 11B показана аналогичная ситуация (то же Im1 является PIP), но теперь Im2 имеет другую гистограмму (например, более поздний кадр фильма). Здесь лица подлежат визуализации (т.е. если они визуализированы сами по себе без объединения с другим контентом изображения) относительно темными, например, на 4 нит. Например, человек может стоять в тенях. В этом примере устройство не хочет делать лица в PIP настолько темными, но все же хочет более скоординированной темноты также для лиц Im1. Устройство решило взять настройку anc_FC на один пункт выше яркости лиц изображение HDR, т.е. 8 нит, и визуализировать лица Im2 на один пункт ниже anc_FC (поскольку они должны оставаться темными, для поддержания художественного замысла этой сцена фильма), и (в зависимости от, помимо прочего, размера PIP) для визуализации в CombRng лиц рекламного ролика LDR Im1 на 1 пункт выше anc_FC (все еще отчетливо более светлая часть изображения, но не слишком дисгармонично светлая). При поддержании отношений всех яркостей объектов в Im1 (линейное отображение через яркость якоря anc_FC), это будет уже ниже яркости большого участка HiModIm1 до ниже 60 нит а не около 100. Все же, когда устройство принимает решение о влиянии светлоты (которое оно может определять чисто на яркостях, например, путем вычисления CHL контрастности между некоторым опорным цветом важной части или объекта Im2, например, цвет лица anc_FC, и этой яркостью HiModIm1, или путем также пространственного анализа, например, путем взвешивания большей и более близкой области выделения Im1 как более серьезно контрастирующей с важной, например, центральной областью Im2) оно все еще может рассматривать, что большая светлая область Im1 слишком светлая по сравнению с довольно темным видом большинства Im2. Поэтому оно может принимать решение для снижения яркости этого режима HiModIm1 на 1 пункт, доводя его до 30 нит, чтобы не слишком отвлекаться на малое PIP в правом верхнем углу. Как показано выше, устройство может делать это по-разному, например, снижая коэффициент C контрастности для преобразования яркости в CombRng выше anc_FC, или некоторая нелинейная функция, которую можно вычислять на основе некоторой желаемой максимальной позиции LAMX для самых светлых возможных пикселей в Im1, потенциально дополнительно определенный размещением некоторой яркости диффузного белого якоря, и т.д. Заметим также, что устройство в этом варианте осуществления также произвело некоторую обработку гармонизации в поддиапазоне яркостей черный. Поскольку черные участки изображения HDR идут очень глубоко (и можно предположить, что несколько дисплеев может визуализировать это, по меньшей мере, когда алгоритм применяется до оптимизации отображения, при осуществлении с подключенным дисплеем, или даже в дисплее, конечно, устройство может учитывать, какой дисплей может фактически визуализировать с достаточным визуальным качеством, т.е. видимостью), устройство может также заглублять черные участки Im1, чтобы оба набора черных участков были более гармоничными. Это можно делать путем распределения, например, всех яркостей ниже кодированных для Im1 как LA_Bk (некоторый черный разделитель), например, путем растяжения локальной контрастности в 2 раза. Из фиг. 11B можно видеть, что в этом примере поддержание наиболее светлых участков изображения HDR все еще может быть полезным, т.е. LMC определяется снова до максимального значения, необходимого для правильной визуализации Im2 на дисплеях, которые могут делать это, поскольку задача, по большей части, состояла в координации Im1 на подучастке яркости, который падает гораздо глубже. Заметим, что устройство в этом примере выбрало ограничивать LmiC несколько выше самых темных цветов в Im2, например, на X пунктов ниже anc_FC, поскольку оно принимает решение, что слишком темные цвета будут в любом случае игнорироваться зрителем в объединении. Цветовые преобразования отображающие в CombRng, могут учитывать это и осветлять самые темные цвета для приведения их в CombRng.

На фиг. 12A приведен пример, в котором Im1 (т.е. в нашем простом пояснении рекламный ролик) становится преобладающим изображением. Возможно зрители не хотят, чтобы их фильм уменьшался, когда рекламные ролики начинаются, но PIP может быть например вторым каналом для просмотра, или даже содержать первоначально просмотренный фильм Im2 переключается на малое PIP, если что-то важное начинается на втором канале зритель также захочет смотреть (например, это изображение Im1 соответствует началу новостей, который зритель не хочет пропустить, поскольку важный новостной элемент предполагается). Теперь предположим, что Im1 является изображением SDR, но кто-то (например, создатель контента, например, рекламный ролик, может задать следующий желаемое в метаданных ʺвизуализировать самую светлую яркость на 500 нит, на дисплеях PB, по меньшей мере, 1000 нитʺ, или зритель может выбрать некоторую пользовательскую настройку, которая указывает, насколько динамическим или консервативным он хочет видеть светлоты своего контента, даже если SDR) задал его подлежащим визуализации на более высоких динамических диапазонах как очень светлый, поскольку существует комната, для этого на более светлых дисплеях. Поэтому, если декодировать обычно согласно Rec. 709 будет получена гистограмма Im1Nat, но в действительности, получится в CombRng, подлежащий визуализации гистограмма Im1adj со значениями для Im1 в объединении до 500 нит (по меньшей мере, когда желаемое контента SDR создатель полностью сопровождается устройством объединения, поскольку, например, он задан равным свободным режимом наблюдения контента, оплаченный владельцем рекламного ролика). Затем фиг. 12A дает вариант осуществления вычисления, где например, более молодой зритель установил свою систему на динамический режим. Чтобы иметь возможность выразительно контрастность с большой светлой областью, поступающей из Im1, устройству нужно устанавливать (по меньшей мере, в этом посреднике, указывающей CombRng, может ли случиться настройка дисплея) светлые лампы, например, до 8000 нит, т.е. необходимо устанавливать LMC на 8000 нит (даже когда это было, например, 4000 нит в первоначальном декодировании Im2). На фиг. 12B показан вариант осуществления, который отличается от первой возможности, поскольку зритель установил свою систему как консервативную (поскольку ему не нравится видеть чрезмерно светлые изображения). Теперь это другое рассмотрение гармонизации, где светлота контента SDR является ведущей, и достаточно светлый, поэтому читатель видит, что является совершено другой результат вывода LMC CombRng. Поскольку существует уже так много пикселей из Im1, которые являются очень светлыми, что вносит вклад в определенную или воспринимаемую общую высокую светлоту объединенного изображения Im_o, устройство может желать снижения яркостей светлого режима HDR HiLaIm2, и, следовательно, LMC только до 2000 нит (несмотря на то, что фильм был, например, эталонным дисплеем, градуированным на градуировку PB_D 10000, и передаваемый как изображения HDR PB_C 5000 нит, например, с выделением люмы SMPTE EOTF 2084). Хотя теперь существует меньшая контрастность между наиболее светлыми лампами изображения HDR и светлым большим участком Im1 (2 пункта вместо 5 или более), т.е. фильм HDR потеряет некоторое из своего вкрапления, когда всплывает PIP, по меньшей мере, общее изображение не является слишком светлым. Зритель может желать такого рода объединение.

Также, если диапазон CombRng задается равным anc_FC, устройство может смотреть на различные аспекты яркостей пикселей и объекты в обоих изображениях, например, задавать одну или более соответствующие типичные яркости. Например, оно может смотреть на процент пикселей в обоих изображениях k раз выше среднего серого, или более чем в l раз ниже пиковой яркости декодированных изображений, и принимать решение из этих значений в обоих изображениях, какими будут хорошие значения нескольких типичных яркостей, с которых начинается, по меньшей мере, максимальная возможная яркость в объединении LMC. Если вариант осуществления устройства использует одно типичное значение наиболее светлых яркостей объектов для каждого изображение, оно может определять, как они будут соотноситься при отображении в CombRng, т.е. например, какую контрастность яркости они будут иметь, и предложить более гармонизированную контрастность. Конечно, дополнительные значения, например, иллюстративные значения среднего серого большинства цветов в сцене (средний серый может быть некоторым фактическим коэффициентом отражения 10% в некоторым типичном освещении сцены, но и может использоваться для указания, например, режима, большинство значение, или средняя и т.д. пикселей в изображении), может помогать при определении, какими будут различные внутриобластные контрастности в объединенном изображении, например, наиболее светлые части Im2 против средней серой части Im1 и т.д., и выбирать гармоничные соотношения между ними. Например, некоторые варианты осуществления устройства могут быть сконфигурированы всегда выбирать некоторые типичные значения контрастности, со светлыми, темными и средними участками, выделенными некоторым подучасткам типичной яркости CombRng (которые могут, конечно, отличаться в зависимости от того, равен ли LMC приблизительно 1000 нит, 2000 нит, 5000 нит, или 10000 нит), и эти значения может отклоняться от (например, отображение на k пунктов выше в CombRng), когда обнаружен некоторый характеристический тип изображения, например, ночная сцена, хорошо освещенная новостная программа, вечерняя по природе, и т.д. При определении хорошего значения anc для, например, хорошего лица или светлоты серого (или участки светлого света) устройство может измерять, в каком окружении наблюдения сидит зритель. Например, фронтальная камера в TV может обобщать характеристики светлоты окружения в одном или более характеристических значениях, которые могут использоваться в уравнениях для масштабирования значение anc_FC и т.д. (например, на 1 или более пунктов вверх или вниз), и контрастности, необходимые для других яркостей по сравнению с яркостью якоря, и т.д. Например, камера может видеть, что зритель (путем обнаружения лица) сидит на диване в некотором локальном освещении, и может определять вторые участки, которыми являются стенами и другими объектами позади, обычно менее хорошо освещенными. Если единичное характерное значение светлоты окружения нужно вывести согласно варианту осуществления, светлота окружающих стен будет оцениваться более высокой при вычислении (например, a*surround_average_L+b*local_spot_average_L), поскольку локальное освещение обычно будет поступать сверху и влияние менее опытного окружения, где находится зритель (например, который мозг устанавливает как глубокий черный в этом окружении, причем дисплей образует часть). Из этих различных пояснений читателю должно быть ясно, что в различных вариантах осуществления, могут существовать различные способы получения всего CombRng, одна или более яркостей anc, и формы функции отображения яркости, и фактически в конце, гармоничное выходное изображение для каждого ситуация.

На фиг. 18 показано лишь некоторое пояснение универсальных типичных возможностей определенных функций FF цветового преобразования, подлежащих применению к яркостям, по меньшей мере, одного из изображений или частей изображения, подлежащих смешиванию (или некоторые или все из них имеющие соответствующие функции FF_x), и из этих примеров читатель может представить дополнительные возможности, следуя общим принципам нашего изобретения и его различных вариантов осуществления. Например, на фиг. 18a показан два простых способа определения функции FF_1, составленной из двух частей (в этом примере заканчивающейся в точных концевых точках диапазона, от которых могут отклоняться в других сценариях). В случае вывода результата применения функции яркости (LF1_o) к яркости входного изображения, равной исходному якорю (L_SA1) должно быть в точности равно anc, мы получаем из этой внутренней программы устройства, откуда получена функция. В случае, когда выходная яркость LT2_v может оказываться вблизи, можно определить аналогичную несколько другую двухсегментную функцию FF, которая проходит через точку со значением Y anc/k, где k равно, например, 1,5, 2, 3 или 4.

Фиг. 18b показывает, что вокруг этого могут быть построены функции сложной формы, например, обычно/тускло освещенный средний серый якорь, например с S-кривой для черных участков. Устройство объединения может предложить такую часть функции отображения яркости, например, обычно, обращаясь к функциям переградуировки яркости (например, функция точной регулировки) которая передавалась согласно нашим принципам кодирования для получения одного из изображений динамического диапазона из другого, фактически принятого. Если устройство объединения видит такое поведение S-типа для черных участков, оно может понять, что это кажется некоторым участком важных объектов в середине черных участков, который должен иметь хорошую сильную контрастность, тогда как глубочайший черные участки выглядят по большей части игнорируемыми, поскольку функция показана, что они могут почти отсекаться до минимального черного (0, или любого происходящего Min-Black). Поэтому несколько более сложные варианты осуществления программы объединения будут следовать этому поведению в ее определенной форме FF, но теперь функция меняет форму, поскольку отображение не проходит между эталонным диапазоном яркостей HDR 5000 нит и диапазоном SDR 100 нит, но, например, 500 нит CombRng (поэтому не требуется несколько преобразовывать черный, согласно аналогичным требованиям, по большей части, убеждаясь в том, что средние черные участки наилучшим образом визуализируются, но это будет несколько по-иному). Аналогично для части функции для светлых цветов, устройство объединения может принимать решение следовать особенностями формы, соответствующими поддиапазонам яркости объекта критичного изображения, в более точной или меньшей степени. На фиг. 18c показан пример, где устройство объединения управляет контрастностью C некоторого ʺсреднего диапазонаʺ, например, изображения SDR, подлежащего объединению, и также в этом примере устройство решило не растягивать верхнюю часть функции FF до конца до максимума CombRng (выходного изображения Im_Cmb), как согласно варианту осуществления, что может приводить к слишком светлой визуализации пикселя SDR (читатель должен понять, что гистограммы яркости изображения HDR обычно имеют далеко отстоящих столбиков, где столбик наиболее светлых яркостей, например, только содержащие 20 малых зеркальных вставок 20×5 пикселей, тогда как изображение SDR содержать тесно связанные гистограммы, со многими яркостями вокруг максимального PB_C=100 нит, например, потенциально даже большие участки изображения отсеченных до белого декораций внешнего пространства, и, конечно, в относительно более тусклом или более темном фильме HDR, эти участки объединенных пикселей не должны визуализироваться столь светлыми как PB_Comb=2000 нит, чтобы не мешать просмотру фильма). Очевидно, что раньше варианты осуществления устройства объединения могут только иметь пару таких целесообразных заранее запрограммированных правил в своем программном обеспечении или аппаратном обеспечении, но варианты осуществления в будущем будут осуществлять сложный анализ, чтобы приходить к окончательно сбалансированным объединениями изображений. Поэтому различные разные варианты осуществления системы могут быть построены на основе устройства базовой обработки правильное смешивание изображений или видеозаписей, например, чтобы человек мог задавать, длинный до (часто неизвестного) фактического осуществления смешивания, элегантным не слишком трудоемким способом, в чем нуждается его контент, путем выбора хорошего значения яркости якоря его контента. Различные варианты осуществления могут возникать в устройстве смешивания, например, где устройство использует тот же тип якоря (хотя некоторые устройства также могут принимать решение для использования другого типа якоря, и преобразовывать гармонизированное отображение двух изображений из их типов якоря в имеющиеся яркости динамического диапазона смешивания). Квалифицированный читатель может понять, что на практике первую ситуацию можно реализовать, например, в устройстве смешивания, которое действует в некотором подчиненном режиме, проверяя, что по меньшей мере основной видеосигнал, например, задав, каким была его критичная яркость лица якоря, затем устанавливает, что хорошая яркость лица будет в динамическом диапазоне смешивания (например, уже с учетом окончательных характеристик визуализации), и затем преобразует по яркости второе изображение (даже если это не содержит лицо), для гармонизации с этой яркости важного лица в первом изображении (т.е. как это было представлено в динамическом диапазоне объединения). Пример второй стратегии, в которой устройство смешивания является ведущим, например, если пользователь смотрит фотографии на TV и установил некоторый эталон для этого (задавая яркость якоря как иллюстративное единичное значение для всей типичной светлоте, с которой визуализации фотографий должны (приблизительно) согласовываться; и обычно также представляя динамический диапазон, например, он задал не слишком светлый (мягкий просмотр) динамический диапазон объединения уже с фотографиями яркость, отображаемая в этом диапазоне, до какие-либо другие данные изображения могут приходить и гармонично смешиваться, и также могут задавать, что фотографии в настоящее время используют, по большей части, половину этого диапазона, т.е. все наше большинство их пикселей имеют яркости ниже PB_Comb_PhotView/2, несмотря на то, что существует некоторое место в динамическом диапазоне объединения для более светлых пикселей, должно быть желание вторичного контента). Смешивание контента вторичного изображения (первичный контент является фотографиями, где уже отображается в определенном отображении яркости) будет затем осуществляться устройством, обращаясь к значению якоря в контенте (которое может отличаться от типа якоря просмотра фотографий, но будет согласно формуле вычисление устройства смешивания связана с ним, например anc_face_inmix=1,3*anc_photviewapplic), и установленный динамический диапазон объединения просмотра фотографий с яркостями между, например, 0 или k нит и PB_Comb_PhotView. Очень полезно иметь универсальный единичный (способный во всех ситуациях) система смешивания контента изображения HDR, которая может обрабатывать различные ситуации, и определение в различных вариантах будет зависеть от того, что оптимально для ситуации, и что уже известно в любой момент устройству.

Например, в случае, когда окончательная система визуализации еще не известна, лучшее, что может сделать смеситель при необходимости гармонизации содержимого двух изображений должны, по меньшей мере, смотреть, как они наилучшим образом смешиваются (например, имеет ли одно из изображений участки чрезмерно более (возможно большой) высокой светлоты, которые нужно приглушать, чтобы наслаждаться другим контентом изображения). В этом случае окончательная стадия оптимизации дисплея (например, на TV потребителя) может нуждаться в том, чтобы осуществлять более сложную оптимизацию, с учетом изображений, уже указанных как они должны (в целом) оптимально смешиваться. Однако, согласно вариантам осуществления, где окружение визуализации уже известно, и, в частности, где это имеет сильные желаемые, смеситель может балансировать более к окончательному виду (т.е. визуальное качество нуждается в большом коэффициенте определенным дисплеем Combrng, и например жертвовать несколько совершенной единственной визуализацией одного из изображений, при осуществлении другого отображения). В случае возможностей визуализации первичной важности при определении CombRng, обычно, по меньшей мере, некоторые типичные соображения будут использоваться в отношении предполагаемых свойств, например, изображений HDR (например, правила программного обеспечения устройства объединения, определяющие, что, вероятно, большинство ʺуниверсальныхʺ типичных изображений HDR будет располагаются (+-) ниже, например, 500 нит, и светлые объекты должны быть визуализируемыми, если выделяются как отображаемые яркости, например, до 1500 нит. Если дисплей затем например имеет только возможности только PB_D=1000 нит, это будет соответствовать некоторой ошибочной неоптимальной визуализации изображений HDR хорошего качества (т.е. светлых взрывов например 1400 нит будет несколько слишком тусклым). В такой ситуации, хотя фактический PB_D имеющегося дисплея может иметь большое влияние на определение PB_C CombRng для смешивания контента изображения до визуализации, устройство объединения все же может принимать решение для определения, что PB CombRng несколько выше 1000 нит (и применять окончательную настройку дисплея смешанного изображения для отображения его в визуализируемый на дисплее диапазон), например, на 15% выше т.е. 1150 нит. Конечно, в идеале, в лучших вариантах осуществления, оптимизация CombRng, и также подходящая точка anc в этом динамическом диапазоне объединения, будет учитывать, и балансировать, все известные факторы (т.е. потребности в идеальной визуализации контента, и все практические требования и ограничения фазы смешивания текущего изображения HDR). Оптимальное определение точки anc может обычно смотреть на то, что доступно (возможно) после предыдущего задания оптимального CombRng (но согласно изложенному, могут быть предусмотрены различные другие факторы, например, какого рода контент семантически содержат изображения, и в некоторых вариантах осуществления, возможно даже, что конечный зритель ожидает для такого контента изображения, и т.д.). Поэтому различные варианты осуществления могут устанавливать anc по-разному, проходя от фиксированной настройки в устройстве, которое будет (что бы ни задавалось в качестве типов якоря исходного изображения) всегда связывать все с подходящими яркостями лиц, по системе, которая имеет различные варианты типа anc и выбирает ближайший к тому, что было определено в, по меньшей мере, одном из исходных изображений, подлежащих объединению (т.е. яркость anc в CombRng того же типа, как указано в, по меньшей мере, одном из изображений, подлежащих объединению, например, хорошего цвета лица, но в CombRng, т.е. оптимального для ситуации объединения, который, следует понимать, отличается от для визуализации каждого изображения самостоятельно), т.е. обычно ведущее изображение, для определения в оперативном режиме устройства того, что было бы целесообразным значением anc, с учетом всех физических особенностей ситуации (например, распределение яркости пикселя контента и возможности дисплея), и т.д. Последняя разновидность варианта осуществления является хорошей, если, например, цвет лица должен определяться оптимально с учетом конкретных ограничений визуализации, например, насколько темным дисплей может хорошо показывать темные объекты, выше которых яркость лица должна попадать, что может быть особенно критично для лиц в темных участках исходных изображений. Для ясности, некоторые варианты осуществления устройства могут работать путем определения некоторого значения anc (например, хороших средних яркостей), хотя два в настоящее время входящих изображений можно задавать яркостями anc типа цвет лица, поскольку в целом единственно, что необходимо для того, чтобы устройство работало, они могут быть связаны устройством (т.е. что типичная яркость лица во входном изображении может отображаться в окрестность значения anc ʺсреднего типаʺ CombRng, поскольку устройство принимает решение, что достаточно хорошие изображения будут результатом, если лица, например, на 50% более светлые, чем эти, в частности, прежде всего и независимо установленные хорошо пригодным значением anc. Поэтому типы anc исходного изображения и CombRng должны быть связанными или соотносимыми. anc может оптимально и элегантно обобщать все колориметрические сложности изображения, и во многих ситуациях может требоваться только одна точка координации для объединения в любом случае. Для полноты, очевидно, что значение anc в динамическом диапазоне означает, что нет никаких яркостей концевой точки, но есть информация, дополнительная этому. Что касается установления динамического диапазона яркости, квалифицированный читатель может понять, как это может предусматривать определение более высокой яркости, и для вариантов осуществления, которые систематически не принимают самую низкую яркость как нуль нит, также устанавливая более низкую яркость, опять же, в зависимости от сбалансированных потребностей известных факторов, например, объема релевантного контента изображения в более темных участках изображения, возможностей системы визуализации для отображения темных цветов, и т.д.

Алгоритмические компоненты, раскрытые в этом тексте можно (полностью или частично) реализовать на практике в виде оборудования (например, частей специализированных IC) или в виде программного обеспечения, выполняющегося на особом цифровом сигнальном процессоре, или универсальном процессоре и т.д.

Специалисту в данной области техники будет понятно из нашего представления, какие компоненты могут быть необязательными усовершенствованиями и могут быть реализованы совместно с другими компонентами, и как (необязательные) этапы способов соответствуют соответствующим средствам устройств, и наоборот. Слово ʺустройствоʺ в этой заявке используется в самом широком смысле, а именно, как группа средств, позволяющих достигать конкретной цели, и поэтому может, например, быть (малой схемной частью) IC, или специальным приспособлением (например, приспособлением с дисплеем), или частью сетевой системы, и т.д. ʺКонфигурацияʺ также подлежит использованию в самом широком смысле, поэтому она может содержать, помимо прочего, единое устройство, часть устройства, совокупность (частей) взаимодействующих устройств, и т.д.

Понятие "компьютерный программный продукт" следует понимать как охватывающее любую физическую реализацию совокупности команд, позволяющих универсальному или специального назначения процессору, после последовательности этапов загрузки (которая может включать в себя промежуточные этапы преобразования, например, перевод на промежуточный язык, и окончательный язык процессора) для ввода команд в процессор, и для выполнения любой из характеристических функций изобретения. В частности, компьютерный программный продукт может быть реализован как данные на носителе, например, диске или ленте, данные, присутствующие в памяти, данные, передаваемые через сетевое соединение, проводное или беспроводное, или программный код на бумаге. Помимо программного кода, характеристические данные, необходимые для программы, также можно реализовать в виде компьютерного программного продукта.

Некоторые из этапов, необходимых для выполнения способа, могут уже присутствовать в функциональных возможностях процессора вместо описанных в компьютерном программном продукте, например, этапы ввода и вывода данных.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, но не ограничивают изобретение. Когда специалист в данной области техники может легко реализовать отображение представленных примеров в другие участки формулы изобретения, мы для краткости не раскрыли полностью все эти варианты. Помимо сочетаний элементов изобретения, объединенных в формуле изобретения, возможны другие сочетания элементов. Любое сочетание элементов можно реализовать в едином специальном элементе.

Любая ссылочная позиция в скобках в формуле изобретения не призвана ограничивать формулу изобретения. Слово ʺсодержащийʺ не исключает наличия элементов или аспектов, не перечисленных в формуле изобретения. Употребление названия элемента в единственном числе не исключает наличия множества таких элементов.

Изобретение относится к обработке объединений множественных изображений из разных источников и с разными характеристиками яркости. Техническим результатом является обеспечение универсального объединения изображений или видеозаписей с различными характеристиками динамического диапазона и яркости. Результат достигается тем, устройство (301) для объединения двух изображений или двух видеозаписей изображений содержит: блок (302) установления динамического диапазона, выполненный с возможностью установления динамического диапазона (combrng) яркости объединения, причем блок установления динамического диапазона дополнительно содержит блок (303) определения якоря яркости, блок (310) цветового преобразования, выполненный с возможностью осуществления, по меньшей мере, преобразования яркости на, по меньшей мере, одном из двух изображений или видеозаписей, причем блок (310) цветового преобразования содержит блок (311) считывания яркости исходного якоря и блок (320) объединения изображений, выполненный с возможностью объединения двух изображений или двух видеозаписей изображений для формирования, по меньшей мере, одного выходного изображения (im_o). 2 н. и 13 з.п. ф-лы, 18 ил.

1. Устройство (301) для объединения двух изображений или двух видеозаписей изображений (Im_HDR, Im_LDR), причем одно из них является изображением или видеозаписью высокого динамического диапазона, причем устройство содержит:

блок (302) установления динамического диапазона, выполненный с возможностью установления динамического диапазона (CombRng) яркости объединения, причем, по меньшей мере, максимальная яркость (LMC) определяется на основе, по меньшей мере, одного из: максимальной яркости, по меньшей мере, одного из двух изображений или двух видеозаписей изображений, и пиковой светлоты дисплея для визуализации двух изображений или двух видеозаписей изображений, причем блок установления динамического диапазона дополнительно содержит блок (303) определения якоря яркости, выполненный с возможностью определения яркости (anc) якоря в динамическом диапазоне (CombRng) яркости объединения,

блок (310) цветового преобразования, выполненный с возможностью осуществления, по меньшей мере, преобразования яркости на, по меньшей мере, одном из двух изображений или видеозаписей, причем блок (310) цветового преобразования содержит блок (311) считывания яркости исходного якоря, выполненный с возможностью считывания, по меньшей мере, одной яркости (L_SA1) исходного якоря из метаданных из первого источника (350), который доставляет первое изображение или видеозапись (Im1_LDR) из двух изображений или видеозаписей, и при этом блок цветового преобразования выполнен с возможностью установления цветового преобразования (FF_1), подлежащего применению к первому изображению или видеозаписи, причем цветовое преобразование зависит от значения яркости (L_SA1) исходного якоря благодаря обладанию свойством, состоящим в том, что яркость (L_SA1) исходного якоря отображается в выходную яркость, близкую к яркости (anc) якоря; и

блок (320) объединения изображений, выполненный с возможностью объединения двух изображений или двух видеозаписей изображений для формирования, по меньшей мере, одного выходного изображения (Im_o).

2. Устройство по п.1, в котором блок (310) цветового преобразования выполнен с возможностью определения цветового преобразования (FF_1), таким образом, что выходная яркость (LF1_o), определенная в результате применения цветового преобразования (FF_1) ко входной яркости цвета пикселя первого изображения или видеозаписи (Im1_LDR), равной, по меньшей мере, одной яркости (L_SA1) исходного якоря, равна яркости (anc) якоря.

3. Устройство по п.2, в котором блок (310) цветового преобразования выполнен с возможностью определения цветового преобразования (FF_1), таким образом, что отношение второй выходной яркости (LT2_o), которая определяется в результате применения цветового преобразования (FF_1) ко второй входной яркости (LT1_i), к выходной яркости (LF1_o), в постоянное число (C) раз больше отношения второй входной яркости (LT1_i) к яркости (L_SA1) исходного якоря.

4. Устройство по любому из предыдущих пунктов, в котором блок (310) цветового преобразования содержит блок (312) определения отклонения, выполненный с возможностью определения, на основе, по меньшей мере, одной яркости (L_SA1) исходного якоря, смещения (d_anc) яркости, и при этом блок цветового преобразования выполнен с возможностью определения цветового преобразования (FF_1), таким образом, что выходная яркость (LF1_o), определенная в результате применения цветового преобразования (FF_1) ко входной яркости цвета пикселя первого изображения или видеозаписи (Im1_LDR), равной, по меньшей мере, одной яркости (L_SA1) исходного якоря, равна яркости (anc) якоря плюс смещение (d_anc) яркости.

5. Устройство по п.4, в котором блок (310) цветового преобразования выполнен с возможностью считывания, по меньшей мере, одной яркости (L_S2A1) второго исходного якоря, полученной из второго источника (351), который доставляет второе изображение или видеозапись (Im_HDR) из двух изображений или видеозаписей, и при этом блок (312) определения отклонения выполнен с возможностью определения смещения (d_anc) яркости также на основе, по меньшей мере, одной яркости (L_S2A1) второго исходного якоря.

6. Устройство по любому из предыдущих пунктов, в котором блок цветового преобразования выполнен с возможностью установления цветового преобразования (FF_1) применительно к первому изображению или видеозаписи также в зависимости от первых функций (F1_L) повторного отображения цвета, которые задают изменение распределения яркости объектов в первом изображении или видеозаписи (Im1_LDR) для отображения этого первого изображения или видеозаписи из динамического диапазона, связанного с кодированием первого изображения или видеозаписи, в динамический диапазон, который отличается от пиковой светлоты, по меньшей мере, в 2 раза, или блок цветового преобразования выполнен с возможностью установления цветового преобразования (FF_2) применительно ко второму изображению или видеозаписи также в зависимости от вторых функций (F2_L) повторного отображения цвета, которые задают изменение распределения яркости объектов во втором изображении или видеозаписи (Im2_HDR) для отображения этого второго изображения или видеозаписи из динамического диапазона, связанного с кодированием второго изображения или видеозаписи, в динамический диапазон, который отличается от пиковой светлоты, по меньшей мере, в 2 раза.

7. Устройство по любому из предыдущих пунктов, в котором блок (302) установления динамического диапазона выполнен с возможностью установления динамического диапазона (CombRng) яркости объединения в зависимости от яркостей, присутствующих в, по меньшей мере, одном из двух изображений или видеозаписей.

8. Устройство по п.7, в котором блок (302) установления динамического диапазона выполнен с возможностью установления динамического диапазона (CombRng) яркости объединения в зависимости от пиковой светлоты дисплея, на котором, по меньшей мере, одно выходное изображение (Im_o) подлежит визуализации, и, предпочтительно, также от характеристики светлоты окружения наблюдения.

9. Устройство по любому из предыдущих пунктов, в котором блок (303) определения якоря яркости выполнен с возможностью определения яркости (anc) якоря в зависимости от, по меньшей мере, одного из: динамического диапазона (CombRng) яркости объединения, яркостей в, по меньшей мере, одном из двух изображений или видеозаписей, пиковой светлоты дисплея, на котором, по меньшей мере, одно выходное изображение (Im_o) подлежит визуализации, и характеристики светлоты окружения наблюдения.

10. Способ объединения двух изображений или двух видеозаписей изображений (Im_HDR, Im_LDR), причем одно из них является изображением или видеозаписью высокого динамического диапазона, причем способ содержит этапы, на которых:

устанавливают динамический диапазон (CombRng) яркости объединения, причем, по меньшей мере, максимальная яркость (LMC) определяется на основе, по меньшей мере, одного из: максимальной яркости, по меньшей мере, одного из двух изображений или двух видеозаписей изображений, и пиковой светлоты дисплея для визуализации двух изображений или двух видеозаписей изображений, причем установление дополнительно содержит определение яркости (anc) якоря в динамическом диапазоне (CombRng) яркости объединения;

применяют цветовое преобразование (FF_1) на, по меньшей мере, одном из двух изображений или видеозаписей, состоящее из, по меньшей мере, преобразования яркости, причем цветовое преобразование устанавливается на основе значения яркости (L_SA1) исходного якоря, которое считывается из метаданных из первого источника (350), который доставляет первое изображение или видеозапись (Im1_LDR) из двух изображений или видеозаписей, причем цветовое преобразование обладает свойством, состоящим в том, что яркость (L_SA1) исходного якоря отображается в выходную яркость, близкую к яркости (anc) якоря; и

объединяют два изображения или две видеозаписи изображений причем цвета их пикселей находятся в динамическом диапазоне (CombRng) яркости объединения для формирования, по меньшей мере, одного выходного изображения (Im_o).

11. Способ объединения двух изображений по п.10, в котором цветовое преобразование (FF_1) определяется таким образом, что выходная яркость (LF1_o), определенная в результате применения цветового преобразования (FF_1) ко входной яркости цвета пикселя первого изображения или видеозаписи (Im1_LDR), равной, по меньшей мере, одной яркости (L_SA1) исходного якоря, равна яркости (anc) якоря или равна яркости (anc) якоря плюс определенная разность (d_anc).

12. Способ объединения двух изображений по любому из предыдущих пунктов, в котором цветовое преобразование (FF_1) определяется таким образом, что отношение второй выходной яркости (LT2_o), которая определяется в результате применения цветового преобразования (FF_1) ко второй входной яркости (LT1_i), к выходной яркости (LF1_o), в постоянное число (C) раз больше отношения второй входной яркости (LT1_i) к яркости (L_SA1) исходного якоря.

13. Способ объединения двух изображений по любому из предыдущих пунктов, в котором цветовое преобразование (FF_2) второго изображения или видеозаписи изображений определяется на основе, по меньшей мере, одной яркости (L_S2A1) второго исходного якоря, полученной из второго источника (351), который доставляет второе изображение или видеозапись (Im1_HDR) из двух изображений или видеозаписей.

14. Способ объединения двух изображений по любому из предыдущих пунктов, в котором, по меньшей мере, одно из цветовых преобразований (FF_1, FF_2), подлежащих применению к соответствующему одному из, по меньшей мере, двух изображений или видеозаписей, определяется, по меньшей мере, частично на основе, по меньшей мере, одной принятой функции (F1_L, F2_L), которая указывает, как нужно преобразовывать соответствующее изображение из динамического диапазона, соответствующего тому, которое кодируется, в динамический диапазон, который, по меньшей мере, а два раза выше или ниже.

15. Способ объединения двух изображений по любому из предыдущих пунктов, в котором, по меньшей мере, один из динамического диапазона (CombRng) яркости объединения и яркости (anc) якоря определяется на основе, по меньшей мере, одного фактора из набора: свойства объектов, зависящих от распределения яркости в, по меньшей мере, одном из двух изображений, информации, обобщающей характеристики яркости, по меньшей мере, одного из двух изображений, динамического диапазона дисплея, на котором объединенное, по меньшей мере, одно выходное изображение (Im_o) подлежит визуализации, и меры светлоты для окружения наблюдения, в котором выходное изображение подлежит наблюдению.