КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ HDR ВИДЕО Российский патент 2020 года по МПК H04N19/30 H04N19/186 H04N19/60 

Область техники, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способам и устройствам для кодирования и соответственно декодирования последовательного во времени набора изображений с высоким динамическим диапазоном, называемыми в данном документе HDR видео.

уровень техники

До недавнего времени, все видеофайлы кодировались в соответствии с так называемой философией низкого динамического диапазона (LDR), так же называемого стандартным динамическим диапазоном (SDR). Это означает, что независимо от того, какой была захваченная сцена, максимум кода (типично 8 битов яркости Y'=255; или 100% напряжения для аналогового возбуждения дисплея) должен по стандартизированному определению соответствовать, т.е. быть визуализирован, на дисплее с пиковой яркостью PB (т.е. с самым ярким белым цветом, который он может визуализировать), равной по стандартному соглашению 100 нит. Если люди приобретали реальный дисплей, который был немного темнее или ярче, предполагалось, что зрительная система наблюдателя подстроится так, чтобы изображение все еще выглядело подходяще и даже так, как на эталонном 100 нит дисплее, а не, например, раздражающее слишком ярким (в случае если, например, имеется ночная сцена в фильме ужасов, которая должна быть темной).

Конечно, для практического проекта, создание этого, как правило, означало поддержание жесткого контроля над установкой освещения сцены, хотя даже при идеально равномерном освещении процент диффузного отражения различных объектов уже способен создать степень контрастности 100:1. Черный цвет такого SDR дисплея, как правило, может достигать 0,1 нит в хороших условиях и в то же время 1 нит или даже несколько нит в наихудших условиях, таким образом, динамический диапазон SDR дисплеев (наиболее яркий белый цвет в отношении к наблюдаемому самым темным черному цвету) составил бы 1000:1 в лучшем случае, или хуже, что точно соответствует равномерно освещенным сценам, и 8-битное кодирование для всех требуемых для визуализации пиксельных значений серого или яркостей, имеющих гамму приблизительно равную 2,0, или закодированную обратную гамму 0,5. Rec.709, обычно использовалось в кодировании SDR видео. Обычно, также камеры имели проблемы захвата одновременно как очень ярких и довольно темных областей, например, сцена, видимая за окном или окном автомобиля, обычно обрезается до белого (давая красные, зеленые и синие аддитивные цветовые компоненты R=G=B=max., в соответствии с их квадратным корнем кодированных значений R'=G'=B'=255). Отметим, что если в этой заявке динамический диапазон указан, в первую очередь, только с пиковой яркостью (т.е. наиболее яркой визуализированной или визуализируемой светимостью), мы предполагаем, что наиболее низкое значение светимости прагматически нулевое (в свою очередь, на практике это может зависеть от условий просмотра, таких как отражение света фронтальной панелью дисплея или экраном кинотеатра, например, 0,1 нит), и что эти дополнительные детали являются нерелевантными для конкретного пояснения. Отметим также, что существует несколько путей для определения динамического диапазона, и что наиболее естественный, обычно используемый в дальнейших пояснениях, это визуализируемый дисплеем диапазон светимости, то есть светимость самого яркого цвета по отношении к наиболее темному.

Отметим также, что то, что стало более ясным в процессе исследования HDR, и упомянуто здесь, чтобы гарантировать, что все это понимают, заключается в том, что сама по себе кодовая система изначально не имеет внутренне присущего ей динамического диапазона, если только с ней не ассоциирован эталонный дисплей, который показывает, что, например, R'=G'=B'=Y'=255 должно соответствовать PB 100 нит или альтернативно 1000 нит и т.д. В частности, вопреки тому, что обычно заранее предполагается, число битов, используемых для цветовых компонентов пикселей, таких как их яркости, не является хорошим индикатором динамического диапазона, так как, например, 10-битная система кодирования может кодировать либо HDR видео, либо SDR видео, определенное типом кодирования, и в частности электро-оптической передаточной функцией EOTF эталонного дисплея, ассоциированной с кодированием, т.е., определяя взаимоотношение между кодами яркости [0, 1023] и соответствующей светимостью пикселей, как они должны быть визуализированы на дисплее.

В этом тексте предполагается, что когда упоминается HDR изображение или видео, оно имеет соответствующую пиковую яркость или максимальную светимость для кода с наивысшей яркостью (или эквивалентно самые высокие значения R', G', B' в случае RGB кодирования, например, в отличие от YCbCr кодирования), что выше, чем значение SDR 100 нит, обычно по меньшей мере выше в 4 раза, т.е. для визуализации, максимальная светимость дисплея для оптимального отображения HDR изображения может быть, например, 1000 нит, 5000 нит или 10000 нит (отметим, что это не следует путать с кажущейся достоверной на первый взгляд сложной концепцией, которая будет подробно описана ниже, что можно кодировать такие HDR изображения или видео как SDR изображения или видео, в этом случае изображение может быть визуализировано на 100 нит дисплее, но что важно, также содержит всю информацию - при наличии соответствующих метаданных, кодирующих цветовое преобразование для восстановления HDR изображения - для создания HDR изображения с PB, например, 1000 нит!).

Таким образом, кодирование высокого динамического диапазона изображения с высоким динамическим диапазоном способно кодировать изображения с визуализируемой светимостью до 1000 нит, чтобы иметь возможность визуализировать - отображать HDR хорошего качества, например, с яркими взрывами в сравнении с окружающей визуализируемой сценой или сверкающими блестящими металлическими поверхностями и т. д.

На практике, в мире существуют сцены, которые могут иметь очень высокий динамический диапазон (например, захват в помещении с объектами темными как 1 нит при одновременном наблюдении через окно снаружи освещенных солнцем объектов со светимостями более 10,000 нит, что дает динамический диапазон (DR) 10000:1, который в 10 раз больше, чем DR 1000:1, и даже в 100 раз больше, чем динамический диапазон 100:1, и например, телевизионный просмотр может иметь DR меньше, чем 30:1, в некоторых типичных ситуациях, как например, просмотр при дневном свете). Поскольку дисплеи становятся все лучше (в несколько раз более яркая PB, чем 100 нит, с появляющимися в настоящее время 1000 нит, и ожидаемой PB в несколько тысяч нит), цель состоит в том, чтобы иметь возможность визуализировать эти изображения красиво, хотя и не точно идентичными оригиналу из-за такого фактора, как различные условия просмотра, но по меньшей мере очень естественными или по меньшей мере приятными. И для этого нужно то, чего не хватало в эпоху кодирования SDR видео: хорошая прагматичная технология кодирования HDR видео.

Читатель должен также понимать, что, поскольку зритель обычно просматривает контент в различной ситуации (например, сидя в слабо освещенной гостиной ночью или в темном доме или кинотеатре, вместо того, чтобы фактически находиться в захваченном ярком африканском пейзаже), нет тождества между светимостями в сцене, и тем, что будет в итоге визуализировано на телевизоре (или другом дисплее). Это может быть обработано, в частности, с помощью человека-классификатора цвета, который вручную принимает решение об оптимальных цветах на доступном DR кодирования, т.е. ассоциированного эталонного дисплея, например, предписывая, что солнце в сцене должно отображаться на изображении при 5000 нит (а не его фактическом значении в 1 миллиард нит). В качестве альтернативы, автоматические алгоритмы могут выполнять такое преобразование, например, из исходного захвата камеры в то, что в тексте будет (в общем случае) называться (эталонной) градацией HDR. Это значит, что можно после этого визуализировать эту эталонную градацию на HDR дисплее с PB в 5000 нит, в тех местах, где он доступен.

Однако, в то же время, в ближайшие годы будет большая установленная база людей, имеющих унаследованный SDR дисплей с PB в 100 нит, или некоторый дисплей, который не может произвести белый цвет 5000 нит, например, потому, что он портативный, и этим людям также нужно иметь возможность посматривать HDR фильм. Таким образом, требуется некоторый механизм для преобразования просматриваемого изображения той же сцены из HDR 5000 нит в SDR 100 нит.

Фиг. 1 показывает несколько иллюстративных примеров многих возможных HDR сцен, которые может потребоваться корректно обрабатываться HDR системе будущего (например, подключенной к дисплею с PB в 1000 нит), т.е. путем визуализации соответствующих светимостей для всех объектов/пикселей в изображении. Например, ImSCN1 представляет изображение освещенной солнцем сцены на открытом воздухе из вестерна, в то время как ImSCN2 является изображением в ночное время. То, что отличает визуализацию HDR изображения, от того, что было всегда в эру LDR, которая завершилась лишь пару лет назад, это то, что LDR имел такой ограниченный динамический диапазон (около PB=100 нит и уровень черного +-0,1 до 1 нит), что в основном могли быть показаны только отражательные способности объектов (которые находились бы между 90% для хорошего белого цвета и 1% для хорошего черного цвета). Таким образом, должны были показываться объекты независимо от их освещения, и в то же время не могли быть точно показаны все иногда очень контрастные освещения сцен, которые могли случаться. На практике это означало, что очень яркая солнечная сцена должна была визуализироваться примерно с теми же светимостями дисплея (0-100 нит), что и тусклая сцена дождливого дня. И даже ночные сцены не могли быть визуализированы слишком темными, иначе зритель не смог бы хорошо различать самые темные части изображения, так что вновь эти яркости ночного времени были бы визуализированы в диапазоне от 0 до 100 нит. Поэтому обычно приходилось окрашивать ночные сцены в синий цвет, чтобы зритель понял, что он смотрит не на дневную сцену. Сейчас, конечно, в реальной жизни человеческое зрение также адаптировалось бы к доступному количеству света, но не так сильно (большинство людей в реальной жизни понимают, что начинает темнеть). Таким образом, хотелось бы визуализировать изображения со всеми впечатляющими локальными световыми эффектами, которые можно художественно спроектировать в них, чтобы получать гораздо более реалистичные визуализированные изображения, по меньшей мере, если имеется HDR дисплей.

Так на левой оси на фиг. 1 показаны светимости объектов, как хотелось бы видеть их в эталонной HDR градации с PB 5000 нит для дисплея с PB 5000 нит. Если желательно передать не просто иллюзию, а реальное ощущение ковбоя, находящегося в яркой освещенной солнцем среде, нужно задать и сделать эти светимости пикселей достаточно яркими (хотя и не слишком яркими), например, около 500 нит. Для ночной сцены желательны в основном темные светимости, но главный герой на мотоцикле должен быть хорошо распознаваемым, т.е. не слишком темным (например, около 5 нит), и в то же время могут быть пикселы с довольно высокой светимостью, например, уличные фонари, например, около 3000 нит на 5000 нит дисплее, или около пиковой яркости на любом HDR дисплее (например, 1000 нит). Третье примерное ImSCN3 показывает, что теперь возможно на HDR дисплеях: можно одновременно визуализировать как очень яркие, так и очень темные пикселы. Мы видим темную пещеру, с малым отверстием, через которое мы видим солнечную внешнюю среду. Для этой сцены можно сделать освещенные солнцем объекты, такие как дерево, несколько менее яркими, чем в сцене, которая хочет создать впечатление яркого солнечного пейзажа, например, около 400 нит, который должен быть более согласован с по существу темным персонажем внутри пещеры. Классификатору цвета может быть желательно оптимально координировать светимости всех объектов, чтобы ничего не выглядело неуместно темным или светлым и была хорошая контрастность, например, человек, стоящий в темноте в этой пещере, может кодироваться в изображении эталонной HDR градации как примерно 0,05 нит (при условии, что HDR визуализация сможет визуализировать не только яркие блики, но и темные области).

Может быть понятно, что не всегда может быть тривиальной задачей, отобразить все светимости объектов для всех этих крайне отличающихся типов HDR сцены на оптимальные светимости, доступные в гораздо меньшем SDR или LDR динамическом диапазоне (DR_1), показанном на справа на фиг. 1, поэтому желательно, чтобы человек-классификатор цвета мог быть задействован для определения цветового преобразования (которое содержит по меньшей мере преобразование светимости или преобразование яркости при эквивалентном выполнении на кодах яркости). Однако всегда можно использовать автоматически определенные преобразования, например, на основе анализа цветовых свойств содержимого изображения, таких как гистограмма яркости, и это может быть, например, предпочтительным вариантом для более простых видов HDR видео или применения, где градуировка человеком менее предпочтительна, например, как при производстве содержимого в реальном времени (в этом патенте предполагается, что без ограничений градуировка может также включать быструю настройку нескольких параметров функции преобразования цвета, например, для всего производства, быстро до начала захвата).

Заявитель разработал систему кодирования, которая не только может обрабатывать передачу (кодирование) только простого стандартизированного HDR видео, для типичного одного вида дисплея в этой области поле (где каждый конечный зритель имеет, например, дисплей с РВ 1000 нит), но которая может в то же время передавать и обрабатывать видео, которые имеют оптимальный вид для различных возможных других типов дисплея с различными другими пиковыми яркостями в этой области, в частности, SDR изображение для SDR дисплея с PB 100 нит.

Кодирование только набора HDR изображений, т.е. с корректным видом, т.е. светимостями объектов изображения для визуализации, скажем, на HDR мониторе 1000 нит, например, в 10-битной унаследованной MPEG или аналогичной технологии кодирования видео не является таким сложным. Достаточно установить оптимальную OETF (оптико-электронную передаточную функцию) для нового типа изображения со значительно большим динамическим диапазоном, а именно, такую, которая не покажет полосатость во многих, сравнительно с белым, относительно темных областях, и затем вычислить коды яркости для всех светимостей пикселей/объектов.

Заявитель, однако разработал систему, которая способна передавать HDR изображения фактически как LDR изображения, т.е. фактически передаются LDR (или более точно SDR, стандартный динамический диапазон, под которым мы подразумеваем унаследованное на основе Rec.709 кодирование, относящееся к эталонному дисплею с РВ 100 нит и часто оптимально классифицированное по цвету на таких эталонных дисплеях) изображения, которые затем могут уже немедленно использоваться для визуализации корректно выглядящего SDR вида на унаследованных SDR дисплеях с PB 100 нит. Кроме того, набор подходящих обратимых функций F_ct преобразования цвета определен, как проиллюстрировано на фиг. 2. Эти функции могут быть определены человеком-классификатором цвета, чтобы получить приемлемо выглядящее SDR изображение (Im_LDR), соответствующее HDR эталонному изображению MAST_HDR, в то же время гарантируя, что используя обратные функции IF_ct, исходное эталонное HDR (MAST_HDR) изображение может быть восстановлено с достаточной точностью в качестве восстановленного HDR изображения (Im_RHDR), или алгоритмы автоматического анализа могут быть использованы на стороне создания контента для определения подходящих таких функций F_ct преобразования цвета. Будем предполагать, если только настоящие решения не потребуют более конкретных разъяснений, что используется несколько стандартных функций на стороне создания, например, имеющее форму логарифмической гаммы отображение начального HDR на SDR как в WO2015007505 (например, с конкретной формой функции, выбранной на основе того, насколько далеко выступ (лепесток) самых ярких цветов (см. лампы) на HDR изображении лежит от выступа средних цветов (например, вид на город в сумерках)), и где полезна другая, например, 3-сегментная кривая, которая регулирует по меньшей мере одну из самых темных подобластей цветов, или среднюю или более яркую, например, без ограничения, только для пояснения предполагаем, что алгоритм детектора лиц на стороне создания может определить параметр такой функции, контролирующей крутизну характеристики темного в случае, если имеется по меньшей мере одно лицо в темноте. Или некоторые варианты будут пояснены на примере, где уже два градуированных изображения (для одного момента времени фильма или вообще видео контента) доступны на стороне создания перед кодированием этих двух как одного изображения, которое будет передаваться в соответствии с принципами настоящего изобретения, без ограничений для понимания будем предполагать, что это HDR изображение (например, с 1000 нит кодированием пиковой яркости PB_C, т.е. самой яркой светимостью белого цвета, которая может быть закодирована с этим цветовым представлением этого выбранного кодирования) и SDR (100 нит PB_C) изображение, оба градуированы ранее человеком-классификатором цвета. Отметим, что вместо того, чтобы полагаться на принимающую сторону для инвертирования функции F_ct в IF_ct, также можно отправить уже требуемые функции для вычисления Im_RHDR из принятого и декодированного SDR изображения Im_RLDR. Таким образом, то, что функции преобразования цвета фактически делают, - это изменение светимостей пикселей в HDR изображении (MAST_HDR) в LDR светимости, т.е. оптимальное сжатие светимости, как показано на фиг. 1, для подгонки всех светимостей в LDR динамический диапазон с PB 100 нит, DR_1. Заявитель изобрел способ, который способен сохранять цветности цветов постоянными, эффективно меняя только их светимости, что будет пояснено ниже.

Типичная цепочка кодирования, как показано на фиг. 2, работает следующим образом. Некоторый источник 201 изображения, который может, например, быть градуирующим компьютером, дающим оптимально градуированное изображение, или камерой, дающей HDR выводимое изображение, доставляет эталонное HDR изображение MAST_HDR, для преобразования цвета и кодирования. Преобразователь 202 цвета применяет определенное преобразование цвета, т.е. вогнуто искривленную функцию, которую для простоты пояснения будем считать функцией гаммы с коэффициентом gam=1/k и k - числом больше 2,0. Конечно, более сложные функции отображения светимости могут быть использованы, при условии, что они достаточно обратимы, т.е. Im_RHDR изображение имеет пренебрежимо малую или допустимую полосатость. Применяя эти функции F_ct преобразования цвета, содержащие по меньшей мере функции преобразования светимости, выводится Im_LDR изображение. Это изображение или набор изображений кодируется с помощью унаследованного кодера LDR изображения, который, возможно, может быть несколько изменен, например, таблицы квантования для DCT преобразований разностей предсказания могут быть оптимизированы, чтобы лучше подходить для изображений с HDR характеристиками (хотя преобразования цвета обычно могут уже иметь статистику Im_LDR, намного более похожую на обычное LDR изображение, чем на обычное HDR изображение, когда HDR изображение обычно имеет относительно много пикселей с относительно темными светимостями, так как верхняя часть диапазона может часто содержать маленькие лампы и т.д.). Например, кодер MPEG типа может быть использован как HEVC (H265), давая кодированное SDR изображение Im_COD. Этот видеокодер 203 тогда претендует на получение нормального SDR изображения, хотя он также получает функции F_ct, которые позволяют восстановить эталонное HDR изображение, т.е. эффективно делая это двойным совместным кодированием как SDR, так и HDR вида, и их соответствующий набор изображений (Im_RLDR, соответственно Im_RHDR). Существует несколько способов передачи этих метаданных, содержащих всю информацию о функциях F_ct, например, они могут передаваться как SEI сообщения. Затем модуль форматирования 204 передачи применяет все необходимые преобразования для форматирования данных для прохождения через некоторую среду 205 передачи, согласно некоторым стандартам, например, спутниковой или кабельной или интернет передачи, например, согласно ATSC 3,0, или DVB, или любому принципу передачи видеосигнала, т.е. выполняется пакетирование данных, канальное кодирование и т.д. На стороне любого потребителя или профессионала, приемник 206, который может быть включен в различные физические устройства, как, например, приемник цифрового телевидения, телевизор или компьютер, отменяет канальное кодирование путем применения обратного форматирования и канального декодирования. Затем видеодекодер 207 применяет, например, HEVC декодирование, чтобы получить декодированное LDR изображение Im_RLDR. Затем преобразователь 208 цвета подготавливается преобразовывать SDR изображение в изображение с любым не-LDR динамическим диапазоном. Например, 5000 нит исходное эталонное изображение Im_RHDR может быть восстановлено путем применения обратных преобразований цвета, IF_ct, относительно преобразований цвета, F_ct, используемых на стороне кодирования, для создания Im_LDR из MAST_HDR. Может иметься модуль 209 настройки дисплея, который преобразует SDR изображение Im_RLDR в другой динамический диапазон, например, Im3000 нит, оптимально градуированное в примерном дисплее 210, соответствует дисплею с РВ 3000 нит или 1500 нит или изображению с РВ 1000 нит и т.д.

Фиг. 3 показывает, как можно разработать только одно примерное (не ограничительное) кодирование на основе преобразования цвета пары HDR и SDR изображений, имея в качестве конкретного не всегда необходимого, но полезного свойства в этом примере повторного вычисления светимости с сохранением цветности, данный пример был взят из WO2014056679. Эту обработку можно понять, рассматривая гамму, нормализованную до 1,0 максимальной относительной светимости как для SDR, так и для HDR изображения (т.е. предполагая, что SDR и HDR имеют одинаковые, например, Rec.2020 основные цвета, тогда они имеют абсолютно одинаковую тент-образную гамму; как показано на фиг. 1 из WO2014056679). Если бы управляли каким-либо дисплеем, например, c изображением ковбоя, имеющим код яркости, соответствующий светимости 10% пиковой яркости дисплея, то ковбой визуализировался бы ярче, чем выше PB дисплея. Это может быть нежелательно, так как может быть желательно визуализировать ковбоя с (приблизительно) одинаковой светимостью на всех дисплеях, например, 60 нит. Тогда, конечно, его относительная светимость (или соответствующий 10-битный код яркости) должна быть ниже, чем выше PB дисплея, чтобы получить ту же окончательно визуализированную светимость. То есть, можно представить такое желание как понижающее отображение, например, из кода 800 яркости для SDR изображения, например, в код 100 яркости для HDR изображения (в зависимости от точной формы EOTF, определяющей коды, которые используются), или в светимостях, отображается 60% SDR светимости, например, на 1/40-ю от нее для 4000 нит HDR дисплея или соответствующего ему оптимально градуированного изображения. Понижение в этом тексте означает изменение кодов яркости пикселей (или их соответствующих подлежащих визуализации светимостей) от представлений большей пиковой яркости (т.е. для визуализации на дисплее с более высокой PB, например, РВ 1000 нит) на яркости изображения той же сцены в изображении с низкой PB для визуализации на дисплее с низкой PB, например, 100 нит SDR дисплее, а повышение означает противоположное преобразование цвета для конвертирования изображения с низкой PB в изображение с высокой PB, и не следует путать это с пространственным увеличением и уменьшением, которое добавляет новые пикселы или, соответственно, отбрасывает некоторые пикселы или некоторые цветовые компоненты этих пикселей. Сделать это можно для любого цвета, в котором (RGB) тройка соответствует некоторой цветности (х,у) на дисплее или гамме кода кодирования, способом, который будет автоматически масштабироваться до максимума доступной (визуализируемой) светимости для данной цветности Lmax(x,y), с помощью устройства согласно фиг. 3. Фактически, можно продемонстрировать, что это соответствует применению аналогичного отображения светимости цветов на ахроматической оси (т.е. цветов, не имеющих определенного оттенка), каковое принимает входную светимость L цвета в SDR изображении, на требуемую относительную выходную яркость L* оптимального HDR градуированного изображения. Без погружения в детали, то, что актуально из этого решения, заключается в том, что соответствующее преобразование цвета может быть реализовано как мультипликативное преобразование по (предпочтительно линейным) RGB компонентам, по каждому компоненту в отдельности, посредством множителя 311, с постоянной g больше или меньше 1,0, которая соответствует тому, какая форма функции преобразования светимости L_out=ТМ(L_in) выбрана, что также может быть сформулировано как функциональное преобразование максимума входных значений красного, зеленого и синего цвета пиксела. Поэтому для каждого входного цвета (R,G,B), соответствующие g-значения вычисляются для применения желательного преобразования цвета, которое преобразует Im_RLDR в Im_RHDR (или в подходящем способе масштабирования в любое другое градированное изображение, подобное Im3000nit), когда модуль отображения 307 светимости получает некоторую функцию отображения SDR-светимости в HDR-светимость, например, параметрически заданную функцию логарифмической гаммы или сигмоидную или полилинейную кривую, полученную как LUT. Компонентами примерной схемы варианта осуществления являются: 305 - вычислитель максимума, выводящий максимальное (maxRGB) одно из значений R,G и B обрабатываемого цвета пиксела; 301 - преобразователь светимости, вычисляющий светимость цвета в соответствии с некоторым стандартом определения цвета, с которым в текущее время работает система, например, Rec.2020; 302 - делитель, выдающий Lmax(x,y) как L/max(R,G,B); 307 - модуль отображения светимостей, фактически работающий как модуль отображения на maxRGB, выдающий m*=ТМ(maxRGB), при ТМ, являющемся некоторой функцией, которая определяет часть преобразования светимости, F_ct; 308 - множитель, выдающий L*=(m*)xLmax(x,y), и 310 - модуль определения усиления, в этом варианте, являющийся фактически делителем, вычисляющим g=L*/L, т.е. выходную HDR относительную светимость, деленную на входную SDR относительную светимость L; и 311 является множителем для умножения цветовых компонентов R, G, B на тот же коэффициент g.

Эта схема может подходить для некоторых цветовых кодировок. Однако в идеале хотелось бы работать в типичных SDR кодировках, как они обычно используются. Im_LDR, которое было бы получено из HEVC декодера 207, обычно было бы нелинейной Y'CbCr кодировкой (где можно предположить нелинейность Rec.709 яркости Y', которая является приблизительно квадратным корнем, т.е. игнорируя проблемы непостоянной светимости, тогда: Y'=sqrt(L) приблизительно).

Фиг. 4 показывает возможности для реализации такой же предполагаемой обработки цвета с изменением светимости, как мультипликативная стратегия непосредственно на Y', Cb и Cr цветовых компонентах пикселей. Кроме того, вместо передачи функции TM(), где все еще требуется выполнять деление (в соответствии с выбранным случаем варианта осуществления линейной светимости L или квадратного корня входной яркости Y'), чтобы получать значение усиления g для умножений, в этом случае передаются уже требуемые необходимые различные g значения для возможных Y' значений яркости пикселей в изображении, например, как поисковая таблица g_ct, или любая эквивалентная кодификации, требующая меньше данных, до тех пор, пока принимающая сторона получает корректную спецификацию функционального преобразования, чтобы, в данном примере, реконструировать эталонное HDR изображение из полученного SDR изображения закодированной HDR сцены. Специалисту должно быть понятно, что различные аспекты могут быть объединены взаимозаменяемым образом в различных вариантах осуществления. Например, могут быть и другие варианты осуществления, которые выполняют масштабирование независимого от светимости кодирования цвета (например, цветности) с корректной конечной светимостью для представления, чтобы получить вычисленный цвет пиксела в HDR, т.е. L_out_HDR.

Можно снова видеть в декодере 400 (после повышающих преобразователей 401, и 402, которые являются опциональными в некоторых вариантах осуществления, например, 4:4:4 кодировках) преобразование из YCbCr в RGB посредством модуля 403 преобразования цветового пространства для получения (теперь нелинейного, т.е. квадратного корня линейных аддитивных цветовых компонентов; указанных верхними штрихами ') значений R', G' и B', для вычисления максимального значения из этих трех цветовых компонентов с помощью модуля 404 вычисления максимума (отметим, что в альтернативных вариантах могут использоваться взвешенные версии, например, Wr*R', и другие входы для максимизации, например, яркости Y' или восстановленного значения или аппроксимации светимости L цвета пиксела, но мы не объясняем эти детали, чтобы сохранить основные концепции достаточно простыми). Модуль 405 определения усиления будет принимать от стороны создания (например, как метаданные на BD-диске или переданный видеосигнал, например, как SEI сообщения или подобный механизм) спецификацию желательных усилений в зависимости от цвета пиксела (т.е. конкретного содержимого изображения), а именно, например, g_ct как LUT, и он выполнен с возможностью вывода g значения для этого обрабатываемого пиксела, для использования множителями 409, 410 и 411 для умножения цветовых компонентов, причем, например, Y'4H представляет собой HDR яркость=g*Y'4L, т.е. входная яркость SDR изображения, которое было принято, и т.д. В этом примере мы также показываем опциональную возможность наличия отличающегося коэффициента усиления gs для компонентов цветности Cb и Cr, в случае, если имеются оптимальные повышающие преобразователи 407 и 408, которые будут определять эти значения, основываясь на том, какое g значение было определено.

Мы также показываем для информации, что дополнительный преобразователь 412 цвета может преобразовывать такой (например, внутренний для ядра обработки декодирования) YCbCr цвет в другой формат, подходящий для цели, например, Rʺ, Gʺ и Bʺ значений, закодированных в соответствии с SMPTE ST.2048 EOTF или функцией распределения кода, например, поскольку дисплей 420 для корректно градированных изображений требует такого формата как формат передачи цвета изображения, например, по HDMI соединению.

Таким образом, все эти топологии кодеров и, соответственно, декодеров возможны для обеспечения HDR кодирования, передачи и корректного декодирования. Это не означает, что они обладают всем, чего можно желать. Действительно, специфицирование хорошего HDR дисплея, например, способного визуализировать светимости пикселей между, например, 0.001 нит и 1000 нит (или 5000 нит) является необходимостью. Это не означает, что имеются хорошо выглядящие изображения для показа на нем. Если это рассматривается как проблема для специалиста, следует понимать, однако, что мы все еще находимся на промежуточном этапе технологии кодирования, и хотя для кодирования одного HDR изображения любое подходящее реверсивно декодируемое распределение кода было бы достаточным, технологии кодирования, которые позволят в то же время кодирование видов нескольких динамических диапазонов HDR сцены (т.е. по меньшей мере двух, типично SDR и HDR, хотя можно применить такие же принципы при кодировании, например, двух HDR видов, например, 1000 нит HDR версии и 10000 нит HDR изображения), имеют несколько дополнительных практических ограничений, которые должны быть обработаны с особой технической тщательностью, или они будут ограничивать полезность системы кодирования. Более конкретно, может иметься компромисс между тем, что классификатор может осуществить, в частности, качеством вида SDR изображения, и качеством HDR изображения, которые в идеале оба должны (с учетом всех практических ограничений, как, например, недостаток времени человека-классификатора для тонкой настройки его вида или уменьшенной сложности некоторых IC, не поддерживающих некоторые цветовые функции, и т.д.) быть хорошими или по меньшей мере иметь достаточное качество. Но по меньшей мере можно было бы ожидать, что HDR изображение будет хорошего качества, иначе пропадает смысл в создании новой системы высокого качества. В частности, хотя HDR может относиться к частям со значительно более высокой яркостью визуализируемых изображений, достаточное техническое внимание должно также уделяться темным областям изображения, и это еще одна практическая проблема, которую мы будем рассматривать в приведенных ниже вариантах осуществления.

Rocco Goris et al: ʺPhilips response to Cfe for HDR and WCG, 112, MPEG meeting 23-JUN-2015/July 2015 Warsaw no. MPEG2015/m36266 описывает один из возможных способов, разработанных заявителем, чтобы позволить осуществлять структурированное преобразование между HDR и SDR градуировкой изображения, и наоборот, и, в частности, его функциональное совместное кодирование и передачу. Однако то, что не было решено, - это дифференцированный конкретный способ надежной обработки глубоких черных областей HDR.

Были также предложены сложные HDR кодировки, например, ʺPaul Lauga, et al.: Segmentation-based optimized tone mapping for HDR image and video coding; 2013 Picture Coding Symposium IEEE 8DEC2013, pp. 257-260ʺ, но они не обеспечивают хороший перевод в практические уже развернутые системы обработки видео (подобно унаследованному HEVC кодированию), в частности, потому, что такое решение требует передачи битовой карты для указания, где находятся пикселы, для которых декодер должен действовать с особой осторожностью, поскольку был использован конкретный прием при кодировании.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Очень полезная система прагматично кодированных HDR изображений сцен как передаваемых SDR изображений получена с использованием декодера (600, 1100) HDR видео, выполненного с возможностью вычислять HDR изображение (Im_RHDR) на основе применения к принятому изображению (Im_RLDR) 100 нит стандартного динамического диапазона набора функций преобразования светимости, причем функции содержат по меньшей мере грубое отображение светимости (FC), которое применяется оптимизатором (603) динамического диапазона к пиксельной яркости изображения стандартного динамического диапазона, дающее скорректированную по динамическому диапазону яркость (Y'HPS), и затем расширителем (604) диапазона второй функции, которая является отображением самого темного значения (0) скорректированной по динамическому диапазону яркости (Y'HPS) на принятое значение смещения черного (Bk_off), декодер видео дополнительно содержит ограничитель усиления (611, 1105), который выполнен с возможностью применять, в качестве альтернативы вычислению грубого отображении и отображения самого темного значения, альтернативную функцию преобразования светимости в пиксельную яркость изображения стандартного динамического диапазона, которое отображается на поддиапазон (502) самых темных светимостей HDR изображения, соответствующих самым темным яркостям (Y'_in) изображения стандартного динамического диапазона. Расширитель диапазона обычно будет работать с линейным отображением в перцептивно однородном пространстве (или с соответствующей стратегией в другом цветовом пространстве).

Этот стратегия ограничения усиления также полезна при использовании человека-классификатора цвета, который может принимать недостаточно обоснованные решения при выборе его функций классификации для получения SDR вида, соответствующего HDR изображению, как ему желательно (гарантируя хорошие технические свойства кодирования, т.е. достаточно высокую степень восстанавливаемости HDR изображений, например, смещая некоторую часть HDR изображения в глубокие SDR черные цвета), но также особенно для автоматических алгоритмов, которые, например, оценивают формы или параметры функции на основе 2 доступных предварительно созданных классификаций, а именно, HDR изображений и соответствующих SDR изображений, или SDR изображений, которые автоматически вычислены из HDR изображений как приемлемые SDR изображения, основываясь на анализе характеристик HDR изображения и т.д. Классификатор может видеть на эталонном дисплее, что он делает (например, на SDR эталонном дисплее, и сверяется с эталонным HDR изображением на HDR дисплее), а автоматический алгоритм, работающий в режиме реального времени во время телевизионного производства, не может. Параллельное, с ограниченным усилением, (де)кодирование цветов самой темной HDR сцены обеспечивает хорошее качество HDR восстановления. Теперь имеется хороший контроль во всем диапазоне SDR яркостей, как в отношении потребностей художественных аспектов SDR вида, так и качества восстановления HDR входного изображения, переданного как соответствующее SDR изображение, и система является простой, соответствующей тому, чего можно было бы ожидать для SDR изображения, а также учитывая дальнейшую обработку (например, MPEG кодирование/декодирование) в уже развернутых системах передачи видео, без экзотических приемов и дополнительного кодирования за пределами функции(й) отображения светимости. В случае если первое отображение светимости вычисления нашей параллельной стратегии хорошее, оно будет выбрано, так как оно будет, как правило, содержать желаемую классификацию, например, человеком-классификатором, на стороне создания, в противном случае, если оно хуже, чем минимально требуемое для HDR восстановления декодерами на приемной стороне, будет выбираться стратегия ограничения усиления, которая будет разрабатываться, чтобы быть по меньшей мере достаточно хорошей для минимального уровня качества, необходимого с точки зрения HDR восстановления.

Также полезными являются следующие варианты осуществления.

Декодер (600) HDR видео, в котором ограничитель усиления выполнен с возможностью вычислять минимум промежуточной HDR светимости (L_HDR_IM), полученной с применением набора функций преобразования светимости и функции входной яркости (Y'_in). Для кодеров и декодеров является предпочтительным, если необходимая стратегия реализуется простым вычислением.

Декодер (600) HDR видео, в котором чередующееся преобразование светимости определяется как умножение предварительно установленной или принятой постоянной (1/gP) на значения перцептивной яркости (Y'P), причем перцептивная яркость (Y'P) вычисляется путем применения нелинейной функции к входным яркостям, причем нелинейная функция характеризуется тем, что набор значений перцептивной яркости в эквидистантных положениях друг от друга имеет визуально равномерный вид яркости. Данный вариант осуществления в перцептивном цветовом пространстве, как было обнаружено, дает хорошие результаты.

Декодер (600) HDR видео, в котором нелинейная функция имеет определение

Y'P=log[(1+(rho1)*power(L_SDR_in,1/2,4)]/log(rho),

в котором L_SDR_in - линейные светимости изображения (Im_RLDR) стандартного динамического диапазона, и rho является предварительно установленной или переданной постоянной.

Декодер (600) HDR видео, в котором постоянная (1/gP) определяется декодером HDR видео как функция принятого значения кодированной пиковой яркости (PB_C) HDR изображения.

Декодер (600) HDR видео, содержащий процессор (901) для управления выбором либо альтернативного преобразования светимости, либо преобразования на основе набора функций преобразования светимости для по меньшей мере самых темных светимостей изображения (Im_RLDR) стандартного динамического диапазона, причем набор функций преобразования светимостей содержит точную функцию классификации, которая содержит спецификацию преобразования для самых темных HDR светимостей в самые темные светимости изображения (Im_RLDR) стандартного динамического диапазона.

Декодер (600) HDR видео, в котором процессор (901) выполнен с возможностью определять, какое преобразование светимости применять на основе проверки, является ли принятое значение смещения черного (Bk_off) равным нулю или нет.

Варианты осуществления с большим количеством возможностей, хотя и более сложные, позволяют осуществлять улучшенную и более отлаженную обработку для сложных HDR сценариев или требований.

Кодер HDR видео, выполненный с возможностью вычислять представление изображения (Im_RLDR) 100 нит стандартного динамического диапазона входного HDR изображения (Im_RHDR), причем кодер видео содержит:

- расширитель (702) диапазона, выполненный с возможностью отображать значение входной HDR светимости или яркости (Y'HP) с минимальным значением черного, минимальное значение черного типично равно нулю;

- оптимизатор (703) динамического диапазона, выполненный с возможностью применять грубое отображение светимости (FC), такое как функция, которая задает распределение двух подобластей светимости HDR изображения на две подобласти диапазона результирующих яркостей (Y'R);

- ограничитель (707) усиления, выполненный с возможностью применять альтернативную функцию преобразования светимости для преобразования поднабора (502) самых темных светимостей HDR изображения в соответствующие самые темные яркости (Y'_in) изображения стандартного динамического диапазона.

Кодер HDR видео, выполненный с возможностью вычислять представление изображение (Im_RLDR) 100 нит стандартного динамического диапазона входного HDR изображения (Im_RHDR), причем кодер видео содержит:

- расширитель (702) диапазона, выполненный с возможностью отображать значения входной HDR светимости или яркости (Y'HP) на минимальное значение черного, минимальное значение черного типично равно нулю, выводя в качестве выхода светимость или яркость (Y'HPS) растянутого цветового представления;

- оптимизатор (703) динамического диапазона, выполненный с возможностью применять грубое отображение светимости к светимости или яркости растянутого цветового представления (Y'HPS), которое определяет распределение подобласти темной и яркой светимости HDR изображения на соответствующие темную или яркую подобласть диапазона результирующих яркостей (Y'R);

- ограничитель (707) усиления, выполненный с возможностью применять, в качестве альтернативы вычислению на светимостях или яркостях входного HDR изображения, альтернативной функции преобразования светимости для преобразования поднабора (502) самых темных светимостей HDR изображения в диапазон соответствующих самых темных яркостей (Y'_in) изображения стандартного динамического диапазона.

Кодер HDR видео, как описано выше, в котором альтернативное преобразование светимости определено как умножение предварительно установленной или принятой постоянной (gP) на значения перцептивной яркости (Y'HP), причем перцептивная яркость (Y'P) вычисляется путем применения нелинейной функции к HDR входной светимости (L_in), причем нелинейная функция характеризуется тем, что набор перцептивных значений яркости в эквидистантных положениях друг от друга имеет визуально равномерный вид яркости, и при этом ограничитель (1204) усиления вычисляет максимальное значение перцептивной яркости, умноженное на предварительно установленную или принятую постоянную (gP), и значение перцептивной яркости (Y'P), являющееся результатом последовательного применения к перцептивной яркости (Y'HP) расширения диапазона посредством расширителя диапазона и грубого отображения светимости посредством оптимизатора динамического диапазона.

Способ декодирования HDR видео, выполненный с возможностью вычислять HDR изображение (Im_RHDR) на основе применения к принятому изображению 100 нит стандартного динамического диапазона набора функций преобразования светимости, причем функции содержат по меньшей мере грубое отображения светимости (FC), причем способ содержит:

- применение грубого отображения светимости (FC) к входным светимостям (L_SDR_in) или их функциям, являющимся входными яркостями (Y'P), выдающее скорректированные по динамическому диапазону яркости (Y'HPS);

- применение стратегии ограничения усиления, путем определения альтернативной функции преобразования светимости, альтернативной преобразованию светимости, содержащей грубое отображение для вычисления светимостей, попадающих в поднабор (502) самых темных светимостей HDR изображения из соответствующих самых темных яркостей (Y'_in) изображения стандартного динамического диапазона, и выбор наиболее низкой одной из яркости (Y'PFB), определенной альтернативной функций преобразования светимости, и яркости (Y'HP), полученной применением по меньшей мере грубого отображения светимости.

Способ декодирования HDR видео, как заявлено в пункте 10, в котором определение альтернативной функции преобразования светимости содержит определение линейной функции на по меньшей мере самых темных входных яркостях (Y'_in) изображения стандартного динамического диапазона, определенном в перцептивно однородном пространстве, как вычислено путем умножения предварительно установленной или принятой постоянной (1/gP) на значения перцептивной яркости (Y'P), соответствующие соответственным входным яркостям (Y'_in).

Способ кодирования HDR видео, чтобы вычислять представление изображения (Im_RLDR) 100 нит стандартного динамического диапазона входного HDR изображения (Im_RHDR), причем способ содержит:

- применение отображения, которое отображает значение входной HDR светимости или яркости (Y'HP) на минимальное значение черного скорректированной по диапазону яркости (Y'HPS), являющейся выходом отображения, причем минимальное значение черного типично равно нулю;

- затем применение к скорректированной по диапазону яркости (Y'HPS) грубого отображения (FC) светимости, которое задает распределение поддиапазона светимости самой яркой или самой темной светимостей HDR изображения на соответствующие самый яркий и самый темный поддиапазоны диапазона результирующих яркостей (Y'R);

- в качестве альтернативного преобразования светимости по отношению к комбинации отображения и грубого отображения светимости, применение стратегии ограничения усиления, выполненной с возможностью применять альтернативную функцию преобразования светимости для преобразования поддиапазона (502) самых темных светимостей для HDR изображения в соответствующие самые темные яркости (Y'_in) изображения стандартного динамического диапазона.

Способ кодирования HDR видео, как заявлено в пункте 12, в котором ограничение усиления вычисляет альтернативную функцию преобразования светимости путем умножения на коэффициент (gP) перцептивно униформизированной яркости (Y'HP), полученной путем применения функции перцептуализации светимости (L_in) входного HDR изображения (Im_RHDR).

Представленные новые технические идеи могут быть воплощены в различных формах, таких как связанные системы, отдельные сервисы в удаленных местоположениях, которые могут передаваться по общим или выделенным сетям, компьютерный программный продукт, содержащий код, который при исполнении на процессоре позволяет процессору выполнять все этапы способов из одного из вышеизложенных пунктов, относящихся к способу, любая кодификация видеосигнала, содержащая различные необходимые метаданные, которые должны быть скоординировано передаваться между кодером/передатчиком и декодером/приемником и т.д.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства согласно изобретению будут очевидны из разъяснения со ссылкой на варианты осуществления и реализации, описанные далее и со ссылкой на прилагаемые чертежи, которые служат только в качестве лишь неограничивающих конкретных примеров, иллюстрирующих более общие понятия, и в которых пунктир используется для указания того, что компонент не является опциональным, не-пунктирные компоненты не обязательно должны быть существенными. Пунктир также может быть использован для указания, что элементы, которые объясняются как существенные, скрыты внутри объекта, или для нематериальных предметов, таких как, например, выбор объектов/областей (и как они могут быть показаны на дисплее).

На чертежах:

Фиг. 1 схематично иллюстрирует ряд типичных цветовых преобразований, которые происходят, когда оптимально отображается изображение высокого динамического диапазона на соответствующий оптимально градуированный по цвету аналогичный вид (так же, как это желательно и возможно, учитывая различия в первом и втором динамических диапазонах DR_1 относительно DR_2), что в случае обратимости также соответствовало бы отображению LDR изображения HDR сцены на HDR изображение этой сцены;

Фиг. 2 схематично иллюстрирует технологию кодирования изображений высокого динамического диапазона, т.е. изображений, способных иметь светимости типично по меньшей мере 700 нит или более (типично 1000 нит или более), которую заявитель недавно разработал, которая непосредственно передает HDR-изображение(я) как LDR изображение плюс метаданные, кодирующие функций преобразования цвета, содержащие по меньшей мере соответственно определенное преобразование светимости для цветов пикселей, которое будет использоваться декодером для преобразования принятого LDR изображения(ий) в HDR изображение(я), которое является верным восстановлением исходного эталонного HDR изображения(й), созданного на стороне создания изображения;

Фиг. 3 схематично иллюстрирует первую версию технологии заявителя, которая может быть использована для обеспечения возможности преобразования светимости с сохранением цвета в пределах гаммы (например, цветности) для изменения яркости объектов изображения или пикселей для придания им большего соответствия тому, что требуется в изображении динамического диапазона, который отличается и, в частности, больше, чем динамический диапазон входного изображения, что дает хорошие результаты для конкретных типов ситуаций;

Фиг. 4 схематично показывает еще один возможный вариант основных преобразований светимости, необходимых в кодере или декодере для преобразования изображения первого динамического диапазона в изображение второго динамического диапазона, в частности, для восстановления HDR изображения из принятого SDR изображения на стороне декодирования и наоборот на стороне кодирования, полезного для представленных технологий;

Фиг. 5 схематично показывает, как, например, автоматический алгоритм может сопоставить в зависимости от изображения со статистикой изображения трехсегментную кривую преобразования светимости, в качестве примерного члена набора инструментов стандартных функций кодирования изображения на основе повторной градуировки, как мы прагматично разработали их для кодирования HDR видео, причем параметры, кодифицирующие форму этой функции, передается на приемник, так что он может восстанавливать и применять функцию;

Фиг. 6 схематично показывает первый базовый вариант осуществления ядра нашего декодера HDR видео в соответствии с принципами настоящего изобретения;

Фиг. 7 схематично показывает первый возможный вариант осуществления соответствующего кодера;

Фиг. 8 схематично показывает другой возможный декодер в соответствии с нашими представленными новыми принципами;

Фиг. 9 схематично показывает третий более сложный декодер, который имеет возможность выбирать между стратегиями декодирования, типично, на основе того, как контент был закодирован, и как это определяется из конкретных вариантов метаданных, кодирующих преобразование светимости, которое определяет декодирование изображения(й) второго динамического диапазона из принятого изображения(й) первого динамического диапазона; и

Фиг. 10 фокусируется на области самых низких HDR светимостей (или соответствующих самых низких SDR яркостей), которые требуют более тщательной обработки, чем простое художественное преобразование, чтобы выяснить, как кодирование и декодирование форм преобразования светимости связаны друг с другом через зеркальное отображение относительно диагонали, и как можно определить надежное распределение кода через частичный сегмент функции отображения светимости достаточно большой крутизны, начинающийся от нуля, и стратегию максимизации;

Фиг. 11 схематично показывает для пояснения другой вариант полезного варианта осуществления декодера;

Фиг. 12 схематично показывает соответствующий вариант осуществления кодера; и

Фиг. 13 схематично показывает мультипликативные постоянные gP для линейной нижней части для самых темных цветов в перцептивной области яркости стратегии ограничения усиления, для различных возможных пиковых яркостей кода, PB_C.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 5 показывает пример того, как обычно можно смоделировать преобразование между SDR изображением и HDR изображением с помощью кривых, кривых отображения светимости (или яркости), т.е., при приеме SDR изображения, иметь возможность приблизительно восстановить эталонное HDR изображение стороны создания путем применения обратной кривой. В некоторых вариантах осуществления могут иметься различные цветовые преобразования, используемые для вычисления области пикселей (например, соответствующей объекту) на вторичном повторно градуированном изображении (т.е. в нашем объяснении, HDR изображении, PB_C=1000 нит, просто в качестве примера, чтобы было понятно) на основе геометрически соответствующих пикселей в первичном изображении, SDR PB_C=100 нит изображении. Например, локальные преобразования цвета могут быть применены только к некоторым областям, но не к остальной части изображения. Однако, по практическим причинам, во многих случаях желательны простые преобразования (как правило, на глобальном уровне, т.е. в зависимости от яркости пиксела, а не от его геометрического местоположения в изображении или других подобных, не связанных с цветом свойств), будь то по причинам сложности IC в системе конкретного варианта осуществления, которая должна быть дешевой, или доступной во времени для участия человека-классификатора и т.д. Как правило, желательно начинать с выпуклой формы (как видно, большая часть этой кривой между 1 и 1000 нит на входной оси x имеет форму малой буквы r), как видно на фиг. 5, и для некоторого контента, это уже может быть в достаточной степени смоделировано. Восстановление HDR изображения является почти идеальным, но, по причине ошибок квантования и DCT, если возможен выбор только обратимых функций отображения светимости. Качество SDR изображения, когда оно отправляется на приемники (сформированное так, что оно может служить для восстановления оптимальным образом исходного эталонного HDR изображения), может немного отклоняться от намеченного (художественного) SDR вида изображения, но для некоторых применений этого может быть достаточно (например, для показа новостей не критично, что каждая тень на стене за диктором новостей в каждом пикселе имеет точно корректное значение серого, если объект основного изображения достаточно высокого качества, например, лицо диктора новостей и т.д.; другими словами, требования художественной и соответствующей технической точности смягчены). Будем предполагать для разъяснения, что мы автоматически кодируем репрезентативное SDR изображение, подлежащее передаче, на основе двух предыдущих существующих градуировок, а именно PB_C=1000 нит эталонного HDR градуированного изображения и соответствующего оптимально выглядящего SDR изображения. То есть, алгоритм анализа изображения, а не человек, определяет форму функции преобразования светимости HDR в SDR (или наоборот). Под ʺхудожественно оптимально выглядящимʺ имеется в виду, что все объекты изображения были предоставлены соответствующими светимостями в меньшем в 10 раз динамическом диапазоне светимости (0-PB_C_SDR=100 нит вместо 0-PB_C_HDR=1000 нит), чем для эталонного HDR изображения, так что в качестве вида, аппроксимирующего HDR эталонный вид, все объекты по-прежнему выглядят достаточно ярко, и контрасты между областями и внутри объекта выглядят надлежащим образом. Если будет использоваться только функция линейного сжатия, соответствующая, например, повторному использованию относительных HDR светимостей, повторно масштабированных до PB_C_SDR=100 нит, более темные области изображения будут некомфортно темными. Это оптимальное отображение светимости будет зависеть, в общем, от типа сцены и ее различных изображений видов динамического диапазона (например, также MDR изображения с PB_C_MDR=500 нит), как, например, читаемость белого рекламного логотипа, выгравированного где-то на стекле в изображении, может быть объектом, представляемым в хорошем качестве на всех DR видах для исполнения обязательств перед коммерческим спонсором этого фильма и владельца этого логотипа. Таким образом, теперь мы предположим, без потери общности в отношении менее критических и более автоматических вариантов осуществления, что человек-классификатор цвета имел достаточно времени, чтобы точно градуировать эталонное HDR и производное (соответствующее оптимально выглядящему) SDR изображение.

Теперь кодирование этой пары градуированных изображений может быть выполнено либо автоматически, либо с некоторым участием классификатора. Для упрощения, поясним пример автоматической системы кодирования, но опять же это не должно рассматриваться как ограничение изобретения, так как когда человек-классификатор участвует в создании SDR изображения для кодирования на основе преобразования цвета HDR/SDR пары (т.е. в которой только одно из градуированных изображений действительно передается как матрица цветов пикселей, вместе с метаданными функций для пересчета других градуированных изображений), подобные технические принципы будут применяться, когда он выбирает последовательно из ограниченного набора базовых функций (т.е. сначала выполняя грубую SDR градацию с использованием одной простой ʺr-образнойʺ функции, а затем точную настройку необходимого преобразования, если он все еще находит это необходимым, также с учетом его времени и бюджета для обработки фильма, как выясняется, среди прочего, с цепочкой обработки согласно фиг. 7). Без потерь общности, мы объясним принципы на примере, где определение функции автоматического преобразования светимости (на основе сравнения гистограммы SDR по отношению к HDR изображению, в некоторого рода ʺлогарифмическойʺ области, которая определяется преобразованием пространства перцептивной яркости, разработанного заявителем для этой HDR обработки, см. ниже) выполняется следующим образом.

Мы находим очень полезным, как можно видеть также на подгонке данных в графике псевдо-логарифмического перцептивного пространства (см. шкалы осей x и y на фиг. 5, которые читатель может рассматривать как обеспечивающие положения, которые при эквидистантности выглядят перцептивно приближенно с одинаковой разницей, т.е. серый 1, grey_2=на 20% светлее серого, grey_3=на 20% светлее, чем grey_2, и т.д.), если классификатор или модуль автоматического вычисления оптимальной соответствующей кривой использует трехсегментную кривую по меньшей мере для первоначального определения SDR изображения, соответствующего эталонному HDR изображению, в качестве входа, который определяется углом a_H линейной наклонной части для ярких или выделенных пикселей в изображении (область 505) и углом a_d для линейной аппроксимации (по меньшей мере для грубого определения SDR повторно градуированного изображения на основе эталонного HDR изображения) отображения для темных цветов (область 503). Для этой кривой необходимы только три части, полезные и существенные для параметров изображения, поскольку в качестве третьей части кривой мы используем сегмент кривой, который проходит одинаково растянутым по ширине WP по обе стороны от точки, где два линейных сегмента пересекаются (т.е. только a_d, a_H и WP требуется передавать к приемнику, что очень важно для систем, которые не могут позволить себе передавать слишком много метаданных, или для классификаторов, которые не могут позволить себе тратить слишком много времени на градуировку по меньшей мере нескольких кадров из последовательных изображений, и т.д.). Кривая фиксированной формы криволинейной части, соединяющей две линейные части на обоих концах, которую мы используем, обычно является сегментом параболы (область 504).

Теперь имеется интересное свойство определения SDR градуированных изображений, которое можно проверить экспериментально. Изображение SDR вида многих HDR сцен не выглядит качественно очень хорошо, если нет достаточного количества темных пикселей, т.е. SDR черных (при Rec.709 кривой, самые низкие коды, например, 0,1 и 2 в 10-битном кодировании яркости, соответствуют визуализированным светимостям дисплея приблизительно 1/1000-й пиковой яркости, т.е. 1/1000-й от 100 нит, и это соответствует некоторым объектам изображения или областям HDR сцены). Таким образом, можно было бы ожидать, что нужно будет продолжить функцию (в нашем примере линейную часть для пикселей темного объекта трехсегментной кривой, но аналогично в вариантах осуществления, которые используют другие функции для определения градуированного SDR изображения) примерно до 0,1 нит, как показано стрелкой на фиг. 5 (в отличие от градуировки с более высокими SDR светимостями для тех объектов, которые будут выглядеть недолжным образом). Это дало бы красиво выглядящую версию SDR изображения этих HDR сцен. Однако HDR сцены, конечно, имеют то свойство, что они содержат светимости пикселей в потенциально очень большом динамическом диапазоне (глубокие черные). Читатель должен обратить внимание, что речь идет об относительных светимостях по сравнению с пиковой яркостью типичного эталонного дисплея, для которого предназначен код, или фактически PB_C (на самом деле это связано с тем, что хотя мы предпочитаем работать с абсолютными кодированиями светимостей, в любой хорошо выглядящей градуировке динамического диапазона, эти светимости отнесены к некоторой типичной возможности дисплея, например, 1000 нит дисплею, просматриваемому в слабо освещенной гостиной вечером, а не исходной сцене; проще говоря: солнце будет кодироваться и визуализироваться при 1000 нит, а не при его фактическом значении в 1 миллиард нит). Так типичная HDR сцена, скажем, ночной сцены может иметь в реальном мире, например, светимости в темных углах, которые намного ниже 1 нит (например, 0,01 нит или даже меньше), хотя в то же время уличный свет может быть в изображении со светимостью 10000 нит или более, т.е. динамический диапазон 1000000:1 или более, который по своей природе просто не визуализируем или представим в SDR представлении. Отметим, что в оптимальной (эталонной) HDR и SDR градуировке, контраст может быть несколько меньше, так как искусный классификатор может несколько осветлять самые темные части сцены и затемнять самые яркие пикселы, но все равно можно желать приятного представления (кодирования как такового, для всех использований) и его визуализации такой примерной HDR сцены между, например, 0,05 нит и 5000 нит (когда такой дисплей доступен), т.е. все еще визуализируемого дисплеем желательного DR 100000:1, что явно выше SDR возможностей, и именно поэтому мы ввели в первую очередь HDR технологию.

Таким образом, если невозможно визуализировать (или даже кодировать, с технологией, основанной на Rec.709) в SDR градуировке что-либо ниже точки 501 HDR светимости, это означает, что все HDR значения области 502 в SDR представлении будут отсекаться до того же самого черного цвета (например, код яркости 0 в любом из 8, 10 или 12-битного представления). Это не будет проблемой для систем, которые передают только HDR изображения на приемники (т.е. которые использовали бы функцию на приемной стороне только для вычисления SDR градуировки из принятого HDR пиксельного изображения), т.е. которые могут непосредственно визуализировать те превосходно закодированные данные изображения на 1000 нит HDR дисплее (например, если они закодированы с использованием SMPTE 2084 OETF), и которые потребовали бы только функций преобразования цвета для получения оптимальной градуировки для зрителей, имеющих дисплеи с пиковой яркостью дисплея PB_D меньше 1000 нит. Например, можно было бы выполнить SDR градуировку с использованием этих функций отсечки для понижающей градуировки из принятых HDR изображений, которые действительно дали бы корректный оптимальный SDR вид.

Но системы, кодирующие виды двух разных динамических диапазонов HDR сцены (т.е. две разных градуировки), например, системы, которые должны передавать SDR изображения, чтобы, например, дать возможность большой установленной базе зрителей просматривать SDR изображения, когда визуализация происходит непосредственно без обработки светимости с хорошим качеством, и которые получают из них восстановление HDR изображения с очень хорошим качеством для тех клиентов, которые купили HDR дисплей, имеют гораздо больше ограничений. Если отсекаются некоторые из более темных HDR цветов в SDR изображении, подлежащем передаче, то невозможно обратимо восстановить необходимые HDR цвета пикселей на приемной стороне.

Можно подумать, что решение может заключаться в том, что было бы разумнее выбрать линейный сегмент для черного таким образом, чтобы он приближался и аппроксимировал геометрическое место точек соответствующих светимостей в SDR по отношению к HDR изображении (более плотно заполненное облако точек в r-форме), но тогда качество SDR сильно ухудшается. Например, при приближении к этому облаку с линейным сегментом для черных, начиная с (0,0), многие из более темных областей становятся слишком яркими, и это больше не выглядит приятно контрастным (люди, которые должны быть силуэтом на ярком фоне, например, становятся более светлыми темно-серыми силуэтами). Там, где это даст уже меньшее качество для обычных LDR сцен (например, студийный набор с отражательными способностями объектов от 1% до 95% при тщательно униформизированном освещении), особенно для HDR сцен, хотелось бы также видеть в SDR варианте сцены достаточно впечатляющий контраст между областями. SDR представление HDR сцен может быть довольно критичным и сложным, потому что в то же время может быть желательным передать, что темная область пещеры немного темнее, чем средние освещенные области, например, возле входа в пещеру, вместо того, чтобы просто сделать эти темные области очень темными, также может быть желательным хорошо разглядеть, например, человека, стоящего там. Проблематичным образом, данная проблема часто распространяется даже на более яркие области (поскольку кривые преобразования светимости повторной градуировки, такие как, например, трехсегментная кривая, из-за их простоты, расширяют любое параметрическое отклонение в большом поддиапазоне светимости), что оказывает серьезное влияние на различные локальные контрасты в SDR изображении, которое следует тщательно контролировать, например, лучи света, рассеянные на пыли, которые, возможно, были тщательно подобраны режиссером для вида сцены, могут практически исчезнуть в размытом виде, который получается, если не использовать стратегию, где нижняя часть кривой отображения светимости изгибается к точке 501 отсечки хорошей HDR светимости, но скорее к абсолютной нулевой HDR_luminance=0.

Таким образом, для этой проблемы требуется дополнительный компонент (в градуировке или по меньшей мере кодировании), и особенно тот, который может легко справиться с этим во всех практических сценариях (имеется действительно хорошая технология HDR кодирования и обработки, если это не разные разновидности для различных приложений, но когда одна система может, возможно после некоторого конфигурирования тонкой настройки, обрабатывать различные потребности приложений, начиная от высококачественной офлайн градуировки для фильмов, например, из Голливуда до очень дешевых прямых телевизионных передач, где требуется не слишком много изменений, например, не слишком много дополнительного участия человека-эксперта за пределами телевизионных производственных процессов, как они существуют в текущее время, и специализирующихся на этом людей и т.д.; как бы то ни было, во всех случаях пользователь имеет действительно хорошую систему HDR обработки, если пользователь имеет навыки в создании, передаче и использовании как эталонной HDR градуировки, так и соответствующей SDR градуировки).

Фиг. 6 показывает основную часть преобразования светимости декодера (на основе и дальнейшем развитии концепций, недавно созданных изобретателями заявителя), имеющего корректную обработку самых темных HDR цветов, поскольку она может быть включена в различные варианты осуществления декодера, объясненные предыдущими чертежами.

Вход представляет собой классическую Rec.709 яркость Y'_in (т.е., например, значения 0-1023). Модуль 601 преобразования перцептивного пространства преобразует эти светимости в перцептивном пространстве (как уже показано на фиг. 5). Для читателя может быть полезно иметь в виду, что если имеется RGB цветовое пространство, скажем Rec.2020, или его производная, как его вариант Y'CbCr, то гамма всех представимых цветов представляет собой треугольный тент с заостренной верхушкой, что может быть нормализовано до 1,0, и преобразования цвета затем могут рассматриваться как изменения позиций цветовых точек внутри этого тента (HDR относительные светимости или яркости, попадающие на высоты иные, чем соответствующие им SDR светимости или яркости).

Например, также изменение перцептивного представления изменяет высоты различных цветов (т.е. их ʺяркостьʺ, как представленная в различных единицах), поскольку, например, переопределение метрики на оси светимости (вертикальной опоре тента соответствует абсолютно белый), чтобы стать логарифмической, это означает, что высота цвета, имеющего относительную светимость, например, 90%, должна измениться на такое положение, где это положение попадает на логарифмическую ось.

Мы переходим к логарифмическому представлению, поскольку оно имеет различные преимущества для обработки SDR повторной градуировки изображений HDR сцен. Во-первых, эта униформизация светимостей более перцептивным способом означает, что уже имеется приемлемое очень грубое представление меньшего динамического диапазона HDR изображения. Однако, с художественной точки зрения, чтобы, например, для сцены ночной темноты иметь правильный режим, если использовать логарифмическое изображение, чтобы непосредственно визуализировать его на LDR дисплее, ночная сцена может выглядеть некорректно, так как она может быть слишком яркой, и непросто сказать, как она может выглядеть на любом HDR дисплее с конкретной пиковой яркостью дисплея PB_D, но можно ожидать, что по меньшей мере для критических HDR сцен такая упрощенная обработка не выглядела бы оптимально на любом дисплее. В нормализованной цветовой гамме и на ее оси светимости, HDR изображения обычно могут иметь яркие объекты вблизи максимума (1,0), а затем остальная часть светимостей пикселей падает намного ниже этого. Чтобы сжать этот большой динамический диапазон в SDR диапазон светимости, эти две светимости должны быть ближе друг к другу, так как лампы могут быть только, например, в 2 раза ярче, чем средняя светимость пикселей 512=18% (вместо, например, 10000:500=20x в HDR). Это уже может быть приблизительно достигнуто функцией, которая является приблизительно логарифмом, или некоторой лучшей функцией, подобной ей по форме (которая на самом деле делает ʺнекотороеʺ усиление).

Но эти SDR градуировки еще не очень подходят для того, чтобы служить качественными SDR градуировками HDR изображения, поскольку они будут выглядеть очень тусклыми, неконтрастными и часто размытыми. Для точной градуировки нужно заботиться о том, что должно произойти по меньшей мере в одном и обычно в обоих из определяемого диапазона самых ярких пикселей в сцене и поддиапазона самых темных светимостей. Даже самые простые версии могут тогда оставить в середине до некоторой степени то, что происходит в среднем диапазоне, например, просто использовать плавное поведение соединения, или системы могут осуществлять там более точный контроль (но для этого мы имеем в нашей топологии кодека функцию точной градуировки).

Компанией Philips создана функция для выполнения преобразования из линейных светимостей в перцептивные яркости Y'P:

Y'P=log [(1+(rho-1)*power(L,1/2,4)]/log(rho) [EQ. 1]

в которой L - нормализованная светимость, и rho - постоянная, которая зависит от PB_C HDR изображения, и которая для 10000 нит обычно равна 33. Обратная функция может быть использована в качестве функции линеаризации, т.е. для преобразования из перцептивно однородной области яркости в линейную область, т.е. светимостей. Таким образом, наши варианты осуществления могут работать с любой перцептивной кривой униформизации светимости в этом модуле преобразования перцептивного пространства, который создает коды яркости, которые перцептивно более эквидистантно распределены, чем светимости, и, в частности, зная, что входное изображение является HDR изображением, со значительным динамическим диапазоном, который должен быть представлен эквидистантными значениями яркости (которые мы технически называем яркостями (lumas) в настоящей заявке; в эпоху SDR кодирования, поскольку имелся только один способ кодировать светимости, яркости вычислялись посредством Rec.709 OETF, которая приблизительно соответствует квадратному корню, но для HDR яркости коды могут быть определены посредством любой применимой HDR OETF, которая является функцией, которая круче, чем квадратный корень вблизи черного, например, функции SMPTE 2084 PQ), но для простоты пояснения будем предполагать, что она является приведенной выше функцией, предложенной Philips (rho-параметризованная функция логарифмической гаммы согласно Eq. 1, где rho можно принять фиксированным или переменным; обычно оно будет фиксированным, если кодер и декодер работают с фиксированным согласованным заранее max.PB_C для всего передаваемого видеоконтента, например, 1000 нит, и переменным, если используются кодировки с разными PB_C).

В этом варианте осуществления, однако, яркость SQRT Y' в качестве входа преобразуется в перцептивную яркость, поэтому форма функции преобразования модуля 601 преобразования перцептивного пространства будет скорректирована для этого (можно объединить две частичные функции, приравнивая сначала квадрат Y', а затем применяя вышеуказанную предложенную Philips форму функции перцептуализации).

Отсюда обработка выполняется в перцептивном пространстве (как оси на фиг. 5), и может начаться реальное зависимое от контента зависимое от изображения/сцены повторное осветление объекта. Читатель может видеть, что простые варианты осуществления функционального HDR кодирования могут иметь только три блока (и некоторые дешевые кодирования даже не используют их все).

Три блока обработки (модуль 602 точной градуировки, оптимизатор 603 динамического диапазона и расширитель 604 диапазона) находятся в обратном порядке по отношению к тому, что происходило в кодере (но не перцептуализация модуля 601 и линеаризация линеаризатора 605, так как кодирование и обратное преобразование декодирования светимости работают в перцептуализованной псевдо-логарифмической области, и это преобразование всегда выполняется таким же образом).

Таким образом, для читателя легче начать объяснение с кодера на фиг. 7, поскольку мы можем рассуждать о том, что хотел бы сделать человек-классификатор (или автоматическая система, эмулирующая это) при создании SDR вида из эталонного HDR вида. Модуль 701 конверсии перцептивного пространства подобен модулю 601, только зная, что преобразование начинается с линейных HDR светимостей (без потери общности в этом простом примере, некоторые другие кодеры также могут начинать с других цветовых характеристик для HDR изображения, но это ненужные детали для понимания настоящих технических концепций). Т.е. модуль 701 применяет eq.1. Таким образом, выходные цветовые светимости сейчас представлены как перцептивные яркости Y'HP. Расширитель яркости 702 расширяет содержимое до максимального диапазона в SDR. Это важный этап повторной градуировки для многих вариантов осуществления, потому что имея только небольшой SDR динамический диапазон, конечно, нежелательно иметь неиспользуемые коды при визуализации разумного SDR представления того, что по существу было изображением HDR сцены. Поэтому, если имеется фильм или сцена со светимостью только, например, 70% от максимума, расширитель может обычно отобразить это значение до 100% (или по меньшей мере близко к этому, например, 95%). Точно так же может происходить отображение на темном конце до Y'HPS=0. Читатель должен отметить, что некоторые сцены и их HDR изображения могут иметь значительно больший динамический диапазон, но не самый высокий кодируемый возможный динамический диапазон. Например, если эталонный HDR представлен в 10,000 нит PB_C преставлении, следует проявлять осторожность, распределяя пикселы до этих самых высоких светимостей около 10,000 нит, иначе зрители могут жаловаться, что изображение слишком яркое (т.е. в типичной среде просмотра оно выглядит неестественно ярким по сравнению с тем, как такая сцена будет выглядеть в реальной жизни, или она просто выглядит неприятно яркой). Например, небольшой уличный фонарь может иметь пикселы 10000 нит, но самый яркий пиксел, видимый изнутри помещения, может быть только, например, 1500 нит, что означает, что для этого изображения коды между 1500 нит и 10000 нит не используются. Расширитель яркости 702 будет затем отображать этот самый яркий свет 1500 нит в изображении на максимум промежуточного цветового представления Y'HPS, расширенного цветового представления (которое можно видеть как максимум SDR изображения, так как можно дальше сфокусироваться на коррекции распределения светимостей объектов ниже фиксированного белого =1,0). Некоторые варианты осуществления могут отличаться от этого и, например, отображать на 90% динамического диапазона второго изображения, например, если мы используем ту же технологию для повторной градуировки от HDR1 в HDR2. Конечно, метаданные должны отсылать точку 1500 нит, которая была первоначально растянута, чтобы на стороне декодирования расширитель диапазона 604 мог отобразить эту SDR пиковую яркость (1,0, соответствующую 1023) обратно в 1500 нит при HDR восстановлении.

Также на стороне черного может происходить такое расширение, но в некоторых вариантах осуществления следует проявлять осторожность, поскольку черные цвета ведут себя иначе, чем яркие (в отношении семантики контента, среды просмотра, психовизуального представления и т.д.). Можно также удалить этот этап обработки расширения черного и просто обрабатывать распределение преобразования светимости всех самых темных светимостей HDR изображения на SDR изображение с помощью функции преобразования светимости.

В общем, может быть несколько режимов. Для профессионального режима, в котором классификатор смотрит на градуированные изображения, полученные в результате его выбора для параметров кривых преобразования светимости (например, он может использовать шкалу, чтобы уменьшить или увеличить угол ярких светимостей a_H трехсегментной кривой модуля 703 и т.д.), а не только SDR изображение, но и HDR восстановление на HDR эталонном мониторе, так что он может видеть, как влияет его выбор на качество восстановления, можно ожидать, что выбор этой кривой (в частности, кривой точной градуировки модуля 704, как обсуждается ниже) имеет более важное значение. Некоторые варианты осуществления устройства градуировки, в которое включен кодер, могут выдать предупреждение в том случае, если классификатор делает очень низкую крутизну для линейной аппроксимации его кривой в самых темных HDR значениях около 0 (что повлечет за собой высокую крутизну для восстановления и ошибки кодирования, такие как полосатость или ошибки DCT), и тогда устройство может по согласованию с классификатором предложить свою собственную частичную кривую для темных HDR цветов и отправить ее на приемники в метаданных. Системы автоматической градуировки (например, кодирования из предварительно градуированного эталонного HDR и соответствующего эталонного SDR градуированного изображения(й)) могут требовать более надежного и грубого подхода, например, некоторые автоматические системы могут только иметь (например, на основе трехсегментной кривой) грубое определение преобразования светимости, относящееся к двум градуировкам (модуля 703), и кривой без точной настройки (модуля 704), в этом случае желателен простой сценарий для определения нижней части кривой отображения светимости (которая главным образом затем служит как кривая распределения кода скорее для восстановления HDR изображения, чем для выбора кривой SDR градуировки). Стоит отметить, что эти автоматические системы также обычно предусматривают поведение смещения черного, например, путем сопоставления кривой со статистикой распределения светимости, как показано на фиг. 5.

Для простоты понимания мы предполагаем, что модуль 703 определения грубой SDR градуировки применяет вышеупомянутую оптимизированную для изображения кривую контента, например, путем автоматической оценки на основе данных гистограммы, как показано на фиг. 5 (или, что эквивалентно, это может быть основано при оптимизации человеком-классификатором). В общем, если участвует человек, грубая градуировка может использовать грубое перераспределение самых темных пикселей против самых ярких пикселей, т.е. поддиапазонов светимости, охватываемых ими, соответственно в поддиапазоне светимости HDR против SDR. Поэтому обычно будет задействована кривая, подобная показанной трехсегментной кривой, которая контролирует по меньшей мере интервалы светимости более ярких и темных частей сцены. Читатель может понять типичный сценарий использования и поведение, например, из управления контрастностью между областями ночной сцены с окном магазина. Допустим, в магазине ярко освещены некоторые манекены с одеждой, или даже магазин может продавать светящие лампы, а снаружи, в темноте, могут быть и другие предметы, например, плитка тротуара. При грубом управлении, классификатор может оптимизировать такие визуальные аспекты как видимость объектов в темной области изображения, подобно плиткам тротуара снаружи, и он может управлять тем, насколько приятно ярко светят лампы в освещенном окне магазина, и т.д. Читатель из своего знания математики может понять, как модуль автоматического определения функции отображения светимости может определить грубую функцию градуировки, если распределение светимости для светимостей пикселей в SDR и HDR эталонной градуировках показывает такое поведение ʺr-формыʺ, как на фиг. 5 (и также можно понять соответствие оптимальной кривой, если облачная форма распределения светимости несколько отличается, и почему это тогда является грубым отображением светимости, которое уже ведет себя приемлемо при вычислении SDR градуировки, подлежащей кодированию и передаче, соответствующей эталонному HDR изображению, хотя оно не так превосходно, как функция, которая с помощью тонко настраиваемой оптимизируемой кривой лучше аппроксимирует соотношение между SDR и HDR градуировками конкретной HDR сцены и его колориметрические потребности повторной градуировки).

Тогда для некоторых вариантов, в основном тех, которые требуют градуировки высокого качества цвета с участием человека-классификатора, - но также некоторые автоматические системы могли бы определить такую кривую точной настройки, например, на основе идентификации области входного HDR диапазона яркости, для которого отображаемая 3-сегментная кривая отклоняется слишком сильно от, например, геометрического места точек средних точек входной HDR яркости облака (luminance_SDR, luminance_HDR) точек (которые определяли бы кривую свободной формы, а не 3-точечную) - может быть определена кривая точной градуировки. Эта кривая применяется к грубым яркостям Y'R каждого пиксела, обрабатываемого модулем 704 точной градуировки (после обработки грубым отображением). Когда эта кривая отображения точной градуировки яркости осциллирует вокруг диагонали, конечный результат является тем, что в окончательном выходном SDR изображении некоторые поднаборы пикселей с определенными яркостями будут SDR-градуированы ярче или темнее, чем грубые SDR яркости Y'R, а именно, с точными яркостями Y'P (выход модуля 704). Эта кривая может соответствовать нескольким художественным требованиям, например, создание более высоких контрастов для некоторых объектов светимости среднего диапазона, но ниже мы увидим, как ее можно элегантно использовать для придания хороших SDR видов для самых темных областей, сохраняя при этом хорошее качество HDR восстановления.

Наконец модуль 705 линеаризации преобразует полностью градуированные - как желательно - яркости пикселей для изображения SDR вида в линейную область светимости, так что мы можем использовать это F(L_in) в дальнейшем определении коэффициента усиления g (в вариантах осуществления с использованием преобразования на основе коэффициента усиления), требуемого для окончательного выполнения требуемого преобразования цвета на трех цветовых компонентах мультипликативным способом (как уже было пояснено со ссылкой на фиг. 3).

Чтобы лучше понять некоторые из описанных ниже технических изобретений, обсудим далее типовое отображение автоматического алгоритма, определяющего параметры для блоков кодирования (которые будут использованы, когда кодирование будет фактически происходить, т.е. SDR изображение будет создаваться путем применения функций преобразования светимости с этими параметрами, и используемые параметры (или, что эквивалентно, сами формы функции, например, как LUT) будут кодироваться вместе с SDR изображениями, например, в SEI сообщениях, так, что приемник сможет выполнить обратную обработку цвета и восстановить HDR изображение(я) из принятого SDR изображения(й)). И, как уже было сказано, не подразумевается, что это разъяснение ограничивает заявляемый объем, потому что человек-классификатор может реализовать аналогичные соображения.

Автоматический алгоритм может использовать различные эвристики, чтобы прийти к хорошему значению Bk_off смещения черного, но простые алгоритмы будут просто определять его путем отображения нижних частей кривой, следуя облаку точек SDR-HDR светимости. То есть, в примере фиг. 5 мы видим, что большая часть этого облака следует в определенном направлении, и, следовательно, нижний линейный сегмент трехсегментной кривой будет продолжаться по направлению к оси x (Y'_SDR=0), как указывает стрелка, и это пересечение будет определять смещение Bk_off черного. В противном случае отображение при переходе линейной частью через (0,0) будет лежать довольно высоко над фактическим облаком для этой конкретной HDR сцены, но это должно иметь большую ошибку, т.е. обычно не выходить из функции автоматической оценки. Как уже упоминалось, спуск прямо к L_SDR=0 для L_HDR=Bk_off может создать красивый SDR вид, но: плохое восстановление HDR изображения для темных областей (поскольку, например, обратное отображение ʺ1 на множествоʺ переданных Y'_SDR яркостей не может дать корректные HDR светимости).

Теперь, интересная часть заключается в том, что мы имеем встроенный ограничитель усиления 707 в стратегии кодера/кодирования, который гарантирует, что независимо от того, что делают по меньшей мере кодеры автоматической градуировки (т.е. пытаются выполнить подгонку по меньшей мере трехсегментной кривой, после определения смещения черного), самая нижняя часть окончательной кривой (для передачи на приемники, позволяя хорошую двойную передачу HDR градуировки как SDR градуировки) является надежной кривой для восстановления. Т.е., следовало бы по меньшей мере приближенно кодировать то, что находится в самых темных областях HDR сцены и ее HDR эталонном изображении. Может иметься несколько способов определить такую кривую, что обычно в простых вариантах осуществления происходит путем вставки частичной кривой и часто фиксированной частичной кривой для темных объектов. Это примечательно, так как IC и программное обеспечение должны быть максимально дешевыми. По меньшей мере, хотя теоретически кодеры могут быть сложными, мы хотим, чтобы декодеры имели относительно простой принцип восстановления HDR изображения. Т.е. мы не предпочитаем ничего сложного, как необычные стратегии кодирования, которые нуждаются в сложной дополнительной информации. Как можно видеть на фиг. 5 и 7, мы можем реализовать эту стратегию кодирования как вычисление максимума между определяемым значением SDR путем оптимального преобразования яркости (т.е. r-образной кривой F(L_HDR), которая была бы неудовлетворительной ниже точки 501), и надежной кривой для самых темных областей. И в большинстве случаев мы можем использовать относительно простой принцип надежной кривой. Потому что мы видим из пунктирной линии, продолжающей нижнюю кривую (здесь в примере просто линии), что корректная кривая преобразования светимости F(L_HDR) выше точки 501 будет получаться из вычисления максимума, и ниже точки 501, поскольку крутизна или высота преобразования светимости F(L_HDR) слишком низка (в этом примере даже отсечена до нуля), любая подходящим образом выбранная частичная кривая с достаточными SDR кодами для представления каких бы то ни было семантически важных данных изображения в этих самых темных HDR областях будет получаться из вычисления максимума.

Чтобы упростить дальнейшее понимание, мы предположим прагматически простой вариант осуществления использования линейной частичной кривой для преобразования самых темных HDR пикселей в области 502 в подходящие SDR цвета (которые могут тогда не быть художественно оптимальными, но по меньшей мере хорошо обратимыми в HDR изображение восстановления, а во многих случаях также прагматически приемлемыми, по визуальному качеству). Это может быть реализовано путем умножения в множителе 706 входной светимости пикселей L_in на постоянную dg. Отметим, что в этом конкретном варианте линейные светимости умножаются, и они сравниваются - для определения максимума - с линейными светимостями верхней параллельной цепочки обработки, имеющей художественно полностью оптимизированное отображение, после повторной линеаризации модулем 705. Такой множитель может обрабатывать любой сценарий, независимо от цветового пространства, в котором было бы определено L_in HDR изображения, и, в частности, его PB_C. Однако коэффициент dg следует надлежащим образом выбрать. Но преимущество состоит в том, что его не нужно кодировать и передавать в виде метаданных к приемнику(ам), если предположить, что декодеры будут просто использовать хороший стандартный разумный выбор для значения dg или на их стороне 1/dg. Подходящий выбор также может быть определен на основе глобальных свойств HDR видео, как совместно передано, таких как его PB и минимальное значение, и потенциально даже на основе дополнительных колориметрических аспектов, таких как предполагаемое использование изображений и т.д.

Это можно лучше увидеть на фиг. 10. Линейное отображение ряда темных цветов можно рассматривать как усиление (или если коэффициент усиления меньше, чем 1, усиление затемнения (диммирования)). Отметим, что в абсолютных светимостях можно ожидать, что HDR изображение будет (хотя бы немного) ярче, чем SDR изображение (усиление с k; k>=1), но оно может также для темных областей иметь те же светимости, как SDR изображения, так как SDR дисплей не может визуализировать яркие цвета, но оба дисплея могут визуализировать темные цвета, как правило, одинаково. И в некоторых ситуациях HDR дисплей может показывать даже более темные визуализированные цвета для этих самых темных цветов (например, OLED HDR в темной комнате по сравнению с унаследованным LCD LDR дисплеем). Но в относительной системе (т.е. как HDR так и SDR светимости являются частью от максимума 1,0), чтобы сохранить HDR темные цвета примерно одинаково яркими, как SDR цвета, при отнесении к PB_C, которое может быть в 10 или 100 раз ярче, чем 100 нит, нужно было бы делать диммирование при отображении из SDR на HDR в относительной системе координат, и усиление при создании преобразования из HDR входа в SDR, как на фиг. 5 (где мы можем видеть, например, абсолютное значение 1 нит по обеим осям). Так локальное усиление для самых темных цветов для отображения HDR на SDR, являющегося кривой 1002, может быть хорошим, и это соответствует частичной (линейной) кривой 1001 восстановления SDR-в-HDR, являющейся зеркальной с тем же углом по отношению к диагонали. При использовании кривой 1002 для генерации SDR кодов для самой темной HDR области, можем все еще иметь быть хорошую восстанавливаемость HDR изображения. Но автоматическая система или классификатор может выбрать некоторую кривую, которая имеет локальный сегмент, который ниже, т.е. ближе к диагонали. Классификатор может сделать так, потому что иначе слишком много (SDR) кодов используется для самых темных HDR областей, и это имеет два эффекта, которые нежелательны для представленного изображения: 1) Некоторые из пикселей этой области 502, которая предполагается очень темной (например, комната сзади, где свет выключен, как видно через дверной проем), могут стать слишком яркими, и, следовательно, также очень раздражающими; 2) может не иметься достаточно SDR кодов для кодирования с достаточным качеством всех светимостей выше точки 501 (где могли бы иметься многие области HDR светимости, которые должны быть хорошо представлены, например, некоторая более светлая часть вида на темный неосвещенный чулан, внутренний коридор, плохо освещенный и удаленный от окон во внешнюю среду, область средней светимости, являющаяся офисом, соединенным с коридором через стеклянное окно, и солнечная внешняя среда, как видно через окна на другой стороне офиса). Вот почему выбирается такая низкая кривая 1003 (и автоматический алгоритм может сделать это, потому что слепо следует за данными, как на фиг. 5, независимо от формы, которую могло бы принимать облако точек светимости).

Таким образом, если в кодере выбрано минимальное допустимое значение dg (соответственно на этом графике, который показывает восстановление HDR изображения из SDR изображения или более точно в качестве входа его пиксельные значения Y'_SDR, с соответствующим значением стороны приемника/декодера, 1/dg), то более низкое значение кривой ближе к диагонали, чем кривая 1002, никогда не будет выбираться, если ограничитель усиления 707 вычисляет максимум любого F(L_in), которое вычисляет выбранная кривая, и dg*L_in.

На стороне декодирования, частичные кривые, которые усиливают слишком сильно, т.е. ближе к диагонали снизу, не могут возникнуть из вычисления минимума с вторым входом линейной кривой 1001, т.е. (1/dg)*Y'_SDR. Наконец (поскольку мы приспособили и объяснили данный вариант осуществления для работы с классическими Rec709 интерпретируемыми SDR выходными изображениями), вычислитель 708 квадратного корня (или Rec 709 OETF конвертор) вычисляет из представления линейной светимости L_SDR_out корректно градуированной светимости пиксела для обрабатываемого пиксела SDR яркость Y'_SDR, которая может быть использована как обычно, например, в сжатии HEVC видео, когда это изображение сжимается для передачи видео. Т.е. это передаваемое изображение может быть использовано и будет обработано унаследованными системами как непосредственно визуализируемое SDR изображение хорошего визуального качества, т.е. с яркостями, определяемыми как приблизительно квадратный корень визуализируемых SDR светимостей. Но, как объяснено, это изображение также является кодированием HDR изображения, восстанавливаемым путем обратного применения математических отображений верхней цепочки на фиг. 7 в совокупности с нижней цепочкой, как показано в примере SDR-2-HDR декодера на фиг. 6. Там, как показано, пунктирные HDR светимости также могут быть представлены с помощью операции квадратного корня или другой функции распределения кода яркости, подходящей для применения, например, передачи изображения(ий) из декодера на дисплей по соединению с предварительно согласованными свойствами протокола связи.

Параметр dg зависит от пиковой яркости эталонной HDR градуировки по сравнению с таковой для второй градуировки, которая в случае SDR градуировки всегда равна 100 нит (но HDR PB_C может в некоторых вариантах осуществления, таких как градуировка для BD диска, быть 1000 нит, а в других 5000 или 10000 нит и т.д.).

Прагматическое хорошее значение g в зависимости от PB_C_HDR находится в линейной области dg_lin=0,05*PB_C_HDR/100 (т.е. на стороне кодера, а на стороне декодера наши соответствующие варианты будут использовать 1/dg). Это линейное значение 0,05 соответствует в псевдо-логарифмической области значению 0,287. Если кодер знает, что декодер ожидает, что самые темные HDR светимости будут закодированы в SDR изображении (например, линейно в простых вариантах осуществления) в соответствии с этим значением, он может создать SDR яркости таким образом, и декодер будет корректно декодировать их со значениями 1/dg без необходимости получения дополнительной информации. Там, где это хорошо работает для большинства изображений и ситуаций, в частности, в автоматических системах кодирования, некоторые изображения или ситуации могут требовать большей точности и зависящей от изображения оптимизации надежного кодирования самых низких HDR светимостей, как отражено в частичной кривой отображения светимости для тех самых темных HDR светимостей в области 502. Ниже мы покажем, как это можно сделать удобным способом с помощью кривой точной градуировки, например, классификатор будет формировать ее самую нижнюю часть в соответствии со своими предпочтениями, так что это даст лучший вид для SDR подобластей тех темных HDR областей, но все еще хорошее автоматическое восстановление HDR изображения, учитывая, что выбранная настроенная кривая передается в метаданных (кривая, подлежащая применению в декодере модулем 602).

После этого объяснения кодера, модули одного возможного варианта осуществления декодера согласно фиг. 6 могут быть понятны специалисту, так как это является обратным кодированию. Теперь модуль 602 точной градуировки устанавливает пиксельные яркости точных яркостей SDR входного изображения на грубые яркости Y'R (т.е., как это можно сформулировать: он выполняет повторную градуировку в SDR динамическом диапазоне). Затем оптимизатор 603 динамического диапазона вычисляет масштабированную версию Y'HPS HDR яркостей (что все еще обычно происходит в полном диапазоне 0,0-1,0, однако теперь является относительным представлением HDR динамического диапазона). И, наконец, расширитель диапазона 604 позиционирует эти масштабированные версии корректным образом на осях HDR светимостей, например, HDR представления PB_C=5000 нит, как сказано, например, отображая максимальную масштабированную яркость на 1500 нит (т.е. точка 1,0 представления Y'HPS изображения, получаемого из оптимизатора 603 динамического диапазона, отображается на 1500 нит, а не 5000 нит, потому что это был самый яркий пиксел, например, в кадре изображений этой сцены, обрабатываемом в данный момент). Наконец, модуль 605 линеаризации создает представление светимости корректно восстановленной HDR светимости, но все еще промежуточное представление L_HDR_IM, потому что ограничитель усиления 611 еще должен применить корректную стратегию надежного кодирования (альтернатива верхней цепочке последовательной обработки повторной градуировки) для самых темных SDR яркостей (которые соответствуют исходным самым темным HDR светимостям в области 502 эталонного HDR изображения на стороне создания/кодирования).

В общем, этот ограничитель усиления 611 будет применять инверсию любой стратегии отображения, которая была применена на стороне создания. Для простоты понимания, снова предположим, что была использована линейная стратегия с подходящим усилением dg, которое может быть вычислено любым приемником на основе PB_C исходного HDR изображения, которое представляет принятое SDR изображение (которое также всегда передается в метаданных, в противном случае приемник не может определить корректный диапазон светимости Y'CbCr или RGB представления HDR изображения), как описано выше. В этом очень прагматично простом полезном варианте осуществления множитель 610 будет умножать Y'_in на 1/dg (в случае общего алгоритма защиты HDR кодирования используемого в кодере и декодере, любое необходимое масштабирование может быть учтено непосредственно в ограничителе усиления 611. Таким образом, в простом варианте осуществления ограничитель усиления в декодере вычисляет минимум L_HDR_IM и (1/dg)*Y'_in, получая L_HDR_out. Некоторые варианты осуществления декодера будут непосредственно использовать это значение для окончательного преобразования цвета, например, в случае, если цветности для HDR изображения преобразуются в 3D-цвета с использованием корректного L_HDR_out. В других вариантах осуществления может быть желательной версия с квадратным корнем (которая является Rec.709 интерпретацией светимостей HDR изображения), и в этом случае может присутствовать опциональный вычислитель 612 квадратного корня.

Поскольку мы представили ряд примеров, которые выполняют преобразование цвета/светимости декодирования (восстановления в HDR) с помощью мультипликативного коэффициента g для умножения трех цветовых компонентов на g (независимо от любой формы, в которой они могут быть, например, линейной или нелинейной RGB, YCbCr и т.д.), приведем еще один поясняющий вариант осуществления на фиг. 8. В то время как вышеупомянутый декодер использовал принцип выбора светимости, все еще используемой при вычислении затем коэффициента g, можно видеть из фиг. 8, что можно осуществить стратегию минимизации (или любое корректно хорошее качество для стратегии декодирования темных пикселей в общем) также на основе значений g. Вновь, все компоненты верхней ветви таковы, как пояснено. Тогда вычислитель усиления 801 вычисляет усиление путем деления значения F(Y'_in), которое было вычислено с применением различных форм функции преобразования светимости, как определено их кодификацией в принятых метаданных (т.е. например, SEI изображения, содержащие a_d, a_H, и WP для грубого преобразования, например, линейная функция, основанная на 8 точках управления формой для функции точной градуировки модуля 602, или более точно LUT, и т.д.), т.е. без учета конкретного (для надежного кодирования) поведения для самых темных светимостей. В этом представлении, модуль 802 вычисления минимума теперь вычисляет минимум усиления g, определенного вычислителем усиления 801, и 1/dg, как известно (или в некоторых вариантах осуществления можно также передать значение dg, как оно было использовано на стороне создания, если оно должно отклоняться от стандартного из вышеупомянутого уравнения), выдавая окончательное g_fin для умножения на три цветовых компонента. Специалист может представить себе соответствующий кодер или то, каким образом другие стратегии могут, с необходимыми изменениями, использоваться для получения хороших значений g_fin, например, принимая LUT для g-значений от стороны создания для самых темных светимостей.

Еще более интересно, что фиг. 9 дает более сложный вариант осуществления HDR декодера, так как он может быть использован в системах, которые могут получать различный контент, который был создан различными способами, в частности, в отношении возможностей для определения хорошей стратегии кодирования области 502 самых темных светимостей HDR изображения как хорошего поднабора самых темных SDR яркостей. Такая IC или программное обеспечение может находиться, например, в TV или STB, которые могут получить высококачественно градуированный материал фильма, например, набор SDR (или HDR) изображений, передаваемых вместе с метаданными необходимых функций преобразования цвета (в общем, помимо поясненного для разъяснения настоящего изобретения, могут также иметься конкретные преобразования цвета, например, изменение насыщенности цвета пикселей) по интернету с сервера доставки фильмов или через простое телевизионное вещание по спутниковому соединению. В этом примере мы предполагаем, что, например, человек-классификатор создал лучшую стратегию для отображения самых темных HDR светимостей, чем вышеупомянутая линейная функция. Он может сделать это через частичную функцию F_bk. Хотя линейная функции является стратегией, которая прагматично проста, но будет хорошо работать в большинстве случаев, с более сложными и все еще надежными для кодирования альтернативными/параллельными стратегиями для самых темных пикселей HDR сцены, классификатор может включать конкретное поведение градуировки для сверхтемных цветов, если HDR сцена все еще требует этого. В различных вариантах осуществления имеется несколько способов сделать это, например, он может передать эту частичную форму через LUT кодификацию отображения светимости точной градуировки, которое будет загружаться в модуль 602, т.е. как одна функция. В качестве альтернативы, он может передать частичную функцию, которая должна переопределять форму нижней части функции отображения светимости точной градуировки, и т.д. Теперь поведение коэффициента усиления ограничения в этом случае должно определяться, например, определенной классификатором формой градуировки самой нижней части функции точной градуировки, т.е. вычисление минимума должно быть пропущено (т.е., декодер должен иметь механизм контроля для обнаружения ситуации, была ли использована на стороне кодирования простая стратегия для альтернативного/параллельного декодирования сверхтемных или самых темных цветов или более сложная альтернативная стратегия для сверхтемных цветов), однако если поступает другой, например, грубо автоматически градуированный контент (например, поскольку зритель переключается на кабельную или спутниковую видеопрограмму), то должна снова применяться линейная версия, объясненная со ссылкой на фиг. 6. Полезным вариантом осуществления является выполнять этот подход, основанный на точной градуировке кривой, установкой смещения (BK_off) черного в нуль, а затем определения на кривой точной градуировки отображения для всех HDR светимостей на SDR, начиная с L_HDR=0 (т.е. на стороне декодера, независимо от формы функции точной градуировки, значения L_in, которые равны нулю (в HDR изображении), будут отображаться на Y'_SDR яркости, равные нулю, а не как на фиг. 5, где HDR светимость точки 501 будет уже отображена на ноль; т.е. если применяется только верхняя ветвь основанной на преобразовании светимости обработки, а не ограничение усиления с линейной частью с крутизной dg). Процессор 901, исполняющий программу проверки, будет проверять эту ситуацию: в случае смещения Bk_off черного, равного нулю, декодирование на основе кривой точной градуировки должно происходить для очень темных SDR яркостей, и в случае, если это не так, должна применяться стратегия, которая вычисляет минимум F(Y'_in) -или g в других вариантах осуществления декодера - и линейное с крутизной 1/dg декодирование SDR. Следовательно, процессор 901 посылает управляющий сигнал на переключатель 902, выбирая тот вариант, который подходит для данной ситуации.

Фиг. 12 показывает другой вариант осуществления кодера (1200), который, как показали исследования, особенно интересен, особенно если он используется с предложенной Philips кривой перцептуализации, например, с rho=25. Наше уравнение 1 имеет PB_C-зависимое значение rho, для которого мы можем использовать функцию распределения, которая также используется декодером (т.е. известна ему), следовательно, тогда только PB_C значение должно быть передано, например, PB_C=33 для 10000 нит PB_C, 25 для 5000, 13,2 для 1000 (и PB_C 100 нит будет соответствовать 5,7, хотя это не является значением PB_C для кодировок HDR изображения очевидно, а только для отображения SDR изображений на предложенную Philips область перцептивной яркости). Уравнение для получения rho для любого PB_C может иметь вид:

Rho(PB_C)=1+(33-1)*power(PB_C/10000;1/(2,4)), и для HDR кодировок PB_C обычно будет выше 800 нит.

Различные модули (настроенной точной градуировки на основе формы кривой, грубой градуировки трехсегментной кривой на основе управления контрастами для темных и светлых участков изображения и смещения черного и белого) могут снова пониматься как те же или подобные вышеописанным вариантам осуществления. То есть, например, классификатор (или устройство автоматической градуировки) решает, что ему желательно отображать самую яркую светимость (фактически технически реализованную как соответствующая самой яркая яркость) HDR изображения, как правило, на максимум SDR яркостей (т.е. например, 1023 в 10-битной кодировке), и, возможно, также со смещением черного, как правило, до самого низкого SDR кода (0). Тогда он выполняет грубую коррекцию вида яркости и темноты, распределение диапазонов, средних яркостей и контрастов для этих частей изображения путем выбора формы кривой, например, осветляя самые темные части ночной сцены, которые в противном случае с их значениями яркости HDR изображения выглядели бы слишком темными на SDR дисплеях. Так, например, он задает диапазон 0-M1_HDR для сверхтемного, и отображает его с линейной кривой в перцептивном представлении на 0-M1_SDR и аналогично отображает M2_HDR-1 на M2_SDR-1, вновь соответствующее линейному отображению в этом поддиапазоне самых ярких светимостей. Затем он задает, или такое градуирующее устройство/кодер задает себе некоторую функцию плавного соединения для промежуточных значений светимости. Затем классификатор сдвигает светимость некоторых объектов или текущие соответствующие им яркости (лежащие вдоль соответствующих поддиапазонов светимости) в более подходящие положения, чтобы, например, вид лица выглядел более чистым, или какая-то лампа в сцене была несколько ярче и т.д. с выбранной кривой точной градуировки. Это дает SDR ʺяркостиʺ (ʺbrightnessesʺ), или точнее яркости (lumas) в перцептивно однородном представлении яркости (Y'P).

Разница теперь заключается в том, что вычисление максимума (или в общем эквивалентное определение более подходящих стратегий кодирования для вывода самой темной SDR яркости Y'_SDR) выполняется в перцептуализованной области. Для этого в этой области должна быть определена оптимальная постоянная gP для умножения на перцептивные HDR яркости Y'HP (как вычисляется модулем 1201 преобразования перцептивного пространства) множителем 1203. В таких вариантах осуществления кодера модуль 1205 линеаризации следует в порядке соединения цепи после ограничителя (1204) усиления, а не перед ним, так как вычисление максимума также происходит в перцептивном пространстве.

На основе исследования изобретатели выявили, что это хорошо выполняется на всех типовых HDR тестовых изображениях, если эта стратегия реализовывала независимое от кодовой пиковой яркости (PB_C, т.е. эталонного HDR изображения, подлежащего кодированию) распределение поддиапазона самых темных HDR цветов [от 0 до HDRL] на поддиапазон самых темных SDR цветов [0-SDRL] линейным способом в перцептивном пространстве, т.е. что может быть представлено мультипликативной постоянной, а именно gP.

Из экспериментов было обнаружено, что перцептивная яркость, соответствующая HDR светимости 1 нит (всегда, независимо от того, какова пиковая яркость кодируемого HDR изображения), хорошо используется для HDRL значения, а перцептивная яркость, соответствующая 0,1, - для SDRL верхнего порога.

Мультипликативное значение gP может быть закодировано как:

gP= PH(0,1/100, 100)/PH(1/PB_C,PB_C) [Eq. 2]

В этой записи PH представляет собой формулу нашего уравнения 1, как указано выше, и более точно, значение относительной функции, которая получается, если входом является первое значение перед запятой. Итак, первое РН является функциональной формой, когда используется до максимальной кодовой пиковой яркости для SDR, составляющего, как правило, 100 нит (в противном случае, вместо 100 подставляется PB_C_SDR, например, 200, но мы не будем усложнять разъяснение принципов варианта осуществления), и мы принимаем выходное значение для входа 0,1, то есть 1/1000-ю максимальной возможной SDR светимости (100). Аналогично, вторая часть, знаменатель деления, представляет собой значение яркости, которое получается из ввода в предложенную Philips перцептивную функцию РН (которая теперь, однако, предполагается охватывающей диапазон вплоть до того, что требует HDR входное изображение, например, PB_C=5000 нит, что указывается с помощью PB_C после запятой), значение, соответствующее 1 нит HDR светимостям, т.е. относительное значение 1/PB_C, например, 1/5000 в случае 5000 нит PB_C. Можно аппроксимировать это посредством

gP+-=0,67log(PB_C)/log(1000).

Примечательно, что в вариантах осуществления, где мы выбираем фиксированное rho-значение функции PB (и значение гаммы также, обычно 2,4), не требуется передавать выбранное значение gP из места кодирования к любой принимающей стороне (хотя в некоторых вариантах осуществления можно сделать это), и декодер может вычислить свою требуемую обратную постоянную 1/gP просто путем передачи того, какова пиковая яркость HDR кода (или SDR изображения, реально передающего это HDR изображение), который требуется передавать в любом случае, поскольку нужно знать, какой визуализируемой светимости белого фактически соответствует код R=G=B=1023. Таким образом, можно сэкономить на передаваемых битах, что также означает, что если метаданные не требуются, то они не могут быть потеряны или искажены, с последующими негативными последствиями. Это обеспечивается тем, что кодер и декодер также предварительно согласовали (ввиду алгоритма кодирования, который они используют, например, HEVC-профиль-X), например, 1 нит и 0.1 нит отображения темных цветов.

Эксперименты привели к результатам, что если использовать инверсию недавно стандартизированной Rec.1886 EOTF (а не как классически делалось с использованием Rec.709 OETF) в модуле кодирования SDR яркости (1206) для вычисления фактической SDR яркости Y'_SDR, вводимой в SDR сигнал изображения и передаваемой к приемникам, то имеется около 50 кодов яркости для кодирования любой структуры изображения, присутствующей в сверхтемных цветов изображения HDR сцены, т.е. пикселей со светимостями ниже 1 нит. EOTF, обычно используемая для этого, имеет вид

L_out=a*power((Y'_SDR+b); 2,4), при a=1,0 и b=0.

Н'_SDR яркости являются теми, которые записаны в файле, и представляют одновременно светимости пикселей SDR вида, который был создан для эталонного HDR изображения(й), а также яркости в этих эталонных HDR изображениях, при условии, конечно, что они вычислены с применением наших функций преобразования цвета, в частности, нашей функции преобразования светимости. То, что определяет Rec.1886 в качестве выходной визуализированной светимости L_out на стандартном SDR мониторе, будет введено для инверсии этой EOTF, т.е. OETF, преобразующей светимость в коды яркости. Светимости будут представителями HDR эталонных светимостей, после того как мы преобразовали их в 0-100 нит диапазон светимости или любой соответствующий эквивалентный диапазон яркости, т.е. они являются Lo значениями на фиг. 12, содержащимися в SDR-динамическом диапазоне светимостями, соответствующими входным HDR яркостям Y'_in, будучи, например, точно или приблизительно квадратным корнем светимостей пикселей исходного эталонного HDR изображения.

Следует учитывать различные сценарии использования, так как наш кодер может использоваться как для прямого потребления, так и для эталонного хранения исходного видео, которое может быть использовано годами позже в системах визуализации более высокого качества. Сверхтемные цвета могут быть визуализированы как на классических телевизионных системах, где любое ниже 0,1 нит обычно не так интересно или даже не видно из-за отражения света на дисплее передней панели, но изображения также могут быть визуализированы в темной окружающей среде на дисплеях, способных визуализировать глубокий черный цвет, как OLEDS, и может даже быть так, что дисплей или устройства, доставляющие изображения на него, используют внутренние алгоритмы осветления, несколько увеличивая светимости темных цветов. Однако, несмотря на то, что HDR изображения могут в дополнение ко многим очень ярким объектам также содержать очень темные области (например, в ночных сценах), около 50 кодов яркости должно быть достаточно для таких областей, потому что они темные и не будут ни хорошо наблюдаемыми, ни, как правило, наиболее важными частями изображения (и все детали изображения по-прежнему представляются примерно пятой частью количества кодов, которые использовались для ʺотличногоʺ представления самых разных изображений в эпоху LDR/SDR). Читатель должен также отметить, что в этом варианте обработка начинается на входных HDR светимостях L_in, т.е. то, используются ли просто HDR светимости, или они по-прежнему вводятся как некоторая функция линейных яркостей, например квадратный корень, является техническим вариантом проектирования схемы, который может свободно варьироваться в сочетании со всеми другими частями решений, предложенных в настоящей заявке.

Поскольку специалист теперь сможет понять, как спроектировать различные комбинаторики альтернативных вариантов нашего принципа, фиг. 11 показывает два чередующихся варианта осуществления декодера (1100), который соответствует показанному на фиг. 12 типу кодера(ов). Мы показали пунктиром, что некоторые варианты осуществления могут иметь обусловленную ситуацией проверку процессором 1101 (как разъяснено уже аналогично для фиг. 9), должно ли декодирование самых темных пикселей принятого SDR изображения осуществляться со стратегией минимизации, или же переключатель 1102 должен пропускать это, и все декодирование будет обрабатываться чисто исходя из принятых функций, которые функционируют в качестве определения кода, способного преобразовать принятые SDR яркости Y'_in в восстановленные HDR светимости Lo, когда они потребуются. Множитель 1103 теперь использует обратную постоянную 1/gP, которая, как уже было сказано, во многих практических вариантах осуществления может быть вычислена (как правило, один раз за фильм или в целом за новый принимаемый контент, например, после переключения каналов) приемным устройством, поскольку оно знает, какой кодер был использован аналогичным образом. Таким образом, некоторые варианты осуществления всегда будут использовать схему с ограничителем усиления 1105, без представленного дополнительного контура управления от процессора 1101. Специалист должен также понимать, что наши принципы не запрещают, что значение 1/gP фактически передается, например, хранится на секторе диска или в метаданных, совместно передаваемых с принимаемым сигналом и т.д.

Чтобы иметь возможность использовать нашу предложенную Philips функцию перцептуализации с rho=5,7, мы сначала применяем Rec.1886 EOTF (с b=0 и a=0) к принятым SDR яркостям Y'_in (как они были переданы, например, в закодированном сигнале HEVC изображения), чтобы получить нормализированные линейные SDR светимости L_SDR_in в качестве начальной точки (конечно, в некоторых вариантах осуществления эти два модуля могут быть объединены, поскольку это будет фиксированной LUT, так как ввиду стандартизированного 100 нит PB_C SDR, rho всегда равно 5,7, если такие кодировки используются в качестве входа, что является вероятным способом использования нашего вариантом осуществления, по меньшей мере в обозримом будущем). Линейное преобразование модуля 1111 снова будет иметь rho, которое зависит от принятого значения PB_C, указывающего, какое HDR кодирование было использовано.

Фиг. 13 показывает некоторые типовые значения g, для возможных пиковых яркостей кода PB_C (т.е. не обязательно самой яркой светимости в изображении, но которую изображение может содержать (если все коды были использованы, т.е. самый яркий пиксел был на максимуме), и кодирование должно поддерживаться). Можно закодировать это, например, как LUT и поместить в аппаратные средства декодера.

Алгоритмические компоненты, раскрытые в настоящем тексте, могут (полностью или частично) быть реализованы на практике как аппаратные средства (например, части специализированной IC) или как программное обеспечение, работающее на специальном процессоре цифровых сигналов, или как универсальный процессор и т.д.

Специалисту в данной области техники из нашего представления должно быть понятно, какие компоненты могут быть опциональными улучшениями и могут быть реализованы в сочетании с другими компонентами, и как (опциональные) этапы способа соответствуют соответствующим средствам устройства, и наоборот. Слово ʺустройствоʺ в этой заявке используется в самом широком смысле, а именно как группа средств, позволяющих реализовать конкретную цель, и, следовательно, может быть, например, (небольшой схемной частью) IC или специализированным устройством (например, устройством с дисплеем) или частью сетевой системы и т.д. ʺКомпоновкаʺ также предусматривает использование в самом широком смысле, поэтому она может содержать, в частности, одно устройство, часть устройства, совокупность (частей) взаимодействующих устройств и т.д.

Термин ʺкомпьютерный программный продуктʺ должен пониматься как охватывающий любую физическую реализацию совокупности команд, позволяющих процессору общего или специального назначения после серии этапов загрузки (которые могут включать в себя промежуточные этапы преобразования, такие, как перевод на промежуточный язык и окончательный язык процессора) вводить команды в процессор и исполнять любую из характерных функций изобретения. В частности, компьютерный программный продукт может быть реализован как данные на носителе, например, диске или ленте, данные, присутствующие в памяти, данные, передаваемые через сетевое соединение, проводное или беспроводное, или программный код на бумаге. Помимо программного кода, характеристические данные, необходимые для программы, также могут быть воплощены как компьютерный программный продукт.

Некоторые этапы, необходимые для работы способа, могут уже присутствовать в функциональности процессора вместо описанных в компьютерном программном продукте, такие как этапы ввода и вывода данных.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение. Там, где специалист может легко осуществить отображение представленных примеров на другие области пунктов формулы изобретения, мы для краткости не упомянули все эти опции углубленно. Помимо комбинаций элементов изобретения, как скомбинировано в формуле изобретения, возможны и другие комбинации элементов. Любая комбинация элементов может быть реализована в одном специализированном элементе.

Любая ссылочная позиция в скобках в формуле изобретения не предназначена для ограничения пункта формулы изобретения. Слово ʺсодержитʺ не исключает наличия элементов или аспектов, не перечисленных в пункте формулы изобретения. Форма единственного числа для элемента не исключает присутствия множества таких элементов.

Изобретение относится к декодерам и кодерам HDR видео. Технический результат заключается в сохранении цветности цветов постоянными, эффективно меняя только их светимости. Вычисляют HDR изображение на основе применения к принятому изображению 100 нит стандартного динамического диапазона набора функций преобразования светимости, причем функции содержат, по меньшей мере, грубое отображение светимости, которое применяется оптимизатором динамического диапазона. Отображают самое темное значения промежуточной яркости, являющейся выходом оптимизатора динамического диапазона, на принятое значение смещения черного расширителем диапазона. Причем видео декодер содержит ограничитель усиления, выполненный с возможностью применять альтернативную функцию преобразования светимости для вычисления подмножества самых темных светимостей HDR изображения из соответствующих самых темных яркостей изображения стандартного динамического диапазона. 4 н. и 9 з.п. ф-лы, 13 ил.

1. Декодер (600, 1100) HDR видео, выполненный с возможностью вычислять HDR изображение (Im_RHDR), которое имеет пиксел, который имеет светимость (L_HDR_IM), на основе применения к яркости (Y'_in) пиксела принятого изображения (Im_RLDR) 100 нит стандартного динамического диапазона набора функций преобразования светимости, причем функции содержат, по меньшей мере, грубое отображение (FC) светимости, которое применяется оптимизатором (603) динамического диапазона к пиксельной яркости (Y'_in) изображения стандартного динамического диапазона, дающее скорректированную по динамическому диапазону яркость (Y'HPS), и затем применения расширителем (604) диапазона второй функции, которая является отображением самого темного значения (0) скорректированной по динамическому диапазону яркости (Y'HPS) на принятое значение (Bk_off) смещения черного, отличающийся тем, что декодер HDR видео дополнительно содержит ограничитель (611, 1105) усиления, который выполнен с возможностью применять, в качестве альтернативного вычисления светимости, которое выполняется на самых темных цветах HDR сцены параллельно применению набора функций преобразования светимости, чтобы получить альтернативную светимость (Y'PFB) для пиксела упомянутого самого темного цвета HDR сцены HDR изображения (IM_RHDR), альтернативную функцию преобразования светимости в пиксельную яркость (Y'_in) изображения стандартного динамического диапазона, которая отображает на поддиапазон (502) самых темных светимостей HDR изображения соответствующие самые темные яркости (Y'_in) изображения стандартного динамического диапазона.

2. Декодер (600) HDR видео по п. 1, отличающийся тем, что ограничитель усиления выполнен с возможностью вычислять минимум промежуточной HDR светимости (L_HDR_IM), полученной применением набора функций преобразования светимости и функции входной яркости (Y'_in).

3. Декодер (600) HDR видео по п. 1 или 2, отличающийся тем, что чередующееся преобразование светимости определяется как умножение предварительно установленной или принятой постоянной (1/gP) на значения перцептивной яркости (Y'P), при этом перцептивная яркость (Y'P) вычисляется путем применения нелинейной функции к входным яркостям, причем нелинейная функция характеризуется тем, что набор значений перцептивной яркости в эквидистантных положениях друг от друга имеет визуально равномерный вид яркости.

4. Декодер (600) HDR видео по п. 3, отличающийся тем, что нелинейная функция имеет определение

Y'P=log[(1+(rho-1)*power(L_SDR_in,1/2,4)]/log(rho),

в котором L_SDR_in - линейные светимости изображения (Im_RLDR) стандартного динамического диапазона, и rho - предварительно установленная или переданная постоянная.

5. Декодер (600) HDR видео по п. 3 или 4, отличающийся тем, что постоянная (1/gP) определяется декодером HDR видео как функция принятого значения кодированной пиковой яркости (PB_C) HDR изображения.

6. Декодер (600) HDR видео по любому из предыдущих пунктов, отличающийся тем, что содержит процессор (901) для управления выбором либо альтернативного преобразования светимости, либо преобразования на основе набора функций преобразования светимости для, по меньшей мере, самых темных светимостей изображения (Im_RLDR) стандартного динамического диапазона, причем набор функций преобразования светимостей содержит точную функцию классификации, которая содержит спецификацию преобразования для самых темных HDR светимостей в самые темные светимости изображения (Im_RLDR) стандартного динамического диапазона.

7. Декодер (600) HDR видео по п. 6, отличающийся тем, что процессор (901) выполнен с возможностью определять, какое преобразование светимости применять, на основе проверки того, является ли принятое значение (Bk_off) смещения черного равным нулю или нет.

8. Кодер HDR видео, выполненный с возможностью вычислять светимость (L_SDR_out) пиксела представления изображения (Im_RLDR) 100 нит стандартного динамического диапазона входного HDR изображения (Im_RHDR), причем кодер HDR видео применяет набор функций преобразования светимости посредством того, что содержит

расширитель (702) диапазона, выполненный с возможностью отображать значение входной HDR светимости или яркости (Y'HP) на минимальное значение черного, выводя в качестве выхода светимость или яркость (Y'HPS) растянутого цветового представления; и

оптимизатор (703) динамического диапазона, выполненный с возможностью применять грубое отображение светимости к светимости или яркости (Y'HPS) растянутого цветового представления, которое определяет распределение подобласти темной и яркой светимости HDR изображения на соответствующие темную или яркую подобласть диапазона результирующих яркостей (Y'R); отличающийся тем, что кодер HDR видео дополнительно содержит

ограничитель (707) усиления, выполненный с возможностью применять, в качестве альтернативного вычисления на светимостях или яркостях самых темных цветов HDR сцены входного HDR изображения, которое выполняется параллельно применению набора функций преобразования светимости, альтернативной функции преобразования светимости для преобразования поднабора (502) упомянутых самых темных светимостей HDR изображения в диапазон соответствующих самых темных яркостей (Y'_in) изображения стандартного динамического диапазона.

9. Кодер HDR видео по п. 8, отличающийся тем, что альтернативное преобразование светимости определено как умножение предварительно установленной или принятой постоянной (gP) на значения перцептивной яркости (Y'HP), при этом перцептивная яркость (Y’HP) вычисляется путем применения нелинейной функции к HDR входной светимости (L_in), причем нелинейная функция характеризуется тем, что набор перцептивных значений яркости в эквидистантных положениях друг от друга имеет визуально равномерный вид яркости, и при этом ограничитель (1204) усиления вычисляет максимальное значение перцептивной яркости, умноженное на предварительно установленную или принятую постоянную (gP), и значение перцептивной яркости (Y'P), являющееся результатом последовательного применения к перцептивной яркости (Y'HP) расширения диапазона посредством расширителя диапазона и грубого отображения светимости посредством оптимизатора динамического диапазона.

10. Способ декодирования HDR видео, приспособленный вычислять HDR изображение (Im_RHDR), которое имеет пиксел, который имеет светимость (L_HDR_IM), на основе применения к яркости (Y'_in) пиксела принятого изображения (Im_RHDR) 100 нит стандартного динамического диапазона набора функций преобразования светимости, причем функции содержат, по меньшей мере, грубое отображение (FC) светимости, причем способ содержит этапы, на которых

применяют грубое отображение (FC) светимости к входной светимости (L_SDR_in) или ее функции, являющейся входной яркостью (Y'HP), выдающее скорректированную по динамическому диапазону яркость (Y'HPS); и затем

применяют вторую функцию, которая выполняет отображение самого темного значения (0) скорректированной по динамическому диапазону яркости (Y'HPS) на принятое значение (Bk_off) смещения черного; причем способ отличается тем, что он дополнительно содержит этапы, на которых

применяют стратегию ограничения усиления, путем определения альтернативной функции преобразования светимости, в качестве альтернативы для самых темных цветов HDR сцены к преобразованию светимости с набором функций преобразования светимости, содержащей грубое отображение, причем альтернативное вычисление светимости выполняется параллельно вычислению посредством упомянутого набора функций отображения светимости, для вычисления светимостей, попадающих в поднабор (502) самых темных светимостей HDR изображения из соответствующих самых темных яркостей (Y'_in) изображения стандартного динамического диапазона, и выбирают, какая одна из светимости, вычисленной посредством набора функций отображения светимости, и альтернативной светимости имеет самое низкое значение светимости.

11. Способ декодирования HDR видео по п. 10, отличающийся тем, что определение альтернативной функции преобразования светимости содержит этап, на котором определяют линейную функцию на, по меньшей мере, самых темных входных яркостях (Y'_in) изображения стандартного динамического диапазона, определенном в перцептивно однородном пространстве, как вычислено путем умножения предварительно установленной или принятой постоянной (1/gP) на значения перцептивных яркостей (Y'P), соответствующие соответственным входным яркостям (Y'_in).

12. Способ кодирования HDR видео для вычисления светимости (L_SDR_out) пиксела представления изображения (Im_RLDR) 100 нит стандартного динамического диапазона входного HDR изображения (Im_RHDR) путем применения набора функций преобразования светимости к входной светимости или яркости (Y’HP) пиксела входного HDR изображения, причем способ содержит этапы, на которых

применяют отображение, которое отображает значение входной HDR светимости или яркости (Y'HP) на минимальное значение черного скорректированной по диапазону яркости (Y'HPS), давая в качестве выхода упомянутую скорректированную по диапазону яркость (Y'HPS); и

затем применяют к скорректированной по диапазону яркости (Y'HPS) грубое отображение (FC) светимости, которое дает результирующую яркость (Y'R), причем грубое отображение (FC) светимости задает распределение поддиапазона светимости самой яркой или самой темной светимостей HDR изображения на соответствующие самый яркий и самый темный поддиапазоны диапазона результирующих яркостей (Y'R); отличающийся тем, что способ дополнительно содержит этап, на котором

в качестве альтернативного преобразования светимости по отношению к применению набора функций преобразования светимости, применяют к самым темным из цветов HDR сцены стратегию ограничения усиления, приспособленную применять альтернативную функцию преобразования светимости, которая выполняется параллельно применению набора функций преобразования светимости, для преобразования поддиапазона (502) самых темных светимостей HDR изображения в соответствующие самые темные яркости (Y'_in) изображения стандартного динамического диапазона.

13. Способ кодирования HDR видео по п. 12, отличающийся тем, что ограничение усиления вычисляет альтернативную функцию преобразования светимости путем умножения на коэффициент (gP) перцептивно униформизированной яркости (Y'HP), полученной путем применения функции перцептуализации к светимости (L_in) входного HDR изображения (Im_RHDR).