СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ HDR-ИЗОБРАЖЕНИЙ И СПОСОБЫ И УСТРОЙСТВА ДЛЯ ИСПОЛЬЗОВАНИЯ ТАКИХ КОДИРОВАННЫХ ИЗОБРАЖЕНИЙ Российский патент 2019 года по МПК G06T5/00 H04N19/30 H04N19/196 H04N19/46 H04N19/186 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к кодированию одного (т.е. неподвижного), но предпочтительно более одного (т.е. видео) изображения с широким динамическим диапазоном, и к соответствующим техническим системам и способам передачи необходимой информации о кодированном изображении на приемную сторону, и к декодерам для декодирования кодированных изображений, и, в конечном счете, предоставления их для дисплея.

Изображение с широким динамическим диапазоном (HDR-изображение) представляет собой изображение, которое кодирует текстуры HDR-сцены (которая обычно может содержать как очень яркие, так и темные области) таким образом, с достаточной информацией для высококачественного кодирования цветовых текстур и различных захваченных объектов в сцене, что может выполняться воспроизведение с визуально хорошим качеством HDR-сцен на HDR-дисплее с высокой пиковой яркостью, такой как, например, 5000 нит. В предложенной нами структуре HDR-кодирования, разработанной в последние годы, мы также хотим одновременно кодировать различные видимые подэлементы охватываемого динамического диапазона на этой сцене, которые могут служить в качестве хороших изображений возбуждения для различных дисплеев с промежуточным уменьшенным динамическим диапазоном, по меньшей мере изображение с узким динамическим диапазоном (LDR-изображение) выглядит подходящим для возбуждения, например, дисплея с пиковой яркостью 100 нит.

Кроме того, HDR-кодирование предпочтительно технически разработано таким образом, что оно не только относительно хорошо согласуется с существующими технологиями видеокодирования, но даже может быть встроено в современные структуры кодирования изображения или видео существующей технологии, такой как, например, запоминающее устройство на диске Blu-ray (и его ограничения, такие как величина памяти запоминающего устройства, но также уже по существу все другие стандартизированные аспекты), или соединения кабеля мультимедийного интерфейса высокого разрешения (HDMI), или другие системы передачи или хранения изображений, и т.д. В частности, системы HDR-кодирования, которые используют два кодированных изображения в каждый момент времени (например, LDR-изображение и изображение, имеющее локальные яркости подсветки для форсирования каждого пикселя до пикселя HDR-изображения) рассматриваются, особенно производителями устройств, как бесполезно сложными.

Кодирование HDR-видео (или даже неподвижного изображения) только недавно исследовалось в порядке эксперимента и являлось до настоящего времени трудной задачей, и типичным мнением было то, что или необходимо переходить к существенно большему количеству битов для кодирования яркости выше LDR-диапазона объектов сцены (например, кодирования, которое кодирует непосредственно яркости сцены), или необходим некоторый подход с двумя уровнями, в котором, например, в дополнение к изображению отражения объекта имеется изображение форсирования освещенности, или подобные стратегии разложения. Альтернативные подходы, такие как, например, система HDR-кодирования компании Dolby, обычно всегда используют такую двухуровневую технологию HDR-кодирования (см. US8248486B1). WO2010/105036 представляет собой другой пример такой системы кодирования с 2 изображениями в каждый момент времени от компании Dolby. Некоторое простое фиксированное тональное отображение TM (например, эмулирующее поведение классической аналоговой пленочной фотографии) может использоваться для отображения LDR-изображения в колеровку HDR, соответствующую ему, или наоборот. Это может быть любая, не очень точно отображающая функция (так как колеровщик может использовать сложные решения по оптимизации, например, в своей колеровке LDR), так что может быть значительное различие между прогнозированием, например, первоначального HDR-изображения и самим первоначальным HDR-изображением, но это не является проблемой, так как система может передавать различие в виде второго корректирующего изображения (битовый поток 742 остатка).

Другим примером такой системы кодирования с двумя изображениями является система HDR-кодирования Technicolor (документ JCTVC-P0159r1 16 заседания Объединенной совместной команды по видеокодированию ITU-T SG 16 WP3, г. Сан-Хосе, 9-17 января 2014 г.), которая кодирует в качестве первого изображения сигнал низкого разрешения, являющийся локальной освещенностью, поскольку он обычно формируется в модулированной двумерной (2D) светодиодной (LED) подсветке, и вторым изображением обычно является изображение текстуры модуляций с более узким динамическим диапазоном на этом низкочастотном сигнале, который обычно формируется на дисплее соответствующими сигналами возбуждения ламп жидкокристаллического дисплея (LCD).

Компания Philips недавно изобрела более простой подход с единственным изображением (по большей части еще не опубликован, но некоторые аспекты можно найти в WO2012/147022 и WO2012/153224), который является новым направлением в кодировании изображений и видео и, не только трудный для того, чтобы представить его априори, но, также при его фактическом выполнении, он приводит к многочисленным новым техническим вопросам, подлежащим решению, который, однако, хорошо работает на практике.

Под «широким динамическим диапазоном» (HDR) мы подразумеваем, что или изображение(-ия), захваченное на стороне захвата, имеет высокое отношение контраста яркости по сравнению с существующим LDR-кодированием (т.е. отношения контраста яркости объекта 10 000:1 или более могут обрабатываться посредством кодирования, и все компоненты цепочки обработки изображения до воспроизведения; и яркости захваченного объекта могут составлять выше 1000 нит, или более конкретно, могут обычно воспроизводиться/передаваться свыше 1000 нит, чтобы, при заданном окружении воспроизведения, формировать некоторое требуемое внешнее представление, например, зажженную лампу или освещенную солнцем внешнюю сцену). И обычно воспроизведение такого изображения(-ий) представляет собой HDR (т.е. изображения должны быть подходящими в том, что они содержат информацию, достаточную для высококачественного HDR-воспроизведения, и, предпочтительно, технически легким для использования образом), означая, что изображение(-ия) воспроизводится или предназначено для воспроизведения на дисплеях с пиковой яркостью по меньшей мере 1000 нит (подразумевая, что они не могут и не должны альтернативно воспроизводиться на LDR-дисплеях, например, с пиковой яркостью 100 нит, обычно после соответствующего отображения цвета).

УРОВЕНЬ ТЕХНИКИ

Недавно было предложено несколько технологий HDR-кодирования, таких как, например, двухуровневый способ компании Dolby (WO2005/1040035). Однако промышленность в настоящее время все еще ищет прагматическую технологию HDR-кодирования видео (/изображения), которая отвечает всем требованиям (приводит в равновесие все требования), таким как очень важные факторы, такие как количество данных, но также вычислительная сложность (цена интегральных схем (IC)), легкость внедрения, разносторонность для творческого работника для создания того, что он захочет, и т.д. В частности, двухуровневый подход рассматривается как бесполезно сложный. Идеально хотелось бы разработать технологию кодирования, которая соответствует существующему кодированию, такому как кодирование HEVC (высокоэффективное видеокодирование) MPEG (Экспертная группа по кинематографии) на основании дискретного косинусного преобразования (DCT). Проблема заключается в том, что это в некоторой степени контринтуитивно: как можно кодировать HDR-изображение, которое должно по определению быть в некоторой степени отличным от LDR-изображения, обычно имеющим большее количество представляющих интерес диапазонов яркости, в технологии, оптимизированной для того, чтобы содержать в себе LDR-изображения? Эти существующие системы обработки/кодирования LDR-изображений были разработаны и оптимизированы для работы с обычными сценариями формирования LDR-изображений, которые обычно хорошо освещены, например, с отношением освещенности студии 4:1 (или, например, 10:1), предоставляя для большинства объектов (которые могут изменяться по отражающей способности между, например, 85% для белого цвета и 5% для черного цвета) на виде с общим уровнем контрастности около 68:1 (соответственно 170:1). Если взглянуть на относительное воспроизведение (т.е. отображение белого цвета изображения к доступному белому цвету дисплея) яркостей объекта, начиная с пикового белого цвета, обычные ранние LCD-мониторы без локального затемнения имели белый цвет около 100 нит и черный цвет 1 нит, что согласуется с уровнем контрастности изображения, и обычно считали, что, на средних системах с электронно-лучевой трубкой (CRT), на которые смотрели также в течение дня, имели возможность около 40:1. Наличие стандартной существующей гамма-функции выделения кодов яркости со значением 2,2 в этих системах казалось удовлетворительным для большинства сценариев даже для более высокого контраста сцены. Хотя некоторые в то время считали, что были сделаны допустимые ошибки, такие ошибки воспроизведения плохо кодированных областей сцены с высокой яркостью (например, сильное ограничение ярких внешних сцен за окном) также были приемлемыми, так как LDR-дисплеи не могли в любом случае воспроизводить яркости этих объектов физически точно.

Однако имеются сценарии, для которых теперь существует потребность в улучшении воспроизведения, такие как, например, сцены в помещении, в которых можно одновременно видеть освещенную солнцем сцену вне помещения, в этом случае, может быть отношение освещенности 100:1 или даже более. При линейном относительном воспроизведении (т.е. со сосредоточением в первую очередь на самых ярких кодированных областях, или, эквивалентно, на среднем сером цвете наиболее ярких областях сцены и отображением белого цвета изображения для отображения белого цвета), белый цвет сцены внутри помещения будет отображаться в психовизуальный черный цвет для зрителя! Поэтому, в LDR эти освещенные солнцем области обычно будут изображаться как (слегка) ограниченные (обычно уже в кодированном изображении, в котором трудно различить коды около максимум 255 для этих пикселей). Однако на HDR-дисплее мы хотели бы показать их как яркими, так и красочными. Это дало бы значительно более натуралистический и эффектное воспроизведение таких сцен (как если бы Вы действительно находились в отпуске в Италии), но даже сцены, в которых контент с большей яркостью состоит только из некоторых эффектных отражений, уже проявляют большое визуальное улучшение качества. Если уже артефакты, подобные ограничению или ошибкам квантования, не выглядят раздражающими, например, на дисплее с яркостью 5000 или 10000 нит, мы по меньшей мере хотим иметь возможность побуждать такие HDR-дисплеи отображать изображение нужного вида, таким образом, чтобы воспроизводимые изображения были настолько красивыми, насколько позволяет HDR-дисплей.

Классический подход, однако, состоял в том, что для кодирования дополнительных диапазонов избыточной яркости необходимо иметь (значительно) больше битов, которые являются более старшими битами, которые кодируют яркости объекта свыше LDR-диапазона. Это может происходить или при кодировании в исходном формате с единственными большими кодовыми словами (такими как OpenEXR с 16 битами, из которых бит знака, 5 битов экспоненты и 10 битов мантиссы, или кодирование в формате LogLuv Варда, которое математически строго пытается захватить все множество возможных яркостей объекта с высокой точностью), или посредством использования первого уровня с кодами стандартного LDR-диапазона (например, классическая аппроксимация JPEG (объединенная группа экспертов по фотографии) HDR-изображения) и второго уровня для повышения яркости таких пикселей до более высокой яркости (например, форсированное изображение для форсирования каждого пикселя, если необходимо, до более высокой яркости, т.е. умножение на два таких 8-битовых изображений, являющееся эквивалентным единственному линейному 16-битовому коду).

Главной практической проблемой, подлежащей решению при разработке практической технологии HDR-кодирования, в дополнение к тому факту, что, конечно, оно должно быть способным обрабатывать огромный диапазон разных HDR-изображений, является то, что производители аппаратных средств требуют меньшего количества битов на кодовое слово (канал, т.е. канал яркости и два канала цветности), однако, и, хотя предложенная нами ниже технология также может работать со словами с большим количеством битов, мы пришли к решению, которое хорошо работает при ограничении 10 битами для по меньшей мере канала яркости (или более точно канала сигнала яркости) (следует отметить, что, хотя мы поясняем варианты осуществления с каналом яркости, принципы нашего изобретения с соответствующими поправками, могут быть реализованы как работающие на (линейных или нелинейных) RGB-представлениях цвета и т.д.). Кроме того, мы разработали структуру, которая может выполнять в философии двойственности как кодирование пикселей цвета (HDR-вида посредством LDR-изображения), так и преобразование внешнего представления цвета для нескольких сценариев воспроизведения (т.е. необходимые оптимальные виды для воспроизведения сцены на нескольких дисплеях с разными пиковыми яркостями, например, PB=800 нит) функциональным образом, что означает, что необходимо совместно кодировать только функции при кодировании вида по меньшей мере одной дополнительной колеровки, и конкретно HDR-вида в дополнение к LDR-виду вместо по меньшей мере второго видеокадра для каждого видеокадра.

В настоящее время мы имеем две категории систем HDR-кодирования, так как для рынка желательна такая универсальность в системе кодирования с учетом различных проигрывателей и их разных потребностей. В системе mode-i (или HDR-виде, кодированном в виде единственного определяющего изображения, например, на диске BD, или поток изображений AVC или HEVC по сетевому соединению) мы используем изображения HDR-вида в качестве единственного пиксельного изображения, которое используется для кодирования текстур и формы цвета объекта (см. в WO2015007505 заявителя, как такое единственное HDR-изображение может передаваться на приемник для определения цветов пикселей по меньшей мере HDR-вида, и как с соответствующими функциями повторной колеровки приемник может вычислять посредством обработки цветов в этом изображении другие изображения вида). Под этим мы подразумеваем, что мы берем первоначальное HDR-изображение главной колеровки, т.е. изображение, оптимально колерованное по цвету, чтобы оно выглядело лучше всего на эталонном HDR-дисплее, таком как, например, дисплей с пиковой яркостью 5000 нит, и только с минимальным его преобразованием: применяя только, в основном, функцию выделения кода или оптико-электронную передаточную функцию OETF (следует отметить, что, хотя OETF определяет, как яркости сцены, захваченные, например, камерой, передаются в коды сигнала яркости, телевизионным инженерам вместо этого нравится задавать обратную функцию, являющуюся электро-оптической передаточной функцией EOTF для перехода от кодов сигнала яркости к воспроизводимым эталонным дисплеем яркостям) посредством использования того, что OETF оптимально выделяет доступные, например, 10 битов кодов для канала сигнала яркости 'Y' по всем значения яркости, которые необходимо воспроизводить на эталонном дисплее с яркостью [0-5000] нит. Другие требуемые колеровки для дисплеев с другой пиковой яркостью тогда могут выполняться посредством преобразования этого изображения HDR-вида. В нашей структуре мы обеспечиваем этому виду отображения возможность настройки обычно путем выполнения только одной второй колеровки, которая находится на другом крайнем конце диапазона возможных дисплеев, подлежащих обслуживанию, а именно, вид, который является оптимальным или приемлемым по мнению создателя контента/колеровщика цвета для дисплея с пиковой яркостью 100 нит (которым обычно является эталонный дисплей для категории LDR-дисплеев). Следует отметить, что это представляет собой совместное кодирование другого вида, кроме этапа простого перекрашивания на стороне создания. Это требовало, чтобы преобразование цвета определялось применением функций отображения, таких как гамма-функции, реализующие глобальную повторную регулировку яркости (например, осветление более темных цветов в изображении), кривые с произвольной S-образной формой или обратной S-образной формой для регулировки локального контраста, функции обработки насыщенности цвета для регулировки, например, насыщенности до соответствующей яркости некоторых объектов или областей в изображении и т.д. Мы можем в значительной степени совместно кодировать эти функции (любую функцию, которую нам необходимо, пока они принадлежат к ограниченному набору базовых функций, которые приемник может понимать стандартизированным образом) в качестве метаданных, ассоциированных с пикселизированным изображением HDR-вида, в этом случае мы параметрически ОПРЕДЕЛЯЕМ изображение второй колеровки LDR-вида из изображения HDR-вида (т.е. нам больше нет необходимости кодировать это изображение LDR-вида в качестве пиксельного изображения). Следует внимательно отметить отличие двухуровневых систем кодирования: в нашей системе функциями преобразования цвета являются все, которые кодируются касательно второго вида, способного повторно колеровать второй вид на приемнике, поэтому, вместо функций грубой аппроксимации технологий с 2 изображениями, наши функции содержат полные интеллектуальные знания того, как освещенность различных объектов должна вести себя на различных видах воспроизведения по мнению создателя контента! При наличии этих сведений о том, как творческие работники хотят преобразовать вид из первого вида для дисплеев с первым уровнем возможностей воспроизведения цвета во второй вид для дисплеев со вторым уровнем возможностей воспроизведения цвета (в частности пиковой яркости дисплея), дисплей с промежуточными возможностями (например, пиковой яркостью 1200 нит) может тогда автоматически переходить к более оптимальному изображению возбуждения для его ситуации воспроизведения посредством использования сведений в двух колеровках и интерполирования (например, дисплей может выполнять асимметричное смешивание двух пикселизированных изображений HDR-вида и выведенного изображения LDR-вида из изображения HDR-вида и функциональных преобразований, в котором процентные отношения мультипликативного смешивания определяются тем, насколько близко к HDR-дисплею или LDR-дисплею располагается фактический дисплей на психовизуальной нелинейной шкале), что будет лучше, чем возбуждение дисплея или первоначальным изображением HDR-вида или изображением LDR-вида.

Это представляет собой мощное и все же простое определение не исключительно единственного вида (HDR-) изображения на сцене (например, воспроизведение 5000 нит), но полной структуры для получения приемлемого воспроизведения сцены для различных возможных дисплеев в условиях эксплуатации, таких как дом потребителя (и даже потенциальной адаптации к окружению просмотра, например, посредством применения пост-гаммы, моделирующей изменяемую чувствительность к контрасту зрения человека при различных окружающих освещенностях). Это полезно, главным образом, например, для применений/сценариев, в которых создатель выполнил хорошую версию HDR своего контента и хочет иметь в первую очередь этот HDR-вид при фактическом кодировании, передаваемом на приемники (например, на BD-диске HDR, или во время заказа по Интернету онлайн фильма HDR, или при широковещательной телевизионной передаче HDR и т.д.). Не обязательно, чтобы потребитель, который покупает эту версию контента, фактически имел HDR-дисплей, так как он может купить его позже, когда он будет действительно иметь HDR-дисплей и сможет теперь использовать преобразование HDR-2-LDR, но это было бы предпочтительным выбором, когда покупатель хочет контент для его HDR-дисплея.

Тогда как вышеупомянутый способ HDR-вида кодирования HDR-сцен (как объяснено, mode i представляет собой то, что по меньшей мере изображения HDR-вида, кодированные в виде пиксельного изображения, но, фактически, также дополнительные виды на этой же сцене, кодируются, но тогда параметрически с функциями преобразования цвета, такими как, например, вариант осуществления ограничения, в котором LDR-вид изолирует поддиапазон HDR-изображения и ограничивает остальные) уже формулирует существенные технические проблемы для перехода к прагматической новой технической системе для будущего кодирования изображения, но, главным образом, также видео (учитывая такие факторы, как простота конструкции IC для производителей аппаратных средств, все же позволяющая создателям контента создавать любой прекрасный HDR-контент, такой как научно-фантастические фильмы, впечатляющие телевизионные программы или документальные фильмы о природе и т.д., которые они хотят выполнить с многочисленными творческими HDR-эффектами, такими как лампы, которые кажутся действительно горящими), рынок требовал еще другой уровень сложности, который мы предлагаем в данном описании изобретения к патенту.

А именно, для некоторых применений (которые мы называем mode-ii) может потребоваться, чтобы имелось изображение LDR-вида в виде единственного пикселизированного изображения, кодирующего объекты сцены, которое, например, записано в виде единственного изображения на диске Blue-ray. Хотя создатель контента также очень заботится о качестве HDR-вида, он в значительной степени сосредотачивается на LDR-виде, который является подобным, как он был бы с существующими технологиями. Тогда обычно будут функциональные параметры, кодированные совместно в ассоциированных метаданных для получения изображения HDR-вида посредством улучшения изображения LDR-вида, которое было передано в сигнале S_im изображения. Могут быть различные причины для выбора этого варианта mode-ii (или LDR-вида), который может быть, например, для существующих систем, которые неспособны выполнять никакую обработку (например, если кто-то предпочитает кодировать единственное изображение в конкретном варианте осуществления, которое кодирует цвета в виде цветов Y'uv, а не в кодировании YCrCb, можно все же кодировать его в существующей структуре HEVC с предположением, что изображение Y'uv представляет собой необычно окрашенное изображение YCrCb и дополнительно используя существующие схемы кодирования на основе DCT, подобные стандартизированным в одном из членов семейства кодеков MPEG), но также для применений, которые требуют LDR-вид (например, просмотр фильма на портативном дисплее с низкой яркостью) и которые не хотят выполнять слишком много обработки. Или, возможно, создатель не хочет вкладывать слишком много времени в создание совершенного HDR-вида (но, например, только быстро выполняет его выполнением незначительной тонкой настройки автоматического преобразования LDR-2-HDR, которое, например, изолирует яркие области и нелинейно их форсирует, например, для восстановления записей фильмов Лорела и Харди), и считает свой LDR-вид наиболее важной главной колеровкой LDR- и HDR-видов, которые должны быть непосредственно кодированы без необходимости какого-либо преобразования цвета, с потенциальными цветовыми ошибками. Например, телевизионная вещательная компания может выбрать этот вариант, особенно для реалистической широковещательной передачи (например, может не требоваться, чтобы новости были в наиболее эффектном HDR).

Это кодирование LDR-вида (mode-ii), однако, имеет дополнительную сложность из-за математической сущности проблемы и математики кодирования с одной стороны в сравнении с прогрессивными художественными требованиями колеровки с другой, что делает его трудной задачей для согласования с хорошей технической структурой. Более точно, с одной стороны, нам требуются функции, которые сначала выполняют понижающую колеровку с требуемого главного HDR-изображения, и на приемнике с этими принятыми функциями (или обратными функциями фактически понижающей колеровки) приемник может снова выполнять повышающую колеровку по меньшей мере до хорошей аппроксимации первоначального HDR-изображения, т.е. в данных параметров функции метаданных будут параметры для функций (выводимые кодером из функций, которые колеровщик использовал при понижающей колеровке из главного HDR), которые могут отображать единственное LDR-изображение до достаточно точного прогнозирования HDR Rec_HDR. Но, с другой стороны, LDR-изображение, когда оно непосредственно воспроизводится на дисплее +-100 нит, т.е. без дополнительного преобразования цвета, должно выглядеть достаточно хорошо также в зависимости от колеровщика цвета. Поэтому, будет равновесие между выбором функций и тем, как они будут оказывать влияние на LDR-виды Rec_HDR, и, также принимая во внимание другие вопросы, таким образом, производители IC и устройств хотели бы видеть, ограниченный набор стандартных функций, которые являются полезными для повторной колеровки видов, и создателям контента нравятся эти функции для быстрого задания любого вида, который им потребуется, так как время колеровки является дорогим и может быть критическим время выпуска фильма. В нижеследующем описании мы описываем практическую систему для обработки этого варианта mode-ii кодирования HDR-сцены.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Нам необходимо иметь улучшенное кодирование HDR-изображений, и, в частности, мы начали с философии, что в особенности в текущий момент, когда еще много существующих LDR-систем в эксплуатации, требуются некоторые уровни совместимости. Это означает, с одной стороны, что мы хотели бы сохранить использование существующих IC (де)кодеров, которые реализуют функциональную способность, подобную дискретному (инверсному) косинусному преобразованию (I)DCT [=первый уровень совместимости с технологиями передачи изображения]. Но, кроме того, должен быть второй уровень совместимости с дисплеями, которые, из-за их низкой пиковой яркости требуют LDR-изображения (т.е. LDR-вид, не HDR-вид, например, со слишком темными цветами в более темных частях изображения, но, скорее, с более темными цветами, которые были осветлены для лучшей видимости на LDR-дисплеях), так как они могут воспроизводить только LDR-изображения (т.е. правильный LDR-вид при такой возможности динамического диапазона дисплея). Это потому, что, в дополнение к развернутому в настоящее время телевидению, в будущем будет разнообразие дисплеев, простирающих от небольших портативных дисплеев с возможностью низкой яркости, подобных портативным или ручным компьютерам или даже мобильным телефонам, на которых покупатель также хочет видеть некоторое воспроизведение HDR-фильма, до наиболее совершенных HDR-дисплеев, которые в будущем могут иметь пиковую яркость, например, 10000 нит, и все дисплеи между ними или около них. Тогда, хотя дисплей может быть все же унаследованным и простым, он может работать с новыми IC декодирования и отображения цвета высокой сложности, например, в будущих телевизионных приставках или компьютере, представляющем HDR-контент посредством, например, соединения HDMI иди другого соединения, причем эта телевизионная приставка предлагает любую комбинацию факультативных вариантов, которые мы изобрели и описали. Следует отметить, что существующее LDR-изображение потребует некоторой оптимизации между контрастом внутри объекта и между объектами. Мы хотели бы видеть ясными внутренние текстуры объектов, однако, также хотели бы иметь в LDR-изображении впечатление возможно огромного контрастного HDR-вида первоначальной сцены. Т.е. может отсутствовать возможность совершенного воспроизведения различия между областью высокой и низкой яркости не посредством LDR-изображения, однако все же должен быть некоторый остаток этого, делающий изменения освещенности в сцене все же насколько возможно оптимальными, возможными для передачи в LDR, посредством колеровщика-человека.

Мы преобразовали эти требования в подход, в котором в идеальном сценарии необходимы (по меньшей мере) две колеровки для одного и того же фильма или видеокадров от провайдера контента, которые мы просто называем LDR-изображением (используемым для сценариев LDR-дисплея, например, с дисплеями с пиковой яркостью около 100 нит) и HDR-изображением (для более ярких дисплеев, например, эталонного дисплея с пиковой яркостью 5000 нит).

Поэтому для нескольких практических примерных сценариев мы имеем в качестве начальной точки для новых вариантов осуществления HDR-кодирования в качестве ввода HDR-изображения с главной колеровкой (предположим, оно колеровано по любому вкусу создателя с любым программным обеспечением по обработке цвета, и, например, кодированное начальным кодированием цвета, таким как OpenEXR, и оно может быть даже повышающей колеровкой до HDR-вида изображения, которое первоначально было захвачено как LDR, например, посредством добавления эффектов компьютерной графики). Затем нам необходимо кодировать этот главный HDR (M_HDR) таким образом, который практически является используемым для современных технологий кодирования видео или изображения (например, незначительно модифицированных от нормального способа использования таких технологий кодирования, которые могут включать в себя переопределение значений кода, т.е. соответствующих яркостей, кодированных различными кодами сигнала яркости, но не так, чтобы, например, все шины должны быть изменены на 12 бит, т.е. наши способы должны работать с 12-битовыми аппаратными средствами, но также если доступно только 10 бит на составляющую, или если принимается некоторое меньшее качество даже на 8-битовых системах), например, новый проигрыватель BD-диска, или телевизионная IC, принимающая потоковое видео по Интернету, или любой приемник, подсоединенный к любому источнику изображения, в значительной степени совместимый с вариантом современных технологий кодирования изображения/видео.

Мы пришли к важному пониманию, что HDR-изображение может кодироваться как изображение LDR-вида (т.е. изображение, которое с небольшой или без колориметрической обработки - может представлять собой преобразование в другое цветовое пространство, но не любое или существенное тональное отображение для преобразования яркостей объектов изображения, чтобы они были более подходящими для дисплея с другим динамическим диапазоном яркости - может непосредственно использоваться для отображения хорошего качества на LDR-дисплее), если только добавляются параметры функций отображения цвета, которые могут преобразовывать этот LDR-вид в изображения HDR-вида (наш mode ii). Читатель должен предполагать, что это не является тривиальным для выполнения, даже теоретически, конечно не априори, но даже после установления технической задачи (так как это, без правильной дальнейшей разработки, казалось бы в некоторой степени противоречащим кодировать один вид посредством другого вида, который, как предполагается, является другим. В частности, так как многие из наших вариантов осуществления начинаются с существующего M_HDR, функции могут отображать кодированное пикселизированное изображение LDR-вида в точное восстановление Rec_HDR из M_HDR. Но, конечно, это не может быть, в общем, точно выполнено любым случайным образом, т.е. требуется конкретная цепочка технического кодирования.

Наше изобретение может быть реализовано, например, по меньшей мере следующим образом: Способ кодирования изображения (M_HDR) с широким динамическим диапазоном, содержащий этапы:

- преобразования изображения с широким динамическим диапазоном в изображение (LDR_o) с более узким динамическим диапазоном яркости посредством применения: a) нормализации изображения с широким динамическим диапазоном к масштабу оси сигнала яркости, равной [0,1], обеспечивая нормализованное изображение с широким динамическим диапазоном с нормализованными цветами, имеющими нормализованные яркости (Yn_HDR), b) вычисления гамма-функции по нормализованным яркостям, обеспечивая преобразованные по гамме яркости (x,g), c) применения первого тонального отображения, которое форсирует эти преобразованные по гамме яркости пикселей нормализованного изображения с широким динамическим диапазоном, которые лежат ниже 0,1, на заданную величину, лежащую между 1,5 и 5,0, обеспечивая сигналы яркости (v), и d) применения произвольной монотонно возрастающей функции тонального отображения, отображающей сигналы яркости, являющиеся результатом выполнения этапов b и c для вывода сигналов яркости (Yn_LDR) изображения (LDR_o) с более узким динамическим диапазоном; и

- вывода в сигнале (S_im) изображения кодификации цветов пикселей изображения (LDR_o) с более узким динамическим диапазоном яркости, и

- вывода в сигнале (S_im) изображения значений, кодирующих формы функции вышеупомянутых преобразований b-d цвета в качестве метаданных, или значений для их обратных функций, причем эти метаданные позволяют приемнику восстанавливать восстановленное изображение (Rec_HDR) с широким динамическим диапазоном из изображения (LDR_o) с более узким динамическим диапазоном яркости.

Эта особая комбинация функций преобразования сигнала яркости оказалась очень хорошим путем для обработки кодирования HDR-изображений с позиции mode ii, т.е. в частности, двойным путем кодирования HDR-изображений в виде изображений LDR-вида, полученных этими функциями преобразования из главного HDR, причем эти LDR-изображения служат двойной цели точного кодирования HDR-вида, а также хорошо используемых изображений LDR-вида.

Следует отметить, что может использоваться любая кодификация цветов пикселей, т.е. представление цветов пикселей в некоторой системе кодирования цветового пространства, и некоторые будут более прагматическими, чем другие. Например, LDR_o может выводиться в качестве изображения (R'G'B') [в котором штрихи указывают некоторое нелинейное отображение линейных RGB-составляющих]. Мы поясняем, что пример способен кодировать LDR-изображение, подлежащее передаче на приемник, способом Yu'v' и затем также обработка, подобная тональному отображению, может выполняться в представлении Yxy с координатами цветности xy, такими как, например, тогда u'v', но эти же принципы изобретения ниже также могут быть реализованы в других представлениях цвета, например, линейных представлениях RGB (т.е. вычисления затем выполняются непосредственно с RGB-составляющими, а не Y-составляющими) и т.д. Также, специалист в данной области техники понимает, какие из нескольких способов можно использовать для совместного кодирования параметров, характеризующих функциональные отображения (которые, например, могут представлять собой полилинейную функцию, определяемую ее точками изменения сегмента), которые обычно являются в качестве метаданных в сигнале S_im изображения или ассоциируемых с ним (например, структура сообщения SEI или подобная), что означает, что когда приемнику требуются параметры, чтобы понять кодированные данные цвета пикселей для преобразования их, например, в выводимое изображение линейного RGB для воспроизведения на соединенном дисплее, он должен получить эти определяющие вид параметры посредством некоторой технологии передачи данных, например, подключаемой ячейки памяти, при помощи некоторой линии связи.

Эта конкретная комбинация отображения «чувствительности», которое осветляет по меньшей мере наиболее темные цвета объекта в изображении (в поддиапазоне самых темных цветов пикселей, которые на практике можно определять равными 10% наименьших яркостей нормализованного линейного изображения, которым может быть, например, Y-канал, или соответствующие наименьшие значения линейного RGB) и функция гаммы/степени хорошо работает для обработки колориметрических характеристик HDR-изображений, и, в частности, их обычного несоответствия воспроизведению LDR. Можно, конечно, предусматривать многочисленные воспроизведения LDR, например, тривиальный, который просто игнорирует все цвета, которые считаются слишком яркими или темными, посредством ограничения, но это не является обязательно наилучшим LDR-видом, и, конечно, не используется для восстановления HDR-вида хорошего качества.

Поскольку как HDR-изображение (непосредственно в mode ii), так и LDR-изображение (в частности, LDR-изображение, которое фактически кодирует HDR-изображение) фактически могут кодироваться в подобном, например, 3×10 битовом контейнере HEVC, можно спросить, какое тогда различие между HDR-изображением и LDR-изображением. Это различие представляет собой колориметрическое различие, которое очень важно, когда это касается дисплея, окружения просмотра и зрителя. Математически можно ее измерить из обычных значений пикселей в нормализованном изображении (т.е. нормализованном LDR-изображении или HDR-изображении) и, в частности, гистограммы. Если это обычное LDR-изображение, обычно не бывает такого высокого контраста между самыми темными и самыми яркими цветами пикселей. Конечно, также в LDR-изображениях могут быть значения, которые представляют собой белый цвет, а также значения, которые представляют собой черный цвет (нуль), но они соответствуют другим фактически воспроизводимым яркостям, так как существует другая функция выделения кода, определяющая их. Новые приемники/декодеры, предложенные авторами изобретения, распознают эту ситуацию и применяют в каждом случае соответствующее декодирование. Когда мы говорим, что LDR-изображение должно непосредственно использоваться на существующем дисплее, они подразумевают, что приемник, подающий декодированные изображения на приемник, понимает/декодирует значения сигнала яркости посредством существующей функции выделения кода, т.е. обычно с гаммой 2,2 рекомендации Rec. 709. Теперь изображение master_HDR (mode i) может кодироваться совершенно другой функцией выделения кода, что означает, что сигнал яркости черного цвета, например, 0,05, соответствует значительно более темному черному цвету, чем для LDR-изображения, и 0,96 соответствует значительно более яркому цвету. В дополнение к этому, mode ii вводит дополнительный новый принцип, что коды сигнала яркости теперь могут быть связаны с воспроизводимыми в HDR сигналами яркости еще другим выделением кода, и которое даже может быть изменяемым в зависимости от выбора колеровщика (в частности специальной кривой)! В частности, изображение с mode i обычно не имеет относительно равномерную (хорошо освещенную) гистограмму как при существующем LDR- кодировании, но обычно бимодальную гистограмму, в которой имеется несколько более темных объектов и несколько значительно более ярких пикселей (например, пиксели внешней сцены, которые будут в 100× ярче в линейном представлении яркости, но могут быть, например, в 3× ярче при использовании конкретной функции выделения кода, т.е. в используемом в конечном счете представлении сигнала яркости). В некоторых HDR-изображениях более яркие пиксели также могут быть малыми по количеству, например, пара ламп в ночной сцене. В изображении mode ii отношение снова будит другим. Имеется, по-прежнему, некоторое достаточное различие между яркими и темными областями (предполагая при простом объяснении в данном случае, что HDR-изображения образованы таким образом), не только потому что относительно простые функции могут отображать на Rec_HDR, но также потому что даже непосредственное воспроизведение LDR может потребоваться для сохранения кое-чего от контрастного вида. Но, с другой стороны, два диапазона яркости могут быть сжаты друг к другу или друг в друга до некоторой степени из-за ограничений цветового охвата LDR. Но тем, что является важным во всем этом, является то, что можно все же видеть некоторый отличительный признак того, было ли изображение LDR-сцены или HDR-сцены. Не только алгоритмы математического анализа изображения могут анализировать вид динамического диапазона, кодированный в изображениях (например, для производства телевизионных программ в реальном времени, при котором конечное качество видов является менее важным, чем, например, затраты производства), для которых может использоваться узел 177 анализа изображения. Но в общем наши технологии кодирования в их формате с наиболее высоким качеством используются с колеровщиком цвета-человеком на стороне создания, который может видеть на обычном HDR- или LDR-дисплее, как ведет себя система (т.е. как фактически выглядят LDR-вид и HDR-вид), повернуть круговые шкалы клавиатуры своего колеровщика и, в конечном счете, кодировать LDR-изображение и функции восстановления HDR, которые больше всего подходят ему. Следует отметить, что обычно приемникам нет необходимости выполнять полный анализ ситуации. Им нет необходимости, по сути, беспокоиться о том, было ли нормализованное изображение, которое они приняли, HDR-изображением или LDR-изображением, и какой вариант LDR-изображения. Им нужно только «слепо» применить функции, которые они принимают. Единственным, что они обычно должны знать, является то, какие функции определяют и/или что определяет единственное изображение. Поэтому, обычно сигнал содержит индикатор (IND), каким типом сигнала он является. Конечно, может передаваться много сведений о сигнале, например, для телевизоров, в которых требуется выполнить их собственное интеллектуальное улучшение изображения, но обычно тем, что приемник минимально должен знать, является то, является ли этот сигнал S_im HDR-кодирования типа, который содержит изображение, непосредственно используемое для LDR-воспроизведения (может ли его вид точно настроен на лучшее LDR-изображение приемниками, которые могут выполнять тональное отображение принимаемого LDR-изображения LDR_t с дополнительными функциями тонального отображения [параметризированными с Ff1, Ff2 и т.д.] или нет). С этой информацией приемник знает, что, если подключенный LDR-дисплей должен обслуживаться соответствующими изображениями, изображения LDR-вида могут непосредственно передаваться на него, и, если он является HDR-дисплеем, сначала будут применяться преобразования цвета для получения корректных HDR-изображений для воспроизведения. Специалист в данной области техники понимает, что это может быть указано несколькими путями, например, посредством ключевого слова, подобного «DIRECTLDR», или при помощи набора чисел «100/5000», которые означают, что единственное изображение представляет собой изображение, предназначенное для дисплея с яркостью 100 нит (фактический или эталонный дисплей) и был получен из HDR-изображения с яркостью 5000 нит и является отображаемым на него (не подразумевая, что другие изображения для дисплеев с другой пиковой яркостью не могут быть получены из LDR-изображения с информацией в параметрах, определяющих функцию преобразования цвета) и т.д.

Если теперь рассмотреть более подробно то, что HDR-изображение обычно может представлять собой (когда оно нормализовано и колеровано до оптимального LDR-изображения mode i), должно быть понятно, как будет выполняться главная колеровка различных сцен в окружении, определяемым эталонным HDR-дисплеем с пиковой яркостью, например, 5000 или 10000 нит.

Снова рассматривая объясняющий пример сцены внутри помещения с яркой освещенной солнцем сценой вне помещения, может потребоваться выполнение колеровки цветов сцены вне помещения в M_HDR к приблизительно среднему серому HDR-цвету, таким образом, около 20% от 5000 нит, т.е. +-1000 нит. Не должно выполняться воспроизведение цветов сцены внутри помещения с фактическими обычными яркостями сцены внутри помещения, так как фильм просматривают в другом окружении, например, обычно при полутемном окружении просмотра телевизора. Поэтому несомненно, что цвета сцены внутри помещения не должны воспроизводиться при 1/100 от яркостей пикселей освещенной солнцем сцены вне помещения, так как они также не воспроизводятся точно, только точная копия на любой приемной стороне того, каким была бы эталонная главная колеровка на эталонном дисплее. Необходимо принять во внимание внешнее представление для предназначенного среднего зрителя, в частности то, что в HDR-виде сцена внутри помещения не должна выглядеть нереально темной. Мы можем выполнять колеровку этих цветов, примерно, на 1/10 от средней яркости цветов области изображения «освещенной солнцем сцены вне помещения», таким образом, около +- 100 нит. Однако теперь просто отображая эти сигналы яркости на эталонный LDR-дисплей с яркостью 100 нит (с отображением цвета, которое, например, близко к линейному расширению по меньшей мере концептуально), цвета освещенной солнцем сцены вне помещения в LDR будут выглядеть точно, около примерно 20 нит и выше до белого цвета, но внутренние цвета будут воспроизводиться около 2 нит, которые будут смотреться психовизуально черными. Вот почему необходимо выполнять «некоторую» оптимизацию, которая может быть довольно сложной в зависимости от сложности конкретной HDR-сцены, вот почему предпочтительно иметь колеровщика цвета-человека, участвующего на стороне создания контента, для аспектов нашей структуры кодирования. Чтобы сделать эти цвета сцены внутри помещения также достаточно видимыми, можно сделать их несколько более темными, чем средний серый цвет (18%), но не сильно при оптимизации. Поэтому, можно захотеть форсировать эти более темные цвета с коэффициентом обычно между 5 и 7 (в зависимости от того, что находится в темных, соответственно ярких подобластях, конечно, оптимизация может быть другой для темного основания, на котором с трудом должны быть видны инструменты на стене, и можно ограничивать свет лампы, освещающей ее), сохраняя более яркие цвета выше него. Фиг.5 изображает два примерных сценария нашей цепочки кодирования HDR/LDR. Кривые 501 и 502 изображают только обычные первые («чувствительность») кривые тонального отображения, т.е. перед гаммой. Они определяются уравнением , с возможными нормализованными значениями для ввода xg между нулем и 1,0, и оптимальным значением RHO в случае, если главный HDR был определен с пиковой яркостью эталонного дисплея в 1000 нит для кривой 501 (подразумевая, что какой бы ни был контент в захваченной сцене, яркости объекта в M_HDR определяются между нулем и максимально 1000 нит, значение, на которое, например, может выполняться колеровка искры сварки или солнце) и 5000 нит для кривой 502. Оптимальное значение RHO может определяться множеством способов, что понятно для специалиста в данной области техники. Например, колеровщик может выбрать его соответствующим для того, что он считает хорошим LDR-видом при данном конкретном изображении M_HDR. Или устройство на стороне создания может автоматически его вычислять, например, по следующему уравнению:

.

В данном уравнении PB_HDR представляет собой пиковую яркость эталонного дисплея, ассоциированного с колеровкой M_HDR (т.е. которая определяет диапазон возможных значений и обычно соответствует PB реального дисплея, на котором колеровщик исследовал и создал свой главный HDR-вид), например, 1000 или 5000 нит как на фиг.5, и GAM представляет собой значение гаммы, которым обычно может быть, например, 2,4. Конечно, устройство (или колеровщик) может отступать от этих значений в результате любого другого алгоритма или эвристического правила, например, в случае, если требуется несколько более яркий или более тусклый вид, и т.д.

Теперь на фиг.5 можно видеть, что, если определяют коэффициенты форсирования (по сравнению с диагональю, нормализованный сигнал яркости HDR находится на оси x, и нормализованный сигнал яркости LDR - на оси y) для первой части/части чувствительности тонального отображения только до значения между +-1,5 и 4,0, получают после применения отображения гаммы также с гаммой 2,4, коэффициенты форсирования около 6-7 для самых темных 10% цветов (кривые 503 относительно 504 представляют собой объединенное отображение логарифма и гаммы), что грубо представляет собой то, что необходимо (потом колеровщик может выполнить точную подстройку в соответствии с необходимостью при помощи своей произвольной кривой тонального отображения, но это представляет собой хорошую стратегию, например, для устройств с автоматическим преобразованием, которые минимально привлекают колеровщика только в случае, если необходима или требуется точная настройка). Обычно, хотели бы, в общем, иметь форсирование +-4-8 для объединенных операций тонального отображения логарифма/гаммы (т.е. узел 602 и 603), что означает, что значение форсирования между 1,5 и 5,0 будет надлежащим только для части чувствительности на основе RHO (узел 603). Любая функция тонального отображения для узла 603, имеющая такой характер изменения для более темных цветов, будет удовлетворять тому, что нам необходимо для нашего изобретения, но вышеупомянутое уравнение на основе логарифма представляет собой простой прагматический способ для его реализации. Характер изменения для более светлых цветов выше обычно представляет собой легкое сжатие, т.е. с формой функции, которая обычно нелинейно отражает более светлые яркости выше диапазона, занятого форсированными более темными цветами. Теперь можно иметь очень сложные HDR-изображения, которые могут потребовать другие значения, но такие исключительные ситуации могут обрабатываться определением соответствующей произвольной кривой колеровщиком (или алгоритмом автоматической колеровки). Следует отметить, что на стороне декодирования цепочка обработки должна быть по существу обратимой, чтобы иметь возможность вычисления Rec_HDR из единственного переданного LDR-изображения(-ий). По существу обратимое означает, что мы не обязательно должны получить точно такие же значения цветовых составляющих в Rec_HDR, что и в исходном M_HDR, но цветовые различия должны быть в пределах допуска. Поэтому приемник должен, в конечном счете, быть способен получить необходимые функции преобразования цвета для повышающей колеровки до HDR-вида Rec_HDR, вычисляет ли он их посредством инвертирования функций понижающей колеровки, первоначально используемых на приемной стороне при выполнении LDR_o (или LDR_i) из M_HDR и приема информации о форме этих функций, или непосредственного приема обратных функций, необходимых для выполнения повышающей колеровки до Rec_HDR. Это, между прочим, обычно означает, что для произвольной функции тонального отображения, которую колеровщик может определить для точной настройки LDR-вида до его строгих предпочтений, ему нужно будет определить монотонно увеличивающуюся функцию, связывающую нормализованные сигналы яркости LDR и HDR, что понятно для специалиста в данной области техники.

Основная техническая цепочка mode ii может работать простым образом. Например, для некоторых менее критичных сцен колеровщик может наполнять произвольную функцию значениями по умолчанию, являясь тождественным преобразованием. Следует также отметить, что хотя мы описываем основные технические составляющие, необходимые в цепочке, при практической реализации один или более из этих блоков могут группироваться в фактические узлы, выполняющие эти функции. Например, в некоторых применениях может быть желательным передавать полную LUT (справочная таблица) всех функций отображения цвета вместе, тогда как в других применения может быть полезным передавать отдельные функции, так как телевизору (автоматически, например, после анализа сцены, или под управлением пользовательского интерфейса зрителем) может, например, потребоваться дополнительно настроить, например, первую функцию, которая несколько осветляет изображение по сравнению с чувствительностью или значением RHO, принятыми посредством технологии передачи изображения/видео. Более совершенные версии могут использовать некоторые дополнительные этапы обработки, например, способ кодирования может определять значение коэффициента усиления (gai) для отображения максимального сигнала яркости изображения (LDR_o) с более узким динамическим диапазоном на конкретное значение возможных значений в восстановленном изображении (Rec_HDR) с широким динамическим диапазоном и кодировать это значение коэффициента усиления в сигнале (S_im) изображения, которое не следует путать с нормализованными цветами окончательной формы масштабирования до пиковой яркости подключенного дисплея (например, Lm=5000 нит). Этот коэффициент усиления позволяет выполнять более универсальную колеровку и/или кодирование.

Очень полезный улучшенный способ кодирования изображения (M_HDR) с широким динамическим диапазоном содержит: после применения любого из вышеупомянутых отображений цвета для определения изображения (LDR_o) с более узким динамическим диапазоном, применение дополнительного технического тонального отображения (301) для определения второго изображения (LDR_i) с более узким динамическим диапазоном, которое может использоваться для возбуждения LDR-дисплеев в качестве альтернативного изображения возбуждения, альтернативного изображению (LDR_o) с более узким динамическим диапазоном яркости, причем техническое тональное отображение определяется посредством: a) определения первой геометрической области изображения (LDR_o) с более узким динамическим диапазоном яркости, для которого видимость полосатости в соответствующем восстановленном изображении (Rec_HDR) с широким динамическим диапазоном находится выше допустимого уровня, b) определения диапазона сигналов яркости (L_u) для этой области, c) определения второго диапазона сигналов (L_uu) яркости пикселей, соседних на оси сигнала яркости с диапазоном сигналов (L_u) яркости, причем второй диапазон идентифицируется для выполнения условий, что он имеет количество сигналов яркости, превышающее минимальное количество (MIN), и соответствует второй геометрической области изображения, которая содержит текстуру, которая может быть представлена с использованием меньшего, чем минимальное количество кодов в LDR-изображении (LDR_i), при котором применять функции, получающие восстановленное изображение (Rec_HDR) с широким динамическим диапазоном достаточного визуального качества для этой второй области, и d) определения функции отображения перераспределения, которая перераспределяет сигналы яркости первого и второго диапазона сигналов яркости, так что дополнительные коды доступны для первого диапазона, и вывода в сигнале (S_im) изображения значений, кодирующих форму кривой функции отображения перераспределения или, предпочтительно, ее обратной функции.

Существует в некоторой степени ограничение в компромиссе между полным или достаточно точным восстановлением Rec_HDR и видом LDR-изображения LDR_o, в частности, если аппаратные средства (и затраты на колеровку) диктуют, что должно использоваться относительно ограниченное количество функций колеровки. Некоторые HDR-сцены могут не быть настолько трудными (например, средний зритель может не быть слишком критичным о том, что тени теневой стороны залитой солнцем улицы являются немного темнее или несколько более светло серыми, пока отклонения от оптимального вида не являются слишком чрезмерными), но некоторые HDR-сцены могут быть более критичными (например, где-то в диапазоне яркости HDR может находиться парень, частично скрытый в яркостной дымке, и, если локальный контраст является слишком высоким, он может только отчасти быть видимым тоже, но, если контраст является слишком низким, он может быть невидимым, меняя изложение событий). Было бы полезным иметь другую размерность возможной колеровки, по меньшей мере для приемников, которые не относятся к уже существующим (и не имеют сведений о том, как выполнять какую-либо HDR-обработку), и могут выполнять некоторое дополнительное тональное отображение. Существующий дисплей тогда может получить LDR-изображение «с максимальными усилиями», которое будет единственным передаваемым изображением, но интеллектуальные будущие приемники смогут выполнять некоторые интеллектуальные технические спецэффекты для дополнительной оптимизации LDR-вида, так что он приближается к тому, что хочет получить колеровщик (может быть даже ограничивая некоторые значения в окончательном LDR-виде, который будет несравнимым с HDR-восстановлением, если оно происходит в единственном передаваемом LDR-изображении). Имея такую возможность, некоторые способы кодирования или кодеры смогут учитывать это. Сжимая очень сложное HDR-изображение с очень большим уровнем контрастности в единственное LDR-изображение (например, HDR-изображение, которое имеет несколько важных областей со многими значениями серого цвета, например, темная неосвещенная комната, относительно хорошо освещенная вторая комната и, одновременно, красочная освещенная солнцем сцена вне помещения, и с этими 3 областями, также содержащими важные градиенты, охватывающие многочисленные значения серого цвета, например, белый стол под лампой в хорошо освещенной комнате), может случиться, что одна или более областей станут недопустимыми, так как, из-за ограниченной длины слова (например, 10 бит) для цветовых составляющих, где-то (в зависимости от форм функций отображения цвета) имеется полосатость, которая оценивается слишком серьезной. Эта область может идентифицироваться, например, посредством колеровщика, обнаруживающего ее (и ему может помогать в этом программное обеспечение анализа HDR-изображения, указывающее потенциально критичные зоны, в устройстве колеровки). Обнаружители полосатости могут вычислять, например, то, что для расширенной области (потенциально также принимая во внимание, какие яркости имеет эта область, и оцененные JND) имеются переходы каждый раз с количеством последовательно равных цветов, и они могут определять допустимый уровень, основываясь на значениях такого вычисления (и обычно в заводских экспериментах). Устройство колеровки после обнаружения такой области (например, посредством более мелкого сегментирования того, что колеровщик грубо выбрал) затем может грубо определять диапазон L_u яркостей, соответствующих ему. Например, может быть полосатость на синем небе, цвета которого имеют яркости между L_sky_low и L_sky_high. Проблема будет уменьшена, если LDR-кодирование имеет больше значений для кодирования изображения, где мы должны понимать, что на стороне кодирования M_HDR и любое преобразование все же может быть с очень высокой точностью. Но такие коды не существуют: нам доступны только 10 бит для всех необходимых яркостей, и нам также необходимо кодировать в достаточной степени все другие области изображения с разной освещенностью. Но может использоваться один технический прием, если некоторые коды могут быть позаимствованы из областей изображения, которые имеют яркости, соседние с L_u, особенно если визуальное качество этих областей незначительно ухудшается в результате взятия нескольких кодов из их диапазона кодов (который обычно колеровщик оценивает посредством простой операции принятия результата или несогласия с ним, в этом случае будет выполнена другая попытка, которая является более агрессивной в случае, если полосатость все еще является высокой для исходной полосатой области, и соседняя область может ухудшаться еще более, или немного менее агрессивной, если колеровщик указывает, что соседняя область начинает слишком сильно ухудшаться). Простым способом перераспределения кодов является, например, линейная или нелинейная модификация локальной части функции. Теперь вопросом с передаваемым единственным изображением LDR_o является то, что небо может стать, например, немного слишком темным и может быть слишком контрастным в результате этой операции (и также соседние области могут быть немного слишком темными, и их вид текстуры может измениться, и т.д.). Это может быть не слишком проблематичным в случае малых изменений и менее критичных сцен и немного более неудобным для трудных сцен. Это цена, которую существующим системам может потребуется уплатить, так как они не могут сделать абсолютно ничего с любыми из принятых данных за исключением непосредственного воспроизведения LDR_o, но новые приемники могут применять обратные к преобразованиям, используемым для перераспределения сигналов яркости, для создания LDR-вида очень близкого к первоначальному предполагаемому виду (т.е. с соответствующими яркостями неба и т.д.), но теперь с меньшей полосатостью. Приемнику нет необходимости выполнять значительный интеллектуальный анализ, ему необходимо только посмотреть, что является доступной такая функция технического тонального отображения, и применить ее к восстановлению единственного переданного LDR-изображения LDR_t для получения лучшего изображения LDR_ul LDR-вида. Ряд способов также может применяться в устройствах колеровки, чтобы прийти к лучшим предположениям для соседней области, например, области с достаточным количеством яркостей (например, равным количеству на небе) и может определяться некоторая сложная текстура. Простые варианты осуществления, например, могут использовать все коды ниже диапазона полосатых областей, до самого черного цвета.

Количество дополнительных кодов для первого диапазона определяется на основании критерия видимости полосатости для первой геометрической области. Автоматический алгоритм может предложить, например, 20% дополнительных кодов, и обычно колеровщик-человек может подтвердить это. Алгоритм также может выделять области, которые ему нужно ухудшить, например, мерцанием окраски этих областей, так что колеровщик может быстро проверить, обладают ли они достаточным визуальным качеством также в восстановленном HDR Rec_HDR.

В большинстве практических вариантах осуществления идентификация первой геометрической области, изображающей чрезмерную полосатость, обычно, в конечном счете, выполняется колеровщиком-человеком посредством узла (105) пользовательского интерфейса, например, прочерчиванием волнистой линии вдоль полосатой области, и величина полосатости первой геометрической области в восстановленном изображении (Rec_HDR) с широким динамическим диапазоном и визуальное качество восстановления второй геометрической области в восстановленном изображении (Rec_HDR) с широким динамическим диапазоном оцениваются колеровщиком-человеком как приемлемое или неприемлемое, причем в случае приемлемой оценки значения, кодирующие форму кривой функции отображения перераспределения или ее обратной функции, кодируются в сигнале изображения, или, в случае неприемлемой оценки, этапы выполняются снова с другими параметрами, чтобы прийти к альтернативной функции отображения перераспределения. Например, больше на 10% кодов может выделяться полосатой области, возможно, за счет увеличенного соседнего диапазона L_uu сигналов яркости.

Представляющий интерес вариант осуществления способа кодирования изображения (M_HDR) с широким динамическим диапазоном имеет цвета пикселей изображения (LDR_o) с более узким динамическим диапазоном яркости, которые кодируются как канал яркости, и координаты цветов u' и v', которые вычисляются как и , причем X, Y и Z являются независимыми от устройства координатами цвета цветового пространства CIE 1931, которые выводятся для любого RGB-представления (т.е. представления цветности (u', v') CIE 1976). Нормально, согласно философии унаследования, изображения (особенно LDR-изображения) кодируются как изображения YCrCb. Но, если меняется какой-либо кодек (например, для передачи по Интернету), можно также кодировать цветовые составляющие как плоскости составляющих Yuv, которые имеют некоторые преимущества как в качестве изображения передаваемых изображений, так и в легкости применения различных преобразований цвета нашей системы(конечно, существующие телевизоры тогда не будут способны получать хорошие изображения из них).

Мы обнаружили обобщенно выбранное определение сигнала яркости (определенное выбранной стратегией полного тонального отображения вышеупомянутых этапов, обеспечивая в конечном счете сигнал яркости в LDR_o или LDR_i), который вместе с двумя независимыми от сигнала яркости координатами цветности, в частности, координатами u', v', стандартизированными CIE, является хорошей кодификацией, подлежащей использованию в стандартных технологиях сжатия изображения или видео. Технологии сжатия, подобные, например, HEVC, обычно применяют по меньшей мере пространственное сжатие посредством выполнения DCT блоков отсчетов, но для видео они также могут выполнять сжатие на основании оценки движения, и т.д.

В простых вариантах осуществления кодирование характера изменения функционального преобразования цвета преобразований цвета может передаваться только с несколькими простыми параметрами посредством сохранения в метаданных, ассоциированных или ассоциируемых с единственным изображением (единственными изображениями): значения чувствительности (например, RHO или эквивалентный параметр, определяющий RHO, называемый SENS и определенный ниже в данном документе, или любую функцию или коррелят RHO, позволяющий определять значение RHO), b) значения гаммы (GAM), и c) количества значений, характеризующих функциональную форму произвольной функции, отображающей сигналы яркости.

Способ кодирования изображения (M_HDR) с широким динамическим диапазоном, содержащего определение значение коэффициента усиления для отображения максимального сигнала яркости изображения (LDR_o) с более узким динамическим диапазоном на конкретное значение возможных значений в восстановленном изображении (Rec_HDR с широким динамическим диапазоном), и кодирование этого значения коэффициента усиления в сигнале (S_im) изображения. Это полезно для дополнительного масштабирования изображения Rec_HDR, получаемого из LDR-изображения, например, если LDR-изображение относительно темного снимка представлено относительно ярко, т.е. с сигналами яркости до относительно высокого значения в диапазоне возможных сигналов яркости LDR, все же HDR-изображение должно воспроизводиться не слишком ярко, которое обрабатывается наилучшим образом декодированием его уже с не слишком высоким максимальным сигналом яркости.

Способ кодирования изображения (M_HDR) с широким динамическим диапазоном, содержащий определение стратегии модифицирования насыщенности или цветов изображения (M_HDR) с широким динамическим диапазоном на цвета в изображении (LDR_o) с более узким динамическим диапазоном, или наоборот, и кодирование этой стратегии модифицирования насыщенности в качестве параметрических значений в метаданных в сигнале (S_im). Обычно колеровщики также желают оказывать влияние на насыщенность изображения, например, они могут изменять насыщенность LDR_o, полученного из M_HDR, с некоторой стратегией отображения насыщенности, и/или насыщенность Rec_HDR из LDR_o (например, сначала тональное отображение, оставляя цветности u, v полученных цветов Rec_HDR на значениях, которые они имели в LDR_o, и затем изменение насыщенности этих цветов Rec_HDR).

Некоторые варианты осуществления способа кодирования изображения (M_HDR) с широким динамическим диапазоном содержат: после применения любого из вышеупомянутых отображений цвета для определения изображения (LDR_o) с более узким динамическим диапазоном, применение дополнительного технического тонального отображения (301) для определения второго изображения с более узким динамическим диапазоном при помощи перераспределенных сигналов яркости, т.е. сигналов яркости обычно с незначительно измененными значениями для по меньшей мере геометрической области и поддиапазона сигналов яркости изображения (т.е. изображения с узким динамическим диапазоном перераспределенных яркостей LDR_i), что гарантирует, что по меньшей мере для более важных областей для колеровщика второго изображения (LDR_i) с более узким динамическим диапазоном, например, которые внимательно просматриваются обычным предполагаемым зрителем, так как они, например, являются большими и яркими, и которые предрасположены к полосатости, достаточное количество кодов сигнала яркости может выделяться для кодирования текстур в этих областях с достаточной точностью, чтобы сделать возможным восстановление восстановленного изображения (Rec_HDR) с широким динамическим диапазоном с ошибками ниже заданного критерия ошибок (минимальной величины полосатости).

Для некоторых вариантов осуществления важно, что не выбирают никакой странной стратегии тонального отображения. В частности, если желают иметь возможность получения Rec_HDR хорошего качества, т.е. близкого в математических значениях цвета пикселей к M_HDR, тогда необходимо гарантировать, что нет текстур с недостаточной частотой дискретизации в LDR_i, что происходит тогда, когда гарантируют, что окончательное отображение перед равномерным квантованием нигде не является слишком тусклым.

Обычно это может быть выполнено стратегиями подсчета сигналов яркости на LDR-видеокадре и/или стратегиями подсчета сигналов яркости, такими как, например, обнаружитель полосатости на HDR-изображении, или посредством любого такого заданного критерия ошибок восстановления HDR. В некоторых вариантах осуществления критерий может выполняться колеровщиком-человеком. Его присутствие может быть видно по применению стратегии технического переотображения, совместно кодируемой в S_im, подлежащей применению более интеллектуальными приемниками будущего поколения.

Способ может быть реализован в кодере (100) изображения, выполненном с возможностью кодирования изображения (M_HDR) с широким динамическим диапазоном, содержащий:

- узел (104) преобразования динамического диапазона, выполненный с возможностью преобразования изображения с широким динамическим диапазоном в изображение (LDR_o) с более узким динамическим диапазоном яркости, причем узел (104) преобразования динамического диапазона содержит подключенные в порядке обработки: a) нормализатор (601), выполненный с возможностью нормализации изображения с широким динамическим диапазоном на ось сигнала яркости, простирающуюся в продолжении [0,1], и вывода нормализованных яркостей (Yn_HDR), b) узел (602) преобразование гаммы, выполненный с возможностью применения гамма-функции к нормализованным яркостям и вывода преобразованных по гамме яркостей (xg), c) узел (603) первого тонального отображения, выполненный с возможностью применения первого тонального отображения, которое форсирует эти преобразованные по гамме яркости, которые лежат ниже 0,1, на заданную величину, лежащую между 1,5 и 5,0, обеспечивая сигналы яркости (v), d) узел (604) произвольного тонального отображения, выполненный с возможностью применения произвольной функции, которая отображает сигналы яркости (v) для вывода сигналов яркости (Yn_LDR) изображения (LDR_o) с более узким динамическим диапазоном; и кодер (100) изображения дополнительно содержит:

- компрессор (108) изображения, выполненный с возможностью применения преобразования с сокращением количества данных к цветам изображения (LDR_o) с более узким динамическим диапазоном, причем эти цвета организованы в компонентные изображения, и которое преобразование с сокращением количества включает в себя по меньшей мере применение преобразования DCT к блокам значений соседних цветовых составляющих, обеспечивая сжатую кодификацию (LDR_c) цветов пикселей изображения с более узким динамическим диапазоном яркости; и

- устройство (110) форматирования, выполненное с возможностью вывода в сигнале (S_im) изображения сжатой кодификации (LDR_c) и выполненное с возможностью, дополнительно, вывода в сигнале (S_im) изображения значений, кодирующих форму функции преобразований цвета в качестве метаданных, или значений для их обратных функций, причем эти метаданные позволяют приемнику восстанавливать изображение (Rec_HDR) с широким динамическим диапазоном, основываясь на изображении (LDR_o) с более узким динамическим диапазоном яркости.

Прагматическим вариантом осуществления такого кодера является вариант осуществления, в котором узел (602) преобразование гаммы использует значение гаммы, равное 1/(2,4), и/или узел (603) первого тонального отображения использует тональное отображение, определяемое уравнением , причем RHO имеет заданное значение, это значение обычно представляет собой функцию пиковой яркости предполагаемого обслуживаемого дисплея и/или эталонного дисплея, ассоциированного с кодированием главного HDR M_HDR.

Кодер (100) изображения, выполненный с возможностью задания коэффициента усиления, позволяющего выполнять отображение максимума кодов сигнала яркости в изображении (LDR_o) с более узким динамическим диапазоном на выбранное значение сигнала яркости восстановленного изображения (Rec_HDR) с широким динамическим диапазоном, и имеющий устройство (110) форматирования, выполненное с возможностью вывода этого коэффициента усиления в качестве значения в метаданных в сигнале (S_im) изображения.

Кодер (100) изображения по любому из вышеупомянутых пунктов формулы изобретения на кодер, содержащий узел (106) технического тонального отображения, выполненный с возможностью автоматического или управляемого человеком определения текстуры и статистической информации изображения (LDR_o) с более узким динамическим диапазоном, и, в частности, по меньшей мере одной критичной геометрической области, которая предрасположена к ошибкам восстановления конкретной полосатости в Rec_HDR, и на основании этого вычисляет второе тональное отображение (Ff1, Ff2, …) для применения в качестве преобразования для изображения (LDR_o) с более узким динамическим диапазоном для получения второго изображения (LDR_i) с более узким динамическим диапазоном, имеющим минимальное количество кодов сигнала яркости (например, 1,3*L_u), характеризующих текстуры по меньшей мере некоторых важных, предрасположенных к ошибкам областей второго изображения (LDR_i) с более узким динамическим диапазоном, таким образом позволяя выполнять восстановление восстановленного изображения (Rec_HDR) с широким динамическим диапазоном с ошибками ниже заданного критерия ошибок. Чтобы сделать возможным передачу необходимой информации, позволяющей приемнику после кодирования реализовывать зеркальным образом нашу систему mode ii, полезно передавать (или сохранять для последующей передачи) сигнал (S_im) изображения с широким динамическим диапазоном, содержащий:

- пикселизированное изображение (LDR_o) с более узким динамическим диапазоном с кодированными цветами пикселей; и дополнительно:

- значение чувствительности (RHO); и

- значение гаммы (GAM); и

- значение коэффициента усиления (GAI); и

- набор значений, задающих форму (P_CC) произвольной функции тонального отображения.

Из этих значений приемник затем может определить формы функции для всех функций, подлежащих применению к единственному передаваемому LDR-изображению (LDR_o или LDR_i), если потребуется или вычисляется любое изображение с более широким динамическим диапазоном, чем LDR-изображение с яркостью 100 нит.

В частности, S_im также может содержать значения 207, кодифицирующие стратегию (Ff1, Ff2, …) технического переотображения для отображения между художественной LDR-колеровкой, требуемой человеком, который является создателем/колеровщиком контента, и техническим LDR, которые при выборке имеют достаточные сигналы яркости для всех областей изображения для хорошего восстановления Rec_HDR, или по меньшей мере тех областей, определенных как более критичные узлом автоматического анализа изображения и/или человеком.

В частности, является полезным, так как является очень прагматичным для приемников быстрое определение, какой из современных нескольких (очень) разных возможных механизмов кодирования HDR-изображения используется, в частности, посредством того, что содержит в сигнале S_im изображения индикатор (IND), задающий, что изображение с широким динамическим диапазоном было кодировано в нем, и со способом, который кодирует его как изображение с узким динамическим диапазоном, которое является непосредственно используемым, без необходимости дополнительного тонального отображения, для воспроизведения на LDR-дисплее. Различные такие пути кодирования могут быть разработаны и согласованы до тех пор, пока любой приемник понимает их.

Изделие памяти, такое как диск Blu-ray, хранящее любой вариант осуществления нашего сигнала (S_im) изображения с широким динамическим диапазоном.

Чтобы иметь цепочку передачи изображения, на приемном конце можно иметь различные реализации устройств, представляющих собой или содержащих декодер (150) изображения, выполненный с возможностью приема сигнала (S_im) изображения с широким динамическим диапазоном и содержащий:

- устройство (151) устранения форматирования, выполненное с возможностью получения сжатого пикселизированного изображения (LDR_c) с более узким динамическим диапазоном и параметрических данных (P) из сигнала (S_im) изображения; и

- декомпрессор (152), выполненный с возможностью применения по меньшей мере обратного преобразования DCT к сжатому пикселизированному изображению (LDR_c) с более узким динамическим диапазоном для получения пикселизированного изображения (LDR_t) с более узким динамическим диапазоном; и узел (153) преобразования динамического диапазона, выполненный с возможностью преобразования изображения (LDR_t) с более узким динамическим диапазоном в восстановленное изображение (Rec_HDR) с широким динамическим диапазоном, в котором узел (153) преобразования динамического диапазона содержит в порядке обработки: a) узел (402) произвольного тонального отображения, выполненный с возможностью применения произвольного тонального отображения, параметров, которые определяют его (P_CC), принимаемую в параметрических данных (P), b) узел (403) первого тонального отображения, выполненный с возможностью применения отображения, определенного по меньшей мере одним принятым параметром (RHO), определяющим первое тональное отображение, которое раньше было определено любым из вариантов осуществления нашего кодера или способа кодирования, и c) узел (404) преобразования гаммы, выполненный с возможностью применения отображения гаммы посредством принятого значения гаммы (GAM).

Этот декодер сначала отменяет все обычно существующие кодификации сжатия, например, HEVC или подобные, и затем применяет различные отображения в обратном порядке (следует отметить, что не все, необходимое во всех вариантах осуществления, находится точно в обратном порядке, например, в Yu'v' можно выбрать выполнение ортогональной обработки сигнала яркости и насыщенности в обратном порядке, может быть с незначительно другими математическими функциями, до тех пор пока окончательный результат представляет собой точно или приблизительно предполагаемый цвет). Также следует отметить, что могут быть дополнительные этапы обработки, которые могут существовать только на приемном конце (например, изображение может кодироваться в некотором RGB-представлении, таком как Rec.2020, но может требовать преобразования в другой формат, что понятно в технике телевидения, например, DCI-P3, и дополнительного преобразования в фактические основные цвета телевидения (TV)).

Поэтому, декодер (150) изображения содержит узел (153) преобразования динамического диапазона, выполненный с возможностью преобразования изображения (LDR_t) с более узким динамическим диапазоном в восстановленное изображение (Rec_HDR) с широким динамическим диапазоном, и обычно могут быть логические узлы и дополнительные функции обработки цвета, определяющие, по меньшей мере, когда и что делать (например, в зависимости от того, какой дисплей или дисплеи подключены и обслуживаются в настоящее время).

Прагматический вариант осуществления декодера изображения имеет узел (403) первого тонального отображения, выполненный с возможностью применения функции вида: , в котором v представляет собой сигнал яркости пикселей, и RHO представляет собой действительнозначный или целочисленный параметр, принимаемый в параметрических данных (P).

Полезный вариант осуществления декодера (150) изображения содержит узел (159) тонального переотображения, выполненный с возможностью применения дополнительного тонального отображения (Ff1, Ff2, …), принимаемого в сигнале (S_im) изображения, к изображению (LDR_t) с более узким динамическим диапазоном для получения второго изображения (LDR_ul) с более узким динамическим диапазоном, которое меняет на противоположное действие перераспределения кодов, примененное любым из способов 5-7 кодера, получающим второе изображение (LDR_i) с узким динамическим диапазоном с перераспределенными сигналами яркости для получения уменьшенной полосатости по меньшей мере в области восстановленного изображения (Rec_HDR) с широким динамическим диапазоном. Фактически, кодеру не нужно обязательно знать точно, как любой кодер пришел к конкретной функции преобразования, перераспределяющей сигналы яркости, ему необходимо просто применить обратные функции, чтобы прийти по существу к предполагаемому LDR-виду (LDR_ul).

Другой полезный вариант осуществления декодера может понимать кодирования Yu'v' LDR-изображения, и для этого содержит узел (155) преобразования цвета, выполненный с возможностью преобразования представления цвета Yu'v' в RGB-представление цвета. Тональное отображение может выполняться перед тем, как будет выполнено преобразование, поэтому, оставляя преобразование в RGB для последней части цепочки обработки, или альтернативно, преобразование может выполняться первым, и эквивалентная обработка цвета может выполняться над RGB-сигналами.

Соответствие любому из декодеров соответствует способам декодирования сигнала (S_im) изображения с широким динамическим диапазоном, содержащим получение восстановленного изображения (Rec_HDR) с широким динамическим диапазоном посредством применения преобразований цвета, кодированных в параметрических данных (P), в изображение (LDR_t) с более узким динамическим диапазоном, в частности, способ декодирования сигнала (S_im) изображения с широким динамическим диапазоном содержит:

- получение сжатого пикселизированного изображения (LDR_c) с более узким динамическим диапазоном и параметрических данных (P) из сигнала (S_im) изображения; восстановление сжатого пикселизированного изображения (LDR_c) с более узким динамическим диапазоном посредством применения по меньшей мере преобразования обратного преобразования DCT к сжатому пикселизированному изображению (LDR_c) с более узким динамическим диапазоном для получения пикселизированного изображения (LDR_t) с более узким динамическим диапазоном; и преобразование изображения (LDR_t) с более узким динамическим диапазоном в восстановленное изображение (Rec_HDR) с широким динамическим диапазоном посредством: a) применения произвольного тонального отображения, параметров, которые определяют его (P_CC), принимаемую в параметрических данных (P), b) применения отображения, определяемого по меньшей мере одним принимаемым параметром (RHO), определяющим первое тональное отображение, которое ранее было определено любым из вариантов осуществления нашего кодера или способа кодирования, и c) применения отображения гаммы посредством принимаемого значения гаммы (GAM), которое предпочтительно равно 2,4. Мы описываем систему, которая позволяет колеровщику просто, но тем не менее мощно оптимизировать вид LDR-вида на HDR-изображении HDR-сцены. Предпочтительно выполняется минимально возможное ухудшение визуального качества, но, так как LDR может потребовать некоторой оптимизации из-за его ограничений динамического диапазона, система позволяет колеровщику выполнять точную настройку микроконтраста представляющих интерес исключительно для него объектов сцены, т.е. обычно важных характерных объектов в данной сцене, и, таким образом, если требуется выполнить некоторое снижение качества с ухудшением по яркости, ухудшать точный вид некоторых менее важных объектов, таких как стена на заднем фоне, а не главного объекта сцены. Изобретение может быть реализовано многочисленными другими (частичными) путями, такими как с промежуточными звеньями, содержащими базовые технические требования различных вариантов осуществления, таких как определяющие параметры, реализованные в сигналах, и многочисленные применения его могут иметь результатом, подобно различным путям передачи, использования, преобразования цвета и т.д., различные возможные сигналы и различные пути для включения различных аппаратных компонентов, или использование различных способов, в потребительских или профессиональных системах. Любой компонент, конечно, может быть реализован в небольшом компоненте или в виде него, или, наоборот, в виде ключевого ядра большого устройства или системы, которые преимущественно выполняют функцию данного компонента.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства согласно изобретению очевидны из и объясняются с ссылкой на реализации и варианты осуществления, описанные ниже в данном документе, и с ссылкой на прилагаемые чертежи, которые служат просто в качестве неограничивающих конкретных иллюстраций, приводящих в качестве примера более общий принцип.

Фиг.1 схематически изображает пример варианта осуществления кодера и декодера согласно нашему изобретению в технологии передачи изображения;

фиг.2 схематически изображает вариант осуществления того, как может выглядеть сигнал S_im HDR-изображения согласно нашему изобретению;

фиг.3 схематически объясняет определением, как можно, в общем, получить техническую LDR-колеровку, которая может даже происходить внутри автоматически без привлечения колеровщика или создателя контента в некоторых вариантах осуществления, что позволяет выполнять лучшую дискретизацию сигналов яркости объекта, и таким образом восстановление Rec_HDR с лучшим качеством;

фиг.4 представляет собой простое схематическое объяснение возможного декодера согласно нашему изобретению;

фиг.5 изображает попарно кривые возможных вариантов осуществления для выполнения отображения чувствительности, которые существенно осветляют цвета, или объединенной начальной LDR-колеровки с добавлением характера изменения гаммы; и

фиг.6 представляет собой простое схематическое объяснение возможного узла преобразования динамического диапазона кодера.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг.1 описывает примерную типичную систему, реализующую наше изобретение, с кодером 100 изображения (или видео) на стороне создания, и декодером 150 изображения. Мы предполагаем, что имеется память 101 в системе колеровки, которая содержит изображение (M_HDR) HDR-вида с главной колеровкой, которое было колеровано по желанию создателя контента в соответствии с известными в настоящее время методами колеровки цвета, например, для фильма, в программном обеспечении колеровки цвета, таком как, например, Da Vinci (подобные другие системы могут извлечь пользу из идей настоящей нашей заявки, например, M_HDR может поступать непосредственно с камеры, например, после настройки кривой вида камеры на круговых шкалах камеры и т.д.). В данном M_HDR, например, яркость лампы, светящей через окна, может быть выбрана так, чтобы получить наиболее привлекательный вид на эталонном дисплее с яркостью [0, 5000] нит, приданием этим пикселям предназначенной для воспроизведения яркости L_out и соответствующий код сигнала яркости v_HDR, и могут быть разработаны многочисленные дополнительные световые эффекты, а также другие оптимизации цвета. M_HDR вводится посредством ввода 115 изображения в нашем кодере 100 и также может просматриваться на эталонном HDR-дисплее 102 (который точно соответствует характеристикам, например, теоретического эталонного дисплея с яркостью [0-5000] нит, который мы предлагаем для HDR-кодирования). Это означает, когда колеровщик хочет выполнить LDR-вид (который должен кодировать достаточно точно не только текстуры объекта, так что на приемной стороне может быть получено довольно точное восстановление Rec_HDR из M_HDR, но также этот LDR-вид должен быть подходящим для оптимального воспроизведения кодированной HDR-сцены на LDR-дисплее), колеровщик может одновременно сравнивать, насколько этот LDR-вид с данными техническими ограничениями на LDR-дисплее 103 выглядит подобным M_HDR, и оптимизировать посредством изменения функций отображения цвета для получения его из M_HDR, как требуется в соответствии с его предпочтениями. Два дисплея могут быть в их разных оптимальных окружениях просмотра, и колеровщик может смотреть на оба дисплея, разделенные, например, стенкой (например, в двух замкнутых эталонных окружениях с их соответствующим окном, открывающимся для одновременного их просмотра, и со шторками, которые могут быть закрыты, если колеровщик захочет видеть только один из них во время некоторого временного интервала). Колеровщик также может проверять восстанавливаемую колеровку HDR-вида на HDR-дисплее 102 (например, попеременно переключая Rec_HDR и M_HDR).

Посредством узла 105 пользовательского интерфейса, который предлагает колеровщику классические элементы управления, такие как, например, поворотные колесики или аналогично ползунки для установки значений, таких как гамма или значение чувствительности, колеровщик может выполнять колориметрические преобразования, определяющие то, как M_HDR должен отображаться на изображение LDR-вида, причем параметры преобразований выводятся в сигнале S_im изображения при помощи выхода 116 кодера, который может подключаться к любой среде 140 передачи изображения, например, сети передачи, или памяти физического носителя, такого как BD или твердотельная память, и т.д.

LDR-вид формируется посредством узла 104 преобразования динамического диапазона, который выполнен с возможностью применения колориметрических преобразований по меньшей мере сигналов яркости цветов пикселей, но также обычно координат цветности. Под сигналами яркости мы подразумеваем любое кодирование, которое, в конечном счете, может преобразовываться в физическую яркость, или даже посредством психовизуальных моделей в яркость (которая представляет собой окончательное внешнее представление, которое зритель видит, когда изображение воспроизводится на дисплее). Следует отметить, что посредством эквивалентных математических действий преобразования сигнала яркости могут применяться в качестве соответствующих преобразований непосредственно RGB-составляющих. Хотя окончательной целью является правильные яркости (внешние представления) объекта на виде, мы можем ограничивать свое техническое описание определением яркостей в эталонном диапазоне, например, [0-5000], или в независимом от устройства цветовом пространстве, таком как XYZ, определяемым этим диапазоном. Кроме того, мы предполагаем, что любые цветовые преобразования цветов выполняются в плоскости UCS пространства CIELuv 1976, однако, специалист в данной области техники может понимать, как аналогично могут использоваться другие вторые и третьи цветовые составляющие, причем основные компоненты нашего изобретения являются применимыми в общем смысле.

CIELuv определяет u и v из XYZ (аналогично можно преобразовывать из некоторых RGB) как: и .

Для простоты мы предполагаем, что цветовые охваты HDR и LDR (т.е. цветовые охваты теоретических дисплеев, ассоциированных с математическими действиями кодирования двух изображений) имеют одни и те же три (или более) R, G, B основные цвета, и, следовательно, посредством масштабирования соответствующих максимумов, например, 5000 и 100 нит в 1,0, могут располагаться точно как перекрытие. Поэтому тональное отображение из HDR в LDR тогда становится относительным преобразованием в направлении нормализованного сигнала яркости в пределах этого единственного зависимого от устройства цветового охвата RGB. Например, если хотят сделать более темные цвета в HDR-виде одинаковыми на LDR-дисплее и HDR-дисплее, оно становится в качестве относительного преобразования в одном и том же цветовом охвате следующим: так как в определении цветов, определенном при 5000 нит, такие цвета в HDR-изображении будут иметь небольшое количество кодов (например, ниже 0,1), нам необходимо повысить их яркость, чтобы они стали достаточно видимыми на LDR-дисплее с яркостью 100 нит, например, посредством значений около 0,3. Точное отображение будет зависеть от определения сигналов яркости как для LDR-изображения, так и для HDR-изображения, потому что в качестве обобщения определений «гамма 2,2» существующего LDR-кодирования изображения и видео, теперь мы можем определить произвольные функции выделения кодов, отображающие с физических яркостей на коды сигнала яркости (или наоборот, так как обычно телевизионные инженеры начинают с определения эталонного дисплея, который в дополнение к эталонному диапазону [0-5000] нит имеет некоторый характер изменения EOTF эталонного дисплея, указывающий, как, например, 1024 сигнала яркости отражаются на воспроизводимые яркости в соответствии с этим эталонным диапазоном). Мы не только можем использовать гамму со степенью 1/(7,0) в качестве OETF, но они могут даже использовать прерывистые функции выделения кодов, если в кадре изображений нет яркостей, присутствующих между более узким диапазоном яркостей и более широким диапазоном яркостей. Также следует отметить, что работа в представлении Y'uv с независимыми от сигнала яркости цветностями (u, v) позволяет нам работать полностью независимо и свободно в ахроматических и хроматических направлениях цветового пространства.

Ограничивая наше объяснение для специалиста в данной области техники только ахроматическими отображениями HDR-2-LDR, они могут быть сформулированы обобщенно как, в принципе, произвольная функция тонального отображения из сигналов яркости [0,1] изображения HDR-вида в сигналы яркости [0,1] изображения LDR-вида, как можно видеть с примером на фиг.2a.

Задавая такую функцию, мы предполагаем, что отображение на все цвета (Y_M_HDR, u, v) выполняется так, что для неахроматического цвета (u<>u_wp, v<>v_wp), где (u_wp, v_wp) представляют собой координаты цветности выбранной белой точки, такой как D65, определенная функция 210 тонального отображения представляют собой линейно масштабируемую до максимальной яркости L_max(u,v), достигаемой для этого цвета, как предлагается более подробно в WO2014056679. Специалист в данной области техники может понимать, как такая обработка вместо применения при кодировании цвета Y'uv может также аналогично выполняться при кодировании цвета RGB.

Если колеровщик определяет такое поведение тонального отображения, кодеры имеют достаточную информацию для преобразования динамического диапазона яркости для применения на любом возможном цвете в M_HDR, обеспечивая первоначальный (несжатый, возможно все еще неквантованный в представлении с плавающей точкой) LDR-вид LDR_o. Из этого кодером может быть определено любое точное или приблизительное математическое преобразование, которое позволяет приемнику выполнять прогнозирование, наоборот, из LDR_o в Rec_HDR. Колеровщик может проверить посредством выхода 111 изображения, как такое изображение (после достаточного форматирования в сигнале изображения, который может передаваться по линии связи для передачи изображения, такой как, например, HDMI) будет выглядеть на эталонном LDR-дисплее 103 (с яркостью, например, 100 нит, или в будущем, может быть, 500 нит).

Однако в настоящем изобретении мы утверждаем, что полезно, когда тональное отображение не просто строится любым обобщенным способом, но конкретным способом, и (небольшое количество) соответствующих параметров полезным образом кодируются в виде отдельных метаданных в сигнале S_im изображения, так как они затем могут быть полезно использованы на приемной стороне, например, во время настройки для получения оптимального изображения возбуждения для дисплея с конкретной яркостью X нит.

В качестве первого параметра колеровщик выбирает, например, параметр SENS чувствительности или непосредственно RHO. Он представляет собой значение, которое интуитивно подобно значению ASA (Американская ассоциация стандартов) или ISO (Международная организация по стандартизации), известному в фотографии, и обычно определяет, как ярко будет выглядеть LDR-изображение (между прочим, насколько будут повышены темные цвета объекта M_HDR).

В качестве предпочтительного варианта осуществления кодер может использовать функцию EOTF/OETF, которая уже обеспечивает хороший первоначальный LDR-вид, причем функция EOTF определяется следующим образом:

Это уравнение определяет воспроизводимые яркости L HDR, соответствующие кодам сигнала яркости v в [0,1], распределенными равноудаленно на основании количества битов, доступных для кодового слова сигнала яркости цветов пикселей, как например, 1024 возможных значений. Lm представляет собой выбираемую переменную, указывающую пиковую яркость эталонного дисплея линейного представления цвета/яркости M_HDR или Rec_HDR, которая, например, может быть фиксирована как 5000. Например, колеровщик имеет круговые шкалы для выбора чувствительности, которые обычно могут быть связаны с RHO следующим образом:

Вместе со значением SENS (RHO), определяющим характер изменения темного цвета и некоторый общий вид яркости, колеровщик может совместно настраивать гамму (GAM) в качестве параметра некоторого изгибания, перераспределяющего яркости объекта/области в диапазоне возможных сигналов яркости LDR. Конечно, при отображении со яркостей L в эталонном представлении пространства XYZ колеровки M_HDR (которое может быть полезным промежуточным представлением) в значения сигнала яркости v LDR-вида, колеровщик определяет обратную функцию.

Выполняя элементарные математические вычисления деления RHO, можно видеть, что обратной функцией (OETF) является: сначала применить 1/(GAM), обеспечивая xg=power(, 1/GAM), и затем вычислить: .

Обычно на кодере может быть один из различных возможных вариантов осуществления узла 177 анализа изображения. Этот узел может быть выполнен с искусственным интеллектом для анализа областей в изображении, и какие из этих областей могут производить конкретные проблемы при HDR-кодировании, в частности типа mode ii. В частности, он может идентифицировать области, которые могут быть предрасположены к полосатости, и области, которые в значительной степени текстурированы, так что они могут кодироваться с меньшим количеством кодов сигнала яркости и/или цветовых составляющих. В некоторых применениях этот узел может автоматически приходить к окончательному предположению кодирования (т.е. транскодеру) без какого-либо участия колеровщика-человека, но в других применениях он может, например, предложить области для внимания колеровщика, чтобы он мог их исследовать. Конечно, может иметь место взаимодействие с пользовательским интерфейсом, например, колеровщик может указать, что он хочет уменьшить полосатость в конкретной области, или в конкретной текстуре, и узел 177 затем может извлечь такую область, и диапазон ее сигнала яркости, и т.д.

Как можно видеть на фиг.2, хотя можно принять решение кодировать окончательную функцию тонального отображения в обычно резервируемом пространстве LUT в метаданных 205, обычно кодируют параметр чувствительности (например, 200 ISO) или значение RHO, и значение гаммы (например, 2,8) в соответствующем поле 202 метаданных чувствительности и поле 203 метаданных гаммы. Фиг.2 схематически изображает, как выглядит сигнал S_im (200) изображения или видео, и для специалиста в данной области техники известно, конечно, что может быть определено на практике во многих цифровых вариантах, данных существующих контейнерах данных изображения и т.д. Варианты осуществления нашего кодера используют кодирование классических 3 цветов пикселей, составляющих изображения (201), которым будет наше оптимизированное колеровщиком изображение LDR-вида. Это LDR-изображение LDR_o обычно классически кодируется посредством DCT, кодами длин серий, форматируется и т.д. в соответствии со стандартизированным форматом кодирования изображения, таким как JPEG, или стандартизированным форматом кодирования видео, таким как MPEG-HEVC, VP1 и т.д. Для специалиста в данной области техники понятно, что повторное форматирование, колориметрически способное повторно использовать существующие (или подобные будущие) технологии кодирования в качестве обобщенного принципа, является частью нашего изобретения, но не является настолько важным, какое из таких кодирований фактически используется. И другой частью нашего изобретения являются метаданные, необходимые для того, чтобы данные имели смысл, например, по меньшей мере при восстановлении вида Rec_HDR сцены (так как LDR-вид теоретически может использоваться непосредственно для возбуждения LDR-дисплея, без дополнительной обработки динамического диапазона, но только отображением колориметрического переопределения из Y'uv в кодирование некоторого зависимого от устройства пространства RGB).

Кроме того, колеровщик может использовать значение GAIN (совместно кодируемое в поле 204 метаданных коэффициента усиления), так что функциям нет необходимости по существу выполнять отображение 1,0 в 1,0. Например, коэффициент усиления может указывать, как LDR-изображение, которое определяется по всему диапазону [0,1], должно отображаться только, например, на поддиапазон [0,1500] диапазона [0,5000] HDR-дисплея. Наоборот, в принципе также возможно ограничение используемого LDR-диапазона, хотя оно является менее вероятно используемым. Этот коэффициент усиления может использоваться, чтобы сделать некоторые изображения не слишком яркими, как можно вообразить, если сцена, например, представляет собой сцену с туманом, или темное изображение, которое достаточно осветляется в LDR, но необходимо, чтобы оно оставалось темным в HDR.

Эти три параметра (RHO, GAM, GAI) уже дают очень полезное первое отображение изображения M_HDR на соответствующее изображение LDR-вида с грубой глобальной регулировкой яркости или освещенности. Это может быть, например, достаточным для широковещательной программы реальной жизни, где оптимальные параметры определяются прямо перед началом широковещательной передачи. Более критичные пользователи, например, режиссеры-постановщики, могут потребовать управление более точной настройкой вида. Они могут потребовать задание более общей функции тонального отображения, чем вышеупомянутая «логарифмическая гамма-функция», с точно располагаемыми изгибами на кривой, которая может поднимать, например, среднюю локальную яркость или контраст конкретного объекта (например, лица) до требуемого поддиапазона всех воспроизводимых яркостей LDR (или более точно их соответствующих сигналов яркости). Или детализация локального наклона может задавать требуемый контраст в некотором представляющем интерес поддиапазоне BL важной области в изображении, за счет позиций яркости и контрастов других областей/объектов в изображении LDR-вида.

Теперь важным для понимания является то, что с нашей системой mode ii(HDR-вид) колеровщик может определять такие отображения произвольно, так как нам требуется только вывести изображение LDR-вида (которое не представляет собой восстановление, но может быть выполнено деструктивно для данных, если так требуется колеровщиком), так как в этом подходе кодирования мы уже имеем изображение HDR-вида кодированным как единственное изображение в сигнале S_im изображения. В системах mode-ii, однако, нам необходимо выполнять двойной критерий: с одной стороны они должны быть способны восстанавливать изображение Rec_HDR с хорошим качеством, но, с другой стороны, они хотят иметь достаточную свободу для создания большинства, если не всех, LDR-видов, которые колеровщик может потребовать (и тогда может быть довольно творческим временами, как можно видеть, например, в фильме Sin City 2).

Но необходимо понимать, что в любой колеровке LDR_o, которую колеровщик выполнил с его предпочтительным тональным отображением 210, при существующем кодировании эти сигналы яркости LDR вывода будут проходить через классическое равномерное квантование (и даже преобразование DCT). Поэтому необходимо быть внимательны, чтобы не создать отображения, которые слишком тусклые в некоторых частях их диапазона (т.е. локальная производная delta_LDR_out/delta_HDR-in не должна быть слишком маленькой, так что минимально требуемое количество кодов сигнала яркости LDR выделяется этому диапазону delta_HDR-in или соответствующему delta_LDR_out), так как, в противном случае, при форсировании этого диапазона в тональном отображении LDR-2-HDR, будут видны артефакты, такие как полосатость или чрезмерно контрастные и видимые артефакты DCT.

Можно иметь механизм управления с неподвижностью локальных точек управления, которые пользователь использует для изменения формы произвольного тонального отображения, но это неприятно для пользователя, особенно, если они реализованы слишком резко (конечно, система может предупреждать, если колеровщик желает выполнить действительно странные кривые отображения, например, инверсии, такие как N-образная кривая, не должны выполняться).

Полезный вариант осуществления показан на фиг.3, который объясняет режим работы узла 106 технического тонального отображения, который может использоваться для определения второго LDR-вида, альтернативно используемого для LDR_o более интеллектуальными приемниками, требующими обслуживание LDR-дисплея. Мы предполагаем, что колеровщик выбрал свою требуемую кривую, которая дает соответствующий LDR-вид, которым является сплошная линия на фиг.3. Если кривая тонального отображения не является достаточно хорошей, то это означает, что имеется по меньшей мере один диапазон, который является слишком тусклым, которым, как мы предполагаем, является часть R-u самого яркого HDR пикселей LDR, например, небо сцены. Мы должны быть способны растянуть этот диапазон L_u в LDR, так что может быть выделено несколько больше кодов сигнала яркости, и максимально неразрушающим (мало изменяющим его вид) образом для колеровщика.

Это может быть сделано тогда, когда имеется соседний диапазон L_uu, который содержит более текстурированный объект.

Это выход из сложной проблемы, что наша кривая для получения требуемого LDR-вида, одновременно определяет квантование или количество кодов сигнала яркости, доступных для точного кодирования различных текстур HDR-области (достаточно точная характеризация всех текстур, находящихся в сцене, является первичной целью качества кодирования при HDR-кодировании). Наличие 1024 разных уровней сигнала яркости/серого цвета (и миллион кодов) должно быть достаточным для хорошего кодирования всех текстур для человеческого зрения, если хорошо выполнено. Сложные объекты могут кодироваться с относительно меньшим количеством кодов, так как глаз сначала видит грубую структуру текстуры и затем не так много точных значений цветов пикселей. Только в конкретных неблагоприятных ситуациях можно иметь проблему, если имеются градиенты яркости, для которых использовалось слишком мало кодов.

Поэтому, существует две ситуации при адаптации кривой: узел 106 технического тонального отображения обычно сохраняет адаптацию, когда необходимо, достаточно локально на оси сигнала яркости, так что мы не отклоняем сигналы яркости слишком многих цветов объекта (например, исключая снова слишком сильное затемнение критичных темных областей). Критерием качества для этой примерной сцены может быть то, что нам необходимо осветлить темные цвета, чтобы получить хороший LDR-вид, поэтому локальное изменение в ярких цветах никоим образом не нарушает этого. Поэтому узел 106 тонального отображения обычно перераспределяет коды в некотором локальном поддиапазоне сигнала яркости вокруг проблемной зоны и определяет соответствующую кривую адаптации для этого, которой является точечная линия (эта кривая может придерживаться в некоторой степени формы первоначальной кривой, в ее двух частях кодирования области изображения, т.е. если была параболическая локальная форма изгибания для сигналов яркости неба, он может обычно использовать масштабированный больший, подобно изгибающийся параболический сегмент для воздуха, но это не является абсолютно необходимым, так как только точность кодирования является критерием).

Поэтому, необходимо несколько растянуть диапазон яркости области неба, чтобы иметь достаточное количество кодов для точного кодирования градиента синего неба Rec_HDR. Но насколько необходимо это сделать, и насколько необходимо расширить диапазон регулировки R_Adj?

Это зависит от нескольких обстоятельств. Конечно, R_adj должен охватывать область, где существует проблема, которая обычно представляет собой визуально относительно простую область, такую как относительно равномерные области, такие как градиент на небе (этот градиент синего цвета существует в некоторой степени в диапазоне сигнала яркости LDR). С другой стороны, нам должна требоваться соседняя область, которая текстурирована в достаточной степени. В маловероятной ситуации, что соседняя область представляет собой еще другой плавный градиент (который может иметь место в синтетических изображениях, таких как испытательные изображения с искусственным градиентом, в этом случае мы должны установить любое оптимальное выделение сигналов яркости, которое можно получить, но это обычно не происходит в естественных изображениях), R_adj может стать относительно большим. В нормальной ситуации, где вскоре встречается текстурированный диапазон, можно расширить L_u диапазоном L_uu с размером, который зависит от того, сколько кодов нужно добавить, и сложности структуры текстуры. Если необходимо добавить только 3 кода к небу, то нужно сэкономить 3 кода сигнала яркости в L_uu, и, если она достаточно текстурирована, это можно выполнить в диапазоне, например, 10-15 сигналов яркости в зависимости от того, что колеровщик или зритель находит/может найти приемлемым.

Устройство может содержать таблицы для этого.

Поэтому, трудная проблема с кодификацией сигнала яркости зависимой от кривой вида теперь в значительной степени решена. С одной стороны, мы не затемняем соседние более темные объекты слишком сильно, так как они только сдвигают цвета L_uu немного на верхнем диапазоне расширением их диапазона неба L_u, но главным образом они сохраняют нижнюю часть L_uu такой же, только дискретизированной немного меньше, что не является визуально заметной проблемой в любом случае, так как текстурам не требуется так много кодов в любом случае. Растянутый диапазон неба может быть немного субоптимальным, но нормально не должен в действительности представлять собой проблему, и мы получаем в обмен на это Rec_HDR улучшенного качества. Но это все же только тогда, если не предпринимают никаких встречных действий на приемном конце, например, приемником, который не может выполнять никакую обработку. Так как в декодере мы можем выполнять стратегию предварительной компенсации в узле 159 тонального переотображения. Это тогда сделает выделение сигналов яркости чисто техническим вопросом вне интересов художественных намерений колеровщика. Так как узел 159 тонального переотображения применяет коррекцию для локального растягивания снова в сжатие, перед использованием результирующего предполагаемого LDR-вида (LDR_ul) для, например, возбуждения LDR-дисплея. Поэтому, в примере с небом, где мы растягивали нижний предел L_u неба вниз в яркости объектов в соседнем диапазоне L_uu (тем самым затемняя эти объекты), узел 159 тонального переотображения декодера 150 применяет обратное отображение 301 в виде коррекции. Это означает, что визуально диапазон неба будет снова иметь свой первоначальный диапазон L_u сигнала яркости, и при воспроизведении на LDR-дисплее правильный диапазон яркости, все же он имеет большую точность, так как было выделено большее количество кодов сигнала яркости кодирования текстуры. Аналогично в виде LDR_ul объект с соседними яркостями в L_uu также будет иметь правильные незатемненные яркости и будет отличаться только точностью из-за уменьшенного количества кодов. И специалист в данной области техники может понимать, как этот метод всегда в различных других возможных ситуациях может повышать точность кодирования в этих областях изображения, где это необходимо, в то же время сохраняя предполагаемый LDR-вид LDR_ul колеровщика. Единственное, что узлу 159 тонального переотображения необходимо иметь возможность выполнения, является применение стратегии тонального отображения к декодированному техническому LDR_t, например, посредством LUT, которая может совместно кодироваться в сигнале S_im (или частично кодируется, если тональное отображение может быть выведено, например, из ограниченного набора точек управления, например, разграничивающих линейные сегменты), и, следовательно, должно быть ясно, почему полезно кодировать эту функцию технической регулировки отдельно (Ff1, Ff2, …) в S_im, так как она может использоваться декодером даже для того, чтобы прийти к более желательному LDR-виду LDR_ul, если он был определен на стороне создания и принят колеровщиком, и передан на приемную сторону.

В основном, существует две категории вариантов осуществления кодера, которые предоставляют возможность выполнения вышеописанного. Первая категория, в основном, выполняет всю обработку автоматически и не требует участия пользователя. Обнаружители плавности и текстуры автоматически категоризируют различные области и, поэтому, идентифицируют структуру градиента на небе и рядом расположенные (т.е. в диапазоне сигналов яркости, расположенном ниже и/или выше L_u) другие текстурированные объекты. Различные характеристики текстуры могут быть встроены для определения сложности текстуры (например, мелкозернистость, количество связанных значений серого цвета и т.д.) и могут определять из них, какими будут визуально заметные нарушения, приводящие к меньшим сигналам яркости кодирования, и результирующий из них необходимый диапазон L_uu. Как сказано выше, эти предпочтения могут быть предварительно созданы в формулах, определяющих L_uu функционально или с помощью LUT. Также в некоторых вариантах осуществления могут присутствовать DCT или другие эмуляторы сжатия, например, которые вычисляют результирующие восстановленные из сжатого состояния LDR-изображения LDR_d при различных вариантах для R_adj и функциональной форме 301 нарушения тонального отображения, и вычисляют меру серьезности для обычной видимости (при нормальном диапазоне просмотра, размере дисплея, окружающей яркости и т.д.) полосатости и/или других артефактов сжатия. Для этого может присутствовать узел 117 анализа текстуры, который обычно выполнен с возможностью анализа текстур и, в частности, их визуального влияния, как в первоначальном (LDR_o), так и в кодированном LDR_c, или, фактически, декодировании его LDR_d, которое, в конечном счете, будет присутствовать на приемном конце. В конкретных переотображениях в HDR посредством LDR-2-HDR узел 118 отображения цвета может использоваться для того, чтобы дать возможность колеровщику проверить визуальное влияние, если необходимо. Если колеровщику требуется проверить восстанавливаемость этого M_HDR в виде Rec_HDR, он может, например, переключать их во времени на его HDR-дисплее 102, посредством выхода 119 HDR-изображения. Фактически, декодер может иметь несколько выходов (которые мы показали отдельно, но, конечно, они могут быть направлены внутренне к только одному выходу) 111, 112, 113, 114, чтобы иметь возможность проверки различных версий LDR.

Вторая категория кодеров с технической повторной колеровкой может непосредственно включать в себя колеровщика-человека. Если он уже проверяет качество автоматических алгоритмов, он может иметь вариант выбора для воздействия на результаты (т.е. обычно полуавтоматически). Это должно быть простым для колеровщика, так как ему может потребоваться быть более вовлеченным в художественное определение вида, т.е. размещение сигналов яркости, а не в технические вопросы, такие как артефакты сжатия (если уже захочет взглянуть на них, и, хотя он будет проверять один или более обычных и одобренных сценариев, вдоль линии передачи изображения, конечно, могут быть дополнительные сжатия, которые могут иметь более серьезные артефакты).

В этих вариантах осуществления кодера узел 105 пользовательского интерфейса обычно дает возможность колеровщику задавать геометрические зоны изображения, которые, согласно его мнению, являются особенно проблематичными зонами. Например, он может начертить на небе, и узлы анализа гистограммы и анализа текстуры затем сфокусируются на этой части изображения при выполнении их анализа и определения кривой технического частичного тонального отображения обновления. Например, они могут последовательно предлагать стратегию, которая единовременно добавит некоторое количество кодов сигнала яркости на небе до тех пор, пока колеровщик не будет доволен. Например, алгоритм варианта осуществления узла 106 тонального отображения может умножить этот диапазон градиентного (чувствительного к полосатости) объекта, например, на k=1,5 и может выбрать соседний диапазон области с текстурированным изображением и сжать его до L_uu-1,5*L_u. Т.е. может использоваться любое линейное или криволинейное перераспределение кодов в двух областях. L_uu может выбираться равным по меньшей мере, например, 3*L_u, причем эти значения обычно оптимизируются разработчиком устройства на основании набора образцовых изображений. Если предложение устройством является хорошим, колеровщик принимает его, выполняя сохранение кодером соответствующих параметров в S_im, или, иным образом, начинается новая итерация, например, с k=1,1*1,5.

Отклонение 301 приводит к окончательному тональному отображению, которое соответствует окончательной технической колеровке LDR_i, которая будет представлять собой LDR-вид, который передается в систему передачи после последующего форматирования в соответствии с нашей системой HDR-кодирования mode-ii, и который, в значительной степени, соответствует тому, что колеровщик желает в качестве LDR-вида. Преимущество участия колеровщика заключается в том, что он может указать - по меньшей мере с минимальным участием - какие области семантически являются более уместными. Статистический анализатор текстур может определить, что несколько сигналов яркости (т.е. несколько пикселей) фактически существуют в области между, например, темными сигналами яркости комнаты внутри помещения и яркими сигналами яркости солнечной сцены вне помещения, и, следовательно, принять решение о применении стратегии переотображения, которая применяет там несколько кодов (в случае, если устройство 159 переотображения декодера может произвольно восстановить требуемый LDR-вид, мы даже можем использовать кривую сильного технического искажения, которая почти вырезает весь редко используемый поддиапазон из кодирования LDR_i, таким образом делая непосредственно соседними по значению сигнала яркости LDR_i поддиапазоны внутри помещения и вне помещения). Однако, если в этой небольшой области случайно находится важный объект, такой как чье-либо лицо или объект, которому некоторым образом было придано особое значение, такой как производящий впечатление объект, колеровщик может противодействовать этому. Возможны несколько практических вариантов осуществления, например, он может начертить на нашем чертеже прямоугольник вокруг этой области и затем повернуть круговую шкалу, которая повышает количество кодов сигнала яркости, подлежащих использованию для этой области. Специалист в этой области техники понимает, что существуют другие методы пользовательского интерфейса для выбора критичной области или объекта в изображении или снимке и указания, как он должен кодироваться сигналами яркости, даже до рисования колеровщиком или влиянием на форму самой кривой 301 модифицирования.

Остальная часть нашей системы mode-ii состоит в следующем:

Не обязательно, чтобы узел преобразования динамического диапазона мог выполнять некоторую обработку насыщенности цвета (например, так как красочность уменьшается с затемнением и наоборот, колеровщик может захотеть компенсировать насыщенность, которая стала в некоторой степени несоответствующей из-за тонального отображения сигналов яркости). Хороший практический примерный вариант осуществления работает с общей функцией насыщенности не разрушающего информацию типа. Под этим мы подразумеваем, что также эта функция насыщенности нигде не является слишком плоской, поэтому она также может быть изменена на обратную. Но в некоторых вариантах осуществления функция насыщенности может требоваться только для применения при колеровщик повышающей колеровке LDR-2-HDR, и тогда она может быть более свободной. На фиг.3 мы показали плавную насыщенность с s_in до s_out, которая может кодироваться рядом значений S1, S2, S3 в LUT в сигнале S_im. Ими могут быть значения s_out для равноотстоящих значений s_in (достаточная величина для той, которую требуемая кривая может достаточно плавно восстановить в декодере), но ими также могут быть, например, точки управления формой функции. Функция уменьшения насыщенности, например, может кодироваться как линия с наклоном меньше 45 градусов (на графике s_in в зависимости от s_out). В таком случае уменьшения насыщенности сигнал изображения может иметь просто целочисленное значение или значение с плавающей запятой для множителя в метаданных. Мы предполагаем в объясняющем примере, что s_out представляет собой насыщенность HDR-изображения, и нам необходимо форсировать насыщенность теперь затемненных более темных цветов сцены, чтобы повысить красочность, но специалист в данной области техники может понимать, что могут быть разные варианты обработки при одной и той же структурной философии кодирования. Для упрощения объяснения мы предполагаем, что насыщенность выполняется в пространстве uv, например, независимо от сигнала яркости, мы можем выполнять операцию s_out=s_in+MS(S_in)*s_in. MS(S_in) тогда представляет собой мультипликативное значение, извлекаемое из функции, как видно на фиг.2b, и кодируемое в LUT 206, которое растягивает вектор насыщенности в направлении оттенка цвета по сравнению с некоторой точкой белого цвета. Для упрощения мы предполагаем, что мы определили свое пространство uv в цилиндрическом пространстве с максимальной насыщенностью на периферии (и кодируется как 1,0). Конечно, специалист в данной области техники понимает, что мы можем или кодировать свою стратегию насыщенности при другом колориметрическом определении, или при условии, что определением является, например, цилиндрическое пространство Y'uv, разработчик аппаратных средств или программных средств декодера может выбрать фактическое выполнение его эквивалентно в другом цветовом пространстве, таком как пространство YCrCb на основе RGB и т.д. Колеровщик также может определить и кодировать в S_im зависимые от сигнала яркости стратегии насыщенности, т.е. функции, изменяющие насыщенность, множитель которой изменяется с яркостью обрабатываемого цвета. По существу, более совершенный вариант осуществления S_im имеет структуру кодирования насыщенности. Ей может быть, например, доступное через сеть определение, которое имеет для нескольких ключевых оттенков цвета (например, 6: RGBCYM) функцию множителя, определенную посредством сигнала яркости: MS(Y'). Из нее, которая может кодироваться как 6 LUT значений, подобных 206, на приемном конце декодер может определять стратегию насыщенности для всех цветов в цветовом охвате посредством интерполяции. Более сложная стратегия даже может вводить изменчивость насыщенности в радиальном направлении. Это может легко кодироваться посредством определения этих функций (подобных тем, которые показаны на фиг.2b, но теперь изменяемых по высоте сигнала яркости в цветовом охвате) просто параметрически, например, как функции смещения, гаммы, коэффициента усиления. В этом случае, имеют: s_out=s_in+F(s_in, Y') для ключевых оттенков цвета, и в случае, например, управления формой функции тремя параметрами, можно кодировать ее в S_im или как 3×6 LUT, задающих характер изменения сигнала яркости, например, параметр saturation_gamma как изменяющийся относительно Y', или 6 LUT для оттенков цвета, но где не единственное мультипликативное значение кодируется в каждой позиции, но тройка [sat_offset(Y'_i), sat_gain(Y'_i), sat_gamma(Y'_i)]_LUT_of_yellow, последовательно по ряду позиций i, выполняющих выборку возможных сигналов яркости в цветовом охвате.

Теперь в некоторых вариантах осуществления кодера (и соответствующего декодера) имеется факультативное преобразование в u'v' для цветовых характеристик пикселей, которые мы теперь объясняем (но другие варианты осуществления могут альтернативно или дополнительно кодировать, например, в R'G'B' или YCrCb и т.д. непосредственно, и даже не имеют факультативный узел 107 внутри; следует также отметить, что некоторая обработка Yu'v' математически может быть переписана как эквивалентная линейная обработка RGB).

Применив к преобразованию динамического диапазона для создания правильного LDR-вида (например, в пространстве RGB или XYZ и т.д.), предполагая, что мы уже не делаем отображение в пространстве Y'uv, узел 107 преобразования цвета примерного объясняющего варианта осуществления выполняет преобразование в наше представление u'v', причем сигналы яркости Y' в этом представлении цвета определяются нашей функцией общего тонального отображения (т.е. сигналами яркости промежуточного LDR-изображения LDR_i), и u, v по вышеупомянутым уравнениям. Мы также можем выполнять колориметрические преобразования в узле 107, которые приводят в определенное состояние цвета уже тогда, когда предполагается другое зависимое от устройства пространство RGB или пространство с многочисленными основными цветами. Например, если наш M_HDR был кодирован с меньшим треугольником RGB, но LDR предназначено для дисплея с широким цветовым охватом, колеровщик уже может предварительно определить стратегию форсирования насыщенности, хотя часто бывает наоборот, в этом случае узел 107 может реализовать отображение хроматического цветового охвата.

Наконец, результирующее LDR_uv кодируется при помощи классического компрессора 108 LDR-изображения или видео, т.е. обычным преобразованием DCT или вейвлет-преобразованием и т.д.

Это сжатое изображение LDR_c передается на устройство 116 форматирования, которое добавляет метаданные о примененной функции отображения в соответствии со стандартизированным форматом, чтобы они были подходящим образом доступны на приемной стороне. Т.е. это устройство форматирования добавляет значение чувствительности (RHO или, альтернативно, SENS), дополнительное тональное отображение для точной настройки LDR-вида, определяемого обычно человеком-колеровщиком (хотя в дальнейшем будущем некоторые кодеры могут быть достаточно интеллектуальными, чтобы выполнять самим некоторую точную настройку) с определяющими функцию параметрами 205, обычно в качестве LUT значений (F1, F2, …), кодирование 206 насыщенности, например, также набор параметров, определяющих полилинейную функцию и т.д.

Дополнительное тональное отображение по техническим причинам обычно сохраняется отдельно в сигнале S_im изображения или видео, предпочтительно как набор целочисленных или действительных значений 207, которые могут использоваться для сохранения, например, 256-точечной или 1024-точечной LUT.

Кодированное LDR_c может декодироваться снова в LDR_d и затем может выполняться повышающая кодировка посредством узла 118 отображения цвета, так что колеровщик может видеть посредством выхода 119 изображения, как будет выглядеть восстановленное HDR Rec_HDR на приемном конце. Если он так желает, он может даже испытать влияние некоторых обычных установок сжатия, например, для сильного сжатия. Описанный ниже в данном документе декодер также может использоваться в стратегии повторного кодирования, где вид колеровки уже может быть подготовлен заранее, но теперь, например, повторно определяется сильно сжатая LDR-версия низкого качества для некоторого конкретного приложения передачи изображения/видео. Этот вторичный колеровщик даже может перенастраивать параметры. В зависимости от того, имеет ли он первоначальный M_HDR доступным, он может, например, переопределить функции понижающей колеровки для достижения нового более подходящего отрегулированного LDR-вида (например, обслуживающего зрителей мобильных телефонов), и, фактически, он может даже выполнять это, имея доступным только хороший Rec_HDR вместо M_HDR. Разделение части технической колеровки для более подходящего выделения кодов сигнала яркости является очень полезным для таких сценариев. Так как функции, отображающие на LDR_o (и соответствующее точное восстановление его LDR_ul), определяют фактический художественный LDR-вид, и они могут быть определены один раз и для всех первичным колеровщиком в момент времени первоначального производства контента или около этого момента времени. Но кодер все же может автоматически или полуавтоматически с участием вторичного колеровщика определять техническое отображение с небольшими модификациями, такими как 301, и соответствующий LDR_i (или LDR_t), и кодированные метаданные Ff1, Ff2 в наборе действительных или целочисленных значений 207 в S_im, который, конечно, может быть разным для разных технологических ограничений, таких как количество битов (например, только 8 битов для канала сигнала яркости).

Декодером 150 может быть IC, например, такая как в данном объяснении, в телевизионной приставке или компьютере, подключенным к дисплею 160 или телевизору (поэтому, когда мы упоминаем декодер, мы подразумеваем, что это охватывает или любую его малую реализацию, такую как «телевизионная приставка с USB-накопителем», или любое большое устройство, реализующее и использующее преимущества нашего изобретения, такое как телевизионная приставка с жестким диском и возможностями чтения оптического диска, и кодер может представлять собой любое от небольшого устройства до большой системы колеровки и т.д.), но, конечно, телевизором не может быть монитор без звука, но содержит всю эту технологию декодирования на своей собственной IC. Дисплеем 160 может быть или LDR-дисплей или HDR-дисплей, или, в основном, любой дисплей, подключенный посредством любой технологии передачи изображения при помощи выхода 157 изображения, такой как, например, беспроводный потоковый вывод на портативное мультимедийное устройство или профессиональный кинопроектор.

Декодер получает наш форматированный S_im посредством входа 158 изображения, и устройство 151 устранения форматирования затем разбивает его на изображение LDR_c (IMG на фиг.2) для восстановления сжатых данных посредством классического подобного JPEG или подобного MPEG декомпрессора 152 и параметры P из метаданных (например, установку 1000 чувствительности и некоторые значения, которые могут быть использованы для восстановления функциональной кривой тонального отображения или отображения насыщенности). В декодере не обязательно присутствует узел 159 тонального переотображения, так как, поскольку это техническое переотображение обычно не представляет собой сильное искажение задаваемого колеровщиком LDR-вида LDR_ul, некоторые декодеры могут быть в состоянии проигнорировать его. Полностью HDR-совместимые декодеры, однако, должны использовать этот узел 159 для применения технической стратегии повторной коррекции, кодифицированной в Ff-значениях 207, чтобы привести к правильному LDR-виду LDR_ul (который представляет собой точную аппроксимацию LDR_o). Это скорректированное LDR-изображение (LDR_ul) поступает на дополнительный узел 154 настройки цветов дисплея. Этот узел 154 может применять необходимую оптимизацию для конкретного дисплея с широким цветовым охватом и яркостью, например, 1300 нит (настраиваемость). Хотя возможны варианты, авторы изобретения изобразили типичный декодер для нашей философии HDR-кодирования, которая имеет тракт обработки изображения для восстановления LDR_ul (или, если 159 не присутствует, его аппроксимации LDR_t), но также имеет второй тракт обработки изображения для определения Rec_HDR. Это выполняется в узле 153 преобразования динамического диапазона, который обычно применяет обратные отображения, применяемые в декодере (фактически в сигнале обычно кодируют параметры этого обратного отображения, т.е. повышающей колеровки). Узел 154 настройки цветов дисплея обычно выполнен с возможностью объединения информации в двух колеровках, что может выполняться на основе использования только одного изображения и параметров P отображения цвета, но в этом поясняемом варианте осуществления мы предполагаем, что он получает изображение Rec_HDR и LDR_ul в качестве ввода и затем интерполирует их, согласно которым дисплей с такой пиковой яркостью подключается и на него подаются прошедшие соответствующую колеровку изображения.

Кроме тонального отображения для получения вида с корректной яркостью обычно может содержаться узел 155 преобразования цвета, выполненный с возможностью выполнения хроматической адаптации для оптимизации для другого цветового охвата, кроме цветового охвата кодирования (например, Rec. 2020 в DCI-P3 или Rec.709, и т.д.).

То, что выводится посредством выхода 157 изображения, и, следовательно, вычисляется узлом 154, конечно, зависит от подключенного дисплея. Если им является LDR-дисплей, узел 154 может передавать, например, LDR_ul, после, конечно, корректного переотображения цвета (узлом 155) из Y'uv, например, в конкретное зависимое от устройства R'G'B'-кодирование. Если подключенный дисплей 160 близок к дисплею с пиковой яркостью 5000 нит (см. также, как устройство декодирования может запросить у телевизора его возможности, в WO 2013/046096; контроллер 161 может выполнять такую связь с дисплеем и даже со зрителем для получения его предпочтений, и может быть выполнен с возможностью конфигурирования, как должен вести себя узел 154 настройки дисплея, и какой тип вида изображения он должен вычислять и выводить), может выводиться изображение Rec_HDR-вида, снова после подходящего форматирования, согласно которому телевизор потребует прием (т.е. им может быть все же Y'uv-кодирование, например, наш формат S_im, теперь с изображением HDR-вида, хранимым в 201/IMG, и некоторые функциональные метаданные также могут передаваться, так что телевизор может выполнять некоторую последнюю точную колориметрическую настройку вида, основываясь на информации, как изменяются колеровки по спектру возможностей воспроизведения, кодированных в этих метаданных, или им уже может быть R'G'B'-изображение возбуждения HDR-дисплея). Для дисплеев с промежуточной пиковой яркостью узел 154 может выводить соответствующее изображение возбуждения, снова или в нашем формате Y'uv или в другом формате.

Наконец, создатель контента может предписать в сигнале, желает ли он, чтобы отображение компенсации узла 159 не должно пропускаться, например, так как создатель контента считает, что LDR_t сильно отклоняется от LDR_ul. Это может выполняться посредством кодирования булево выражения 209 в поле IGNORE_TECHNICAL_MAPPING (игнорировать техническое отображение) метаданных.

Для читателя должно быть ясно, что там, где мы пояснили только минимум одного набора параметров, конечно, наравне, несколько таких же наборов этого же смысла функциональных метаданных отображения цвета может кодироваться в S_im, например, один набор для перехода с единственного изображения IMG (являющегося LDR-изображением) к эталонному, например, изображению HDR-вида с яркостью [0-5000] нит, и второй набор может быть добавлен для перехода, например, к MDR-виду с яркостью 1500 нит. И хотя является полезным выполнение конкретного разложения на чувствительность, гамму, коэффициент усиления и форму функции дальнейшей точной настройки, и, по меньшей мере, хорошо для технического объяснения, любое одно из отображений, например, отображение LDR-2-MDR, может кодироваться в S_im в сжатом виде, например, только заполнением LUT тонального отображения или набора значений 205, которые кодифицируют функцию окончательного отображения (т.е. все из чувствительности, точной настройки и технического отображения вместе).

Фиг.4 схематически изображает типичный вариант осуществления базового узла 400 нашего декодера (в этом примере минимальная часть mode ii, без технической повторной колеровки, или преобразования Yu'v' и т.д.). После того как декомпрессор 401 выполнит декодирование длин серий или арифметическое декодирование и обратное DCT и т.д., мы получаем изображение LDR_t, которое, как мы предполагаем, находится в представлении гаммы 2,2 (т.е. с сигналами яркости или R'G'B'-составляющими, определенными в соответствии с Rec. 709) и нормализовано. Может быть первый узел 420 управления, который может непосредственно передавать это изображение на подключенный LDR-телевизор (TV) 410 (непосредственно означает то, что, конечно, может быть включено некоторое существующее форматирование; в принципе, LDR_t также может быть, например, линейным изображением, в этом случае будет необходимость переотображения его с гаммой 2,2 перед передачей его на LDR-дисплей, но может быть полезным, если это не требуется; дополнительные функции тонального отображения обычно являются разными в зависимости от того, каким типом является LDR_t, что также может указываться индикатором IND_2 в S_im). Затем узел 402 первого тонального отображения выполняет обратное отображение произвольного тонального отображения, причем определяющие параметры этой формы функции P_CC принимаются в метаданных MET(F). Затем узел 403 второго тонального отображения выполняет тональное отображение, повторно затемняя более темные цвета относительно более ярких, например, применением вышеупомянутого уравнения RHO с принятым значением RHO. Узел также может вычислять значение RHO из принятой пиковой яркости дисплея PB_HDR, принятой от подключенного HDR-дисплея 411. Затем узел 404 третьего тонального отображения выполняет степенную функцию гаммы, причем принятым значением GAM предпочтительно является, например, 2,4. Затем умножитель 405 может выполнять умножение на GAI, которым может быть 1,0 по умолчанию. При необходимости процессор 406 насыщенности цвета может выполнять некоторую обработку насыщенности. Наконец, узел 421 управления может передавать изображение на HDR-дисплей 411, и он может выполнять некоторую дополнительную обработку, например, корректно форматировать изображение в соответствии со стандартом, который понимает дисплей, например, по соединению HDMI.

Фиг.6 изображает вариант осуществления простого узла преобразования динамического диапазона кодера. Он содержит узел 601 нормализации для нормализации всех цветовых составляющих до 1 (т.е., если, например, R, G и B нормализируются в 1,0, тогда максимальная яркость будет нормализироваться в 1,0, и наоборот). Нормализированные яркости Yn_HDR пикселей HDR-изображения (или в эквивалентных вариантах осуществления, например, нормализированные линейные RGB-составляющие) поступают на первый тональный отображатель 602, выполняющий операцию установления гаммы, с гаммой, которая требуется для колеровщика (или узла автоматической колеровки), но обычно фиксированной на значении 1/(2,4). Затем второй тональный отображатель 603 выполняет преобразование, которое соответствующим образом осветляет темные цвета HDR, например, с , с соответствующим коэффициентом RHO, предложенным системой колеровки в зависимости от различия динамического диапазона между (пиковой яркостью ) M_HDR и обычным LDR с яркостью 100 нит, и обычно, в конечном счете, принятым колеровщиком, который может изменить или может не изменять это первоначально предложенное значение RHO. Затем посредством использования третьего тонального отображателя 604 колеровщик начинает точную настройку, просматривая различные объекты в изображении, и, наконец, определяет выбираемую самостоятельно кривую CC тонального отображения, посредством изменения различных сигналов яркости этих различных объектов в соответствии с важными для колеровщика объектами изображения. Он получает сигналы яркости Yn_LDR изображения LDR_o, причем все данные готовы для кодирования.

Алгоритмические составляющие, описанные в данном тексте, могут (полностью или частично) быть реализованы в виде аппаратных средств (например, части специализированной IC) или в виде программных средств, выполняющихся на специальном процессоре обработки цифрового сигнала, или общем процессоре, и т.д.

Специалисту в данной области техники должно быть понятно из нашего изложения, какие компоненты могут быть факультативными улучшениями и могут быть реализованы в комбинации с другими компонентами, и как (факультативные) этапы способа соответствуют соответствующим средствам устройств, и наоборот. Слово «устройство» в данной заявке используется в его самом широком смысле, а именно группа средств, позволяющая реализовать конкретную задачу, и может, следовательно, например, представлять собой (небольшую часть) IC или специализированный прибор (такой как прибор с дисплеем), или часть сетевой системы, и т.д. «Устройство» также предназначено для использования в самом широком смысле, поэтому, оно может содержать, среди прочего, одно устройство, часть устройства, совокупность (части) взаимодействующих устройств и т.д.

Объем понятия варианта настоящих вариантов осуществления в виде компьютерного программного продукта следует понимать как охватывающий любую физическую реализацию совокупности команд, позволяющих процессору общего или специального назначения, после последовательности этапов загрузки (которые могут включать в себя промежуточные этапы преобразования, такие как трансляция в промежуточный язык и конечный язык процессора) для ввода команд в процессор и исполнения любой характеристической функции изобретения. В частности, компьютерный программный продукт может быть реализован в виде данных на носителе, таком как, например, диск или лента, данных, присутствующих в памяти, данных, передающихся по сетевому соединению - проводному или беспроводному - или программного кода на бумаге. Кроме программного кода, характеристические данные, требуемые для программы, также могут быть реализованы в виде компьютерного программного продукта. Должно быть ясным, что под компьютером мы подразумеваем любое устройство, способное выполнять вычисление данных, т.е. им также может быть, например, мобильный телефон. Также формула изобретения на устройство может охватывать реализованные на компьютере версии вариантов осуществления.

Некоторые из этапов, требуемые для работы способа, уже могут присутствовать в функциональной возможности процессора вместо описанных в компьютерном программном продукте, такие как этапы ввода и вывода данных.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение. Там, где специалист в данной области техники легко может реализовать отображение представленных примеров на другие области в формуле изобретения, мы для краткости не упоминали всесторонне все эти возможные варианты. Кроме комбинаций элементов изобретения, объединенных в формуле изобретения, возможны другие комбинации элементов. Любая комбинация элементов может быть реализована в одном выделенном элементе.

Любая ссылочная позиция в круглых скобках в формуле изобретения не предназначена для ограничения формулы изобретения. Слово «содержащий» не исключает присутствие элементов или аспектов, не перечисленных в формуле изобретения. Упоминание элемента в форме единственного числа не исключает наличия множества таких элементов.

Изобретение относится к области кодирования/декодирования изображений. Технический результат – обеспечение улучшенного кодирования/декодирования изображения с широким динамическим диапазоном. Способ кодирования изображения с широким динамическим диапазоном содержит этапы, на которых: преобразуют изображение с широким динамическим диапазоном в изображение с более узким динамическим диапазоном яркости посредством применения: a) нормализации изображения с широким динамическим диапазоном к масштабу оси сигнала яркости, равной [0,1], обеспечивая нормализованное изображение с широким динамическим диапазоном с нормализованными цветами, имеющими нормализованные яркости, b) вычисления логарифмической гамма-функции по нормализованным яркостям, обеспечивая сигналы яркости, и c) применения произвольной функции тонального отображения, отображающей сигналы яркости в выходные сигналы яркости изображения с более узким динамическим диапазоном; выводят в сигнале изображения кодификацию цветов пикселей изображения с широким динамическим диапазоном и выводят в сигнале изображения в метаданных значения, кодирующие форму функции произвольной функции тонального отображения. 4 н. и 4 з.п. ф-лы, 6 ил.

1. Способ кодирования изображения (M_HDR) с широким динамическим диапазоном, содержащий этапы, на которых:

- преобразуют изображение с широким динамическим диапазоном в изображение (LDR_o) с более узким динамическим диапазоном яркости посредством применения: a) нормализации изображения с широким динамическим диапазоном к масштабу оси сигнала яркости, равной [0,1], обеспечивая нормализованное изображение с широким динамическим диапазоном с нормализованными цветами, имеющими нормализованные яркости (Yn_HDR), b) вычисления логарифмической гамма-функции по нормализованным яркостям, обеспечивая сигналы яркости (v), и c) применения произвольной функции (СС) тонального отображения, отображающей сигналы яркости в выходные сигналы яркости (Yn_LDR) изображения (LDR_o) с более узким динамическим диапазоном;

- выводят в сигнале (S_im) изображения кодификацию цветов пикселей изображения (M_HDR) с широким динамическим диапазоном и

- выводят в сигнале (S_im) изображения в метаданных значения, кодирующие форму функции произвольной функции (СС) тонального отображения.

2. Способ кодирования изображения (M_HDR) с широким динамическим диапазоном по п.1, содержащий этап, на котором выводят в сигнале (S_im) изображения в метаданных значения, кодирующие форму функции логарифмической гамма-функции, причём упомянутые значения содержат заданный параметр RHO, который характеризует логарифмическую гамма-функцию в соответствии с уравнением, в котором , или значения, содержащие любую функцию или коррелят RHO, позволяющий определять значение RHO.

3. Кодер (100) изображения, выполненный с возможностью кодирования изображения (M_HDR) с широким динамическим диапазоном, содержащий:

- узел (104) преобразования динамического диапазона, выполненный с возможностью преобразования изображения с широким динамическим диапазоном в изображение (LDR_o) с более узким динамическим диапазоном яркости, причем узел (104) преобразования динамического диапазона содержит: a) нормализатор (601), выполненный с возможностью нормализации изображения с широким динамическим диапазоном на ось сигнала яркости, имеющую диапазон [0,1], и вывода нормализованных яркостей (Yn_HDR), b) узел (602) преобразования логарифмической гаммы, выполненный с возможностью применения логарифмической гамма-функции к нормализованным яркостям для вывода сигналов яркости (v), c) узел (604) произвольного тонального отображения, выполненный с возможностью применения произвольной функции (СС), которая отображает сигналы яркости (v) в выходные сигналы яркости (Yn_LDR) изображения (LDR_o) с более узким динамическим диапазоном; причем кодер (100) изображения дополнительно содержит:

- компрессор (108) изображения, выполненный с возможностью применения преобразования с сокращением количества данных к цветам изображения (M_HDR) с широким динамическим диапазоном, причем упомянутые цвета организованы в компонентные изображения, и при этом упомянутое преобразование с сокращением количества включает в себя по меньшей мере применение преобразования DCT к блокам значений соседних цветовых составляющих, обеспечивая сжатую кодификацию цветов пикселей изображения с более узким динамическим диапазоном яркости; и

- устройство (110) форматирования, выполненное с возможностью вывода в сигнале (S_im) изображения сжатой кодификации изображения с широким динамическим диапазоном и выполненное с возможностью дополнительного вывода в сигнале (S_im) изображения значений, кодирующих форму функции произвольной функции (СС) тонального отображения в качестве метаданных.

4. Кодер (100) изображения по п.3, в котором устройство (110) форматирования выполнено с возможностью вывода в сигнале (S_im) изображения, в значениях метаданных кодирующих форму функции логарифмической гамма-функции, причём упомянутые значения содержат заданный параметр RHO, который характеризует логарифмическую гамма-функцию в соответствии с уравнением, в котором , или значения, содержащие любую функцию или коррелят RHO, позволяющий определять значение RHO.

5. Декодер (150) изображения, выполненный с возможностью приема сигнала (S_im) изображения с широким динамическим диапазоном и содержащий:

- устройство (151) устранения форматирования, выполненное с возможностью получения сжатого пикселизированного изображения с широким динамическим диапазоном и параметрических данных (P) из сигнала (S_im) изображения; и

- декомпрессор (152), выполненный с возможностью применения, по меньшей мере, обратного преобразования DCT к сжатому пикселизированному изображению (M_HDR) с широким динамическим диапазоном для получения пикселизированного изображения (M_HDR) с широким динамическим диапазоном; и

- узел (153) преобразования динамического диапазона, выполненный с возможностью преобразования изображения (M_HDR) с широким динамическим диапазоном, в котором узел (153) преобразования динамического диапазона содержит: a) узел (402) произвольного тонального отображения, выполненный с возможностью применения произвольного тонального отображения, обеспечивающего сигналы яркости (v), причем параметры, которые определяют его (P_CC), принимаются в параметрических данных (P), и b) узел тонального отображения, выполненный с возможностью применения обратного отображения логарифмической гаммы к сигналам яркости (v).

6. Декодер (150) изображения по п.5, в котором узел первого тонального отображения применяет отображение логарифмической гамма-функции, заданное как: , в которой RHO вычисляется из принятой пиковой яркости дисплея PB_HDR.

7. Способ декодирования сигнала (S_im) изображения с широким динамическим диапазоном, содержащий этапы, на которых:

- получают сжатое пикселизированное изображение с широким динамическим диапазоном и параметрические данные (P) из сигнала (S_im) изображения;

- восстанавливают сжатое пикселизированное изображение с широким динамическим диапазоном посредством применения, по меньшей мере, обратного преобразования DCT к сжатому пикселизированному изображению с широким динамическим диапазоном для получения пикселизированного изображения с широким динамическим диапазоном; и

- преобразуют изображение с широким динамическим диапазоном посредством: a) применения произвольного тонального отображения, обеспечивающего сигналы яркости (v), причем параметры, которые определяют его (P_CC), принимаются в параметрических данных (P), b) применения обратного отображения логарифмической гамма-функции к сигналам яркости (v).

8. Способ по п.7, в котором применение обратного отображения логарифмической гамма-функции содержит применение функции, заданной как: , в которой RHO вычисляется из принятой пиковой яркости дисплея PB_HDR.