СПОСОБ ДЛЯ КОДИРОВАНИЯ, ПРОЦЕССОР ВИДЕО, СПОСОБ ДЛЯ ДЕКОДИРОВАНИЯ, ДЕКОДЕР ВИДЕО Российский патент 2019 года по МПК H04N21/845 H04N21/485 H04N19/182 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к кодированию видеоизображения, в частности, изображения с высоким динамическим диапазоном, и соответствующим техническим системам и способам, чтобы переправлять необходимую информацию кодированного изображения стороне приема, и декодерам, чтобы декодировать кодированные изображения, и в конечном счете делать их доступными для отображения.

УРОВЕНЬ ТЕХНИКИ

Классическая технология изображения/видео (начиная с аналоговых систем подобных NTSC и PAL, и продолжая кодеками цифрового видео, подобными MPEG 1, MPEG 2, MPEG 4 и т.д.), использует то, что мы теперь называем кодированием Низкого Динамического Диапазона (LDR) или Стандартного Динамического Диапазона (SDR). В настоящее время широко признается, что для того, чтобы обеспечить большее погружение для потребителя, следующим этапом в видео технологии должно быть улучшение динамического диапазона и пиковой яркости видеосигнала. Началось исследование и разработка среди одиночных и групп компаний, чтобы прийти к кодеку видео следующего поколения, который способен обрабатывать так называемые изображения с Высоким Динамическим Диапазоном (HDR) у сцен HDR. Эти разработки основываются на идее, что сигналы LDR не могут захватить динамический диапазон сцен реальной жизни, не могут представлять динамический диапазон того, что может видеть зрительная система человека, и, вследствие этого, не могут переносить полное эмоциональное восприятие в сцене потребителю. Часто, HDR рассматривается в качестве обязательного признака для телевидения Сверх Высокой Четкости (UHD), т.е. с разрешением отображения в 3840×2160 пикселей («4k»), однако HDR также сам по себе рассматривается в качестве убедительной характеристики, например, в комбинации с видео HD разрешения.

Захват изображений HDR требует камеры, которая может захватывать увеличенный динамический диапазон, по меньшей мере, выше 11 стопов (stop), но предпочтительно выше 16 стопов. Современные камеры от, например, ARRI, RED и Sony достигают около 14 стопов. Некоторые камеры HDR используют медленную и быструю экспозицию и комбинируют их в едином изображении HDR, другие камеры используют деление луча на два или более датчика разной чувствительности.

Тогда как в классическом формировании изображения отбрасывалось много информации (жестко обрезается, например, вид наружу из комнаты или машины), настоящие системы формирования изображения могут захватывать всю эту информацию, и вопрос состоит в том, что затем с ней делать. Кроме того, развиваются дисплеи с более высоким динамическим диапазоном, которые обладают более высокой пиковой яркостью, чем типичные в настоящее время 350нт (или 100нт для упорядочения эталонных мониторов). В настоящее время выходят на потребительский рынок телевизоры с пиковой яркостью около 1000нт, и SIM2 имеет в своем портфолио профессиональный монитор с 5000нт.

В настоящее время разработаны блоки отображения (дисплеи), которые способны обеспечивать высокий уровень яркости и очень высокую контрастность между темными частями изображения и яркими частями изображения. Для всецелого использования возможностей таких дисплеев, видеоинформация может быть расширена посредством предоставления адаптированной видеоинформации, например, принимая во внимание более высокую яркость и диапазон контрастности HDR. Для того, чтобы отличать от HDR, традиционная видеоинформация именуется в данном документе видео с низким динамическим диапазоном [LDR]. Раз так, то видеоинформация LDR может быть продемонстрирована блоком отображения HDR в режиме отображения HDR для улучшенной контрастности. Тем не менее, более интересное изображение достигается, когда видеоинформация сама по себе генерируется в видео формате HDR, например, используя расширенный динамический диапазон для более хороших визуальных эффектов или для улучшения видимости текстур в ярких или темных зонах, при этом избегая визуальной полосатости. В дополнение к расширению точности данных изображения, режиссеры фильма могут локально расширять восприятие, посредством, например, особого акцента на взрывах, и/или улучшая видимость в ярких и темных сценах/зонах.

Организации разработки стандарта пересматривают разнообразные параметры формата видео, которые определяют качество картинки. Среди них находится динамический диапазон. Динамический диапазон становится более важным с ростом пиковой яркости дисплея. Несмотря на то, что большая часть видео контента по-прежнему упорядочена для дисплеев с 100нт (кд/м2), яркость современных коммерческих дисплеев обычно уже много выше (как правило, около 350нт, но доходя до скажем 600-800нт). Уже доступны профессиональные дисплеи с яркостью около 4000нт. Эти дисплеи способны обеспечивать много более подобное живому восприятие просмотра.

Вкратце, изображения HDR становятся все более и более значимыми. Изображение HDR может быть изображением, которое кодирует текстуры сцены HDR (которая, как правило, может содержать как очень яркие, так и темные области) с достаточной информацией для высококачественного кодирования цветных текстур разнообразных захваченных объектов в сцене так, что визуально хорошее качество рендеринга сцены HDR может быть получено на дисплее HDR с высокой пиковой яркостью, подобной, например, 5000нт. Типичное изображение HDR содержит ярко окрашенные части или части, которые сильно освещены в сравнении со средней освещенностью. В особенности для ночных сцен HDR становится все более и более значимым.

В противоположность дневным сценам, в которых солнце и небо освещают каждую точку одинаково, ночью могут присутствовать лишь некоторые источники света, которые освещают сцену квадратично-сокращенным образом. Это создает яркие области вокруг источника света, и темные области в отдаленных уголках. Некоторые части почти не получают света ниоткуда, что делает их очень темными. Т.е., в ночной сцене, одновременно могут присутствовать части со яркостями области (или когда захватываются посредством яркостей пикселей линейной камеры) около 10000нт применительно к самим лампам, и долями нит, например, 0.001нит для темных областей, создавая суммарный динамический диапазон от 10 миллионов до 1. Это теоретический диапазон применительно к самому яркому против самого темного пикселя, и конечно полезный динамический диапазон может быть ниже, поскольку может не требоваться точное представление пары небольших ламп или небольших темных пятен, однако в типичных сценах HDR даже полезный динамический диапазон интересующих нормальных объектов может быть намного выше 10000:1 (или 14 стопов). Отображение этого на дисплей с пиковой яркостью в 2000нт означает, что он должен «теоретически» (предполагая, что относительный к пиковому рендеринг белого является достаточным для визуального качества рендеринга сцены) иметь минимальный (видимый) черный в размере, например, 0.2нит.

Исследование в отношении кодирования видео (или даже неподвижного изображения) HDR проводились лишь совсем недавно. Типичное убеждение состоит в том, что либо нужно идти в направлении значительно большего количества битов, для кодирования яркости выше диапазона LDR у объектов сцены (например, кодирования, которые непосредственно кодируют яркости сцены), либо требуется некоторый двухслойный подход, при этом, например, в дополнение к изображению отражательной способности объекта присутствует изображение усиления освещенности, или сходные стратегии разложения. Подход двухслойного кодирования HDR был опубликован, например, в документах US 8248486 B1 и WO2005/1040035.

Наиболее простой подход с одним изображением раскрывается в документах WO2011/107905 и WO2012/153224. Данный подход основан на параметрическом кодировании. В дополнение к простому кодированию одного изображения HDR, пригодного для дисплеев с пиковой яркостью при опорном значении, например, 1500нт, данный подход также касается дисплеев с другими пиковыми яркостями и динамическими диапазонами. Поскольку также будут присутствовать дисплеи с, например, 500 или 100нт, вместо того, чтобы незаметно для стороны приема оставлять то, каким образом меняется закодированное изображение с высоким динамическим диапазоном до некоторого приемлемого изображения посредством авто-преобразования, совместно кодируются функции обработки цвета в отношении того, каким образом добиться соответствующего изображения применительно к конкретным свойствам дисплея, начиная с закодированного HDR изображения. Данный процесс затем приводит к изображению, которое оптимизировано для данного конкретного дисплея, с которым может согласиться автор контента.

Под изображениями с «высоким динамическим диапазоном» (HDR) мы, как правило, понимаем изображения захваченные стороной захвата, которые обладают 1) высоким коэффициентом яркостного контраста в сравнении с унаследованным кодированием LDR (например, коэффициент контрастности 10000:1 или больше); и 2) яркости объекта не меньше 500, 700 или, как правило, 1000нт. Тогда система кодирования HDR должна быть выполнена с возможностью кодирования данного широкого коэффициента контрастности и высоких яркостей объекта. Система воспроизведения HDR будет, как правило, воспроизводить наиболее яркие участки изображения выше 1000нт, чтобы генерировать некоторый требуемый внешний вид скажем освещенного лампой или солнечного пейзажа.

Изображение HDR должно демонстрироваться на дисплее. Как уже имеет место в сегодняшних коммерческих дисплеях, будущие дисплеи HDR будут иметь разные уровни пиковой яркости в зависимости от технологии, выборов исполнения, соображений стоимости, факторов рынка, и т.д. Видеосигнал, принимаемый посредством дисплея, будет, как правило, упорядочен для конкретного опорного дисплея, который может не соответствовать характеристикам дисплея, на котором должен быть представлен видеосигнал. Дисплей, принимающий сигнал HDR, пытается адаптировать видеосигнал, чтобы он совпадал с его собственными характеристиками, включая уровень пиковой яркости. Если приемник/дисплей не обладает знаниями касательно характеристик видеосигнала и/или упорядочения, которое было применено, результирующая картинка может не совпадать с художественным замыслом или может просто плохо выглядеть. Вследствие этого, параметры/инструкции адаптации динамического диапазона могут быть и предпочтительно включаются с видео или переправляются иным образом дисплею, чтобы предоставить информацию обработки для оптимизации качества картинки для уровня пиковой яркости и других характеристик дисплея, на котором демонстрируется сигнал. Дополнительные параметры могут работать по всей зоне картинки или могут быть ограничены определенными зонами картинки.

В качестве альтернативы, дисплей HDR может по-своему адаптировать входящий сигнал HDR, например, если он знает характеристики входящего сигнала, например, если был использован стандарт.

Каким бы то ни было способом, дисплей, следовательно, адаптирует входящий, например, сигнал HDR. Для простоты здесь упоминается сигнал HDR, хотя входящий сигнал также может быть сигналом LDR, который затем показывается на дисплее в режиме HDR (отметим, что данный сигнал LDR может, несмотря на то, что он сам по себе пригоден для непосредственной демонстрации на дисплее LDR, неявно быть кодирующим вид изображения HDR, поскольку он содержит все необходимые данные цвета пикселя, которые могут быть функционально отображены на изображение HDR посредством совместно закодированных функций). В частности дисплей выполняет адаптацию динамического диапазона над входящим сигналом для регулировки его характеристик (например, пиковой интенсивности, уровня черного) перед его демонстрацией.

Дисплей применяет функцию отображения, которая отображает входящие данные HDR (или LDR) на набор данных HDR, которые наилучшим образом (или, по меньшей мере, лучше или, по меньшей мере, в соответствии с замыслом) подходят к возможностям дисплея, таким как, например, уровень черного и уровень пиковой яркости дисплея. Таким образом адаптированные данные HDR используются для демонстрации изображения на дисплее.

Отображение может быть улучшением изображения, при этом динамический диапазон демонстрируемого на дисплее изображения больше динамического диапазона исходного изображения, как впрочем и ухудшением изображения, при этом динамический диапазон меньше динамического диапазона исходного изображения.

Эффект адаптации динамического диапазона (ниже это также будет именоваться «усилением», несмотря на то, что при ухудшении изображение сужается, вместо увеличения, по динамическому диапазону) часто наиболее заметен применительно к очень ярким объектам.

Видеосигнал может быть предоставлен в дом разнообразными путями, включая через вещание, через интернет или через упакованные носители информации. Он, например, может быть принят телевизионной абонентской приставкой (STB) или через другую систему обработки видео в сравнении с потоком.

Телевизионная абонентская приставка декодирует видео и впоследствии отправляет его в качестве видео полосы частот исходного сигнала к телевизору. В другом примере кодированное видео хранится на запоминающем носителе информации, например, диске DVD/BLu-ray или Флэш-накопителе. В этом случае устройство воспроизведения (мультимедийный проигрыватель MP) считывает контент с носителя информации, декодирует сжатое видео и отправляет его к телевизору. В обоих случаях отдельный блок (VPS, система обработки видео) соединен с TV через стандартный интерфейс (например, HDMI, Порт Дисплея, или беспроводной видеоинтерфейс).

Как правило, телевизионные абонентские приставки (STB) и мультимедийные проигрыватели (MP) не просто пропускают декодированное видео, но иногда объединяют видео с одним или более графическими слоями. Например в случает Диска Blu-ray (BD) часто присутствует 2 слоя наложения: Демонстрационная Графика (PG) для субтитров и графическая плоскость от машины java (BD-J), например, для наложений меню. Поверх этих графических плоскостей может находиться дополнительная плоскость для интерфейса пользователя проигрывателя.

При расширении существующих видео систем для HDR высокий коэффициент контрастности, доступный в усовершенствованных устройствах отображения, используется для достижения ярких и реалистичных видеоизображений. Тем не менее, было обнаружено, что при наложении графики в таком режиме демонстрации HDR возникает ряд проблем. Например, проблема, которая может возникнуть при наложении (полу-прозрачной) графики поверх видео HDR, состоит в том, что некоторые сцены в видео HDR могут быть исключительно яркими. Это значительно сокращает четкость графики, такой как субтитры или меню, которая показывается в то же самое время. Другая проблема, которая может возникнуть, состоит в том, что символы в субтитрах могут стать настолько яркими, что они становятся раздражающими или утомляющими для читателя. Также чрезмерно яркие субтитры или меню могут вызывать эффекты ореола или сияние и, следовательно, ухудшать воспринимаемое качество видео.

Проблемы могут возникать как когда динамический диапазон увеличивается (с LDR или низкого HDR до более высокого диапазона HDR), так и когда он уменьшается (с HDR до более низкого динамического диапазона HDR или LDR). Адаптация динамического диапазона может быть на базе параметров, которые отправляются наряду с видео, основанная на анализе изображения в TV, основанная на информации, отправляемой наряду с видеосигналом, или любого другого способа. Адаптация динамического диапазона применяется к лежащему в основе видео, а не к зонам, которые содержат графические наложения. Адаптация динамического диапазона может меняться в определенных случаях (например, при смене сцены), тогда как наложение субтитров и меню может быть фиксированным во время изменения. Это может, например, приводить к нежелательным изменения внешнего вида графики на границах сцены.

В документе US20140125696 было описано решение, при котором наложения регулируются в зависимости от режима демонстрации. Перед объединением (или во время объединения) наложения с видеосигналом (который может быть сигналом LDR или HDR), наложение адаптируется (или адаптируется объединение) в зависимости от режима демонстрации.

Тем не менее, это требует входа для режима демонстрации на дисплее и для инструкций обработки HDR. Кроме того, дисплеи разные и все обладают своими собственными характеристиками. Вследствие этого одна и та же адаптация наложения для одного и того же режима демонстрации на дисплее может не давать один и тот же результат на разных дисплеях. Это потребует знаний о характеристиках дисплея.

Следовательно, преимущественным будет улучшенный подход для адаптации видео и, в частности, будет преимущественным подход, обеспечивающий увеличенную гибкость, улучшенную адаптацию динамического диапазона, улучшенное воспринимаемое качество изображения, улучшенное представление наложения и/или видеоизображения (в частности при смене динамического диапазона) и/или улучшенную производительность.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Соответственно, Изобретение стремится к предпочтительному смягчению, ослаблению или исключению одного или более упомянутых выше недостатков поодиночке или в любой комбинации.

В соответствии с аспектом изобретения предоставляется устройство для декодирования видеосигнала HDR, объединенного из более чем одного исходного сигнала, при этом устройство содержащее: вход для приема видеосигнала HDR, считывающее средство для считывания, по меньшей мере, одного или более наименее значимых битов для одного или более компонентов цвета видеосигнала HDR для пикселя и генерирования одного или более значений из считанных наименее значимых битов, причем одно или более значений указывают свойство объединения для пикселя, причем свойство объединения указывает свойство объединения в видеосигнале HDR для этого пикселя одного или более сигналов наложения с сигналом видеоизображения; и адаптер для адаптации видеосигнала HDR, и при этом адаптер выполнен с возможностью адаптации значения пикселя в зависимости от одного или более значений.

Изобретение может обеспечивать улучшенную производительность во многих вариантах осуществления. Во многих системах, оно может обеспечивать улучшенный рендеринг изображения в видеопоследовательностях, содержащих наложение на дисплеях с разными динамическими диапазонами.

Устройство может быть декодером видео, и в частности может содержаться в дисплее, таком как телевизор или монитор. Адаптер может быть выполнен с возможностью выполнения адаптации динамического диапазона над пикселем в зависимости от одного или более значений.

Более чем один исходные сигналы могут включать в себя (или состоять в) один или более сигналов наложения и сигнал видеоизображения. Исходные сигналы могут быть видеосигналами, которые на стороне кодирования комбинируются в единый видеосигнал (видеосигнал HDR).

В соответствии с опциональным признаком изобретения, устройство содержит вход для сигнала, включающего в себя информацию о том, какие наименее значимые биты считывать и каким образом преобразовывать их в одно или более значений.

В некоторых вариантах осуществления, устройство выполнено с возможностью приема данных, указывающих кодирование одного или боле значений в видеосигнале HDR, и считывающее средство выполнено с возможностью определения одного или более значений в ответ на данные, указывающие кодирование.

В соответствии с опциональным признаком изобретения, адаптер выполнен с возможностью выполнения адаптации динамического диапазона над пикселями изображения видеосигнала HDR.

В соответствии с опциональным признаком изобретения, адаптер выполнен с возможностью адаптации отображения из входного динамического диапазона видеосигнала HDR в выходной динамический диапазон для пикселя в зависимости от одного или более значений.

В соответствии с опциональным признаком изобретения, одно или более значений указывают процентный вклад в пиксель от сигнала видеоизображения по отношению к процентному вкладу от одного или более сигналов наложения; и адаптер выполнен с возможностью применения разного отображения для разных процентных вкладов.

Понятие процентный может указывать процент/пропорцию/ коэффициент для вклада значения пикселя, исходящего от заданного источника.

В соответствии с опциональным признаком изобретения, устройство содержит: средство оценки для разбиения видеосигнала HDR на множество оцененных сигналов, на основании оценки вклада сигнала видеоизображения и одного или более сигналов наложения в пиксели видеосигнала HDR; средство смешивания для повторного смешивания множества оцененных сигналов вслед за адаптацией, и при этом адаптер выполнен с возможностью раздельной адаптации, по меньшей мере, одного из множества оцененных сигналов.

Вклад(ы) может указываться посредством одного или более значений. Адаптация может быть разной для, по меньшей мере, двух оцененных сигналов.

В соответствии с опциональным признаком изобретения, свойство объединения указывает тип объединения.

Тип объединения может в частности указывать, является ли объединение пикселя одной из группы возможных операций объединения, включающих в себя, по меньшей мере, одно из следующего: объединение включает в себя вклад только от сигнала видеоизображения; объединение включает в себя вклад только от одного сигнала наложения; объединение включает в себя вклад как от сигнала видеоизображения, так и от, по меньшей мере, одного сигнала наложения.

В соответствии с опциональным признаком изобретения, свойство объединения для пикселя указывает величину объединения сигнала видеоизображения и одного или более сигналов наложения для упомянутого пикселя.

Величина объединения может отражать весовой коэффициент, по меньшей мере, одного из одного или более сигналов наложения по отношению к весовому коэффициенту входного сигнала видеоизображения. Объединение может быть взвешенным суммированием.

В соответствии с опциональным признаком изобретения, адаптер выполнен с возможностью, перед адаптацией, разбиения видеосигнала HDR на более чем один оцененных сигналов, оценивающих, по меньшей мере, некоторые из одного или более сигналов наложения и сигнал видеоизображения на основании оценки вклада, по меньшей мере, некоторых из одного или более сигналов наложения и сигнала видеоизображения в значение пикселя видеосигнала HDR, после чего, по меньшей мере, один из оцененных сигналов подвергается преобразованию цвета, чтобы адаптировать его яркость, и более чем один оцененные сигналы повторно смешиваются вслед за адаптацией.

В соответствии с опциональным признаком изобретения, свойство объединения может указывать пиксель, содержащий первый контент наложения, причем первый контент наложения исходит из, по меньшей мере, одного из сигнала наложения, содержащего локально генерируемый графический контент, или сигнала наложения, содержащего второй сигнал видеоизображения, который включает в себя объединенный контент наложения.

В соответствии с опциональным признаком изобретения, адаптер выполнен с возможностью адаптации пикселей в пределах области, для которой свойство объединения указывает пиксель, содержащий первый контент наложения, чтобы иметь выходные яркости в пределах предварительно определенного диапазона.

Предварительно определенный диапазон может, например, для дисплея быть предварительно установленным диапазоном, отражающим динамику дисплея. Например, диапазон может иметь верхний предел, скажем, 10% пиковой яркости, и нижний предел, например, больше 1% пиковой яркости и 1нт. В качестве альтернативы или в дополнение, предварительно определенный диапазон может быть определен зрителем и т.д.

В соответствии с аспектом изобретения предоставляется способ декодирования видеосигнала HDR, объединенного из более чем одного исходного сигнала, причем способ, содержащий этапы, на которых: принимают видеосигнал HDR, считывают, по меньшей мере, один или более наименее значимых битов для одного или более компонентов цвета у видеосигнала HDR для пикселя и генерируют одно или более значений из считанного одного или более наименее значимых битов, при этом одно или более значений указывают свойство объединения для пикселя, причем свойство объединения указывает свойство объединения в видеосигнале HDR одного или более сигналов наложения с сигналом видеоизображения для этого пикселя; и адаптируют значение пикселя в зависимости от одного или более значений.

В соответствии с аспектом изобретения предоставляется устройство для кодирования видеосигнала, при этом устройство, содержащее: средство объединения для объединения входного сигнала видеоизображения HDR с одним или более сигналами наложения, чтобы сформировать объединенный видеосигнал, процессор для генерирования одного или более значений, указывающих для пикселя в объединенном видеосигнале свойство объединения, указывающее свойство объединения для этого пикселя; и кодер для кодирования для упомянутого пикселя упомянутого одного или более значений в одном или более наименее значимых битах одного или более компонентов цвета у значения пикселя для пикселя в объединенном видеосигнале.

В соответствии с опциональным признаком изобретения, свойство изображения указывает, по меньшей мере, одно из следующего: тип объединения для упомянутого пикселя и величину объединения входного сигнала видеоизображения HDR и одного или более сигналов наложения.

В соответствии с опциональным признаком изобретения, кодер выполнен с возможностью предоставления к объединенному видеосигналу сигнала информации, содержащего информацию о свойстве кодирования одного или более значений в одном или более наименее значимых битах.

В соответствии с аспектом изобретения предоставляется способ кодирования видеосигнала, при этом способ, содержащий этапы, на которых: объединяют входной сигнал видеоизображения HDR с одним или более сигналами наложения, чтобы сформировать объединенный видеосигнал, генерируют одно или более значений, указывающие для пикселя в объединенном видеосигнале свойство объединения, указывающее свойство объединения для этого пикселя; и кодируют для упомянутого пикселя упомянутое одно или более значений в одном или более наименее значимых битах одного или более компонентов цвета у значения пикселя для пикселя в объединенном видеосигнале.

В некоторых вариантах осуществления, способ кодирования может содержать этапы, на которых: добавляют к сигналу видеоизображения один или более сигналов наложения, чтобы сформировать объединенный видеосигнал, генерируют одно или более значений, указывающие для пикселя тип объединения и/или один или более параметры объединения в объединенном видеосигнале и кодируют для упомянутого пикселя упомянутое одно или более значений в одном или более наименее значимых битах из одного или более компонентов цвета объединенного видеосигнала.

Процессор видео может содержать средство объединения для объединения сигнала видеоизображения и одного или более наложений, как правило, графических сигналов, чтобы формировать объединенный видеосигнал, и кодер изображения для генерирования или приема одного или более значений, указывающих тип объединения и/или один или более параметры объединения для пикселя и для кодирования для упомянутого пикселя упомянутого значения или значений в одном или более наименее значимых битах из одного или более компонентов цвета объединенного видеосигнала.

Значение, указывающее тип объединения, может рассматриваться как значение, указывающие из каких сигналов составлен пиксель в объединенном видеосигнале. Например, оно может указывать, является ли пиксель чистым видео, чистым наложением, смесью видео и наложения, и возможно также, какой тип наложения присутствует в смешивании. В некоторых примерах, по меньшей мере, одно значение, кодируемое в одном или более LSB, указывает тип объединения пикселя. Во многих вариантах осуществления такой информации о типе объединения достаточно, чтобы указывать тип пикселя, например, чтобы иметь возможность отличать пиксели чистого видео и другие пиксели. В некоторых примерах, по меньшей мере, одно из значений указывает тип объединения.

Один или более параметры объединения могут предоставлять информации по величине объединения сигналов, например, они могут указывать вклад индивидуальных сигналов в объединенный сигнал для пикселя. Величина объединения указывает, например, для пикселей смешанного типа объединения, является ли он, например, 50%-50% смешиванием видео и наложения, или 25%-75% смешиванием наложения и видео, и т.д.

В некоторых примерах могут быть использованы только параметры объединения, указывающие коэффициент смешивания. Например, если используются 3 LSB, 3 в первом компоненте цвета и 3 в другом компоненте цвета, где 3 LSB в первом компоненте указывают процент смешанного видео, а другие 3 LSB в другом компоненте указывают величину смешанного наложения, тогда комбинация двух троек LSB предоставляет информации как о типе, так и величине смешивания. Если 3 LSB в первом компоненте все нули, тогда пиксель является чистым наложением, если 3 LSB во втором компоненте все нули, тогда пиксель является чистым видео. Если LSB как в первом, так и втором компоненте не нули, тогда пиксель является смешанного типа (смешивание/объединение видео и наложения) и величина объединения может быть считана из упомянутых LSB.

Способ для декодирования содержит этапы, на которых: принимают видеосигнал, считывают один или более наименее значимых битов одного или более компонентов цвета, генерируют из упомянутых наименее значимых битов одно или более значений и подвергают принятый сигнал видеоизображения адаптации перед демонстрацией на дисплее, при этом адаптация зависит от сгенерированного значения или значений.

Декодер видео содержит вход для приема видеосигнала, считывающее средство для чтения, по меньшей мере, одного или более наименее значимых битов для одного или более компонентов цвета из видеосигнала для пикселя и генерирования одного или более значений из считанных наименее значимых битов, и адаптер для адаптации видео, при этом адаптер выполнен с возможностью адаптации значения пикселя в зависимости от сгенерированного значения или значений.

В известном способе и системах, дисплей, принимающий данные от VPS (системы обработки Видео), такой как телевизионная абонентская приставка или проигрыватель дисков Blu-ray, при этом видеосигнал был объединен с наложениями, не обладает средствами, чтобы отличать видеоинформацию (которая должна быть предпочтительно усилена, чтобы отвечать возможностям дисплея) от наложений, таких как субтитры, или от сигналов, которые являются смесью исходного видео и наложений, которые, как правило, должны обрабатываться по-разному. Телевизионная абонентская приставка и проигрыватель дисков Blu-ray являются примерами систем обработки видео.

Часто VPS является устройством стороны потребителя. Подход не ограничивается такими домашними устройствами. VPS может быть удаленным, т.е., не в доме, устройством или системой.

Например с TV по запросу, VPS может быть блоком на TV станции, создающим некоторую смесь программы+субтитры, или, может быть даже вставкой/записью из промежуточного средства (например, кабельная станция добавляющая интересный дополнительный текст от коммерческой компании «купите данный автомобиль»). Подобным образом как с TV «по запросу», пользователь может например выбирать язык субтитров, при этом языковые субтитры объединяются не у конечного пользователя (например, дома), а на источнике, т.е., сигнал, отправляемый домашнему пользователю, является объединенным сигналом. VPS тогда будет удаленной системой. Подход не ограничивается физическим местоположением средства объединения или алгоритмом, посредством которого объединяются видео и наложения, причем важный аспект состоит в том, что они являются объединенными. Также, объединение не обязательно должно происходить в одном устройстве или этапе способа, например, промежуточный рекламный интересный текст («купите данный автомобиль») в одной части экрана, тогда как TV станция предоставляет субтитры в другой части экрана. В этом случае имеют место два действия объединения, или эквивалентно было выполнено распределенное многоэтапное объединение.

В известных способах и устройствах, невозможно выяснить, из данных видеосигнала, идущих от, например, телевизионной абонентской приставки, является ли пиксель частью наложения или исходного видео, не говоря уже о подробных аспектах смешивания, подобных таким, как исходное значение цвета графики, цвет пикселя видео, или процент смешивания. Это часто может быть сразу очевидно зрителю, но не дисплею. В известном уровне техники, в документе US20140125696, наложения адаптируются перед объединением, но это требует входных данных в VPS, которые могут быть недоступны. Также, VPS может не знать характеристик прикрепленного дисплея, или может даже оставаться неосведомленной о том, какое преобразование цвета должно быть применено к видео, и, вследствие этого, не иметь существенной информации.

Субтитры и другие наложения не формируют часть исходного видео HDR и часто не требуют усиления, или, по меньшей мере, не на такую величину, как само видео. Параметры адаптации динамического диапазона (и, в более общем плане, любая манипуляция или изменение данных видео HDR, чтобы адаптировать данные видео к дисплею, посредством какой бы то ни было функциональной манипуляции) часто применяются только к лежащему в основе видео, не к зонам, которые содержат графические наложения. Параметры адаптации динамического диапазона могут меняться в определенных случаях (например, при смене сцены), тогда как наложение субтитров или меню может быть фиксированным во время изменения.

В известных способах и системе, дисплей будет (а фактически не может делать иначе) обрабатывать каждый пиксель принятого объединенного видео независимо от того, формирует ли пиксель часть наложения или нет. Средство объединения и процесс объединения является, при просмотре со стороны декодера, черным ящиком. Есть выходные данные, и в них могут и возможно присутствуют некоторые объединенные сигналы, но происходит ли это и каким образом неизвестно и невозможно узнать.

Это может, например, привести к тому, что наложения, такие как субтитры, начинают колебаться по интенсивности созвучно динамическому усилению соседних частей видео, таких как яркие лампы.

В настоящем подходе, наименее значимый бит или биты компонента видеосигнала используются, и в некотором смысле приносятся в жертву, (несмотря на то, что в некоторых технических реализациях некоторые биты могут по-прежнему быть доступными для попиксельного кодирования дальнейшей информации в дополнение к данным цвета пикселя видео), чтобы предоставлять информацию о том, формируется ли, и во многих примерах с какой величиной, пиксель посредством или частично наложения (такого как как субтитры и меню) и/или посредством исходного видео. Это позволяет дисплею, принимающему видеосигнал, сгенерированный посредством способа или устройства текущего подхода, рассматривать, например, наложения или части изображения, которые являются смесью исходного видео и наложений, отлично от частей изображения, которые не содержат наложение, а содержат только исходное видео. На стороне декодера, может быть получено понимание на попиксельной основе касательно объединения, которое имело место в средстве объединения.

В компоновке с низкой сложностью, один наименее значимый бит одного компонента заполняется указывающим значением.

Один бит может быть 0 или 1. Это позволяет видео отличать на попиксельной основе, какие пиксели принадлежат исходному видео, а какие пиксели принадлежат наложению или смеси видео и наложения. В данной простой компоновке, можно смягчить вышеприведенную проблему, например, совместного колебания субтитров с лампами. Дисплею предоставляется информация, которая позволяет отличать наложение, например, субтитры, от видео и динамически адаптировать визуализацию изображения видео, при этом оставляя субтитры, например, фиксированными или адаптируя их образом отличным от пикселей видео.

В простом варианте осуществления, адаптация динамического диапазона может быть применена к пикселям, принадлежащим к исходному видео, тогда как не применяется или фиксированная адаптация динамического диапазона применяется к пикселям, принадлежащим к наложению.

Компонент цвета может быть, например, одним из RGB компонентов сигнала или, если сигнал представлен в YUV формате, одним из YUV компонентов, например, яркостью Y пикселя.

В более подробных вариантах осуществления, более чем один наименее значимый бит заполняется значением указания.

Это позволяет, например, когда используются 3 бита, различать более чем одно состояние, например, когда наложения являются частично прозрачными. Например, когда возможно три состояния (например, полностью видео, полностью наложение и смеси видео и наложения) может быть идентифицирована варьирующаяся степень объединения. Адаптация динамического диапазона может, например, быть применена к пикселям, которые являются полностью исходным видео, адаптация динамического диапазона не применяется к пикселям, которые являются полностью наложением, и варьирующиеся степени адаптации динамического диапазона применяются к пикселям, которые являются частью исходного видео, частью наложения, в зависимости от соотношения видео к наложению.

Жертва наименее значимых битов, как правило, имеет небольшое или отсутствие влияния на изображение. Часто вовсе отсутствует жертва, поскольку LSB не содержат сильно видимую информацию изображения.

Даже если жертвование наименее значимыми битами в некоторых случаях может теоретически сократить до некоторой степени визуализацию очень точных деталей, количества битов, используемых в большинстве видеосигналов (и в особенности в сигнале HDR), обычно достаточно для визуализации изображения с такими деталями, что потеря наименее значимых битов будет невидима.

Даже там, где будет присутствовать небольшое отрицательное влияние, положительный эффект возможности более хорошего рендеринга наложения намного перевешивает любой негативный эффект.

Наименее значимые биты (LSB), которые должны быть использованы, чтобы переправлять информацию о видео/наложении, могут быть выбраны из разных компонентов, при этом учитывая битовую глубину исходного видео.

Очень часто, количество битов, используемых на пиксель для, по меньшей мере, одного компонента цвета в интерфейсе (например, 16, или 12) больше, чем количество битов в исходном видео (например, 12 или 10). В этом случае, может вовсе отсутствовать влияние на качество видео, если требуется сообщить только небольшую информацию о ситуации объединения. Во многих случаях, можно просто использовать дополнительную полосу пропускания канала интерфейса.

Во многих реализациях не более 8 бит, разделенных на 3 или более компонента пикселя, заполняются данными, указывающими вклад наложения в значения пикселя. Жертвование более 8 битами, как правило, сильно не улучшит положительный эффект, при этом начиная создавать увеличенный отрицательный эффект для визуализации изображения и, как указано, если количество битов, используемых в объединенном сигнале, больше чем в исходном видео, вовсе не требуется жертвование битов. В некоторых вариантах осуществления, 6 или 4 бита указания также могут сообщать наиболее полезную информацию. В некоторых вариантах осуществления, количество битов, используемых в объединенном сигнале, может превышать количество битов в видеосигнале. В нижеследующем, аббревиатура LSB также будет использована для «наименее значимый бит».

В некоторых вариантах осуществления, количество LSB, указывающих тип и/или один или более параметры объединения в объединенном видеосигнале, может быть переменным, например, зависимым от типа объединения.

Для простых типов объединения, например «только видео», меньше LSB требуется для переноса информации декодеру. Использование меньше LSB для информации о типе объединения и параметре объединения обеспечивает больше битов для переноса информации цвета пикселя видео.

Сигнал длины кодирования может быть предоставлен с тем, чтобы на стороне декодирования была известна длина кодирования. Кодирование с переменной длиной может быть обеспечено посредством указания типа объединения.

Информация о кодировании данных, указывающая свойство объединения (например, какие составляющие были объединены, при этом «составляющие» могут быть видео, и одним или более наложениями) может быть предоставлена в LSB отдельных от LSB, которые предоставляют информацию о величине объединения, например, прозрачности наложений и пропорциях смешивания.

Это позволяет записывать и считывать информацию о кодировании перед более детальной информацией об объединении. Это позволяет использовать меньше LSB для переноса информации, тем самым оставляя больше битов для другой информации, например информации яркости.

В некоторых вариантах осуществления информация подается к или в сигнале, например, в форме метаданных или флагов, указывающих, какое кодирование значений указывает свойства объединения. Например, она может указывать LSB или несколько LSB, которые используются для предоставления информации об объединении, как например, какие сигналы были объединены и или каким образом они были объединены, и каким образом они могут быть считаны.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и прочие аспекты способа и устройства в соответствии с изобретением станут очевидны из и объяснены со ссылкой на реализации и варианты осуществления, описываемые далее, и со ссылкой на сопроводительные чертежи, который служат лишь в качестве не ограничивающих конкретных иллюстраций, представляющих пример более общей концепции.

Фиг. 1 иллюстрирует пример объединения видеосигналов.

Фиг. 2 иллюстрирует пример системы обработки видео в соответствии с некоторыми вариантами осуществления изобретения.

Фиг. 3 иллюстрирует пример системы обработки видео в соответствии с некоторыми вариантами осуществления изобретения.

Фиг. с 4 по 7 иллюстрируют примеры некоторых вариантов осуществления кодирования в системе обработки видео в соответствии с некоторыми вариантами осуществления изобретения.

Фиг. 8 схематично иллюстрирует проблему способов и систем известного уровня техники.

Фиг. 9 иллюстрирует примеры объединения видео и наложений.

Фиг. 10 иллюстрирует некоторые примеры адаптации динамического диапазона.

Фиг. 11 иллюстрирует пример системы в соответствии с некоторыми вариантами осуществления изобретения.

Фиг. 12 иллюстрирует некоторые примеры адаптации динамического диапазона.

Фиг. 13 иллюстрирует примеры аспектов некоторых вариантов осуществления изобретения.

Фиг. 14 иллюстрирует примеры аспектов некоторых вариантов осуществления изобретения.

Фиг. 15 и 16 показывают примеры комбинации кодирования в VPS и декодирования в TV в соответствии с некоторыми вариантами осуществления изобретения.

Фиг. 17 иллюстрирует дисплей, содержащий функциональность в соответствии с некоторыми вариантами осуществления настоящего изобретения.

Фиг. 18 и 19 иллюстрирует иллюстрируют пример аспектов некоторых вариантов осуществления изобретения.

Фиг. 20 и 21 иллюстрируют некоторые примеры генерирования указаний операции объединения.

Фиг. 22 иллюстрирует примеры возможных отображений динамического диапазона.

ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 иллюстрируется пример аспекта примерного варианта осуществления изобретения, относящийся к стороне кодирования.

В системе обработки Видео (VPS) или процессоре 1 видео, входной сигнал 2 видеоизображения применительно к исходному видео объединяется с наложениями 3 и 4 в средстве 5 объединения VPS 1, чтобы предоставить объединенный видеосигнал 6, содержащий объединение исходного видео и наложений. Средство 5 объединения предоставляет информацию части 7 кодера.

Входной сигнал 2 видеоизображения является сигналом изображения HDR в том плане, что он предоставляет представление сигнала HDR. Входной сигнал 2 видеоизображения сам по себе может быть изображением, которое предназначено для того, чтобы быть представленным на дисплее HDR, т.е., упорядочение цвета/отображение оттенков могут быть адаптированы, чтобы осуществлялся непосредственный рендеринг на дисплее с максимальной яркостью не менее типичных 500нт (или 1000). В других вариантах осуществления, входной сигнал 2 видеоизображения может предоставлять представление изображения, которое предназначено для непосредственного отображения на дисплее LDR, т.е. с помощью дисплея с максимальной яркостью ниже (как правило) 500нт, но который имеет непосредственное (известное) отображение или трансляцию в изображение HDR, предназначенное для отображения на дисплее HDR. Таким образом, входной сигнал 2 видеоизображения может быть представлением изображения LDR, которое получено отображением из представления изображения HDR изображения, используя отображение HDR-в-LDR. Такое сообщение по-прежнему является изображением HDR поскольку исходное изображение HDR может быть восстановлено посредством применения обратного отображения (которое может быть дополнительно включено в изображение HDR).

Сходным образом, наложения могут быть предоставлены в качестве представления HDR или могут быть представления LDR, которые могут быть объединены с представлением HDR или LDR сигнала изображения HDR.

Объединенный видеосигнал 6 сходным образом является сигналом изображения HDR и несомненно с входным сигналом, являющимся (непосредственно или опосредованно) сигналом изображения HDR, причем простое объединение значений наложения с входными значениями приведет к объединенному видеосигналу 6, соответствующему входному сигналу 2 видеоизображения. В примере Фиг. 1 исходный входной сигнал 2 видеоизображения объединяется с сигналом 3 представления субтитров и/или сигналом 4 меню (например, меню VPS, используемое для управления работой, такое как, например, меню из которого можно выбрать исходное видео, или изменить громкость звука, или меню диска BD, показывающее доступные опции в отношении того, каким образом воспроизводить диск, и т.д.). VPS содержит кодер 7 для кодирования объединенного видеосигнала 6. Для кодера 7, через сигнал информации объединения MIS, информация объединения предоставляется средством 5 объединения об объединении (например, является ли пиксель видео или наложением и, в какой степени) для пикселей. Информация объединения предоставляет информацию о свойстве объединения, которое указывает свойство добавления одного или более сигналов 3, 4 наложения к входному сигналу 2 видеоизображения для этого пикселя. Свойство объединения может в частности указывать источник пикселя в объединенном видеосигнале 6 (т.е., из каких сигналов составлен пиксель в объединенном видеосигнале) и/или величину объединения сигналов. Информация объединения может, например, указывать тот факт, что сигналы объединяются, например, «данный пиксель является видео плюс субтитры» и/или быть данными прозрачности для разных компонентов объединяемых сигналов, например, она может быть указанием того, что объединяемые субтитры имеют прозрачность, скажем, 50% или 25%.

Фиг. 1 показывает два возможных типа наложений, добавляющее субтитры 3 и/или меню 4, объединяемые с видео в средстве 5 объединения. Конечно могут быть использованы другие типы наложения в вариантах осуществления, такие как, например, PIP (картинка в картинке), логотип, или рекламные наложения, и т.д. Такие наложения могут дополнительно или в качестве альтернативы быть объединены с видео в средстве 5 объединения. Специалисту в соответствующей области техники будет понятно, что варианты осуществления описываемых способов/устройств могут быть использованы в разнообразных сценариях, где присутствует только один простой вид особых пикселей, например, простые субтитры только небольшого количества возможных непрозрачных цветов, или могут быть использованы в более сложных системах, где разнообразные типы смеси графики или видео могут присутствовать в одно и то же время. В таких примерах, разные типы могут, например, отличаться посредством описываемых здесь ниже характеризующих ситуацию условий.

После операции объединения, отдельные пиксели могут во многих вариантах осуществления быть одного из нескольких типов объединения. Например, он может быть чистого типа, который содержит вклады только от одного источника, например, он может быть чистым видео или чистым наложением (при этом также может быть важен тип наложения, т.е. разные типы наложения могут приводить к разным типам объединения). Индивидуальные пиксели могут в качестве альтернативы быть смешанного или объединенного типа, при этом пиксель создан из вкладов более чем одного источника, например 50% видео и 50% субтитров. Весовой коэффициент может, например, быть определен посредством прозрачности субтитров, которые объединяются с видео.

Фиг. 2 иллюстрирует кодирование, которое выполняется посредством кодера 7. Кодеру 7 предоставляется информация Aʹ объединения через сигнал MIS, где информация объединения указывает свойство объединения, которое отражает свойство объединения в средстве 5 объединения. Кодер генерирует значение A для (как правило) каждого пикселя, указывающее, для заданного пикселя в объединенном видеосигнале, свойство объединения, указывающее свойство объединения одного или более сигналов 3, 4 наложения с входным сигналом 2 видеоизображения для пикселя. Значение A для пикселя может в частности указывать тип объединения и/или один или более параметры объединения для пикселя, как определяется из принятой информации Aʹ.

В некоторых вариантах осуществления, средство 5 объединения может непосредственно предоставлять значение A кодеру 7 в случае Aʹ=A. В других вариантах осуществления, кодер 7 может генерировать отличное значение A, чтобы кодировать из принятого значения Aʹ.

В конкретном несложном примере Фиг. 2, каждый пиксель объединенного изображения указывается как являющийся либо видео, либо субтитрами или меню. Таким образом, каждый пиксель указывается как являющийся одним из двух возможных типов объединения.

Кодер 7 заполняет один (или более) наименее значимый бит одного из компонентов сигналов HDR значением A, которое он сгенерировал на основе информации, предоставленной средством объединения или которую он принял непосредственного от средства 5 объединения.

В примере Фиг. 2, объединенный видеосигнал 6 является видеосигналом трех компонентов цвета и кодируется таким образом. В частности, он использует три компонента цвета R, G и B, которые в конкретном примере указываются как каждый имеющий 12 битов, т.е. каждое значение компонента цвета представляется посредством 12 битов. На Фиг. 2, заполнение в частности изображается как выполняемое в отдельном кодере 7, однако специалисту в соответствующей области техники будет понятно, что это может быть выполнено посредством других функциональных блоков, и что в частности кодер может формировать часть средства 5 объединения, который в некоторых вариантах осуществления выполняет одновременно две функции.

В примере, каждый пиксель может быть только либо видео, либо он может быть субтитрами или меню, так что в качестве значения A достаточным является использование простого бинарного представления 0 или 1, где 0 может обозначать, что пиксель является чистым (неизмененным) видео, а 1 обозначать, что пиксель представляет собой субтитры или меню (или, например, что он представляет собой любой специальный графический объект). Это может быть представлено посредством одного бита и, следовательно, для этого пикселя значение может быть предоставлено в одном из LSB. В примере, используется канал синего цвета, так как зрение человека менее чувствительно к той информации, и, вследствие этого, сокращается воспринимаемое влияние от внесения небольшой ошибки в LSB. В других вариантах осуществления, могут быть использованы другие каналы цвета. Например, применительно к YUV кодированию, мы можем, например, использовать один из компонентов U или V с необходимыми изменениями.

Во многих вариантах осуществления, таких как тот, что иллюстрируется на Фиг. 2, существует альтернативный маршрут для определения информации об объединении и в частности для нахождения значения A. Вместо того, что средство 5 объединения непосредственно предоставляет сигнал MIS с информацией Aʹ объединения кодеру 7, может быть использован компаратор для сравнения одного или более из сигналов 2, 3 и/или 4 перед объединением с помощью объединенного сигнала 6. Таким образом, свойство объединения может быть определено в ответ на сравнение объединенного видеосигнала 6 с одним или более из входных сигналов средства 7 объединения. Например, если для пикселя, входной сигнал 2 видеоизображения сравнивается с объединенным видеосигналом 6 и два сигнала обнаруживаются как один и тот же, тогда можно предположить, что упомянутый пиксель является чистым видео и не имело место объединение входного сигнала изображения с наложением. Значение A для упомянутого пикселя затем может быть установлено, например, в 0, указывающий то, что «пиксель является чистым видео». Если входной видеосигнал 2 и объединенный видеосигнал 6 отличаются, тогда имело место объединение. Значение для A для упомянутого пикселя затем может быть установлено, например, в 1, указывая то, что «пиксель является смешанного типа». Такая схема сравнения предоставляет информацию об объединении, которая не исходит от средства 5 объединения непосредственно, а посредством сравнения сигналов до и после объединения. Такое сравнение может быть выполнено в компараторе, который может быть частью или связан со средством 5 объединения или кодером 6. Могут быть выполнены более сложные сравнения. Конечно также может быть использована любая комбинация этих двух возможностей. Например, средство 5 объединения может в сигнале MIS предоставлять грубое указание (например, указывающее, представляет ли пиксель чистое видео (т.е., входной сигнал 2 видеоизображения без какого-либо вклада со стороны наложения) или нет) и если указание показывает «не чистое видео», тогда выполняется сравнение между одним или более входящими сигналами и объединенным сигналом, чтобы определить больше подробностей об объединении. Определенная информация объединения затем кодируется на попиксельной основе в одном или более LSB.

В некотором более сложном варианте осуществления, тип наложения также может быть закодирован, например, может быть закодировано, является ли наложение субтитрами или меню. В таком случае, возможны более двух типов объединения и более чем один LSB используется для кодирования типа объединения. Таким образом, в таком примере, значение A может принимать более двух значений и, соответственно, оно представляется более чем единственным битом, и, следовательно, сообщается во множестве LSB. Фиг. 3 иллюстрирует такой пример, где в каждом компоненте цвета, используется наименее значимый бит. Это предоставляет три информационных бита, которые могут сигнализировать максимально восемь типов объединения (например, восемь типов наложения, при этом один, указывающий что наложение отсутствует) (2 в степени 3, так как в данном лишь объясняющем примере мы используем наименее значимый бит из каждого канала для кодирования ситуации). Специалисту в соответствующей области техники будет понятно из данного, каким образом мы может использовать N битов из первого компонента цвета, M из второго, и O из третьего, в соответствии с тем, что технически предпочтительно для системы, при условии требуемого качества видео и вида графики с одной стороны, и требуемой величины кодификации ситуации для типичного приемника функциональности преобразования цвета (и реконструкции ситуации) с другой. Таким образом, точное количество LSB, используемых в разных каналах цвета, будет зависеть от предпочтений и требований индивидуальных вариантов осуществления.

Фиг. с 4 по 6 показывают дополнительные варианты осуществления обработки видео, управление которой осуществляется применительно к входному потоку информации видео.

Фиг. 4 показывает вариант осуществления только с данными видео LDR, представляющими предоставляемое изображение HDR. В данном примере, данные 43 изображения LDR упорядочены для непосредственного показа на дисплее LDR. Например, источник данных изображения может оптимизировать динамический диапазон для, скажем, 100нт дисплея, и, следовательно, если изображение представляется на дисплее LDR (с максимальной яркостью 100нт), его рендеринг может быть осуществлен непосредственного без какой-либо адаптации динамического диапазона или дополнительного упорядочения цвета. Тем не менее, данные изображения LDR по-прежнему обеспечивают представление изображения HDR, поскольку данные обеспечивают непосредственное генерирование исходного изображения HDR посредством применения отображения динамического диапазона. Таким образом, зная отображение динамического диапазона, сторона приема может повторно сгенерировать исходное изображение HDR.

В частности, на стороне передачи или источника, изображение HDR может быть подвергнуто упорядочению цвета (в частности яркости), чтобы сгенерировать выходное изображение пригодное или оптимизированное для представления на дисплее LDR. Данное упорядочение может предоставлять отображение динамического диапазона или функцию, которая, в частности, может быть однородной взаимно-однозначной (обратимой) функцией, например, непосредственно связывающей входную яркость с выходной яркость. В результате, генерируется выходное изображение, которое может быть представлено непосредственно на дисплее LDR. Тем не менее, данные изображения LDR по-прежнему представляют собой изображение HDR, и в частности обеспечивают представление изображения HDR, из которого исходный HDR может быть сгенерирован посредством применения обратного отображения динамического диапазона или функции. Таким образом, даже если изображение представлено посредством данных изображения, которые обеспечивают непосредственное представление на дисплее LDR, оно по-прежнему обеспечивает представление изображения HDR (например, оно может быть рассмотрено в качестве особого кодирования изображения HDR). Таким образом, в противоположность традиционным подходам, где рассматриваются только изображения LDR и при этом принятые данные изображения LDR извлекаются из (и представляют собой) изображения LDR, данные изображения LDR примера фактически являются (LDR) представлением изображения HDR. Таким образом, в примере, принятые данные изображения LDR связаны с или ассоциированы с исходным изображением HDR. В частности, в примере, изображения HDR для дисплеев HDR могут быть получены посредством усиления изображения LDR, чтобы обеспечивать представления HDR.

Система обработки видео на Фиг. 4 будет в нижеследующем рассмотрена в качестве проигрывателя 41 BD (Диск Blu-ray), но следует иметь в виду, что она может быть другими устройствами в других вариантах осуществления. Проигрыватель 41 BD принимает входной поток видеоинформации, например, поток 42 данных BD. Поток содержит как данные 43 видео LDR, так и данные 44 графики для генерирования графики (или в качестве альтернативы или в дополнение данные графики могут исходить из другого места, например, это может быть графика, генерируемая в самом проигрывателе, или принимаемая через сетевое соединение, такое как интернет, и т.д.).

Данные 43 видео LDR (представляющие изображение HDR) обрабатываются в LDR-декодере 45 LDR-dec, предоставляющем декодированный сигнал 46 (например, линейные RGB цвета из расчета на пиксель, получаемые из DCT преобразованных данных в соответствии с MPEG или сходным стандартом кодирования видео, который был использован для хранения). Данные 44 графики обрабатываются в декодере 47 графики GR-dec и составляют наложение 48, которое используется в процессоре 49 наложения OVR, чтобы осуществлять наложение видеосигнала, чтобы генерировать сигнал 50 дисплея объединенного изображения, например, сигнал HDMI, т.е., сигнал, который должен быть отправлен через интерфейс HDMI (или любую другую систему связи видеосигнала). Данный процессор наложения объединяет видео с одним или более наложениями, такими как субтитры или меню и, вследствие этого, также именуется средством объединения в рамках структуры изобретения. OVR реагирует, например, на сигнал, отправленный посредством пульта дистанционного управления, с помощью которого зритель может выбирать, например, использовать или нет субтитры и если да, на каком языке, и или запускать меню, и т.д. Сигнал 50 HDMI является объединенным сигналом, который должен быть принят устройством отображения и который приводит к изображению, демонстрируемому на дисплее устройства отображения, при этом изображение, демонстрируемое на дисплее, может иметь части субтитров и/или меню. В кодере 51 один или более из наименее значимых битов объединенного сигнала заполняется информацией объединения, такой как в частности информация о том, представляют ли и/или в какой степени индивидуальные пиксели видео или наложение. Информация в соответствующем LSB может быть считана на стороне декодера и, следовательно, информирует декодер о, например, типе объединения объединенного пикселя, (например, какими являются составляющие пиксел, т.е., какие сигналы были объединены, или были ли сигналы действительно объединены), и/или, например, параметрах объединения (например, указывая коэффициент объединения между объединяемыми сигналами). Другими словами, информация в LSB может быть значениями, указывающими, что было объединено, (например, информацию о типе объединения, и/или каким образом были объединены входные сигналы (например, величина объединения для, например, пикселей, которые были смешаны или пикселей объединенного типа). Как объяснялось выше, такая информация может быть основана на информации, предоставляемой средством 40 объединения и/или посредством сравнения сигналов до и после объединения.

Фиг. 5 показывает пример обработки видео, управление которой осуществляется посредством данных управления обработки графики и режима дисплея для входного потока видеоинформации, который включает в себя данные видео как LDR, так и HDR. Система сходна с той, что на Фиг. 4. Тем не менее, дополнительная особенность состоит в том, что поток 42 данных BD обладает как данными 43 видео LDR, направленными на непосредственное представление на дисплее LDR, так и данными 52 видео HDR, представляющими дополнительные данные HDR. Данные 52 видео HDR могут, например, предоставлять информацию по отображению, которое используется, чтобы генерировать данные изображения LDR из исходного изображения HDR, например, посредством непосредственного предоставления функции отображения динамического диапазона или обратного отображения динамического диапазона. В других вариантах осуществления, данные HDR могут непосредственно предоставлять полное или частичное представление HDR у исходного изображения HDR (или отличное представление HDR у исходного изображения HDR (например, которое относится к отличному максимальному уровню яркости). Конечно, в некоторых вариантах осуществления, входной сигнал 2 видеоизображения может рассматриваться как сигнал видеоизображения HDR в силу данных изображения HDR, причем данные изображения LDR не являются потенциальным представлением изображения HDR.

Данные 52 видео HDR могут в некоторых вариантах осуществления, в частности, определять, например, только функции отображения цвета, чтобы преобразовывать представление LDR на диске в представление HDR. Тем не менее, в других вариантах осуществления, данные могут быть непосредственно изображениями HDR в системе кодирования двойного изображения, или частями изображений (например, предоставленными только для областей с высокой яркостью у изображений LDR, и т.д.). Система обработки видео включает в себя HDR декодер 54 HDR-dec для декодирования сигнала HDR. В некоторых вариантах осуществления, любой или оба из декодеров могут быть использованы, например, в зависимости от того, должно ли изображение LDR или HDR отправляться через интерфейс HDMI. В качестве альтернативы, в некоторых вариантах осуществления или сценариях, сигнал может содержать только сигнал HDR.

На Фиг. как 4, так и 5, данные графики (информация о наложениях) являются частью входящего сигнала. Следует иметь в виду, что во многих вариантах осуществления возможно, что данные графики генерируются в VPS. В системе, видеосигнал и одно или более наложения объединяются и это не ограничивается данными графики или наложениями предоставленными в любой конкретной форме или от любого конкретного источника. Объединение обеспечивается для сигнала, при этом видео и одно или более наложения объединяются, тем самым предоставляя для, по меньшей мере, некоторых пикселей объединенное значение пикселя.

Объединенные значения пикселя сами по себе не предоставляют непосредственно информацию о том, что было объединено и каким образом было выполнено объединение (т.е., величину объединения для каждого пикселя).

В некоторых вариантах осуществления, объединение может быть объединением выбора для каждого пикселя. Таким образом, применительно к каждому пикселю, значение пикселя одного из входных сигналов, т.е., либо входных данных видео, либо одного из наложений, выбирается для каждого пикселя. Например, применительно к области субтитров, средство объединения может выбирать выходные значения пикселя в качестве значений пикселя входных данных наложения субтитров. Тем не менее, вне области субтитров, средство объединения может выбирать значения пикселя входного видеоизображения. Таким образом, генерируется объединенное изображение, содержащее значения пикселя наложения субтитров в областях субтитров и значения пикселя изображения в оставшихся частях изображения. В других вариантах осуществления, значения пикселя могут, например, быть сгенерированы посредством комбинирования значений пикселя из входного изображения и одного или более наложений. Например, взвешенное суммирование может быть выполнено между значениями пикселя входного изображения и значениями пикселя для наложения субтитров. Весовой коэффициент для значений пикселя наложения субтитров может, например, отражать уровень прозрачности субтитров.

Следует иметь в виду, что не требуется, чтобы информация о наложении предоставлялась в качестве полного или частичного изображения, содержащего набор значений пикселя, а может быть предоставлена в любой приемлемой форме, такой как, например, в качестве набора букв, из которого значения пикселей могут быть определены на основании хранящегося графического представления каждой буквы.

При взгляде на выходе, традиционные устройства, обеспечивающие объединение наложения и видео, являются устройствами черного ящика, которые обеспечивают вывод, но что произошло внутри устройства, не может быть установлено из выходных данных. Тем не менее, в описываемых примерах, один или более наименее значимых битов занимаются информацией касательно объединения, которое было выполнено, и, следовательно, предоставляют вариант с низкой сложностью предоставления понимания процесса, который был выполнен в средстве объединения. Другими словами, с точки зрения декодера, устройство/средство объединения более не представляет черный ящик, а наоборот обеспечивается понимание операции объединения.

Это позволяет стороне декодера выполнять адаптации, которые больше настроены на фактические характеристики объединения объединенного сигнала, т.е., что было объединено и/или каким образом, на попиксельной основе. В частности, это позволяет декодеру выполнять адаптацию динамического диапазона, которая может быть оптимизирована для отельных характеристик, и, в частности, природы индивидуальных объектов изображения.

Фиг. 6 показывает другой примерный вариант осуществления. Пример соответствует тому, что описано со ссылкой на Фиг. 4 и 5, но с дальнейшей дополнительной особенностью в том, что сигнал 42 BD также содержит информацию 55 для дисплея HDR о том, каким образом динамически адаптировать сигнал 50. Таким образом, может быть включена конкретная информация об адаптации динамического диапазона. Данная информация может, например, быть в форме метаданных, предоставленных с видеосигналом, где метаданные могут кодировать, например, функции усиления яркости для изменения яркостей цветов пикселя в, например, изображении LDR. В качестве другого примера, она может кодировать отображение динамического диапазона, которое осуществляет отображение из изображения HDR в изображение LDR. Такой подход может быть пригоден для сценария, где изображения HDMI являются изображениями HDR и может обеспечивать представление сигнала на дисплее LDR посредством данного отображения изображения HDMI с пригодным представление LDR. Система обработки видео затем может пропускать данную информацию к дисплею.

Фиг. 7 иллюстрирует еще один дополнительный примерный вариант осуществления. В данном примере система 41 обработки видео дополнительно генерирует сигнал 56, который содержит информацию о том, какие наименее значимые биты используются, и какой вид информации может быть получен из этих битов. Таким образом, в примере, предоставляются данные, которые описывают, каким образом информация объединения кодируется в объединенном видеосигнале.

Преимущественным может быть сообщать, например, в начале видео (например, фильма, рекламы, видео YouTube, и т.д.), какая система кодирования используется для предоставления информации объединения. Также, например, три LSB затем могут быть использованы в разнообразных сценариях, чтобы кодировать разные аспекты (например, если используются только простые субтитры, может быть сообщена простая схема смешивания, указывающая, являются ли индивидуальные пиксели пикселями субтитров или изображения. Если, например, используется сложная графика в прямоугольнике меню, кодирование возможно может отражать свойства фона меню, и т.д.). Специалист в соответствующей области техники будет понимать, что могут быть использованы динамические схемы. Например, в начале фильма может быть сообщена схема кодификации/кодирования для меню диска BD, но если пользователь во время фильма осуществляет доступ к меню устройства, может быть сообщена отличная схема кодификации/кодирования, которая более подходит для меню устройства. В течение заданного времени (или, например, до тех пор, пока не предоставляется другая информация) может быть использована данная новая схема кодирования. Сигнал 56 также может предоставлять информацию смены, например, в некотором собственном видео, «1» в наименее значимом бите может означать «непрозрачные субтитры», но в начале упомянутого видеосигнала (или, например, в середине видео) сигнал 56 может указывать, что указание «тип объединения-1» означает нечто еще, для того видео, или с той точки в видео это может означать, например, прозрачную смесь, или фон прямоугольника графики или т.п. Вкратце, сигнал 56 может предоставлять информацию о том, какие биты используются для предоставления информации объединения и/или о том, каким образом биты используются для предоставления данной информации объединения. Это в частности может предоставлять информацию о том, каким образом информация может меняться во времени, например, от сцены к сцене, или от видео к видео.

Теперь будет описан конкретный пример использования наложений.

В данном примере, меню, которое должно быть добавлено к изображению, является частично прозрачным так, что изображение может быть частично видно через меню (изображение «просвечивается» через меню). В соответствии с некоторыми вариантам осуществления, поддерживающими такое меню, кодер 7 может кодировать значение A, представляющее собой прозрачность меню или смесь меню и видео в некотором количестве LSB, и в конкретном примере в трех LSB. Величина объединения из расчета на пиксель тогда может быть указана в Значении A, кодируемом в трех LSB.

Примером, в котором используются 3 бита, является, например:

Видео графика

000 100% 0%

001 75% 25%

010 50% 50%

011 25% 75%

100 0% 100%

101 зарезервировано

110 зарезервировано

111 зарезервировано

где понятие «графика» относится к наложению, например, субтитрам, меню, и т.д.

Это пример варианта осуществления, где только LSB используются, чтобы указывать параметры объединения, указывающие степень или уровень объединения с помощью, в частности, битовых значений от 000 до 100, отражающих величину смешивания видео и наложения.

В примерах описываемых до сих пор упоминались компоненты цвета R, G и B.

Тем не менее, видеоинформация также может быть в других форматах, таких как, например, YUV формате, или RGBE формате, или форматах где используются слои или где используется четыре цвета, и т.д. В разных форматах, для компонентов обеспечивается цифровое представление значений, при этом значения выражаются в количестве битов, и применительно к HDR количество битов, как правило, относительно большое (как правило 12 или более). Таким образом, бинарные представления значений включают в себя некоторое количество битов, из которых наименее значимый бит(ы) именуются LSB(s).

Во многих вариантах осуществления, LSB, которые обладают наименьшим видимым эффектом, используются для кодирования информации объединения. Как упомянуто ранее, кодирование во многих вариантах осуществления может указывать не только, присутствует или нет наложение, но также каков тип наложения и/или, например, прозрачность наложения.

То, кике из LSB используются для кодирования, может быть предварительно определено и может, например, быть стандартом. В таком случае декодер будет знать, каким образом закодированы данные объединения, и не требуется добавление дополнительной информации в видеосигнал. В некоторых вариантах осуществления, может присутствовать более чем один возможный способ кодирования информации объединения в LSB и проигрыватель BD/VPS может добавлять информацию в применяемое кодирование. Например, могут быть включены метаданные или флаг, уточняющие, какие LSB используются для кодирования какой информации.

На стороне декодирования данная информация затем может быть считана и соответствующим образом могут быть декодированы соответствующие LSB.

Если присутствует некоторое количество способов кодирования, например, от простых к сложным, и кодер имеет возможность динамического переключения способов, например, от пикселя к пикселю, от кадра к кадру, или от сцены к сцене, чтобы получать наилучший возможный результат, то тип использованного способа может, например, динамически указываться в качестве значения в одном или более LSB, в качестве метаданных или флага. Одной опцией будет использование LSB пикселей, например, слева от верхней строки видео. Воспринимаемое влияние этого вероятно будет приемлемым и конечно во многих вариантах осуществления будет незначительным.

Фиг. 8 иллюстрирует пример того, каким образом декодер или драйвер видеодисплея известного уровня техники может обрабатывать объединенный видеосигнал. Объединенный видеосигнал может быть традиционным объединенным видеосигналом или может быть объединенным видеосигналом, предоставленным посредством системы обработки видео как описано ранее. Таким образом, он может быть ранее описанным объединенным видеосигналом 6, который содержит информацию объединения в LSB. В процессоре декодера видео известного уровня техники на Фиг. 8, данная информация о свойствах объединения будет просто игнорироваться. Пример также иллюстрирует, что существует обратная совместимость применительно к описываемому подходу.

В примере, объединенное изображение 6 должно демонстрироваться на дисплее HDR и кодер видео включает в себя адаптацию динамического диапазона, чтобы модифицировать динамический диапазон, чтобы он был пригоден для дисплея HDR. Тем не менее, в примере, декодер в дисплее не обладает функциональностью для считывания LSB и он не может генерировать никакой информации объединения или в частности значение A. Это может привести к следующему сценарию.

Изображение HDR является изображением, которое кодирует текстуры сцены HDR (которая, как правило, может содержать как очень яркие, так и темные области) с помощью достаточной информации для высококачественного кодирования текстур цвета разнообразных захватываемых объектов в сцене, так что рендеринг с визуально хорошим качеством сцены HDR может быть осуществлен на дисплее HDR с высокой пиковой яркостью, подобной, например, 5000нт. Типичное изображение HDR содержит ярко окрашенные части или части сильно высвеченные в сравнении со средним освещением. В особенности для ночных сцен HDR становится все более важным. Дисплей, принимающий сигнал HDR, пытается улучшить видеосигнал, чтобы он совпадал с его собственными характеристиками, включая, например, уровень пиковой яркости. Чтобы сделать это, выполняется адаптация динамического диапазона. Например, если DR дисплея несколько ниже, чем у кодированных изображений HDR (т.е., соответствующего опорного DR дисплея, который является оптимальным для рендеринга изображений) обработка может нелинейным образом ухудшать яркости, например, главным образом понижать яркости наиболее ярких объектов, при этом оставляя постоянными более темные объекты, и наоборот, если дисплей ярче (например, 5000нт изображение должно быть оптимизировано для дисплея с пиковой яркостью 10000нт). Специалист в соответствующей области техники будет понимать, что сходным образом, например, изображение HDR для 3000нт дисплея может быть вычислено из упорядоченного для 100нт входного изображения в качестве начального изображения.

Если приемник/дисплей не обладает знанием о характеристиках видеосигнала и/или упорядочении, которое было выполнено, результирующая картинка может не соответствовать художественному замыслу или может просто выглядеть плохо. Вследствие этого, предпочтительно параметры/инструкции адаптации динамического диапазона, такие как, например, через сигнал 55, как показано на Фиг. 7, могут быть и предпочтительно включаются в видео или переправляются иным образом к дисплею, чтобы предоставить информацию обработки для оптимизации качества изображения применительно к уровню пиковой яркости и другим характеристикам дисплея, на котором демонстрируется сигнал. Параметры/инструкции адаптации динамического диапазона могут быть статичными, т.е., действующими для всей программы, или динамическими, т.е., меняются от кадра к кадру или (как правило) от сцены к сцене. Параметры адаптации могут работать на всю зону картинки или могут быть ограничены некоторыми зонами картинки.

Каким бы способом не выполнялась адаптация динамического диапазона, в способах и системах известного уровня техники адаптация динамического диапазона выполняется по каждому пикселю единообразно, т.е., игнорируя то, что некоторые пиксели являются другого типа, подобно смеси с графикой. Тогда адаптация будет действенной только для одного типа пикселя, а именно, как правило, только пикселей видео.

На Фиг. 8 данный эффект имитируется посредством утолщения линий и текста.

Конечно, это не является близким к реальному представлению, но подразумевается в качестве иллюстрации. Изображение 6 подвергается адаптации динамического диапазона DRA в адаптере 71 динамического диапазона для предоставления адаптированного изображения 6a, и адаптированное изображение 6a показывается на дисплее устройства отображения HDR. Сама по себе демонстрация на дисплее адаптированного изображения не является проблемой, данные представлены в форме стандартных данных и могут быть адаптированы и затем показаны на дисплее. На Фиг. 8 один или более из LSB компонентов сигнала заполнены информацией о наложениях. Примерный декодер на Фиг. 8, тем не менее, предполагаемый в качестве стандартного декодера, не может считывать упомянутую информацию.

В примере Фиг. 8, принятые видеоданные используются непосредственно без учета информации объединения, содержащейся в LSB (или в действительности без того, что декодер видео обладает какими-либо знаниями о том, что данная информация закодирована в LSB). Наименее значимые биты, как правило, не имеют или имеют небольшую значимость, поэтому дисплей будет обеспечивать «нормальное изображение», когда это визуализируется. Другими словами, посредством использования LSB для сообщения информации, ухудшение или ошибка, происходящая из-за включения объединения, вероятно будет незначительной во многих вариантах осуществления и сценариях.

Например, когда RGB 444 используется по интерфейсу HDMI с 14 битами из расчета на компонент и с разрешением видео у компонента цвета в 12 битов, как правило, присутствует шесть «избыточных» битов (3×2) или неиспользуемых битов для каждого пикселя. Таким образом шесть (а именно 14-12=2 бита из расчета на компонент умноженные на три компонента) битов суммарно доступно для сигнала информации объединения без внесения этим какой-либо ошибки или не оказывая какого-либо влияния на кодируемые значения пикселя. Вкратце, способ кодирования информации объединения может во многих вариантах осуществления быть достигнут при сохранении системы, которая является обратно совместимой. Если в интерфейсе доступно больше битов, чем требуется для исходного видео, внесение данных свойства объединения может быть достигнуто без какого-либо отрицательного эффекта, так как в противном случае могут быть использованы неиспользуемые биты. Это может обеспечить обратную совместимость, при этом позволяя новому декодеру использовать дополнительную информацию объединения, чтобы, например, улучшать рендеринг, например, субтитров (как будет описано позже).

Как описано, наложение (в частности субтитры и/или меню) будут в подходе известного уровня техники на Фиг. 9 подвергнуты одной и той же адаптации динамического диапазона DRA как и само видеоизображение. Таким образом, все части обрабатываются одинаково. Нет другого способа сделать это в известных способах и устройствах. На Фиг. 8, это указывается посредством того, что все линии и текст равномерно утолщены.

Тем не менее, субтитры могут из-за адаптации динамического диапазона отличаться от типа субтитров, к которым привыкли зрители. На практике, субтитры имеют тенденцию часто становиться слишком яркими и/или могут начинать колебаться по яркости при обработке в системе на Фиг. 8.

Фиг. 9 иллюстрирует пример устройства для обработки объединенного видеосигнала в соответствии с некоторыми вариантами осуществления изобретения. Устройство может, в частности, быть драйвером дисплея, декодером видео, или несомненно дисплеем. В нижеследующем, устройство будет описано в качестве декодера видео, но следует иметь в виду, что устройство не ограничивается только декодированием принятого потока изображения. Наоборот, устройство также может выполнять адаптацию динамического диапазона, которая может, в частности, обеспечивать адаптацию из входного диапазона яркости в выходной диапазон яркости. В частности, адаптация динамического диапазона может адаптировать изображение из динамического диапазона, соответствующего, первой максимальной яркости или уровня белого (например, заданного в нитах), в динамический диапазон, соответствующий второй максимальной яркости или уровню белого (например, заданного в нитах).

Адаптация динамического диапазона может, например, быть из данных изображения, относящихся к динамическому диапазону LDR, в данные изображения, относящиеся к динамическому диапазону HDR. Таким образом, адаптация динамического диапазона может быть из диапазона LDR в диапазон HDR. В других вариантах осуществления, адаптация динамического диапазона может быть из диапазона HDR в диапазон LDR. В еще других вариантах осуществления, адаптация динамического диапазона может быть, например, из диапазона HDR в другой диапазон HDR. В еще других вариантах осуществления, адаптация динамического диапазона может быть, например, из диапазона LDR в другой диапазон LDR.

В примере, объединенный видеосигнал 6 предоставляется посредством системы обработки видео, как описывается ранее. Таким образом, объединенный видеосигнал 6 содержит информацию объединения в LSB одного или более компонентов цвета для, по меньшей мере, некоторых пикселей. Таким образом, вход принимает объединенный видеосигнал HDR. Как описано ранее, видеосигнал является видеосигналом HDR в том, что он обеспечивает представление лежащего в основе изображения/ видеопоследовательности HDR. Тем не менее, фактические видеоданные могут относиться к динамическому диапазону LDR и могут, в частности, быть изображением LDR, сгенерированным посредством отображения или упорядочения цвета из изображения HDR. Тем не менее, посредством применения обратного отображения, может быть сгенерировано исходное изображение HDR и, следовательно, принятый видеосигнал является, по сути, представлением изображения/видео HDR.

Система дополнительно содержит считывающее средство 72, которое выполнено с возможностью считывания, по меньшей мере, одного или более наименее значимых битов для одного или более компонентов цвета видеосигнала для заданного пикселя. Считывающее средство 72 затем выполнено с возможностью генерирования одного или более значений A из считанных наименее значимых битов, где одно или более значений A указывают свойство объединения для заданного пикселя. Свойство объединения указывает свойство объединения в видеосигнале HDR одного или более сигналов 3, 4 наложения с сигналом 2 видеоизображения для пикселя. В частности, значение A для заданного пикселя указывает операцию объединения, выполняемую средством объединения в кодере для этого пикселя.

Считывающее средство 72 связано с адаптером 71, который выполнен с возможностью адаптации видео и, в частности, выполнен с возможностью выполнения адаптации динамического диапазона над изображениями видеосигнала. Кроме того, адаптер 71 выполнен с возможностью адаптации значений пикселя в зависимости от сгенерированного значения или значений (A). Таким образом, адаптер 71 принимает значения пикселя, которые относятся к заданному входному динамическому диапазону (например, диапазону LDR, скажем, в 100нт), и генерирует новые значения пикселя, которые относятся к другому выходному динамическому диапазону (например, диапазону LDR, скажем, в 1000нт). Тем не менее, адаптер 71 не применяет одно и то же отображение или функцию динамического диапазона к всем пикселям, а вместо этого модифицирует отображение /функцию динамического диапазона в зависимости от принятых свойств объединения для пикселей. Например, отличное отображение может быть применено к пикселям чистого видео, чем то, что применяется к пикселям субтитров (как указывается посредством значений A).

Адаптер 71, таким образом, генерирует выходной сигнал, который относится к отличному динамическому диапазону, чем принятый объединенный видеосигнал 6. Данный сигнал затем может быть подан на дисплей, пригодный для рендеринга данного диапазона. Например, принятое изображение LDR может быть преобразовано в изображение HDR и осуществлен его рендеринг на дисплее HDR.

Тем не менее, благодаря адаптации, выполняемой в зависимости от объединения, выполненного на стороне декодера, может быть выполнена, по сути, улучшенная адаптация, которая приводит к отображению изображений, которые воспринимаются как с много более высоким качеством. Например, яркость субтитров может быть уменьшена до более пригодных значений, без включения рендеринга лежащего в основе изображения и/или может быть уменьшено мерцание графических элементов.

В примере Фиг. 9, адаптация динамического диапазона DRA, таким образом, выполняется зависимой от значения A. Значение A считывается в считывающем средстве 72 декодера и сигнал 73, указывающий данное значение A (либо непосредственно, либо после преобразования в другую форму), предоставляется адаптеру 71 динамического диапазона, который затем адаптирует значения пикселя в зависимости от данного значения A. Адаптеру 71 динамического диапазона может, в некоторых вариантах осуществления, предоставляться сигнал 55 (смотри Фиг. 7), тем самым предоставляя информацию о том, каким образом выполнять динамическую адаптацию, т.е., какие функции отображения яркости или цвета применять к входным значениям пикселя изображения, чтобы получать выходное изображение требуемого динамического диапазона. В качестве альтернативы, устройство (дисплей) может использовать свой собственный способ для выполнения адаптации динамического диапазона, т.е., адаптация динамического диапазона и зависимость от значения A может быть определена в устройстве без какой-либо конкретной информации адаптации, принимаемой от внешнего источника (за исключением значений A свойства объединения).

Устройству декодера Фиг. 9 может быть предоставлен сигнал 56, который включает в себя информацию о кодировании значений свойства объединения в компоненте цвета. В частности, сигнал 56 может предоставлять информацию о том, какие биты содержат, какую информацию. В конкретном примере, сигнал 56 может, например, включать в себя информацию, указывающую: «Наименее значимый бит синего компонента цвета используется, чтобы кодировать информацию свойства объединения с помощью «0», указывающего, что пиксель является пикселем видео, и «1», указывающей, что пиксель является пикселем наложения».

Адаптер 71 может быть выполнен с возможностью выполнения адаптации в ответ на эти значения. В частности, пиксели, которые имеют значение «1» в LSB синего компонента цвета, не подвергаются изменению динамического диапазона или, по меньшей мере, не подвергаются точно такой же адаптации динамического диапазона, как пиксели видео. Следовательно, для пикселей, указываемых посредством «1» в LSB канала синего, не усиливается их яркость (или, например, она усиливается по-другому). На Фиг. 9 это указывается посредством того, что те части изображения на экране, которые являются пикселями видео, т.е., пикселями со значением «0» в LSB синего компонента, имеют утолщенные линии, тогда как те части, у которых «1» в LSB синего компонента (в данном примере субтитры и меню), имеют более тонкие линии. Меню и субтитры тогда показываются не усиленным образом. Это может по существу улучшить воспринимаемое качество изображения во многих вариантах осуществления и сценариях.

В системе, считывающее средство 72 выполнено с возможностью генерирования информации из значений LSB компонентов цвета. Считывающее средство 72 таким образом считывает соответствующие LSB, возможно руководствуясь сигналом 56, указывающим считывающему средству 72, какие LSB считывать и/или каким образом их интерпретировать. Считывающее средство 72 затем генерирует одного или более значения A свойства объединения из упомянутых LSB. Эти значения используются в адаптере 71 для того, чтобы направлять или управлять адаптацией.

Описанные подходы могут обеспечивать улучшенную производительность и, в частности, улучшенное восприятие пользователя во многих сценариях. Подход может в частности обеспечивать улучшенный рендеринг комбинированного видео (содержащего как лежащие в основе изображения, так впрочем и наложение) на дисплеях, которые требуют выполнения адаптации динамического диапазона. Действительно, во многих вариантах осуществления, по существу, улучшенный рендеринг изображений на дисплее HDR может быть достигнут на основании входного видео, которое оптимизировано для дисплея LDR. Таким образом, улучшенная производительность может быть достигнута для многих вариантов осуществления, где адаптация динамического диапазона используется, чтобы увеличивать динамический диапазон. Сходным образом, во многих вариантах осуществления, по существу, улучшенный рендеринг изображений на дисплее LDR может быть достигнут на основании входного видео, которое оптимизировано для дисплея HDR. Таким образом, улучшенная производительность может быть достигнута для многих вариантов осуществления, где адаптация динамического диапазона используется для уменьшения динамического диапазона.

С увеличением распространенности дисплеев с варьирующимися динамическими диапазонами (и в частности с варьирующимися максимальными уровнями яркости), потребность адаптации динамического диапазона становится все более распространенной и необходимой (адаптация динамического диапазона часто именуется упорядочением цвета или отображением оттенков, где упорядочение цвета/отображение оттенков может в частности быть упорядочением яркости с изменением только яркостей). Тем не менее, адаптация среди разных динамических диапазонов и максимальных уровней яркости (белые пятна), по сути, очень сложная для достижения цель. Действительно, традиционно такая адаптация динамического диапазона выполнялась человеком вручную (или в некоторых случаях полуавтоматически), оптимизируя отдельные изображения для заданного белого пятна дисплея. Например, при преобразовании фильмов с пленки на телевизор, как правило, требуется сильное сокращение динамического диапазона, и, вследствие этого, как правило, выполнялось упорядочение цвета вручную в динамический диапазон LDR (например, при преобразовании фильма в DVD). Даже для специалистов в соответствующей области техники такая адаптация динамического диапазона является очень сложной и оптимизация занимает очень много времени. Кроме того, подход, по сути, обеспечивает лишь адаптацию динамического диапазона для одного, или по меньшей мере, очень небольшого числа, динамических диапазонов/белых пятен, при этом каждый отдельный динамический диапазон требует обособленного создания вручную.

По мере того, как по сути выросло многообразие динамических диапазонов, данный подход более невыполним или, по меньшей мере, нежелателен, как исходя из ресурсов, требуемых для выполнения такого упорядочения цвета, так и исходя из ресурсов, требуемых для распространения нескольких версий одного и того же контента. Соответственно, все больше и больше становится популярным локальное и автоматизированное упорядочение цвета, выполняемое в индивидуальных устройствах. Например, многие дисплеи содержат функциональность для выполнения автоматического упорядочения цвета/адаптации динамического диапазона, чтобы модифицировать принимаемый видеосигнал к конкретному динамическому диапазону/белой точке дисплея. Это в частности важно для дисплеев HDR, которые по причинам совместимости (включая обратную совместимость), как правило, включают в себя функциональность для адаптации входных сигналов с разными динамическими диапазонами к конкретному динамическому диапазону, соответствующему белому пятну дисплея. В частности, большая часть дисплеев HDR включают в себя функциональность отображения LDR в HDR.

Тем не менее, задача создания пригодных изображений для разных динамических диапазонов является очень сложной.

Для того, чтобы представлять изображения в пригодном формате для заданного динамического диапазона, частым является использование функции распределения кодов или функции электро-оптического переноса (EOTF). Такая функция распределения кодов или EOTF обеспечивает отображение между (цифровыми) значениями и соответствующей светоотдачей, т.е., функция распределения кодов для заданного изображения/диапазона обеспечивает отображение из значений линейной яркости HDR в пригодные квантованные коды люма (luma). Значения линейной яркости HDR часто представляются как, например, значения с плавающей точкой с относительно большим количеством битов на значение (например, 16 битов). В противоположность, квантованные коды люма, как правило, представляют собой значения люма посредством относительно небольшого количества битов (например, 8 битов), и часто в качестве целочисленных значений.

Следует отметить, разница между LDR и HDR не только лишь в размере динамического диапазона. Наоборот, относительное распределение интенсивностей в большинстве сцен также по существу разное для представлений LDR и HDR.

Действительно, изображения/видео HDR, как правило, имеет распределение интенсивности отличное от традиционных изображений/видео (LDR). В частности, отношение пиковой-к-средней яркости данных изображения с высоким-динамическим-диапазоном много выше. Вследствие этого, обычно применяемые кривые распределения кодов или EOTF, как правило, не оптимальны для данных HDR. Таким образом, если используется обычное отображение LDR из значений яркости HDR в кодируемые значения люма, как правило, происходит значительное ухудшение изображения. Например, большая часть контента изображения может быть представлена только небольшим числом значений кода, поскольку большое количество кодов резервируется для увеличенного диапазона яркости, который, тем не менее, как правило, используется для небольшого числа очень ярких объектов изображения.

Видео с динамическим диапазоном настоящего стандарта, предназначенное для демонстрации на опорном мониторе, например, с пиковой яркостью 100кд/м2, обычно кодируется в текущих стандартных диапазонах люма/яркости, которые указываются, используя их логарифмические кривые или функции распределения кодов/EOTF. Примерами этого являются кривые, используемые для логарифмических данных sRGB или ITU Rec. 709.

Изображение/видео HDR, как правило, имеет распределение яркости (например, когда определяется как яркость, рендеринг которой осуществляется дисплеем) отличное от изображений с динамическим диапазоном текущего стандарта. Например, в то время как текущее распределение видео контента, как правило, достигает максимума около 20% пиковой яркости (что означает, что коды люма хорошо рассеяны в окрестности половины, например, 255 значений), контент HDR может часто, как правило, достигать максимума в окрестности гораздо более низкого процента, например, 1% пиковой яркости (данные, по меньшей мере, более темных областей изображений HDR рассеяны около кода при 1/100^ой максимума кода). Таким образом, большая часть релевантного контента HDR будет содержаться только в небольшом количестве 8-битных или 10-битных уровней видео, когда он кодируется, используя логарифмические кривые текущего стандарта. Это приведет к неблагоприятным или неприемлемым артефактам квантования в изображении предварительного просмотра, тем самым не давая оператору цветокоррекции упорядочивать цвет/корректировать изображения HDR.

Соответственно, если обычные функции распределений кодов используются для изображений HDR, чтобы генерировать подходящие коды для существующих дисплеев с такими 8-битными или 10-битными входными форматами, это приведет к существенно сниженному качеству демонстрируемого изображения из-за того, что, например, большая часть интенсивностей, присутствующих в изображении, распределена по лишь небольшому числу входных уровней.

Функция распределения кодов, которая отображает линейные яркости света с тем, каким образом они должны быть видны при осуществлении рендеринга на дисплее в фактических технических кодах, или наоборот, тем не менее, обычно в значительной степени базировалась на моделях LDR (подобных гамме 2.2), но была оптимальной только для дисплеев LDR с пиковой яркостью около 100нт или кд/м2 (впредь будут использоваться оба понятия нит (нт) и кд/м2). Если такие подходы используются для дисплея HDR (например, с пиковой яркостью в 5000нт) мы рискуем увидеть артефакты, такие как полосатость в более темных частях видео (например, полосатость в темно-синем небе, в особенности применительно к постепенным исчезновениям).

Соответственно, для того, чтобы лучше поддерживать изображения HDR, должна быть использована пригодная кривая распределения кодов с тем, чтобы достаточное количество уровней квантования присваивалось наиболее важным данным видео.

Тем не менее, нахождение пригодной функции распределения кодов является не только важным, но также и сложным. Действительно, проблема при определении функций распределения кодов состоит в том, каким образом лучше всего отображать входные значения яркости и коды люма. Действительно, это важный вопрос поскольку выбранное отображение оказывает сильное влияние на получаемое качество (например, из-за ошибки квантования). Кроме того, влияние на качество изображения может зависеть от характеристик и свойств кодируемых/декодируемых изображений, как впрочем и оборудования, используемого для рендеринга изображений.

Конечно, самым простым подходом будет простое использование однородного квантования. Тем не менее, такой подход имеет тенденцию приводить к не оптимальной производительности во многих сценариях. Соответственно, были разработаны функции распределения кодов, при этом применялось неоднородное квантование. Это может в частности быть выполнено посредством применения нелинейной функции (функция отображения кода люма/ отображения оттенков) к входным значениям яркости, за которой следует линейное квантование. Тем не менее, как упоминалось, было обнаружено, что определенные функции во многих сценариях обеспечивают не оптимальный результат. Например, применение функции распределения кодов к изображениям HDR для того, чтобы, например, разрешить их обработку посредством схем LDR с относительно низким количеством битов на значение (как правило 8 битов), приводит к не оптимальному преобразованию изображения HDR и в частности в значениях изображения, сконцентрированных вокруг небольшого количества уровней квантования/кодов.

В каком-то смысле, адаптация динамического диапазона может рассматриваться как преобразование из одной функции распределения кодов, ассоциированной с одним динамическим диапазоном/максимальной яркостью, в другую функцию распределения кодов, ассоциированную с другим динамическим диапазоном/максимальной яркостью. Коды, представляющие собой изображение до и после адаптации динамического диапазона могут иметь одно и то же или разное количество битов.

Вопрос может быть проиллюстрирован посредством рассмотрения сценария для примерного изображения (смотри Фиг. 10), иллюстрирующего ночную сцену, содержащую темного монстра 1001, который прячется в тени рядом со средне освещенным домом 1003 с некоторым количеством ярких уличных фонарей 1005 спереди. Кроме того может присутствовать в среднем серый или тусклый автомобиль 1007.

Фиг. 10 иллюстрирует три представления данного изображения. С левой стороны показана фактическая яркость (в нитах) сцены в реальной жизни (как захватываемой камерой HDR, которая в примере может захватывать яркость вплоть до 5000нт, или, как правило, она может представлять 5000нт оригинальное упорядочение опорного диапазона HDR исходного захвата камеры). Захваченные данные, как правило, захватываются с высоким разрешением и, как правило, сокращаются до относительно низкого количества значений. В конкретном примере, 1024 кодов люма доступно для представления диапазона вплоть до 5000нт. Тем не менее, простое линейное отображение 5000нт с 1024 кодами люма непригодно, поскольку это приведет к очень небольшому числу значений, доступных для обеспечения различия в темных зонах, тогда как излишне большое количество кодов будет доступно для ярких зон. Это внесет артефакты, такие как полосатость в темных зонах, и т.д.

Вместо этого, используется нелинейная функция 1009 распределения кодов (EOTF), и в частности используется EOTF, определенная в стандарте SMPTE2084 (которая является функцией с формой логарифмической гаммы). Как результат, больше кодов распределяется темным зонам и меньшее число ярким зонам. Как иллюстрируется, это приводит к тому, что расстояние в значениях кода между монстром 1001 и автомобилем 1007 больше, чем разница между домом 1003 и автомобилем 1007 несмотря на то, что противоположное является истиной для яркости в реальной сцене (при измерении в нитах). Сходным образом, сокращается разность в кодах между ярким уличным фонарем 1005 и домом 1003. EOTF в SMPTE2084 (впредь именуемая SMPTE2084) была разработана для динамического диапазона (максимальной яркости) в 1000нт, и, следовательно, если изображение демонстрируется на 1000нт дисплее, EOTF 2084 может быть использована, чтобы непосредственно декодировать принятые значения люма.

Тем не менее, если дисплей имеет другой динамический диапазон, декодирование используя EOTF 2084 и непосредственное (линейное) масштабирование этого в динамический диапазон дисплея маловероятно обеспечит пригодные результаты. Наоборот, поскольку восприятие человека не является линейным в отношении уровней яркости, такой подход приведет к нежелательному результату. Например, для более высокого динамического диапазона (например, 5000нт), это приведет к тому, что рендеринг многих ярких (но не сверхъярких) объектов (таких как дом 1003), осуществляется как очень (сильно) ярких. Сходным образом, для более низкого динамического диапазона (например, 100нт), это приведет к тому, что рендеринг многих ярких (но не сверхъярких) объектов (таких как дом 1003), осуществляется как довольно (сильно) темных.

В некоторых сценариях, таким образом, также могут быть предоставлены данные (например, на Blu-ray Диске), которые относятся к EOTF, которая ассоциирована с другим динамическим диапазоном. Например, Фиг. 10 иллюстрирует альтернативную EOTF, которая является пригодной для кодирования изображения HDR, когда изображение LDR требуется для непосредственного рендеринга (а именно отображение между третьей и первой осью, т.е., комбинация двух последовательных отображений). Как может быть видно, еще более высокое количество кодов распределяется темным значениям с меньшим числом предоставляемым для ярких значений. Конкретный пример может, например, быть использован, чтобы обеспечивать SDR упорядоченный вид (т.е., пригодный для представления LDR), используя обычную гамма 2.2 EOTF. Такое представление может, например, быть использовано непосредственно унаследованным дисплеем LDR.

В некоторых системах, было предложено использовать адаптивную EOTF, т.е., EOTF может меняться во времени (между разными кадрами) и/или пространственным образом (между разными зонами изображения).

Таким образом, в некоторых сценариях, может быть использован пространственно дифференцированный подход, где более чем одна EOTF может быть предоставлена для изображения. Например, изображение может быть разделено на несколько областей (например, одна соответствующая темной области и одна соответствующая более яркой области изображения), и EOTF может быть предоставлена для каждой области. Это может позволить оптимизировать EOTF для разных характеристик разных частей изображения, и это может обеспечивать улучшенный рендеринг для некоторых изображений (таких как изображения, включающие в себя как очень темные, так и очень светлые области).

Например, для области, соответствующей темной зоне, которая включает в себя монстра 1001, может быть использована EOTF, которая имеет очень большое количество кодов, распределенных темным значениям. Это может локально увеличивать разрешение в темном диапазоне, тем самым обеспечивая улучшенную дифференциацию (например, позволяя видеть монстра несмотря на то, что все область темная). В тоже самое время, другая EOTF может быть предоставлена для области, которая была идентифицирована в качестве более яркой. Например, другая EOTF может быть предоставлена для более яркой области вокруг автомобиля. Данная EOTF, которая используется для, например, более яркой области, содержащей автомобиль, может иметь меньшее число кодов, распределенных темным значениям и больше кодов для среднего диапазона. Вновь, это может улучшить дифференциацию и сократить полосатость, и т.д. Использование данного подхода, следовательно, обеспечивает улучшенное представление сцены в целом (с, например, сокращенной ошибкой квантования). Сходным образом, EOTF может в некоторых случаях быть адаптирована между кадрами так, что, например, она обеспечивает более высокое количество кодов для темного диапазона для темных изображения, чем для светлых изображений.

Тем не менее, как правило, только одна EOTF предоставляется из расчета на изображение/кадр, и, как правило, только одна EOTF предоставляется для группы изображений/кадров, и конечно часто только одна EOTF предоставляется для видеопоследовательности. Нижеследующее описание будет сфокусировано на одной EOTF, предоставленной для каждого изображения и для последовательности изображений. Тем не менее, конкретная проблема с наложением может произойти, когда используются адаптивные EOTF и это будет описано более подробно позже.

Следует иметь в виду, что объединенный видеосигнал 6 может быть представлен посредством кодов люма, соответствующих одной из описанных EOTF. Также следует отметить, что если, например, сигнал видеоизображения содержит коды люма основанные на EOTF связанной с диапазоном SDR, по-прежнему возможно повторно создать исходные значения HDR из кодов люма и что соответственно изображение по-прежнему является представлением изображения HDR.

Таким образом, если дисплей принимает видеосигнал в соответствии с EOTF, ассоциированной с конкретным динамическим диапазоном, может быть желательным выполнять преобразование динамического диапазона, если динамический диапазон не совпадает с тем, что у дисплея. Тем не менее, как упоминалось, это не просто случай обеспечения линейного масштабирования. Наоборот, чтобы отражать зрительную систему человека, адаптация динамического диапазона, как правило, должна быть нелинейной (несмотря на то, что возможно кусочно-линейная). Например, темные уровни должны, как правило, не увеличиваться по яркости, несмотря на то, что значительно увеличивается динамический диапазон. Другими словами, темные сигналы часто значительно не сжимаются в упорядочении цвета для дисплеев LDR. Уровни яркости среднего уровня, тем не менее, как правило, должны быть усилены до некоторой степени по яркости, несмотря на то, что как правило, важно, чтобы усиление не было столь солидным, поскольку это может создать искусственный вид со слишком большим числом ярких зон. Тем не менее, в противоположность, очень яркие объекты должны быть усилены очень существенно и конечно для самых ярких объектов (скажем света автомобиля в темном изображении) часто должны устанавливаться в максимальный уровень. Соответственно, как правило, используется прогрессивное отображение динамического диапазона, где дополнительный динамический диапазон и увеличенная яркость, как правило, преимущественно используются, чтобы увеличивать уровень яркости для более ярких элементов. Следует иметь в виду, что возможно много других отображений динамического диапазона.

Пример отображения динамического диапазона иллюстрируется на Фиг. 12. В примере, прямолинейное отображение предоставляется для всех значений яркости ниже пороговой величины и другое линейное отображение предоставляется для всех значений яркости выше пороговой величины. Подход может привести к относительно скромному (или отсутствию) усилению для темных и средних уровней яркости, тогда как очень яркие зоны усиливаются существенно больше. Данный эффект отражает как типичные условия яркости в реальном мире, как впрочем и восприятие зрительной системы человека.

Тем не менее, такое отображение динамического диапазона обеспечивает только приближение к идеальному упорядочению. Одна проблема состоит в том, что кривая является относительно простой и, соответственно, в целом, не может отражать оптимальное отображение динамического диапазона. Другая проблема состоит в том, что отображение динамического диапазона основано на предположениях демонстрируемого контента изображения, и, раз так, оно оптимизировано для предполагаемого типичного изображения сцены из реальной жизни. Тем не менее, для других изображений, или других типов контента, кривая может обеспечивать меньшую чем идеальная эффективность с часто значительным ухудшением.

Конечно, авторы изобретения поняли, что конкретная проблема часто возникает с данными наложения. Например, часто графика наложения демонстрируется как яркие объекты изображения, которые выделяются из лежащего в основе изображения. Тем не менее, тогда как яркие объекты в изображении должны быть усилены очень существенно (становясь «сверхъяркими»), такая адаптация динамического диапазона приведет к тому, что графика наложения становится неприятно, а иногда даже некомфортно, яркой. Следовательно, применение одинаковой адаптации динамического диапазона приводит к сильно нежелательным эффектам для графики наложения.

Во многих вариантах осуществления, адаптация динамического диапазона выполняется в дисплее. Это может позволить адаптации динамического диапазона быть адаптированной к конкретным характеристикам индивидуального дисплея и может позволить использовать дисплей с большим многообразием источников. Во многих дисплеях, графика наложения (например, меню дисплея) может быть сгенерирована посредством дисплея и наложена на принятое изображение. Рендеринг этих наложений, как правило, осуществляется с пригодной яркостью, которая определяется локально и принимая во внимание динамический диапазон дисплея.

Тем не менее, если графика наложения вводится внешним образом в дисплей, например, посредством телевизионной абонентской приставки, дисплей просто принимает изображение, содержащее как исходное изображение, так и графику. Затем дисплей выполняет адаптацию диапазона, приводящую к нежелательному рендерингу графики наложения. Например, если посредством проигрывателя BD добавляются субтитры, они часто будут представлены с некомфортной яркостью на дисплее HDR.

Данный вопрос может быть в частности проблематичным для изображений, где графика сочетается с исходным изображением, так как, например, где используются полупрозрачные субтитры. В данном случае полупрозрачное наложение может увеличивать яркость соответствующих пикселей, например, в результате чего яркость превышает пороговую величину отображения динамического диапазона Фиг. 12. В результате комбинации изображения и наложений, может быть соответственно обеспечено высокое усиление яркости. Это может привести к воспринимаемому искажению лежащего в основе изображения в добавление к тому, что, как правило, наложение воспринимается слишком ярким. Например, для изображения лица с наложенными субтитрами, стандартная адаптация динамического диапазона может привести не только к слишком ярким субтитрам, но также к тому, что лицо выглядит ярче в зоне, в которой показываются субтитры, чем оставшаяся часть лица. Таким образом это приводит к неестественному виду.

Проблема может даже еще усугубляться, когда используется адаптивная EOTF. Например, в некоторых сценариях, отличная EOTF может быть использована для темных зон, чем для ярких зон. Применение фиксированной адаптации динамического диапазона к такому сценарию (например, с фиксированным отображением входных значений люма с выходными значениями люма), за которой следует интерпретация адаптированных значений на основании локальной EOTF, приведет к эффективному усилению наложения графики, которое будет разным для разных частей графики. Например, адаптация динамического диапазона может отображать значение люма равное 723 (например, по отношению к диапазону 1000нт) со значением, скажем, 617 (например, по отношению к диапазону 5000нт). Тем не менее, данное значение может для EOTF темной зоны быть интерпретировано, чтобы соответствовать, скажем, 110нт, но для EOTF темной зоны интерпретировано, чтобы соответствовать, скажем, 150нт. Таким образом, если наложение графики распространяется как на темную, так и на яркую зону, яркость графики будет фактически меняться при демонстрации, несмотря на то, что это не предполагалось. Таким образом, будет возникать колебание по наложению графики.

Точно тоже самое будет происходить, когда применяются EOTF, которые являются адаптивными во временном измерении. В таких сценариях, яркость графики будет меняться между разными кадрами, приводя, например, к генерированию пульсации субтитров.

Это может быть проиллюстрировано посредством примера Фиг. 22, которая иллюстрирует две возможных EOTF, которые могут происходить в разные моменты времени. В примере, EOTF названная TM1 может быть EOTF, предоставленной для первого кадра, а EOTF названная TM2 может быть EOTF, которая принимается для второго кадра. Таким образом, две EOTF представляют собой два разных отображения динамического диапазона, которые применяются к разным кадрам видеопоследовательности.

В примере, TM2 является отображением динамического диапазона (EOTF и также иногда именуемой отображением тонов) для принимаемых яркостей пикселя видео (или люм) в первый момент времени. Отображение фактически предназначено для лежащего в основе видео контента (т.е., оно было разработано, чтобы обеспечивать требуемый вид при представлении видео). Тем не менее, если пиксель содержит наложение, это приводит к пикселю с более яркой яркостью (1-alpha)×vid(x,y)+alpha×rgaph(x,y) (например, потому, что некоторый светлый текст или цвет меню был смешан с лежащим в основе видео). Несмотря на то, что обработка с помощью TM2 может не увеличивать значение намного выше яркости окружающих пикселей видео, отображение динамического диапазона, по меньшей мере, обеспечивает для областей графики/наложения, чтобы они внезапно не становились очень яркими. Если вместо этого используется TM1, тогда части наложения будут становиться очень яркими поскольку дополнительный вклад от наложения выталкивает входную яркость на уровень, где она очень агрессивно усиливается посредством TM1.

Вследствие этого, если предоставленные отображения динамического диапазона (EOTF) меняются динамически во времени, представление пикселей наложения (например, субтитров и меню) будет меняться между разными кадрами. Это будет видно зрителю как, например, белый текст меню дрожит между темным и светлым значением лишь потому, что он был смешан с видео, но что может быть нежелательным для той области. Вместо этого, некоторые варианты осуществления настоящего подхода обеспечивают обнаружение таких пикселей, и затем рендеринг при ограниченной яркости Lim_vid, например, на 20% ярче всегда для пикселей графики, чем принимаемая входная яркость (1-alpha)×vid(x,y) +alpha×graph(x,y); или, например, на 50% ярче для текста в меню, и на 10% ярче для пикселей фоновой графики в прямоугольнике меню.

Таким образом, адаптация динамического диапазона, чтобы она совпадала с конкретным дисплеем, является очень сложной для стандартного видео, но является в особенности сложной для объединенных сигналов, содержащих наложения графики. Действительно, традиционные подходы, где графика просто добавляется на отдельном устройстве, внешнем для дисплея, приводит к внесению существенных артефактов, и в частности приводит к, например, искажениям яркости и вариациям для графики.

В документе W02014/130213 было предложено, что наложение графики, т.е., объединение графики с видео, должно выполняться в зависимости от информации, предоставляемой внешнему устройству посредством дисплея. Таким образом, в системе, предложенной в документе W02014/130213, дисплей сообщает данные внешнему устройству, которые относятся к внешнему устройству, например, является ли дисплей дисплеем LDR или HDR. В ответ, внешнее устройство адаптирует свойства наложения графики перед объединением и затем предоставляет объединенное изображение дисплею, который переходит к отображению изображения, как если бы это было изображение без какого-либо наложения графики. Таким образом, в подходе, дисплей просто обрабатывает все изображения одинаковым образом, но внешнее устройство может перед объединением адаптировать наложение графики на основании данных свойства дисплея, принятых от дисплея.

В системах Фиг. 1-7 и 9, применяется другой подход. В этих примерах, объединение может быть выполнено без учета конкретных характеристик дисплея, т.е., внешнее устройство может не обладать какой-либо информацией о конкретном используемом дисплее. Не выполняется какой-либо адаптации индивидуальных компонентов перед объединением. Тем не менее, внешнее устройство предоставляет информацию о свойстве объединения дисплею, которая может быть использована дисплеем, чтобы выполнять адаптируемую адаптацию динамического диапазона, чтобы перенацеливать изображение, которое должно быть демонстрировано с конкретным динамическим диапазоном дисплея.

Таким образом, в текущем подходе применяется структура упреждения, при этом исходное внешнее устройство (например, проигрыватель BD) предоставляет дополнительную информацию дисплею, которая может управлять или направлять адаптацию динамического диапазона дисплея. Это противоположно подходу обратной связи известного уровня техники, в котором используется фиксированная адаптация динамического диапазона и где выполняется только модификация наложения графики перед объединением и на основании информации поданной обратным потоком.

Подход предоставляет некоторое количество преимуществ. Во-первых, во многих вариантах осуществления, он позволяет существенно улучшить изображение, которое должно генерироваться с рендерингом наложений графики, и/или изображение, которое является более точно адаптированным к конкретному дисплею. Например, могут быть использованы EOTF непосредственно отражающие свойства индивидуального дисплея. Действительно, адаптация динамического диапазона может во многих вариантах осуществления быть индивидуально оптимизированной для соответственно контента изображения и контента наложения. Например, для пикселей предназначенных в качестве пикселей видео или изображения, может быть применено отображение динамического диапазона видео, которое отражает оптимизированное (некоторым образом) Отображение контента изображения на конкретный динамический диапазон (и другую характеристику дисплея). Для пикселей предназначенных в качестве пикселей наложения, может быть применено отображение динамического диапазона графики, чтобы обеспечить требуемый рендеринг наложений графики.

Таким образом, во многих вариантах осуществления, подход может обеспечивать индивидуально оптимизированную адаптацию динамического диапазона для соответственно контента видео/изображения и для наложений графики.

Подход может в частности обеспечивать, чтобы управление над адаптацией динамического диапазона осталось у дисплея, т.е., дисплей содержит функциональность для адаптации входного динамического диапазона к динамическому диапазону дисплея. Это может быть очень выгодно, поскольку отображения динамического диапазона и конечно EOTF могут быть оптимизированы для точных характеристик дисплея. Это часто может обеспечивать более гибкое отображение и управление над наложениями графики и, в частности, для зон, где вклады присутствуют как от видео, так и от графики (в особенности прозрачная графика). Дисплей может, например, устанавливать графику в предварительно определенную яркость (например, установленную пользователем дисплея).

Также, во многих ситуациях, улучшенные ресурсы доступны для дисплея. Например, как правило, телевизоры являются относительно дорогостоящими элементами, тогда как, например, многие проигрыватели BD являются элементами с очень низкой стоимостью. Соответственно, телевизоры часто обладают существенно большим вычислительным ресурсом, и конечно финансовые ресурсы, доступные для исполнения и разработки, могут быть существенно выше. Вследствие этого, адаптация динамического диапазона телевизоров часто может быть лучше, чем та что у недорогих проигрывателей BD. Описываемый подход обеспечивает выполнение адаптации динамического диапазона дальше по прямому потоку от того, где выполняется объединение, вместо того, чтобы требовать, чтобы какая-либо адаптация была перед объединением. Это обеспечивает то, чтобы такая улучшенная адаптация динамического диапазона использовалась также для объединенных изображений, содержащих наложения.

Таким образом подход обеспечивает, чтобы адаптация динамического потока по прямому потоку была адаптирована для индивидуальных пикселей, и в частности обеспечивает ее адаптацию к конкретному свойству объединения индивидуального пикселя. Действительно, в некоторых вариантах осуществления, индивидуально оптимизированная адаптация контента изображения и графики может быть достигнута по прямому потоку после объединения.

Точная адаптация динамического диапазона и отображение динамического диапазона, которое выполняется, и конечно зависимость от свойства объединения, могут варьироваться между разными вариантами осуществления в зависимости от предпочтений и требований индивидуального варианта осуществления.

В нижеследующем будут описаны некоторые возможные подходы адаптера 71 и, в частности, будут описаны некоторые примеры дифференцированного отображения динамического диапазона в зависимости от свойств объединения. Тем не менее, следует иметь в виду, что они являются лишь примерными и что другие подходы могут быть использованы в других вариантах осуществления.

В некоторых вариантах осуществления, свойство объединения, указываемое посредством значения A, может отражать, является ли соответствующий пиксель пикселем изображения/видео или является ли он пикселем графики наложения. Таким образом, в данном примере, пиксель может быть рассмотрен либо соответствующим лежащему в основе пикселю изображения/видео, либо он может быть пикселем наложения. В таком примере, адаптер 71 может быть выполнен с возможностью применения первого отображения динамического диапазона, если указывается, что пиксель является пикселем видео, и другого второго отображения динамического диапазона, если указывается, что пиксель является пикселем наложения.

Например, первое отображение динамического диапазона может отображать входящий динамический диапазон LDR с динамическим диапазоном HDR посредством обеспечения очень агрессивного усиления для уровней высокой яркости. Например, отображение, соответствующее тому, что на Фиг. 12, может быть использовано для первого отображения динамического диапазона. В противоположность, второе отображение динамического диапазона может быть простой линейной функцией, которая не обеспечивает какого-либо дополнительного усиления уровням высокой яркости. Конечно второе отображение динамического диапазона может быть простым тождественным отображением, приводящим к тому, что яркость пикселей наложения является одинаковой, представляется ли на дисплее LDR или дисплее HDR. Таким образом, как результат такого подхода, представление сцены HDR может быть достигнуто с, например, источниками яркого света, такими как уличные фонари или солнце, показываемыми на очень высоких уровнях яркости HDR, тогда как наложение, такое как субтитры, по-прежнему показывается на нормальных уровнях яркости.

В качестве конкретного примера такого подхода, может быть сгенерировано свойство объединения, которое, например, может указывать, что пиксель является пикселем наложения. Источник наложения может либо быть из, например, генератора локальной графики, такого как, например, генератор, генерирующий субтитры или меню. В качестве альтернативы, наложение может приниматься как часть второго сигнала видеоизображения, где данный сигнал может содержать контент наложения, такой как графику или субтитры.

В таком сценарии, адаптер 71 может быть выполнен с возможностью адаптации пикселей в области, для которой указывается, что пиксели являются контентом наложения, так что значения яркости ограничиваются заданным предварительно определенным диапазоном. Это может гарантировать то, что наложение представляется в рамках приемлемого диапазона яркости безотносительно возможностей яркости дисплея.

Данный предварительно определенный диапазон может, например, для дисплея быть предварительно установленным диапазоном, отражающим динамику дисплея. Например, диапазон может иметь верхний предел, скажем, в 10% пиковой яркости, и нижний предел, например, больше 1% пиковой яркости и 1нт. В качестве альтернативы или дополнительно, предварительно определенный диапазон может быть определен зрителем, и т.д.

Следует иметь в виду, что подход может легко быть расширен на более чем две категории с отдельным отображением динамического диапазона выбираемым для каждой категории. Например, значение A для пикселя может указывать, является ли пиксель пикселем видео, пикселем субтитров или пикселем меню, и одно из трех возможных отображений динамического диапазона может быть выбрано соответствующим образом. В данном примере, категория графики, следовательно, дополнительно подразделяется на множество подкатегорий, указывающих конкретный тип графики.

Также следует иметь в виду, что подход не ограничивается жестким распределением заданного пикселя конкретной категории, указываемой значением A. Например, значение A может указывать относительный весовой коэффициент графики по отношению к изображению для заданного пикселя. Адаптер 71 затем может выбирать первое отображение динамического диапазона, если это ниже, скажем, 50% и второе отображение динамического диапазона, если это выше, скажем, 50%.

Во многих вариантах осуществления, адаптер 71 может быть выполнен с возможностью уменьшения усиления значений яркости для пикселей, для которых значение A указывает, что пиксель принадлежит к наложению, по отношению к усилению значений яркости для пикселей, для которых значение A указывает, что пиксель принадлежит к сигналу видео/изображения. Снижение может быть для более высоких значений яркости, которые в частности могут быть значениями яркости выше пороговой величины (например, в 50%, 60%, 70% или 80% максимального уровня яркости входного сигнала в адаптер 71).

В некоторых вариантах осуществления, адаптер 71 может быть выполнен с возможностью ограничения уровня яркости для пикселей, указываемых в качестве пикселей наложения, чтобы лимитировать уровень яркости ниже максимального возможного уровня яркости для вывода адаптации динамического диапазона. В частности, адаптация динамического диапазона может выполнять отображение динамического диапазона из входного динамического диапазона в выходной динамический диапазон. Выходной динамический диапазон может иметь максимальный возможный уровень яркости. Тем не менее, для пикселей, принадлежащих к категории наложения (как указывается значением A), отображение динамического диапазона ограничивается максимальным или предельным уровнем яркости, который ниже данного максимального уровня. Предельный уровень яркости для пикселя наложения, следовательно, ниже чем для пикселя не наложения (видео) и во многих вариантах осуществления может отсутствовать лимит яркости для пикселей видео (за исключением максимального значения выходного динамического диапазона).

В некоторых вариантах осуществления, одинаковое отображение динамического диапазона может быть применено к всем пикселям независимо от свойств объединения (т.е., независимо от значения A) вплоть до заданного уровня яркости. Тем не менее, для значений выше данного уровня яркости, другое отображение динамического диапазона может быть применено для других значений свойства объединения. В качестве конкретного примера, одинаковое отображение динамического диапазона может быть применено к всем пикселям за исключением того, что максимальный выходной уровень яркости ограничивается максимальным значением для пикселей наложения.

Такой подход может, например, обеспечивать эффективное отображение, которое обеспечивает приятный результат и как позволяет, например, поддерживать серую графику для дисплея HDR, так и гарантирует, что яркая графика не становится слишком серой.

В некоторых вариантах осуществления, адаптер 71 может быть выполнен с возможностью распределения, по сути, одинакового уровня яркости пикселям, которые указываются как пиксели наложения. Например, нормальное отображение динамического диапазона может быть применено к пикселям видео, тогда как пикселям графики просто задается предварительно определенное значение. Такой подход может привести к приятному результату с не только достигаемым пригодным (для дисплея) представлением графики, но также гарантируется, что данное представление будет стабильным. Например, такой подход будет нечувствительным к адаптивным изменениям в применяемой EOTF и будет предотвращать колебания по изображению или между кадрами.

Фиг. 11 иллюстрирует способ в соответствии с некоторыми примерными вариантами осуществления изобретения.

На этапе 101 принимаются данные объединенного изображения (объединенный видеосигнал 6). Затем на этапе 102 считывающим средством 72 считывается один или более LSB. Затем на этапе 103 генерируется значение A, указывающее свойство объединения для объединения, выполненного на стороне кодера. На этапе 104 выполняется адаптация динамического диапазона над изображением, в зависимости от сгенерированного значения A. Затем на этапе 105 демонстрируется полученное в результате изображение.

Следует иметь в виду, что, например, этапы 102 и 103 могут быть выполнены в одном этапе. Также следует иметь в виду, что способ может содержать дополнительные этапы, например, могут быть считаны метаданные или флаги. В качестве примера, на входе может быть считан сигнал 56 и извлеченная информация может быть использована, чтобы управлять работой на этапе 102 и/или 103, например, она может управлять тем, какие значения A должны быть извлечены из компонентов цвета. Она также может управлять работой на этапе 104, т.е., каким образом должна выполняться адаптация на этапе 104. Например, метаданные могут содержать информацию, указывающую, какие LSB содержат какую информацию. В некоторых вариантах осуществления, сгенерированное значение A может быть определено непосредственно как значение для релевантных наименее значимых битов. В других вариантах осуществления оно может быть значением, получаемым из соответствующих LSB.

Например, может присутствовать выбор использования двух или трех LSB, чтобы указывать прозрачность наложения. Считывающее средство 72 может считывать значение, которое находится в диапазоне от 0 до 3 (включая 3) для двух-битового указания и от 0 до 7, включая 7, для трех-битового индикатора.

Из, например, метаданных в сигнале 56 система приема может затем определять, используется ли двух-битовый или трех-битовый индикатор, и она может использовать это, чтобы генерировать, например, значение прозрачности (25%, 37.5%, 50% и т.д.). Данное значение A может затем быть использовано на этапе 104.

Во многих вариантах осуществления, видеосигнал может содержать конкретные метаданные или флаги, например, указывающие каким образом кодируется свойство объединения.

Если кадр или сцена (или даже фильм) не содержат какого-либо наложения, тогда может быть полезным, если кодер добавляет такую информацию в видеосигнал. Затем декодер может считывать данную информацию и на основании этого он может, например, игнорировать следующий кадр, сцену или фильм, поскольку он знает, что это не будет содержать каких-либо наложений. Таким образом, декодер ʹзнаетʹ что в следующем кадре, сцене или фильме он может обходить этапы считывания и генерирования и переходить непосредственно к этапу 105, чтобы выполнять динамическую адаптацию. Он затем также может использовать все биты сигнала в качестве видеоинформации, тем самым улучшая качество видео.

Примером способа является следующее:

Предоставляется объединенный видеосигнал 6, сгенерированный посредством кодера 51, как описано со ссылкой на Фиг. с 4 по 7. В примере, значение A равное «1» используется, чтобы указывать, что пиксель является пикселем видео, а значение равное «0» используется, чтобы указывать, что пиксель является пикселем наложения.

Декодер принимает объединенный видеосигнал 6 и считывающее средство 72 (смотри Фиг. 9) считывает значение A:

Если A=0 для пикселя, тогда данный пиксель является пикселем видео и на этапе 104 выполняется динамическая адаптация. Для большинства пикселей это приведет к изменению значения.

Если A=1 не выполняется адаптация динамического диапазона и значение пикселя не меняется. Таким образом, рендеринг всей графики/наложения может осуществляться без адаптации динамического диапазона, вносящей изменение. В частности, это может приводит к тому, например, что белое наложение не усиливается до уровней яркости HDR.

Это пример варианта осуществления, в котором указывается тип объединения пикселей. В примере, используется два типа объединения и, следовательно, достаточно двоичного значения: чистое видео (A=0) и не чистое видео (A=1).

Может присутствовать вариация данной схемы:

Чистое видео указывается значением A равным «0», пиксель меню указывается значением равным «1», и пиксель субтитров указывается значением равным «2».

Если A=0 для пикселя, тогда данный пиксель является видео и выполняется адаптация динамического диапазона, приводящая к тому, что многие пиксели меняют значение.

Если A=1, тогда данный пиксель является пикселем меню и значение пикселя не меняется.

Если A=2, тогда данный пиксель является пикселем субтитров, приемник может использовать таблицу, указывающую, какую интенсивность и, следовательно, какие значения компонента обеспечивают наилучшую видимость для субтитров. Значения пикселя замещаются данным значением.

Это дополнительный пример варианта осуществления, в котором указывается тип объединения или категория пикселя. В данном примере, присутствует три типа объединения: чистое видео (A=0), меню (A=1), и субтитры (A=2).

Для пикселей меню в некоторых вариантах осуществления также могут присутствовать ʹнаилучшие значенияʹ (например обеспечиваемые другой таблицей) и для пикселей значения компонента входящего сигнала могут замещаться такими значениями.

Для смешиваний видео и наложения, например, используя значение от 0 до 7, причем 0 является 100% видео, а 7 является 100% наложения, результат находится, например, между результатами для двух крайних значений A=0 (только видео) и A=7 (только наложение). Например, для значения пикселя в ассоциированным значением A между 0 и 7 может быть определен следующий результат:

яркость Значение(A)=яркость Значение(A=0)+(A/7×(яркость Значение(A=7)-яркость Значение(A=0))

Или, проще говоря, может быть выполнено линейное масштабирование между двумя крайними значениями пикселя. Таким образом, дисплей может масштабировать величину модификации динамического диапазона в зависимости от уровня прозрачности пикселя.

Масштабирование может в некоторых вариантах осуществления быть нелинейным, например, если больше выразительности должно быть придано видео или наложению. Например, масштабирование может происходить по логарифмической шкале.

В данном примере, адаптация зависит от значения A для пикселя, т.е., на попиксельной основе. В более сложных вариантах осуществления декодер может анализировать все или группу значений A, или распределение значений A по изображению или части изображения, и модифицировать динамическую адаптацию для некоторых (или всех) пикселей (в зависимости от анализа значения для A в изображении. Например:

Если часть изображения является меню, изображение целиком может быть демонстрировано в LDR. Например, тогда как видео вокруг прямоугольника меню может выполнять исходное предназначенное усиление, дисплей может применять преобразования таким образом, что меню остается около некоторых значений яркости (LDR), например, так что оно не ярче чем яркость Yx и может быть не темнее чем Yy. Даже если такая относительно простая стратегия может не всегда вычислять точные требуемые значения для смешивания цветов, она имеет тенденцию создавать более реалистичные цвета меню, которые менее дико колеблются. Существуют разнообразные способы, посредством которых телевизор может вычислять преобразование цвета так, что конечный результат всех пикселей находится внутри границ, например, он может делать это итерационно.

Кодер может предоставлять (в сигнале 56 или в отдельном сигнале) некоторую статистическую информацию касательно, например, изображений в сцене или снимке. В наиболее простой форме, например, он может указывать, присутствует или нет какое-либо наложение в изображении или даже во всем видео или фильме, и присутствует или нет часть меню (и, например, могут быть сообщены статистически некоторые параметры касательно части меню, способствующие либо обработке такой части, либо идентификации ее свойств цвета).

Фиг. 12 схематично иллюстрирует примерную адаптацию динамического диапазона. «Адаптация динамического диапазона» может считаться сокращенной формой для любого типа преобразования цвета, адаптирующего динамический диапазон, т.е., в котором сигнал преобразуется по цветам, чтобы адаптировать его яркость из одного диапазона, например с максимальным уровнем яркости в Y нит, в другой диапазон, например, с максимальным уровнем яркости в X нит. Преобразование цвета не должно (но может) включать преобразование или изменение цветности.

Горизонтальная ось представляет собой значение яркости для входящего сигнала, который может, например, быть упорядочен для дисплея с максимальным уровнем яркости в 2000нт. Входящий сигнал должен быть демонстрирован на дисплее, который может обеспечивать максимум 5000нт. Входящий сигнал является в данном примере упорядоченным для максимального значения яркости в 2000нт, и он должен быть отображен, т.е. адаптирован к, с более высоким динамическим диапазоном дисплея.

Это схематично указывается графиком на Фиг. 12, который предоставляет значения яркости для дисплея (значения выходной яркости, OL) как функцию значений яркости для входящего сигнала (значения входящей яркости, IL). Отношение между двумя задано посредством линии 110. Использование адаптации/отображения динамического диапазона, иллюстрируемой на Фиг. 12, приведет к тому, что рендеринг более темных частей (значения яркости рядом с нижним краем шкалы) осуществляется одинаково на всех дисплеях, как иллюстрируется в части 110a линии 110, тогда как яркие фонари (яркости рядом с верхним краем шкалы) усиливаются, т.е., увеличиваются по яркости, как иллюстрируется частью 110b линии 110. Таким образом, угол наклона части 110A может быть в частности одним, тогда как он выше для части 110b.

Более высокий диапазон дисплея используется для усиления ярких объектов, таких как фонари.

Данный пример для ситуации в которой сигнал упорядоченный для 2000нт ʹулучшаетсяʹ для дисплея, который может обеспечивать яркость вплоть до 5000нт.

Другие примеры включают:

1. Вход для 5000нт, вывод либо 100нт (унаследованный TV), либо около 1000нт (ранние TV HDR), и

2. Вход для 100нт, вывод около 1000нт.

Это не должно толковаться как ограниченное данным примером; Когда дисплей имеет диапазон яркости, который не соответствует диапазону яркости для которого упорядочен входящий сигнал, является ли он больше или меньше, может быть выполнена адаптация динамического диапазона, и, следовательно, может быть выполнено улучшение (увеличение динамического диапазона), как впрочем и ухудшение (сокращение динамического диапазона).

Фиг. 13 предоставляет пример отображения динамического диапазона, в котором значение A может быть 0 для пикселя видео и 1 для субтитров. Считывается значение R, если A=0, выполняется адаптация динамического диапазона (DRA). Если A=1, тогда DRA не выполняется (без-DRA). Другими словами, адаптация динамического диапазона может применять отображение динамического диапазона если A=0, которое модифицирует значения яркости, но если A=1, тогда будет применяться прямое отображение динамического диапазона, при котором значения яркости не меняются.

В качестве другого примера, пиксели графики могут быть подвергнуты фиксированному отображению динамического диапазона (но не настолько большому как видео), тогда как пиксели видео подвергаются переменному отображению динамического диапазона (разному от сцены к сцене). Отображение динамического диапазона, применяемое к пикселям видео, также может быть более сложным, например, кривая может быть более крутой или более сложной.

Фиг. 14 предоставляет дополнительный пример. В данном случае для значения A возможно три значения.

Если A=0, тогда пиксель является пикселем видео и выполняется адаптация динамического диапазона, соответствующая отображению пригодному для изображений. Это, как правило, приводит к тому, что меняется значение у многих пикселей (выполняется DRA).

Если A=1, тогда пиксель является меню, и значение пикселя не меняется (соответствуя отсутствию DRA).

Если A=2 это указывает на то, что пиксель является пикселем субтитров. В данном случае, дисплей имеет таблицу, предоставляющую информацию об интенсивности и, следовательно, значения компонента, которые, как считается, обеспечивают наилучшую видимость для субтитров. Значения пикселя затем устанавливаются в предварительно определенные значения на основании поисковой таблицы (таблицы, предоставляющей фиксированное значение, которое считается наилучшим образом подходящим для субтитров на данном дисплее).

Таким образом, в примере, пиксели изображения подвергаются адаптации перед тем, как демонстрируется изображение. Параметры адаптации (т.е., каким образом выполняется адаптация) зависят от значения или значений, считанных в наименее значимых битах, т.е., от свойства объединения, как указываемого посредством значений A. Если значение равно 0, тогда адаптация является отличной от той, когда A=1 и от той, когда A=2.

В вышеприведенных вариантах осуществления относительно небольшое количество возможных значений может быть использовано для значения A. Значение может быть, главным образом, рассмотрено в качестве любой комбинации битов, которые используются для переноса информации об объединении и, в частности, о том, является или нет, и/или в какой степени, пиксель или содержит ли наложение. Это может быть реализовано разнообразными путями. Например, в вышеприведенном примере два бита одного из компонентов цвета (который будет называться компонентом I) могут быть использованы следующим образом:

0=видео

1=только меню

2=только субтитры

3=как видео, так и субтитры и/или меню.

В данном примере, по меньшей мере одно значение в одном или более LSB может указывать тип наложения.

Это может быть вновь примером указания типа смешивания.

В данном примере, существует четыре указания типа смешивания для «чистых пикселей», а именно, A=0, 1 и 2 и одно указание типа для пикселя смешанного типа, а именно A=3 (понятие «чистый», указывающее вклады от только одного из входных сигналов, т.е., от либо входного изображения, либо от одного из сигналов наложения; а понятие «смешанный» указывающее вклад от, по меньшей мере, двух из сигналов).

Для пикселей смешанного типа (когда A=3 в упомянутых двух LSB) прозрачность субтитров и/или меню тогда может быть задана в, например, двух из, по меньшей мере, наименее значимых битах для двух других компонентов (которые для простоты мы обозначили II и III). Если два наименее значимых битов компонента I имеют значение «3», это указывает, что пиксель не является пикселем чистого типа, а наоборот является пикселем смешанного типа. Например, это может быть 50% видео и 50% субтитров так, что тогда субтитры имеют прозрачность T в 50% (или это может быть, например, 50% видео и 50% меню). Считывающее средство 56 затем может продолжать считывать два наименее значимых битов для двух других компонентов II и III. Для первого из других компонентов, например, компонента II, считывающее средство 56 считывает два наименее значимых битов и определяет значение равное 0. Это указывает, например, что отсутствует вклад от субтитров в смесь. Оно может дополнительно считывать другой компонент, в данном случае компонент III, и может, например, определять значение 2, присутствующее в двух наименее значимых битах. Это может, например, указывать смесь 50% видео и 50% меню. Если вместо этого, пиксель был 50% видео и 50% субтитров, считывающее средство 56 считает значение равное 2 в двух наименее значимых битах первого компонента и значение 0 в другом.

Это пример варианта осуществления, в котором предоставляется как информация о типе объединения, так и параметры объединения.

Все это приведено в качестве примера, и существует много больше возможных способов кодирования.

Незначительно отличной схемой является использование следующих указаний:

0=видео

1=наложение, или смесь наложения и видео

В первом примере используется только данная информация.

Эта схема воплощает вариант осуществления, который часто обеспечивает реализацию низкой сложности, используя только один бит, при этом обеспечивая эффективное использование способа. Реализуется различие только между видео и чем-либо еще, является ли это наложением, или смесью наложения и видео, и независимо от природы наложения, будет ли это субтитрами, меню, логотипом, рекламой, и т.д.

В незначительно более сложных вариантах осуществления, прозрачность наложения задается, например, в двух наименее значимых битах в другом компоненте.

Данная схема воплощает вариант осуществления, который часто обеспечивает реализацию низкой сложности, используя минимальное количество битов, при этом обеспечивая эффективное использование способа.

Вышеприведенные и другие варианты осуществления изобретения могут быть выполнены, используя подход кодирования с переменной длиной.

Когда имеет место объединение, подход предоставляет информацию об объединении и, в частности, он может предоставлять информацию о величине объединения.

Тем не менее, когда объединение не имеет место, и, в частности, если пиксель является только видео, может быть важным предоставлять настолько много информации о значениях пикселя, насколько это возможно, т.е., жертвовать как можно больше битов.

В некоторых вариантах осуществления, количество LSB компонентов, указывающих тип пикселя (т.е., является ли пиксель видео, наложением, тип наложения и/или их смесью) и/или параметры объединения (параметры прозрачности или параметры смешивания), является переменным в зависимости от типа объединения пикселя. Например, когда пиксель является только видео количество LSB ниже, чем когда пиксель является смесью.

Например, в двух приведенных выше примерах, если указание равно 0 в двух наименее значимых битах компонента I, указывая, что пиксель является только видео, тогда двум наименее значимым битам компонентов II и III не требуется содержать параметры смешивания, поскольку смешивание отсутствует.

Эти два наименее значимых битов могут быть использованы для предоставления больше подробностей в отношении значений яркости пикселя, т.е., они могут быть использованы, чтобы увеличивать разрешение значения.

Вследствие этого количество LSB, используемых для значений, указывающих тип объединения и параметры объединения, может варьироваться возможно также в зависимости от типа объединения. Когда используется способ кодирования с переменной длиной, на стороне декодера необходимо знать, сколько LSB используется. С этой целью может быть предоставлен сигнал с сигналом длины кодирования. Существуют разнообразные пути предоставления сигнала длины кодирования. Одним простым подходом для предоставления сигнала длины кодирования может быть использование значения, которое также указывает тип объединения. В том случае, сигнал длины кодирования задается посредством типа объединения. Если сигнал является чистым сигналом, следовательно «чистого типа», тогда нет необходимости в информации о величине объединения.

Для простых типов пикселя, таких как чистое видео или чистые субтитры необязательна дополнительная информация. Тем не менее, для пикселей смешенного типа, например, типа пикселей, которые формируются посредством смешивания субтитров с видео, дополнительная информация о величине смешивания (например, является ли это смешиванием 50%-50% или смешиванием 25%-75%) может быть полезна и может быть закодирована в некоторых LSB. Если композиция пикселя является простой, т.е., не имеет место объединение, количество LSB, требуемых для предоставления всей информации по объединению, меньше, чем для более сложных ситуаций.

На стороне декодера, декодер считывает LSB, в которых указывается тип объединения пикселя, и затем продолжает в зависимости от значения в упомянутых LSB. Если тип объединения указывает пиксель смешанного типа, считываются LSB, указывающие параметры объединения. Динамическая адаптация выполняется на основе считанной информации. Если тип объединения указывает пиксель как только видео, то отсутствуют LSB, указывающие параметр объединения, а вместо этого упомянутые LSB будут содержать видеоинформацию (значения яркости, например) и декодер будет интерпретировать их в качестве таких.

Подобным образом, если посредством флага указывается, что кадр содержит только видео, то отсутствуют LSB в упомянутом кадре, требуемые для переноса информации о типе объединения и параметрах объединения, и все LSB для всех пикселей в упомянутых кадрах могут быть использованы для переноса видеоинформации. Это наиболее крайний пример кодирования с переменной длиной и способ низкой сложности предоставления сигнала длины кодирования.

В качестве альтернативы или дополнительно, флаг может указывать, что во входящей сцене, вместо того, чтобы использовать только указание типа объединения, также будут предоставлены в 3 LSB некоторого компонента цвета, дополнительные (более тонкие) подробности о величине объединения. Это вновь означает, что стороне декодирования предоставляется сигнал кодирования с переменной длиной.

В качестве другого примера, существует несколько возможных схем кодификации, которые могут быть использованы при кодировании, которые используют другие количества LSB. В сигнале 56 предоставляется сигнал, который может сигнализировать стороне декодирования, когда кодер переключается с одной схемы кодификации, использующей некоторое количество LSB для переноса информации объединения стороне декодирования, на другую схему кодификации, которая использует меньшее или большее число LSB. Такой сигнал также может составлять сигнал длины кодирования.

В некоторых вариантах осуществления, указания объединения, т.е., указания одного или более свойств объединения, могут быть вставлены в один или более LSB значений компонента цвета, таких как в R, G или B значение. В некоторых вариантах осуществления, эти значения могут впоследствии быть закодированы, используя формат кодирования без потерь (или не кодироваться а передаваться непосредственно в необработанной форме) и, следовательно, в таких вариантах осуществления, можно предположить, что принятые значения соответствуют непосредственно переданным значениям, т.е., декодер может предположить, что принятые биты идентичны тем, что переданы. В таком примере, данные объединения могут соответственно, как правило, предполагаться корректными на декодере и могут соответственно быть непосредственно использованы.

В некоторых вариантах осуществления, значение компонента цвета может быть закодировано, используя кодирование с потерями. В некоторых таких вариантах осуществления, по-прежнему можно предполагать, что принятые LSB, указывающие свойство объединения, являются по-прежнему корректными, т.е., принятые значения могут непосредственно быть использованы, чтобы определять значения A, и адаптация динамического диапазона может быть адаптирована соответственно. Это может иногда приводить к ошибкам, но во многих вариантах осуществления, это может быть приемлемым.

В других вариантах осуществления могут быть использованы другие предупредительные подходы. Например, в некоторых вариантах осуществления, может быть использовано кодирование с коррекцией ошибок данных объединения. Это может потребовать дополнительных битов. В качестве примера прямолинейного кода, бит, указывающий, является ли пиксель пикселем видео или наложения, может быть скопирован в LSB к тому же R, G и B значений. Декодер может декодировать три бита и выбирать декодированный бит решением большинства.

В качестве другого примера, в некоторых вариантах осуществления, может быть применена пространственная или временная фильтрация сопровождаемая жестким решением. Например, пространственный фильтр может быть применен к битам принятых данных и итоговое значение бита может быть сконструировано посредством сравнения отфильтрованного выходного значения с пороговой величиной. Это может использовать тот факт, что наложение, как правило, предоставляется в блоках и что индивидуальные пиксели редко являются контентом графики, за исключением того, когда относительно большое количество пикселей по соседству также являются контентом графики. Подход может, например, предотвращать то, что один пиксель в меню или субтитрах ошибочно обнаруживается не как пиксель наложения и соответственно усиливается до высокой яркости. Таким образом, подход может сокращать риск, например, чрезмерно ярких индивидуальных пикселей в субтитрах или меню (или темных пикселей в очень ярком объекте изображения).

В некоторых вариантах осуществления, адаптация динамического диапазона для заданного пикселя может быть зависимой от значения(ий) A для множества пикселей по соседству от заданного пикселя. Это, может, например, быть достигнуто посредством отображения динамического диапазона, используемого адаптацией динамического диапазона, которое является функцией множества значения A (из соседних пикселей) или, например, посредством применения пространственного фильтра, как описано выше.

В некоторых вариантах осуществления, адаптация динамического диапазона может быть выполнена с возможностью ограничения отличия в адаптации динамического диапазона между соседними пикселями. Например, вместо жесткого решения в отношении выбора первого или второго отображения динамического диапазона в зависимости от того, назначается ли пиксель как пиксель видео или наложения, фактическое отображение динамического диапазона может быть определено в качестве взвешенной комбинации двух отображений динамического диапазона с весомыми коэффициентами, ограниченными только варьированием на заданную величину между соседними пикселями.

В некоторых вариантах осуществления, адаптер 71 может быть выполнен с возможностью определения пригодного отображения динамического диапазона для множества пикселей. Например, отображение динамического диапазона может быть применено в группах из четырех или 16 пикселей с выбранным отображением динамического диапазона, который зависит от свойство объединения для всех пикселей. Например, если большая часть пикселей в блоке указываются пикселями видео, а не пикселями наложения, тогда применяется отображение динамического диапазона видео, а в противном случае применяется отображение динамического диапазона наложения.

В некоторых вариантах осуществления, включение битов, указывающих свойство объединения, выполняется вслед за, по меньшей мере, некоторым кодированием видео. Например, в некоторых вариантах осуществления, сначала выполняется воспринимаемое с потерями кодирование видео (например, основанное на пространственном частотном преобразовании), за которым следует кодирование без потерь результирующих битов (например, используя кодирование длины серий). В таком примере, LSB выхода кодирования видео с потерями может быть замещен битами, указывающими свойство объединения. Это может обеспечить эффективное кодирование без риска внесения ошибок при кодировании в биты информации о свойстве объединения.

В некоторых вариантах осуществления, по меньшей мере, одно из значений A указывает степень объединения видео и одного или более наложений.

В некоторых вариантах осуществления, параметры адаптации, т.е., каким образом пиксели изображения адаптируются перед отображением, зависят от более чем одного параметра, предоставленного в более чем одном LSB в одном или более из компонентов цвета, таких как, например, в двух наименее значимых битах трех компонентов.

В примерной системе обработки видео (впредь именуемой VPS), такой как, например, телевизионная абонентская приставка или проигрыватель BD или портативный компьютер, и т.д., в которой видео может быть объединено с одним или более наложениями, указание (A) пикселя видео/наложения кодируется в одном или более наименее значимых битах одного или более компонентов цвета пикселя в видеосигнале. Видеосигнал передается через интерфейс между VPS и дисплеем. Дисплей применяет адаптацию динамического диапазона к изображению(ям) видеосигнала. Данная адаптация выполняется в зависимости от указания (A) пикселя видео/наложения.

Подход может быть использован в разнообразных конфигурациях и используя разнообразные форматы (компонент цвета), такие как, например, (без ограничения) RGB 4:4:4, YCbCr 4:4:4, YCbCr 4:2:2, YCbCr 4:2:0.

Количество битов, доступных для каждого компонента цвета может варьироваться между разными вариантами осуществления, например, как правило, может быть 10, 12, 16 битов на компонент. Наиболее часто 10 или 12 битов используется для видеосигналов, несмотря на то, что некоторое использование могут иметь 16 битов, хотя и преимущественно для значений яркости. 8-битные значения также возможны во многих системах, но, как правило, считаются слишком низкими для HDR (они, как правило, больше используются для унаследованного оборудования, например, для 8-битного MPEG видео).

В некоторых вариантах осуществления, устройство в соответствии с примером, например, одной из Фиг. 1-7, может быть выполнено с возможностью сообщения объединенного видеосигнала 6 в соответствии с форматом видеосигнала. Например, устройство может сообщать объединенный видеосигнал 6 через кабель HDMI, т.е., в соответствии с форматом HDMI. В некоторых таких вариантах осуществления, количество битов, используемых, чтобы представлять значения компонента цвета изображения, может быть меньше количества битов, распределенных для каждого компонента цвета форматом видеосигнала. В таком случае, биты значений компонента цвета могут быть распределены некоторым битам, распределенным значениям компонента посредством формата видео, и биты, указывающие одно или более значений (A), указывающее свойство объединения для пикселя, могут быть предоставлены (вставлены/встроены) в некоторые биты, распределенные значениям компонента цвета форматом видеосигнала, но неиспользуемые значениями компонента цвета. Таким образом, сообщение значений, указывающих свойство объединения, может быть осуществлено не оказывая влияния на фактическую информацию изображения. Таким образом, не требуется вносить ухудшения или артефактов для того, чтобы поддерживать дополнительную функциональность.

Например, если исходное видео имеет битовую глубину в 10 битов и объединенное видео передается от VPS к дисплею в 12-битном режиме, 2 LSB на компонент могут быть использованы, чтобы переносить информацию о видео/наложении без какого-либо вносимого ухудшения. Если конфигурацией пикселя является RGB или YCbCr 4:4:4 с 12 битами на компонент, доступно 6 битов на пиксель. Если конфигурацией является YCbCr 4:2:2, может быть принято во внимание, что значения CbCr совместно используются 2 пикселями, оставляя 4 бита на пиксель для индикатора видео/наложения.

Например, если YCbCr выходной пиксель использует 10 битов на компонент, наименее значимый бит Cb или Cr компонента (или менее вероятно Y компонента) может быть, например, использован, чтобы указывать, что, по меньшей мере, одно из T значений (значения прозрачности) объединенных входных пикселей имеет значение отличное от нуля. В качестве альтернативы, данный LSB может быть использован, чтобы указывать, что оба значения T были ниже некоторой пороговой величины.

В другом примере, используется несколько битов выхода средства объединения, например, LSB у Cb и LSB у Cr, или могут быть использованы LSB всех трех компонентов. Несколько битов может быть использовано чтобы различать разнообразные уровни объединения. С помощью двух битов можно различать четыре уровня, например, одно значение (1) может указывать отсутствие объединения, другое значение (2) может указывать 75% видео и 25% наложения, третье значение (3) может указывать 50% видео, 50% наложения, а четвертое значение (4) может указывать 100% наложение. С помощью большего числа битов, может быть достигнуто более точное указание вклада наложения графики в выходные уровни.

Как правило, количество битов на компонент в формате межсоединения (HDMI, порт Дисплея, и т.д.) составляет 8, 10, 12 или 16 битов. Если источник видео кодирован с помощью 10 битов на компонент, следовательно, можно использовать 6 (12-битный вывод) или даже 18 битов (16-битный вывод), чтобы передавать информацию объединения, такую как уровень прозрачности, который был локально применен для пикселя. Одной опцией будет применение 12-битного режима вывода и аренда 3 LSB битов из каждого из Cb и Cr компонентов и 2 битов из Y-компонента. Таким образом, 8 битов будет доступно, чтобы передавать уровень объединения.

Вместо YCbCr режима вывода, сходным образом может быть использован RGB режим вывода.

В вышеприведенных примерах, предполагается (в некоторых вариантах осуществления), что пространственное разрешение каждого компонента одинаковое. Это именуется YCbCr 4:4:4 или RGB 4:4:4. Тем не менее, во многих случаях применяется субдискретизация компонентов цвета. В случае YCbCr 4:2:2, компоненты цвета подвергаются пространственной субдискретизации с коэффициентом 2 только в горизонтальном направлении. В случае YCbCr 4:2:0, компоненты цвета подвергаются пространственной субдискретизации с коэффициентом 2 в обоих направлениях. В некоторых вариантах осуществления преимущественным может быть оставлять полное разрешение для битов указания объединения. Вследствие этого, для каждого LSB, который используется, чтобы указывать информацию объединения, может быть обеспечено четкое назначение в отношении того, к какому местоположению пикселя применяется бит. Например, в случае 4:2:2, LSB у Cb компонентов могут относиться к наложению графики для нечетных пикселей, тогда как LSB у CR компонентов могут относиться к четным пикселям.

Другой опцией сокращения количества требуемых битов, является передача битовой карты объединения (предоставляющей указания свойства объединения, т.е., значения A) с более низким разрешением, чем разрешение видео. Например, если разрешением видео является 1920×1080, разрешением битовой карты объединения может быть, например, 960×540. Например, в случае YCbCr 4:2:0 LSB у Cb и Cr компонентов могут быть использованы, чтобы указывать уровень объединения для местоположений пикселя, которые применяются для Cb и Cr компонентов. Таким образом, в некоторых вариантах осуществления, одно или более значений A могут применяться к множеству пикселей, и, в частности, могут применяться к группе или зоне пикселей.

Сигнализация того, какая используется конфигурация бита указания объединения, по интерфейсу может быть указана в канале метаданных, также используемом для данных адаптации динамического диапазона. Со ссылкой на Фиг. 7 это означает, что сигнал 55, предоставляющий параметры адаптации динамического диапазона, и сигнал 56, предоставляющий информацию о том, какие LSB каких компонентов используются для указания свойства объединения (часто является ли и/или в какой степени пиксель смесью видео и одного или более наложения, могут быть выполнены в одном и том же канале метаданных.

Сигнал 56 также может предоставлять некоторую статистическую или общую информацию, такую как, например, используются или нет какие-либо субтитры.

Как показано выше, в дисплее биты указания свойства объединения могут быть использованы, чтобы решать на попиксельной основе, применяется ли, и возможно также в какой степени адаптация динамического диапазона.

Если присутствует только один бит на пиксель (указывающий, что пиксель является пикселем наложения или пикселем видео), адаптация динамического диапазона, предназначенная для исходного видео, может переключаться между полной (нет наложения) или ограниченной (наложение). Ограниченная может означать, что вовсе не применяется никакой адаптации, как в примере на Фиг. 8, или применяется в некоторой степени. Если присутствует несколько битов, указывающих, например, значение уровня объединения на пиксель, дисплей может применять адаптацию динамического диапазона посредством масштабирования величины адаптации в зависимости от уровня объединения. Данное масштабирование может иметь линейное отношение с уровнем объединения или может быть применена нелинейная функция, чтобы оптимизировать воспринимаемое качество картинки.

Фиг. 15 и 16 показывают варианты осуществления комбинации кодирования в VPS и декодирования в TV.

На Фиг. 15 и 16 входящий сигнал 42 принимается посредством VPS 41. Вертикальная ось иллюстрирует пиковую яркость PB или пиковую яркость (белая точка), для которой упорядочен сигнал, т.е., для какой были упорядочены изображения принимаемого видео сигнала, например, посредством упорядочения цвета вручную. Сигнал 42 является, в примере, сигналом LDR, упорядоченным для PB в 100нт, и является, например, полученным из исходного сигнала HDR, упорядоченного для 5000нт. Таким образом, несмотря на оптимизированное к LDR изображение, оно также представляет изображение HDR и, следовательно, является представлением изображения HDR. Вместе с сигналом 42, предоставляется сигнал 55 (как на фигуре 6), предоставляющий информацию о том, каким образом улучшать сигнал для более высоких значений применительно к пиковой яркости, или другими словами, каким образом применять адаптацию динамического диапазона к изображениям видеосигнала 42. Сигнал 55 пропускается VSP 41. В VSP 41, создается объединенный сигнал 50, причем один или более LSB одного и компонентов цвета содержат информацию о свойстве объединения и, в частности, о типе и параметрах объединения для пикселя. Кроме того, предоставляется сигнал 56, который предоставляет инструкции в отношении то, какие LSB заполняются какой информацией объединения, такой как тип и параметры объединения для объединенного пикселя. Таким образом, сигнал предоставляет информацию о кодировании свойства объединения. Горизонтальная ось иллюстрирует разнообразны этапы в манипуляции сигналом и компонентами, которые используются в таких этапах.

Сигналы 50, 55 и 56 принимаются на входе TV 141. TV 141 содержит декодер 142 и адаптер 143 динамического диапазона. Декодеру предписывается через сигнал 56, какие LSB каких компонентов содержат какую информацию, т.е., он информируется о том, каким образом закодировано свойство объединения. Декодер декодирует информацию по упомянутым LSB и затем отправляет информацию к адаптеру 143 динамического диапазона, например, в частности, говорящую адаптеру динамического диапазона тип пикселя (т.е., является ли он видео и/или наложением или смесью) и, когда это необходимо, какой является смесь.

Адаптеру 143 динамического диапазона предоставляется информация из сигнала 55, которая позволяет адаптеру улучшать входящий сигнал LDR. Информация о типе объединения и или информация объединения, исходящая из декодера 142, используется в адаптере 143 динамического диапазона, чтобы динамически адаптировать пиксели, при этом, в качестве примера, пиксель наложения оставляется с упорядочением в 100нт, для пикселя, принадлежащего только видео, динамический диапазон адаптируется к 5000нт, тогда как для смешанного пикселя (т.е., содержащего как видео, так и наложение) динамический диапазон адаптируется к 1500нт. Адаптация динамического диапазона схематично указывается на Фиг. 15 с помощью стрелки U для улучшения. Конечный результат для пикселя видео обозначается буквой V, для пикселя наложения с помощью O, для смеси с помощью M, и для унаследованного TV, который не обладает средствами для выполнения адаптации динамического диапазона, с помощью L. Сгенерированные таким образом значения пикселей отправляются к дисплею 144 для демонстрации.

Фиг. 16 иллюстрирует вариацию касательно структуры Фиг. 15. На Фиг. 16 входящий сигнал 42 является сигналом HDR, который в конкретном примере, упорядочен для максимальной яркости в 1500нт. Сигнал 55 содержит информацию о том, каким образом упорядочивать, т.е., выполнять адаптацию динамического диапазона, данный сигнал 42 для более высокой пиковой яркости, такой как, например, пиковая яркость в 5000нт. Он также включает в себя информацию о том, каким образом упорядочивать сигнал для более низкой пиковой яркости, например пиковой яркости в 100нт.

Отличие по отношению к Фиг. 15 состоит в том, что в примере Фиг. 16, декодер плюс адаптер динамического диапазона могут увеличивать (улучшать), как впрочем и уменьшать (ухудшать) динамический диапазон для пикселя. По этой причине стрелка U, как Вверх, на Фигуре 15, обозначена UD, как Вверх или Вниз, на Фиг. 16.

Также, чтобы предоставить сигнал, который является непосредственно используемым для унаследованных TV, VSP (или устройство между VSP и унаследованным TV) предоставляет сигнал 150, который получен из объединенного сигнала после адаптации динамического диапазона, чтобы сократить динамический диапазон. Данное ухудшение обозначено стрелкой D. VPS 41 использует информацию в сигнале 55 для адаптации динамического диапазона выходного сигнала L. Данный сигнал L затем подается на вход унаследованного TV для демонстрации на дисплее унаследованного TV.

Входящий сигнал может в других примерах также быть, например, сигналом, упорядоченным для самой высокой возможной пиковой яркости, (например, 5000нт), и в этом случае дисплей может выполнять адаптацию динамического диапазона, чтобы сокращать диапазон до конкретной пиковой яркости дисплея (находящейся ниже 5000нт).

Фиг. 17 показывает более подробно вариант осуществления устройства отображения, такого как TV, в соответствии с некоторыми вариантами осуществления изобретения. Объединенный сигнал 50 предоставляется адаптеру 143 динамического диапазона и считывающему средству 142. Считывающее средство 142 считывает один или более LSB и предоставляет сигнал 145 на основании считывания контента упомянутых LSB. Данный сигнал содержит значения A, указывающие свойство объединения, такое как, в частности, тип объединения и/или параметры объединения для пикселя. Это составляет декодирование информации, которая была помещена в сигнал 50 колером 51 в VSP 41 примерной системы на Фиг. 7.

Считывающему средству 142 может быть предоставлен (в качестве конкретного примера) сигнал 56, информирующий считывающее средство 142 о том, какие LSB содержат какую информацию, и каким образом было выполнено кодирование, или другими словами он предоставляет схему декодирования. Таким образом, считывающему средству 142 может быть предоставлен сигнал, указывающий каким образом свойство объединения было закодировано в сигнале.

Следовательно адаптер динамического диапазона принимает объединенный сигнал 50 и сигнал 145, предоставляющий информацию о свойстве объединения, таком как тип объединения и/или параметры объединения пикселей.

В данном варианте осуществления, адаптеру 143 динамического диапазона также предоставляется сигнал 55, который указывает параметры для адаптации динамического диапазона, т.е., он может предоставлять информацию о том, каким образом адаптировать динамический диапазон.

Информация из сигналов 50, 55 и 56 используется для адаптации динамического диапазона. Если, например, заранее известны форматы кодирования и подходы адаптации динамического диапазона, один или более из сигналов 55 и/или 56 могут не использоваться.

Например, если был согласован стандарт, диктующий какие LSB содержат какую информацию, то не требуется генерирование, отправка и прием сигнала 56, поскольку сторона как кодера, так и декодера следует известному стандарту.

Фиг. 18 и 19 иллюстрируют дополнительный вариант осуществления изобретения.

Линейная или нелинейная интерполяция, основанная на предоставленных параметрах объединения, как приведено в примерах выше, является одной возможностью для адаптации динамического диапазона для входящих пикселей, которые состоят из смеси видео и графики, такой как, например, субтитры.

В другом варианте осуществления используется отличный подход.

Если известно, что пиксель составлен как из видео, так и графики, такой как субтитры, то известно что предоставляется смешанный сигнал, но однозначно неизвестно, какая часть значений пикселя для разных цветов в объединенном сигнале была исходно видео, а какая часть является исходно субтитрами.

Параметры смешивания, например, указывающие, что 25% являются субтитрами и 75% являются видео, обеспечивают некоторый ориентир, но может быть полезным более точное определение.

Даже если известен процент, истинное условие наложения может находиться в границе около 25%, и кроме того, поскольку цвет субтитров и цвет видео неизвестны, неизвестно, каким является вклад видео и субтитров в разные цвета.

В некоторых вариантах осуществления, в декодере, для пикселей, для которых один или более наименее значимых битов указывают, что они составлены из видео и одного или более наложений (и, следовательно, формируют «смешанный пиксель»), выполняется оценка вклада в значения пикселя графики (такой как субтитры) и видео в разные цвета.

Это, например, выполняется посредством анализа пикселей, окружающих пиксель.

Для совокупности пикселей, т.е., пикселя и его окружающих пикселей, известны параметры смешивания или, по меньшей мере, известно, что присутствует смесь или возможная смесь.

Что неизвестно, так это каковы вклады для разных цветов.

Например, видео может быть красным, а субтитры могут быть зелеными.

Смесь между наложением и видео может в целом быть 50% каждого для пикселя, но соотношение в смеси в индивидуальных цветах может существенно варьироваться от этого (поскольку цветности у видео и наложения могут быть сильно разными для пикселя).

Посредством анализа пикселя и его окружающих пикселей, может быть выполнена оценка вклада графики и видео в сигнал для упомянутого пикселя.

Некоторые параметры смешивания могут быть предоставлены в LSB некоторых из компонентов цвета, и часто графика, такая как субтитры, как правило, имеет более или менее постоянный цвет и интенсивность и возможно даже размер и форму. Это может обеспечить оценку индивидуальных вкладов.

Таким образом, входящий (например, LDR) смешанный сигнал используется, чтобы обеспечивать, средством оценки, использующим входящие параметры смешивания и анализ пикселя и окружающих пикселей, оценку вклада графики и оценку для вклада видео во входящий сигнал. Если видеосигнал для белого пятна, а субтитры зеленые, тогда посредством сравнения пикселя, который является 100% видео с соседним пикселем, который является 50% видео и 50% субтитров, можно оценить вклад в разные компоненты цвета субтитров посредством сравнения упомянутых значений пикселя. Тот факт, что субтитры часто более или менее постоянного цвета и интенсивности, и часто более или менее стандартного размера и формы, конечно может быть использован в анализе. В анализе, например, сравниваются данные для упомянутого пикселя и для некоторого количества окружающих пикселей. В некоторых вариантах осуществления один соседний пиксель может быть использован для анализа, но использование более чем одного из окружающих пикселей в анализе, как правило, дает более хорошие результаты.

Вычитание оцененного вклада субтитров из сигнала обеспечивает оцененный вклад видео в объединенный сигнал и наоборот.

К оцененному таким образом сигналу адаптация динамического диапазона затем может быть применена индивидуально к индивидуально оцененным сигналам.

Это может например быть полной адаптацией динамического диапазона, применяемой к оцененному видеосигналу, и фиксированным значением или другой адаптацией динамического сигнала, применяемой к оцененному сигналу наложения.

Адаптация динамического диапазона также может использовать некоторую экстраполяцию, как описано в предыдущих примерах.

Преимущество такого варианта осуществления состоит в том, что более подробная информация о вкладе графики и видео в сигнал цвета устанавливается и используется, чтобы индивидуально оптимизировать индивидуальные признаки.

Это обеспечивает более хорошую точную настройку адаптации динамического диапазона.

Фиг. 18 иллюстрирует пример такого варианта осуществления:

Входящий смешанный сигнал LDR предоставляется средству 146 оценки, указанному посредством EST на Фиг. 18.

Данному средству оценки также предоставляется сигнал 145 информации считывающим средством 142 с тем, чтобы оно знало, где находятся смешанные пиксели, и в вариантах осуществления также указание о величине смешивания. Средство 145 оценки знает, где находятся смешанные пиксели и может иметь некоторую дополнительную общую информацию.

Средство оценки анализирует данные пикселей и окружающих пикселей, чтобы предоставить сигнал 147 оценки графики и сигнал 148 оценки видео. Например, сигнал 147 является сигналом Yuv_graph_estimate, т.е. Yuv сигналом, дающим оценку вклада только субтитров во входящий сигнал LDR.

Сигнал 148 является сигналом Yuv_video_estimate, т.е. Yuv сигналом, дающим оценку вклада только субтитров во входящий сигнал LDR.

По этим сигналам 147 и 148 выполняется адаптация динамического диапазона, при этом адаптация динамического диапазона разная для двух сигналов. Это схематически указывается на Фиг. 18 посредством числовых обозначений 143a и 143b. Сигнал 55 может предоставлять инструкции, чтобы выполнять адаптацию динамического диапазона. По меньшей мере, один из сигналов 147 и 148 адаптируется, но часто и предпочтительно оба.

Адаптированные сигналы повторно смешиваются в средстве 149 смешивания, на Фиг. 18 схематично указанном посредством знака +. Оцененный сигнал 147 субтитров может, например, быть усилен слегка меньше оцененного сигнала 148 видео; тогда в повторно смешанном сигнале субтитры видны менее заметно.

Результирующим сигналом для дисплея 144 может, например, быть

T_2×сигнал Yuv_graph_estimate+(1-T_2)×K×Yuv_video_estimate

где K является коэффициентом усиления для Yuv_video_estimate.

В данном примере усиливается сигнал оценки видео, тогда как сигнал оценки наложения остается в своем значении LDR. Адаптированные сигналы затем повторно смешиваются с параметром T_2 повторного смешивания. Параметр T_2 повторного смешивания может быть предоставлен сигналом 55.

В данном варианте осуществления, декодер содержит средство оценки, которое оценивает вклад в разные цвета наложения и видео на основании анализа пикселя и его окружающих пикселей.

Точно такая же информация может, в вариантах осуществления, также быть предоставлена в LSB самого входящего сигнала 50. Например, один LSB в одном компоненте может указывать, является ли пиксель видео или некоторого рода смесью, а 3 бита в каждом компоненте могут указывать вклад видео в полный сигнал для упомянутого компонента.

Тем не менее, это требует использования значительно больше LSB и это кроме того может во многих реализациях требовать от кодера сравнивать сигнал после объединения с сигналами перед объединением. Тем не менее, это может быть оправдано генерированием улучшенного адаптированного изображения.

В варианте осуществления, считывающее средство 142 предоставляет информацию о вкладах в разные цвета в сигнале 145 и средство 146 оценки может просто непосредственно использовать предоставленные данные, чтобы генерировать оценку вкладов соответственно видео и наложения. Средству оценки может в данном случае не требоваться выполнять анализ, используя данные пикселя и окружающих пикселей, а вся информация может быть подана в сигнале 145, считана считывающим средством 142 из LSB входящего сигнала 50.

Результирующие сигналы могут по-прежнему быть оценками (или, по меньшей мере, иметь некоторую ошибку квантования), поскольку количество доступных битов, по сути, ограничено, и, следовательно, сигналы, покидающие средство оценки, могут рассматриваться оценками исходного объединения.

Использование анализа, основанного на окружении пикселя, в некоторых вариантах осуществления и приложениях может быть предпочтительным, поскольку меньшее число LSB требуется для предоставления информации объединения и часто может быть получена более высокая точность.

Фиг. 19 показывает подробности устройства отображения с Фиг. 18. В данном примере, показан декодер, с входящими сигналами 50, объединенным сигналом 55, информацией о адаптации 56 динамического диапазона, информацией о том, какие LSB используются и как, и исходящим сигналом.

В примере Фиг. 18, декодер, следовательно, выполнен с возможностью оценки исходных сигналов наложения и видео, которые были объединены в кодере. Адаптация динамического диапазона затем может быть применена индивидуально к этим оцененным сигналам, и, в частности, отображение динамического диапазона, применяемое к оцененному сигналу видео (изображениям) может отличаться от того, что применяется к оцененному сигналу наложения. В некоторых вариантах осуществления, может быть оценено множество сигналов наложения, т.е., объединение может быть (предполагается, что было) выполнено со множеством входных сигналов наложения, скомбинированных в объединенный видеосигнал 6 (вместе с сигналом видео). В таких сценариях, декодер может оценивать множество сигналов наложения и может выполнять разные адаптации динамического диапазона для разных сигналов наложения. Например, для сигнала наложения белого, может не применяться усиление яркости, тогда как относительно небольшое усиление яркости применяется к, например, наложению зеленого. Другая и, например, более агрессивная адаптация динамического диапазона может быть применена к сигналу видео.

В таком подходе, декодер соответственно стремится обратить объединение, выполненное средством объединения кодера. Действительно, декодер стремится сгенерировать оценки исходных сигналов, т.е., сигналов видео и наложения. Если это достигается, затем могут быть применены отображения динамического диапазона, которые являются оптимальными для индивидуального типа контента для конкретного дисплея. Вслед за таким индивидуальным отображением динамического диапазона (оптимизацией), может быть сгенерирован и представлен объединенный адаптированный по динамическому диапазону видеосигнал.

По существу, посредством считывания информации в одном или более LSB идентифицируются пиксели, которые являются объединенными пикселями, и, например, определяется степень объединения/смешивания. Используя информацию, доступную в окружающих пикселях, реконструируются исходные составляющие сигнала (например, предполагая низкочастотную характеристику видео, или используя более сложные модели совместной оценки), или они оцениваются более точно. Знание о том, что было объединено, и знание исходного упорядочения и упорядочения дисплея, обеспечивает дополнительную улучшенную адаптацию.

Значение A, указывающее свойство объединения, может именоваться битом Индикатора Графики, который генерируется и передается для каждого выходного пикселя. Данный бит может быть встроен в выходной видеосигнал. В частности, для этого может быть использован самый низкий из битов люма (т.е., наименее значимый бит), так как он, как правило, будет соответствовать яркостям настолько темным, что зритель не воспримет такой шум кодирования графики. Например, значение бита равное «1» может быть графикой, а «0» может быть нормальным видео (т.е., при объединении только видео).

В качестве конкретного примера для системы BD, подход может быть использован при нахождении в режиме HDMV. В данном случае, бит Индикатора Графики IG может быть сгенерирован для каждого пикселя как функция α1 и α2, применимых для пикселя. IG может быть установлен в 1b, если любое из α1 и α2 имеет значение больше 0.06, в противном случае IG может быть установлен в 0b. Также смотри Фиг. 20.

При нахождении в режиме BD-J, Индикатор Графики может быть сгенерирован как иллюстрируется на Фиг. 21. В данном случае, бит Индикатора Графики может быть установлен в 1b для всех местоположений пикселя, для которых пиксель плоскости Фона установлен в промежуточные данные видео. Для всех других местоположений пикселя бит Индикатора Графики может быть сгенерирован тем же способом, как он генерируется в режиме HDMV, за исключение того, что в случае графики BD-J α2 извлекается непосредственно из данных пикселя.

В некоторых из вышеприведенных примерах было использовано слово TV, это слово означает любое устройство отображения, которое содержит дисплей; это может быть экраном домашнего компьютера, или домашней видеосистемы, или планшета или любого портативного устройства отображения. В настоящее время устройства HDR часто используются дома, но это не должно считаться ограничением изобретения. Дисплеи HDR могут быть использованы во многих устройствах разнообразных типов.

Понятие «графика» может быть использовано, чтобы указывать общий тип наложения, такого как субтитры или меню или другие наложения.

Наложение может быть любым дополнительным сигналом, который объединяется в средстве объединения с сигналом видеоизображения.

Понятие «цвет» не должно интерпретироваться, как относящееся только к значениям цветности или свойствам, а наоборот также может включать в себя яркость, или, конечно, может относиться только к яркости. Например, упорядочение цвета может быть только упорядочением яркости, где цветность не рассматривается.

Понятия упорядочение цвета/отображение тонов/адаптация динамического диапазона могут считаться эквивалентами (как это есть в действительности в соответствии с их использованием в соответствующей области техники).

Алгоритмические компоненты, раскрываемые в данном тексте, могут (полностью или частично) быть реализованы на практике в качестве аппаратного обеспечения (например, частей проблемно-ориентированной IC) или в качестве программного обеспечения, выполняемого на особом цифровом сигнальном процессоре, или универсальном процессоре, и т.д.

Специалисту в соответствующей области техники должно быть понятно из нашего представления, какие компоненты могут быть опциональными улучшениями и могут быть реализованы в комбинации с другими компонентами, и каким образом (опциональные) этапы способов соответствуют соответствующим средствам устройств, и наоборот. Слово «аппаратура» или сходные слова, такие как ʹустройствоʹ в данной заявке используется в своем самом широком смысле, а именно группы средств, обеспечивающих реализацию конкретной цели, и следовательно, может быть, например (небольшой частью) IC, или предназначенного прибора (такого как прибор с дисплеем), или частью объеденной в сеть системы, и т.д. «Компоновка», «система», или сходные слова также предназначены для того, чтобы использоваться в самом широком смысле, так что это может содержать иди быть сформировано в, среди прочего, одном устройстве, части устройства, совокупности (частей) совместно работающих устройств, и т.д.

Следует понимать, что версия настоящих вариантов осуществления в компьютерном программном продукте, как обозначается, охватывает любую физическую реализацию совокупности команд, позволяющую универсальному или особого назначения процессору, после ряда этапов загрузки (которые могут включать в себя этапы промежуточного преобразования, такие как трансляцию в промежуточный язык, и итоговый язык процессора), вводить команды в процессор, и исполнять любые характерные функции изобретения. В частности, компьютерный программный продукт может быть реализован в качестве данных на носителе, таком как, например, диск или лента, данных присутствующих в памяти, данных проходящих через сетевое соединение - проводное или беспроводное -, или программного кода на бумаге. Помимо программного кода, характеристические данные, требуемые для программы, также могут быть воплощены в качестве компьютерного программного продукта. Должно быть очевидно, что под компьютером мы понимаем любое устройство, выполненное с возможностью осуществления вычисления данных, т.е., это также может быть мобильным телефоном. Также пункты формулы изобретения устройства могут охватывать реализуемые компьютером версии вариантов осуществления.

Некоторые из этапов, требуемых для работы способа, могут уже присутствовать в функциональности процессора, вместо описанных в компьютерном программном продукте, такие как этапы ввода и вывода данных.

На основании предыдущих описаний, следует иметь в виду, что нижеследующие подходы могут поддерживаться описанием:

Может быть предоставлен способ для кодирования видеосигнала, содержащий этапы, на которых: добавляют к входному сигналу (2) видеоизображения один или более сигналов (3, 4) наложения, чтобы сформировать объединенный видеосигнал (6, 50), генерируют одно или более значений (A), указывающие для пикселя в объединенном видеосигнале тип объединения и/или один или более параметры объединения, и кодируют для упомянутого пикселя упомянутое одно или более значений (A) в одном или более наименее значимых битах из одного или более компонентов цвета объединенного видеосигнала (6, 50).

Опционально, для такого способа, по меньше мере, одно из упомянутого одного или более значений (A) указывает тип объединения упомянутого пикселя.

Опционально, по меньшей мере, одно из упомянутого одного или более значений предоставляет параметр объединения, указывающий величину объединения входного сигнала видео и одного или более сигналов наложения для упомянутого пикселя.

Опционально, один наименее значимый бит используется для указания, является ли пиксель видео, или сигналом наложения, или объединением видео и одного или более сигналов наложения.

Опционально, количество наименее значимых битов, указывающих тип объединения и/или один или более параметры объединения в объединенном видеосигнале, является переменным, и указывается посредством сигнала длины кодирования.

Опционально, к объединенному видеосигналу предоставляется сигнал (56) информации, содержащий информацию о том, какие наименее значимые биты используются для указания типа объединения и/или одного или более параметров объединения в объединенном видеосигнале (50) для упомянутого пикселя и/или каким образом наименее значимые биты используются, чтобы указывать способ кодификации.

Может быть предоставлен процессор видео для кодирования видеосигнала, содержащий: средство (5, 51) объединения для объединения входного сигнала (2, 46, 48, 54) видеоизображения и одного или более сигналов (3, 4) наложения, чтобы формировать объединенный видеосигнал (6, 50), и кодер (7, 51) изображения для генерирования или приема одного или более значений (A), указывающих для пикселя в объединенном видеосигнале тип объединения и/или один или более параметры объединения, и для кодирования для упомянутого пикселя упомянутого одного или более значений (A) в одном или более наименее значимых битах из одного или более компонентов цвета объединенного видеосигнала (6, 50).

Опционально, для такого процессора видео, кодер выполнен с возможностью кодирования, по меньшей мере, одного наименее значимого бита значением, указывающим тип объединения для упомянутого пикселя.

Опционально, кодер выполнен с возможностью кодирования, по меньшей мере, одного значения, предоставляющего параметр объединения, указывающий величину объединения видео и одного или более наложений.

Опционально, кодер выполнен с возможностью предоставления к объединенному видеосигналу сигнала (56) информации с информацией о том, какие наименее значимые биты используются для указания типа объединения и/или одного или более параметров объединения в объединенном сигнале для упомянутого пикселя и каким образом.

Опционально, средство (5) объединения выполнено с возможностью предоставления сигнала информации объединения (MIS) кодеру (7).

Процессор видео может содержаться в телевизионной абонентской приставке или проигрывателе BD.

Может быть предоставлен способ для декодирования видеосигнала, при этом принимается видеосигнал объединенный из более чем одного сигнала, для пикселя считывается один или более из наименее значимых битов одного или более компонентов цвета видеосигнала, и из упомянутых наименее значимых битов генерируется одно или более значений (A), и при этом упомянутый пиксель принятого сигнала видеоизображения подвергается адаптации перед демонстрацией, при этом адаптация зависит от сгенерированного значения (A) или значений.

Опционально, адаптация содержит этап применения преобразования цвета, адаптирующего динамический диапазон.

Опционально, по меньшей мере, одно из значений A указывает тип объединения для пикселя и адаптация перед демонстрацией зависит от типа объединения пикселя.

Опционально, по меньшей мере, одно из значений (A) представляет, является или нет пиксель видео или наложением и/или смесью видео и наложения.

Опционально, по меньшей мере, одно из значений указывает величину объединения сигнала видеоизображения и одного или более сигналов наложения и адаптация перед демонстрацией зависит от величины объединения.

Опционально, один наименее значимый бит считывается, чтобы получить значение (A).

Опционально, перед адаптацией видеосигнал разбивается на более чем один оцененный сигнал, оценивающий более чем один сигналы перед объединением, на основании оценки вклада видео и наложения в значение пикселя сигнала, после чего, по меньшей мере, один из сигналов подвергается преобразованию цвета, чтобы адаптировать его яркость, и адаптированные сигналы повторно смешиваются.

Опционально, разбиение сигнала для пикселя основано на анализе данных для упомянутого пикселя и данных для некоторого количества окружающих пикселей, которые идентифицируются как несмешанные пиксели видео.

Может быть предоставлен декодер видео для декодирования видеосигнала, объединенного из более чем одного сигнала, содержащий вход для приема видеосигнала, считывающее средство (72) для считывания, по меньшей мере, одного или более наименее значимых битов для одного или более компонентов цвета видеосигнала для пикселя и генерирования одного или более значений (A) из считанных наименее значимых битов, и адаптер (71, 143) для адаптации видео, и при этом адаптер выполнен с возможностью адаптации значения пикселя в зависимости от сгенерированного значения или значений (A).

Опционально, декодер видео содержит входа для сигнала (56) с информацией о том, какие наименее значимые биты считывать и каким образом, чтобы преобразовывать их в значения (A).

Опционально, адаптер выполнен с возможностью выполнения адаптации динамического диапазона над пикселями изображения.

Опционально, считывающее средство выполнено с возможностью чтения одного наименее значимого бита, чтобы получать (A).

Опционально, система содержит средство (146) оценки для разбиения принятого видеосигнала на более чем один оцененный сигнал (147, 148), на основании оценки вклада видео изображения или наложения в значение пикселя сигнала адаптируется, по меньшей мере, один из сигналов, и содержащая средством (149) смешивания, для повторного смешивания адаптированных сигналов.

Изобретение относится к кодированию видеоизображения, в частности изображения с высоким динамическим диапазоном (HDR), чтобы передать необходимую информацию кодированного изображения стороне приема и декодерам. Техническим результатом является обеспечение улучшенной адаптации динамического диапазона и улучшенного представления наложения и/или видеоизображения, в частности при смене динамического диапазона. Предложена система обработки видео, например телевизионная абонентская приставка или проигрыватель Blu-ray, в которой в средстве объединения видео может быть объединено с одним или более наложениями, указание пикселя видео/наложения кодируется в одном или более наименее значимых битах одного или более компонентов цвета в видеосигнале. Видеосигнал передается через интерфейс от системы обработки видео на дисплей, который подвергает изображение адаптации в зависимости от указания пикселя видео/наложения. 4 н. и 13 з.п. ф-лы, 22 ил.

1. Устройство для декодирования видеосигнала с высоким динамическим диапазоном (HDR), объединенного из более чем одного исходного сигнала, содержащее:

вход для приема видеосигнала HDR,

считывающее средство (72) для считывания, по меньшей мере, одного или более наименее значимых битов одного или более компонентов цвета видеосигнала HDR для пикселя и генерирования одного или более значений (A) из считанных наименее значимых битов, причем одно или более значений (A) указывают свойство объединения для пикселя, причем свойство объединения указывает свойство объединения в видеосигнале HDR одного или более сигналов (3, 4) наложения с сигналом (2) видеоизображения для этого пикселя; и

адаптер (71, 143) для адаптации видеосигнала HDR, посредством адаптации значения пикселя в зависимости от одного или более значений (A).

2. Устройство по п. 1, дополнительно содержащее вход для сигнала (56), включающего в себя информацию о том, какие наименее значимые биты считывать и каким образом преобразовывать их в одно или более значений (A).

3. Устройство по п. 1 или 2, в котором адаптер (71, 143) выполнен с возможностью выполнения адаптации динамического диапазона над пикселями изображения видеосигнала HDR.

4. Устройство по п. 3, в котором адаптер (71, 143) выполнен с возможностью адаптации отображения из входного динамического диапазона видеосигнала HDR в выходной динамический диапазон для пикселя в зависимости от одного или более значений (A).

5. Устройство по п. 4, в котором одно или более значений (A) указывают процентный вклад в пиксель от сигнала (2) видеоизображения по отношению к процентному вкладу от одного или более сигналов (3, 4) наложения; и адаптер (71, 143) выполнен с возможностью применения разного отображения для разных процентных вкладов.

6. Устройство по любому из пп. 1-4, при этом устройство содержит:

средство (146) оценки для разбиения видеосигнала HDR на множество оцененных сигналов (147, 148), на основании оценки вклада сигнала (2) видеоизображения и одного или более сигналов наложения в пиксели видеосигнала HDR; и

средство (149) смешивания для повторного смешивания множества оцененных сигналов вслед за адаптацией; и при этом адаптер выполнен с возможностью раздельной адаптации, по меньшей мере, одного из множества оцененных сигналов (147, 148).

7. Устройство по п. 1, в котором свойство объединения указывает тип объединения.

8. Устройство по п. 1, в котором свойство объединения для пикселя указывает величину объединения сигнала (2) видеоизображения и одного или более сигналов наложения для упомянутого пикселя.

9. Устройство по п. 1, в котором адаптер (71, 143) выполнен с возможностью, перед адаптацией, разбиения видеосигнала HDR на более чем один оцененных сигналов, оценивающих, по меньшей мере, некоторые из одного или более сигналов (3, 4) наложения и сигнал (2) видеоизображения на основании оценки вклада, по меньшей мере, некоторых из одного или более сигналов (3, 4) наложения и сигнала (2) видеоизображения в значение пикселя видеосигнала HDR, после чего, по меньшей мере, один из оцененных сигналов подвергается преобразованию цвета, чтобы адаптировать его яркость, и более чем один оцененных сигналов повторно смешиваются вслед за адаптацией.

10. Устройство по п. 1, в котором свойство объединения может указывать пиксель, содержащий первый контент наложения, причем первый контент наложения исходит из, по меньшей мере, одного из сигнала наложения, содержащего локально генерируемый графический контент, или сигнала наложения, содержащего второй сигнал видеоизображения, который включает в себя объединенный контент наложения.

11. Устройство по п. 10, в котором адаптер выполнен с возможностью адаптации пикселей в пределах области, для которой свойство объединения указывает пиксель, содержащий первый контент наложения, чтобы иметь выходные яркости в пределах предварительно определенного диапазона.

12. Способ декодирования видеосигнала HDR, объединенного из более чем одного исходного сигнала, содержащий этапы, на которых:

принимают видеосигнал HDR,

считывают, по меньшей мере, один или более наименее значимых битов для одного или более компонентов цвета у видеосигнала HDR для пикселя и генерируют одно или более значений (A) из считанных наименее значимых битов, при этом одно или более значений (A) указывают свойство объединения для пикселя, причем свойство объединения указывает свойство объединения в видеосигнале HDR одного или более сигналов (3, 4) наложения с сигналом (2) видеоизображения для этого пикселя; и

адаптируют видео, и при этом адаптер выполнен с возможностью адаптации значения пикселя в зависимости от одного или более значений (A).

13. Устройство для кодирования видеосигнала, содержащее:

средство (5, 51) объединения для объединения входного сигнала (2) видеоизображения HDR с одним или более сигналами (3, 4) наложения, чтобы сформировать объединенный видеосигнал (6, 50),

процессор для генерирования одного или более значений (A), указывающих для пикселя в объединенном видеосигнале свойство объединения, указывающее свойство объединения для этого пикселя; и

кодер (7, 51) для кодирования для упомянутого пикселя упомянутого одного или более значений (A) в одном или более наименее значимых битах одного или более компонентов цвета у значения пикселя для пикселя в объединенном видеосигнале (6, 50).

14. Устройство по п. 13, в котором свойство изображения указывает, по меньшей мере, одно из следующего: тип объединения для упомянутого пикселя и величину объединения входного сигнала видеоизображения HDR и одного или более сигналов наложения.

15. Устройство по п. 13, в котором кодер выполнен с возможностью предоставления к объединенному видеосигналу сигнала (56) информации, содержащего информацию о свойстве кодирования одного или более значений (A) в одном или более наименее значимых битах.

16. Устройство по п. 13, в котором свойство объединения может указывать пиксель, содержащий первый контент наложения, причем первый контент наложения исходит из, по меньшей мере, одного из сигнала наложения, содержащего локально генерируемый графический контент, или сигнала наложения, содержащего второй сигнал видеоизображения, который включает в себя объединенный контент наложения.

17. Способ кодирования видеосигнала, содержащий этапы, на которых:

объединяют входной сигнал (2) видеоизображения HDR с одним или более сигналами (3, 4) наложения, чтобы сформировать объединенный видеосигнал (6, 50),

генерируют одно или более значений (A), указывающие для пикселя в объединенном видеосигнале свойство объединения, указывающее свойство объединения для этого пикселя; и

кодируют для упомянутого пикселя упомянутое одно или более значений (A) в одном или более наименее значимых битах одного или более компонентов цвета у значения пикселя для пикселя в объединенном видеосигнале (6, 50).