ФОРМИРОВАНИЕ И ОБРАБОТКА СИГНАЛА ИЗОБРАЖЕНИЯ С ВЫСОКИМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ Российский патент 2017 года по МПК G09G5/00 G06T9/00 H04N19/98 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к формированию и/или обработке сигнала изображения, содержащего значения пикселей с высоким динамическим диапазоном.

УРОВЕНЬ ТЕХНИКИ

Цифровое кодирование сигналов от различных источников становится все более важным в последние десятилетия, по мере того как цифровое представление сигналов и передачи данных заменяет аналоговое представление и передачу данных. Непрерывная разработка и исследование продолжается с тем, чтобы улучшить качество, которое может быть получено из кодированных изображений и видеопоследовательностей, сохраняя в то же время скорость передачи данных на приемлемых уровнях.

Важным фактором для восприятия качества изображения является динамический диапазон, который может быть воспроизведен при отображении изображения. Однако обычно динамический диапазон воспроизводимых изображений, как правило, значительно сокращен относительно нормального зрения. Действительно, уровни яркости, встречающиеся в реальном мире, охватывают динамический диапазон вплоть до 14 порядков величин, колеблясь от безлунной ночи до взгляда прямо на солнце. Динамический диапазон мгновенной яркости и соответствующий отклик зрительной системы человека может попадать между 10.000:1 и 100.000:1 в солнечные дни или ночью.

Традиционно, динамический диапазон датчиков изображения и устройств отображения был ограничен низкими динамическими диапазонами величин. Также устройства отображения часто ограничены условиями просмотра (они могут воспроизводить черное, если механизм формирования яркости выключен, но тогда они все еще отражают, например, окружающий свет на своих передних стеклах; телевизор в солнечный день может иметь DR<50:1). Поэтому, традиционно было возможно сохранять и передавать изображения в 8-битных форматах гамма-кодирования, без привнесения заметных восприятию артефактов на традиционных устройствах воспроизведения. Тем не менее, в попытке записать более точное и живое изображение, были разработаны новые датчики изображения с высоким динамическим диапазоном (HDR), которые способны записывать динамические диапазоны более чем в 6 порядков величин. Более того, большинство специальных эффектов, улучшений компьютерной графикой и другая послесъемочная работа уже регулярно ведется с большими глубинами цвета и более высокими динамическими диапазонами.

Кроме того, контраст и пиковая яркость новейших систем отображения продолжает возрастать. Недавно были представлены новые устройства отображения с пиковой яркостью вплоть до 4000 кд/м² и коэффициентами контрастности вплоть до, пожалуй, 5-6 порядков величин, хотя это обычно значительно снижается в реальных условиях просмотра. Ожидается, что будущие устройства отображения будут способны предоставить еще более высокие динамические диапазоны и в особенности более высокие пиковые яркости и коэффициенты контрастности. Когда традиционно кодированные 8-битные сигналы отображаются на подобных устройствах отображения, могут появляться раздражающее квантование и артефакты кадрирования, или значения серого разных областей могут быть неправильно воспроизведены, и так далее. Артефакты могут быть особенно заметны, если сжатие, такое как сжатие DCT в соответствии с MPEG или похожим стандартом сжатия неподвижного изображения или видео, было использовано где-то в цепи визуализации, от создания контента до окончательного воспроизведения. Более того, традиционные форматы видео предлагают недостаточную точность и запас для передачи обширной информации, содержащийся в новых HDR изображениях.

В результате, существует растущая потребность в новых подходах, которые позволят потребителю в полной мере воспользоваться возможностями новейших (и будущих) датчиков и систем отображения. Предпочтительно, чтобы представления подобной дополнительной информации были обратно совместимыми, с тем, чтобы устаревшее оборудование могло по-прежнему принимать обычные видеопотоки, в то время как новые HDR-устройства могли в полной мере воспользоваться дополнительной информацией, переданной новым форматом. Таким образом, желательно, чтобы кодированные видеоданные не только представляли HDR изображения, но также позволяли кодировать соответствующие традиционные изображения с низким динамическим диапазоном (LDR), которые могут быть отображены на обычном оборудовании.

Критической задачей для введения видео и изображений с повышенным динамическим диапазоном является то, как эффективно кодировать, сохранять и распространять соответствующую информацию. В частности, является желательным, чтобы поддерживалась обратная совместимость, и чтобы введение изображений с высоким динамическим диапазоном в существующие системы было упрощено. Также является существенной эффективность с точки зрения скорости передачи данных и сложности обработки. Другой критической задачей является, разумеется, итоговое качество изображения.

Таким образом, был бы полезен усовершенствованный подход к распространению, передаче и/или представлению изображений с высоким динамическим диапазоном.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Таким образом, данное изобретение стремится предпочтительно смягчить, облегчить или устранить один или более недостатков предшествующего уровня техники по отдельности или в любом сочетании.

Согласно аспекту данного изобретения предоставлено устройство для формирования сигнала изображения, в котором пиксели закодированы в N-битных словах, кодирующих, по меньшей мере, яркость на каждый пиксель, причем устройство содержит: приемник для получения значений пикселей с высоким динамическим диапазоном в соответствии с первым представлением цвета в M-битных словах; первый генератор для включения значений пикселей с высоким динамическим диапазоном в сигнал изображения в N-битных словах в соответствии со вторым представлением цвета; и второй генератор для включения в сигнал изображения обозначения, что закодированы значения пикселей с высоким динамическим диапазоном.

Следует отметить, что слова значений пикселей могут быть закодированы по отдельным разделам данных, таких как, например, компоненты, или, некоторые разделы могут содержать данные, которые не являются по существу данными с высоким динамическим диапазоном (HDR).

Данное изобретение может предоставлять улучшенный сигнал изображения для распространения данных изображения с высоким динамическим диапазоном (HDR). Данный подход может, в частности, предоставить улучшенную обратную совместимость во многих применениях и/или может, например, облегчить введение распространения изображений HDR в существующих системах изображений и видео.

Сигнал изображения может быть одиночным сигналом изображения, таким как файл цифрового изображения, или может, например, быть видеосигналом, содержащим множество изображений.

N-битные слова могут содержать множество компонентов, которые могут отдельно и независимо представлять разные цветовые компоненты. N-битное слово может представлять множество цветовых компонентов. Это N-битное слово может быть разделено на разные сегменты, которые могут быть выделены отдельным цветовым компонентам. К примеру, биты N1 могут быть использованы для данных пикселя о первом цветовом компоненте, биты N2 могут быть использованы для данных пикселя о втором цветовом компоненте, а биты N3 могут быть использованы для данных пикселя о третьем цветовом компоненте (где, например, N1+N2+N3=N). В качестве конкретного примера, RGB представление цвета может быть предоставлено N-битными словами, в которых N/3 бит выделено каждому из R, G и В цветовых компонентов.

Подобным образом, M-битные слова могут содержать множество компонентов, которые могут отдельно и независимо представлять разные цветовые компоненты. M-битное слово может представлять множество цветовых компонентов. Это N-битное слово может быть разделено на разные сегменты, которые могут быть выделены отдельным цветовым компонентам. К примеру, биты M1 могут быть использованы для данных пикселя о первом цветовом компоненте, биты M2 могут быть использованы для данных пикселя о втором цветовом компоненте, а биты M3 могут быть использованы для данных пикселя о третьем цветовом компоненте (где, например, M1+M2+M3=M).

Сигнал изображения может быть одиночным непрерывным и включающим в себя всё сигналом изображения. Однако, в других вариантах осуществления, этот сигнал изображения может быть составным или разделенным сигналом изображения. К примеру, данные пикселей для изображения в виде N-битных слов могут быть распределены по нескольким пакетам данных или сообщениям. Подобным образом, индикатор может быть предоставлен совместно с этими N-битными словами или отдельно от них, например, сохранен в другой части запоминающего устройства или даже предоставлен через другую линию связи. Для примера, индикатор может быть передан в других пакетах данных или сообщениях, чем эти N-битные слова. Например, сигнал изображения может быть разделен на пакеты данных изображения и пакеты управляющих данных, причем N-битные слова доставляются в первом, а индикатор доставляется во втором типе пакетов данных. Как минимум, устройства кодирования и декодирования должны иметь постоянный (единственный или множество) способ декодирования HDR данных в постоянное доступное N-битное слово, и тогда индикатор должен быть простым и просто говорить, что кодированные данные представляют “HDR данные” или, например, “HDR-type-1” («HDR-типа-1») или “HDR-type-2” («HDR-типа-2») данные, а не LDR данные. Принимающая сторона должна тогда в соответствии с согласованным, например, type-2 сценарием кодирования знать, как окончательно преобразовать это в сигнал, воспроизводимый на устройстве отображения (или печатающем устройстве и так далее). Подобный сценарий может быть использован, например, когда произвольные HDR первоисточники (например, с 16-битной яркостью, что кодирует максимум, соответствующий пику белого 5000 нит, или 22-битной яркостью, с пиком белого 550000 нит), сначала преобразуют в промежуточный сигнал (который более применим для отображения, поскольку яркий объект в 550000 нит никак не может быть воспроизведен, то является предпочтительным сначала выровнять некоторые значения, которые еще передают огромную яркость, чтобы быть воспроизводимым на устройстве отображения, например 5000 нит). Сложные математические или художественные выборы преобразования изображения картины реального мира в полезный, отображаемый сигнал затем получают из этой части цепи визуализации, и затронутые в предыдущей части, с тем, чтобы type-2 кодирование должно касаться только преобразования всего, что оказалось в промежуточном M-битном представлении, в type-2 N-битное представление. Однако индикатор может быть более сложным, или, иными словами, поставляться совместно с дополнительными данными, указывающими, как именно преобразование было выполнено в N-битный сигнал, с тем, чтобы, например, 22 бит/550000 нит первоисточники также могли напрямую быть применены ко второй части цепи визуализации и преобразованы в N-битный сигнал. В подобных случаях, полезная информация должна быть (линейной) информацией масштабирования (например, связанной с масштабированием между первым диапазоном яркостей, связанных с первым кодированием M-битных слов по отношению ко второму диапазону N-битных слов), такой как, например, определение уровня 550000 нит (или выведенного показателя величины белого, например, оцененного, масштабированного, или предназначенного к воспроизведению на эталонном устройстве отображения уровня белого [который можно видеть как пример соответствующей яркости устройства отображения], которую фактическое принимающее устройство отображение может оптимально преобразовать согласно тому, что оно может максимально произвести как пик белого; то есть, оно будет отображать данные, которые имеют кодированный уровень белого, например, 5000 нит иначе, чем данные с уровнем белого 50000 нит, например, если устройство отображения может показывать пик белого в 10000 нит, оно может воспроизвести первый белый [то есть, пиксели, имеющие кодовое значение Y=1023, например] как выводимую яркость изображения равную 6000 нит, второй, как выводимую яркость изображения равную 10000 нит). И может быть дополнительно полезно включать информацию о том, как именно все значения яркости или цвета в диапазоне кодируемых цветов в M-битном представлении распределяются в кодируемом диапазоне N-битного сигнала, например, для использования битов в новом N-битном представлении наилучшим возможным способом, и кодировать настолько точно, насколько это возможно, все текстуры различных важных объектов в пределах диапазона яркости во входных изображениях в M-битном представлении, например, совместно кодируя функции преобразования. Действительно, все это может динамически меняться между разными сценами фильма, например, переключение от простых, хорошо освещенных сцен в помещении, которые могут быть лучше всего представлены в LDR кодировании, к сценам вне помещения со зрелищным ярким фейерверком, которые могут быть лучше всего представлены в варианте, настроенном на больший HDR, с разными статистиками изображения, приводящим к разным статистикам N-битного кодирования.

В соответствии с необязательным признаком изобретения, первое представление цвета отличается от второго представления цвета.

Это может обеспечить улучшенную производительность во многих вариантах осуществления и может во многих сценариях, в частности, обеспечить высокоэффективную передачу данных изображения HDR. Устройство может адаптировать данные изображения HDR для точного соответствия требованиям, характеристикам и/или установкам конкретного распространяемого носителя.

В соответствии с необязательным признаком изобретения, устройство дополнительно содержит модуль преобразования для преобразования значений пикселей с высоким динамическим диапазоном из первого представления цвета во второе представление цвета.

Это может обеспечить улучшенную производительность во многих вариантах осуществления и может во многих сценариях, в частности, обеспечить высокоэффективную передачу данных изображения HDR. Устройство может адаптировать данные изображения HDR для точного соответствия требованиям, характеристикам и/или установкам конкретного распространяемого носителя.

В соответствии с необязательным признаком изобретения, преобразование содержит сжатие M-битных слов в N-битные слова, где M больше, чем N.

Более эффективный сигнал изображения для распространения HDR контента может быть достигнут во многих вариантах осуществления. Сжатие, позволяющее более эффективное распределение, может, к примеру, применять нелинейное преобразование к преобразованию, например, линейного M-битного слова представления цвета в нелинейное N-битное слово представления цвета.

В соответствии с необязательным признаком изобретения, сжатие содержит использование разной схемы квантования для значений пикселей в соответствии со вторым представлением цвета, нежели для значений пикселей в соответствии с первым представлением цвета.

Более эффективный сигнал изображения для распространения HDR контента может быть достигнут во многих вариантах осуществления. Схема квантования для второго представления цвета может, например, позволить динамическому диапазону быть покрытым меньшим числом уровней квантования и может позволить N быть меньше, чем M. Схема квантования для второго представления цвета может, к примеру, быть неравномерным квантованием значений цветовых компонентов и/или динамического диапазона яркости.

В соответствии с необязательным признаком изобретения, первое представление цвета является тем же самым, что и второе представление цвета.

Это может обеспечить эффективное представление и/или низкую сложность и/или облегченную работу во многих сценариях. В частности, это может обеспечить низкую сложность и низкую обработку вычислительных ресурсов, которые будут использованы, для эффективного обращения с изображениями с высоким динамическим диапазоном.

В соответствии с необязательным признаком изобретения, индикатор содержит указание яркости устройства отображения, связанной со вторым представлением цвета.

Сигнал изображения может включать в себя указание, как предоставленное значение пикселя номинально соотносится с желаемой яркостью. Этот подход может, например, позволить устройству отображения, принявшему сигнал изображения, адаптировать воспроизведение значений пикселей к соответствующим фактическим характеристикам этого устройства отображения. К примеру, преобразование может быть применено для обеспечения точных или надлежащих пересчетов от номинальных или эталонных устройств отображения, связанных со вторым представлением цвета, к фактическому устройству отображения, используемому для воспроизведения.

Индикатор может, в частности, предоставить указание на эталонную яркость, соответствующую эталонному значению пикселя. К примеру, яркость, соответствующая значению пикселя, представляющего наивысшую яркость второго представления цвета, может быть указана посредством этого индикатора.

Этот подход может позволить закодировать любое HDR пространство, позволяя, в тоже время, отображать его на любом устройстве отображения. К примеру, изображение HDR может быть закодировано, чтобы соответствовать динамическому диапазону с самым ярким излучением в 50 000 нит. Однако, при воспроизведении подобного сигнала на 1000 нит устройстве отображения, является желательным обеспечить интеллектуальное преобразование между закодированным динамическим диапазоном и динамическим диапазоном воспроизведения. Подобное преобразование может быть улучшено или облегчено посредством индикатора, указывающего яркость устройства отображения, связанную со вторым представлением цвета.

В соответствии с необязательным признаком изобретения, индикатор содержит указание на второе представление цвета.

Это может улучшить производительность и/или облегчить воспроизведение. В частности, это может позволить устройству, принявшему сигнал изображения, оптимизировать обработку конкретного используемого представления цвета. Представления цвета могут задавать и то, как значения данных упакованы (например, сначала яркость, затем тон, как 3-битный компонент, затем насыщенность в соответствии с некоторой схемой распределения битов последующего слова), и то, что они обозначают (какие основные цвета и так далее).

В соответствии с необязательным признаком изобретения, первое представление цвета применяет отдельное значение цвета для каждого цветового компонента первого представления цвета, а второе представление цвета применяет набор значений цветов для каждого цветового компонента второго представления цвета совместно с общим экспоненциальным множителем.

Это может обеспечить особенно эффективное представление. Набор значений цветов для каждого цветового компонента второго представления цвета может соответствовать линейному или нелинейному (такому как, например, логарифмическому) представлению значений яркости цветового компонента.

В соответствии с необязательным признаком изобретения, сигнал изображения содержит сегмент для данных изображения пикселя, и первый генератор выполнен с возможностью попеременно включать значения пикселей с низким динамическим диапазоном или значения пикселей с высоким динамическим диапазоном в соответствии со вторым представлением цвета в этот сегмент, а индикатор выполнен с возможностью указывать, содержит ли первый сегмент значения цвета с низким динамическим диапазоном или значения цвета с высоким динамическим диапазоном.

Это может обеспечить особенно эффективное представление. Во многих сценариях это может обеспечить улучшенную обратную совместимость и/или облегчить внедрение HDR в существующие системы или стандарты. Этот подход может, в частности, обеспечить легкое приспособление существующих подходов распространения видео для распространения изображений с низким динамическим диапазоном к распространению изображений с высоким динамическим диапазоном.

Указанный сегмент может, к примеру, быть сегментом, зарезервированным для передачи улучшенных цветовых данных. К примеру, стандарт сигнала изображения может предусматривать передачу данных изображения в соответствии со стандартным представлением цвета и в соответствии с улучшенным представлением цвета, причем улучшенное представление цвета обеспечивает улучшенное представление насыщенности цвета по сравнению со стандартным представлением цвета (например, более точное квантование насыщенности цвета или более широкую палитру). Как правило, улучшенное представление цвета может использовать больше битов, чем стандартное представление цвета. Этот подход может предусматривать использование сегмента, зарезервированного для улучшенного представления цвета для передачи данных с высоким динамическим диапазоном.

В соответствии с необязательным признаком изобретения, второй генератор выполнен с возможностью дополнительно включать второй индикатор в сигналы изображений, причем второй индикатор указывает, что указанный сегмент используется для значений пикселей с низким динамическим диапазоном и тогда, когда указанный сегмент содержит значения пикселей с низким динамическим диапазоном, и тогда, когда указанный сегмент содержит значения пикселей с высоким динамическим диапазоном.

Это может обеспечить представление, обладающее особым преимуществом. Во многих сценариях это может обеспечить улучшенную обратную совместимость и/или облегчить внедрение HDR в существующие системы или стандарты. Этот подход может, в частности, обеспечить легкое приспособление существующих подходов распространения видео для распространения изображений с низким динамическим диапазоном к распространению изображений с высоким динамическим диапазоном.

Использование второго индикатора, который может указывать, что указанный сегмент использует данные с низким динамическим диапазоном, даже когда он содержит данные с высоким динамическим диапазоном, может быть использовано, чтобы убедиться в том, что обработка или распространение, основанные на этом индикаторе, будут теми же, что и для данных с низким динамическим диапазоном. Это позволяет избежать конфликтов, и, в частности, может обеспечить, чтобы устройства, не обладающие функциональными возможностями обработки данных с высоким динамическим диапазоном или первого индикатора, все-таки обрабатывали указанный сигнал. Устройства с другими функциональными возможностями могут тогда использовать первый индикатор для обработки значений пикселей как данных с высоким динамическим диапазоном. К примеру, в некоторых вариантах осуществления, только воспроизводящее устройство отображения будет использовать первый индикатор для обработки данных пикселя, хотя промежуточное распространение или функциональные возможности хранения основаны только на втором индикаторе, и, следовательно, не требуют способности обрабатывать первый индикатор или, более того, значения пикселей с высоким динамическим диапазоном. Второй индикатор может быть существующим стандартизованным индикатором, в то время как первый индикатор является новым индикатором, вводимым в существующий стандарт.

В соответствии с необязательным признаком изобретения, число битов K, зарезервированных для каждого пикселя в указанном сегменте, является большим, чем N.

Это может обеспечить улучшенную и/или упрощенную работу во многих сценариях. В некоторых вариантах осуществления, указанные K-N биты могут быть использованы для передачи других данных, таких как, например, данные улучшенной насыщенности цвета.

В соответствии с необязательным признаком изобретения, указанный сигнал изображения соответствует стандарту HDMI.

Данное изобретение может предоставить обладающий особым преимуществом HDMI™ (Мультимедийный Интерфейс Высокой Четкости) сигнал изображения для распространения в соответствии со стандартами HDMI™.

В соответствии с необязательным признаком изобретения, первый генератор выполнен с возможностью включать значения пикселей с высоким динамическим диапазоном в сегмент данных «Глубокий цвет».

Это может обеспечить обладающий особым преимуществом подход и может, в частности, обеспечить улучшенную обратную совместимость.

В соответствии с необязательным признаком изобретения, второй генератор выполнен с возможностью включать индикатор в информационный кадр вспомогательной видеоинформации.

Это может обеспечить обладающий особым преимуществом подход и может, в частности, обеспечить улучшенную обратную совместимость.

В соответствии с необязательным признаком изобретения, сигнал кодирования изображения является соответствующим стандарту DisplayPort.

Данное изобретение может предоставить обладающий особым преимуществом DisplayPort™ сигнал изображения для распространения в соответствии со стандартами DisplayPort™.

Согласно аспекту данного изобретения предоставлен способ формирования сигнала изображения, в котором пиксели закодированы в N-битных словах, кодирующих, по меньшей мере, яркость для каждого пикселя, причем способ содержит следующие этапы: получение значений пикселей с высоким динамическим диапазоном в соответствии с первым представлением цвета в M-битных словах; включение указанных значений пикселей с высоким динамическим диапазоном в сигнал изображения в N-битных словах в соответствии со вторым представлением цвета; и включение в сигнал изображения индикатора того, что закодированы значения пикселей с высоким динамическим диапазоном.

Согласно аспекту данного изобретения предоставлено устройство для обработки сигнала изображения, причем устройство содержит: приемник для приема сигнала изображения, сегмент данных указанного сигнала изображения, содержащий одно из значений пикселей с высоким динамическим диапазоном в N-битных словах в соответствии с первым представлением цвета и значений пикселей с низким динамическим диапазоном в соответствии со вторым представлением цвета, и для приема индикатора, указывающего когда сегмент данных содержит значения пикселей с высоким динамическим диапазоном, а когда значения пикселей с низким динамическим диапазоном; устройство извлечения для извлечения данных из указанного сегмента данных; и процессор, выполненный с возможностью обрабатывать данные указанного сегмента данных как значения пикселей с высоким динамическим диапазоном или значения пикселей с низким динамическим диапазоном, в зависимости от указанного индикатора.

В соответствии с необязательным признаком изобретения, указанный сигнал изображения соответствует стандарту HDMI, а указанное устройство дополнительно содержит средство для пересылки указания о возможности обработки значений пикселей с высоким динамическим диапазоном в блоке данных, характерном для поставщика HDMI.

Это может обеспечить обладающее особым преимуществом распространение сигнала изображения. В частности, это может обеспечить улучшенную обратную совместимость и/или облегчить внедрение HDR информации в HDMI системах.

Согласно аспекту данного изобретения предоставлен способ обработки сигнала изображения, причем способ содержит: прием сигнала изображения, причем сегмент данных указанного сигнала изображения содержит одно из значений пикселей с высоким динамическим диапазоном в N-битных словах в соответствии с первым представлением цвета и значений пикселей с низким динамическим диапазоном в соответствии со вторым представлением цвета; прием индикатора, указывающего, содержит ли сегмент данных значения пикселей с высоким динамическим диапазоном или значения пикселей с низким динамическим диапазоном; извлечение данных из указанного сегмента данных; и обработку данных указанного сегмента данных как значений пикселей с высоким динамическим диапазоном или значений пикселей с низким динамическим диапазоном, в зависимости от индикатора.

Согласно аспекту данного изобретения предоставлен сигнал изображения, в котором пиксели закодированы в N-битных словах, кодирующих, по меньшей мере, яркость для каждого пикселя, причем указанный сигнал изображения содержит: значения пикселей с высоким динамическим диапазоном в сигнале изображения в N-битных словах в соответствии с представлением цвета; и индикатор того, что закодированы значения пикселей с высоким динамическим диапазоном.

Эти и другие аспекты, признаки и преимущества данного изобретения будут понятны из варианта(ов) осуществления описанного ниже и объяснены со ссылкой на них.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления данного изобретения будут описаны, только в качестве примера, со ссылкой на чертежи, на при этом:

Фиг. 1 является иллюстрацией канала распространения аудиовизуального контента;

Фиг. 2 является иллюстрацией устройства для формирования сигнала изображения в соответствии с некоторыми вариантами осуществления данного изобретения;

Фиг. 3 является иллюстрацией устройства для формирования сигнала изображения в соответствии с некоторыми вариантами осуществления данного изобретения;

Фиг. 4 является иллюстрацией устройства для обработки сигнала изображения в соответствии с некоторыми вариантами осуществления данного изобретения;

Фиг. 5 иллюстрирует примеры кодирования значений пикселей;

Фиг. 6 иллюстрирует пример системы для создания аудиовизуального контента; и

Фиг. 7 иллюстрирует пример системы для обработки аудиовизуального контента.

ПОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Фиг. 1 иллюстрирует пример аудиовизуального канала распространения. В данном примере, устройство 101 поставщика контента формирует аудиовизуальный сигнал контента для элемента аудиовизуального контента, такого как, например, фильм, телевизионная программа и так далее. Устройство 101 поставщика контента может, в частности, кодировать аудиовизуальный контент в соответствии с подходящим форматом кодирования и представления цвета. В частности, устройство 101 поставщика контента может кодировать изображения видеопоследовательности элемента аудиовизуального контента в соответствии с подходящим представлением, таким как, например, YCrCb. Устройство 101 поставщика контента может быть рассмотрено как представляющее собой производящую и распространяющую компанию, которая создает и вещает указанный контент.

Сигнал аудиовизуального контента затем распространяют в устройство 103 обработки контента через канал 105 распространения. Устройство 103 обработки контента может, к примеру, быть телевизионной приставкой, находящейся у конкретного потребителя указанного элемента контента.

Аудиовизуальный контент кодируют и распространяют от устройства 101 поставщика контента посредством носителя данных, который может, например, состоять из носителя данных с большой плотностью записи данных (DVD или BD, и так далее), Интернета, или широковещательной передачи. Оно затем достигает устройства-источника в виде устройства 103 обработки контента, которое содержит функциональные возможности для декодирования и воспроизведения указанного контента.

Следует понимать, что канал 105 распространения может быть любым каналом распространения, и через любой носитель данных или подходящий стандарт связи. Кроме того, указанный канал распространения не обязательно должен быть в реальном времени, а может включать в себя постоянное или временное хранилище данных. К примеру, указанный канал распространения может включать в себя Интернет, спутниковое или наземное телевизионное вещание и так далее, хранение на физически распространяемом носителе, таком как DVD или Blu-ray Disc™ или карта памяти, и так далее. Подобным образом, устройство 103 обработки контента может быть любым подходящим устройством, таким как проигрыватель Blu-ray™, приемник спутникового или наземного телевидения, и так далее.

Устройство 103 обработки контента подключено к устройству 107 отображения через канал 109 связи. Устройство 103 обработки контента формирует сигнал отображения, содержащий аудиовизуальный сигнал, представляющий собой элемент аудиовизуального контента. Сигнал отображения может, в частности, быть тем же самым, что и сигнал аудиовизуального контента. Таким образом, устройство-источник декодирует контент в устройство-приемник, которое может быть TV (телевизором) или другим устройством, которое преобразует цифровые сигналы в физическое представление.

В некоторых вариантах осуществления, данные, представляющие собой изображения аудиовизуального контента, являются одними и теми же для сигнала аудиовизуального контента и для сигнала отображения. В этом примере, устройство 107 отображения может содержать функциональные возможности для обработки изображений, включая, например, формирование изображений с увеличенным динамическим диапазоном. Однако следует понимать, что в некоторых вариантах осуществления, устройство 103 обработки контента может выполнять, например, алгоритмы улучшения изображения или обработки сигнала на указанных данных, и может, в частности, декодировать и перекодировать указанный (обработанный) аудиовизуальный сигнал. Указанное перекодирование может, в частности, относиться к другому кодированию или формату представления, нежели для указанного сигнала аудиовизуального контента.

Система на Фиг. 1 выполнена с возможностью предоставлять видеоинформацию с высоким динамическим диапазоном (HDR). Дополнительно, с целью обеспечения, например, улучшенной обратной совместимости, она также может в некоторых сценариях предоставлять информацию с низким динамическим диапазоном (LDR), что делает возможным представлять изображения LDR. В связи с этим, указанная система способна передавать/распространять сигналы изображения, относящиеся как к изображениям LDR, так и HDR.

Описанный ниже подход может быть применен как к одному, так и к обоим из канала 105 от устройства 101 поставщика контента к устройству 103 обработки контента и канала 109 от устройства 103 обработки контента к устройству 107 отображения. Кроме того, указанный подход может быть применен по-разному на этих двух каналах, например, посредством использования разных представлений цвета или стандартов кодирования. Нижеследующее описание будет, однако, для краткости и ясности сосредотачиваться на применении данного подхода к интерфейсу между аудиовизуальной телевизионной приставкой и соответствующим устройством отображения. Таким образом, данное описание будет сосредотачиваться на применении к каналу 109 связи между устройством 103 обработки контента и устройством 107 отображения на Фиг. 1.

Традиционные устройства отображения обычно используют LDR представление. Обычно подобные LDR представления предоставляются посредством 8-битного представления трех компонентов, относящихся к заданным основным цветам. К примеру, RGB представление цвета может быть предоставлено посредством трех 8-битных выборок, ссылающихся на красный, зеленый и голубой основные цвета, соответственно. Другое представление использует один компонент яркости и два компонента насыщенности цвета (такое как YCrCb). Эти LDR представления соответствуют заданной яркости или диапазону яркости.

Однако предоставляется все больше устройств захвата изображения, которые могут захватывать большие динамические диапазоны. К примеру, камеры обычно обеспечивают 12-битный, 14-битный, или даже 16-битный диапазоны. Таким образом, по сравнению с 8-битной камерой обычного стандарта LDR, HDR камера может точно (линейно) захватывать 12 бит, 14 бит (или выше) начиная от более яркого белого до заданного черного. Таким образом, HDR может соответствовать возрастающему числу битов для выборок данных, соответствующих LDR, тем самым обеспечивая представление большего динамического диапазона.

В частности, HDR обеспечивает представление значительно более ярких изображений. Безусловно, изображение HDR может предоставить значительно более яркий белый, чем может быть предоставлен соответствующим изображением LDR. Безусловно, изображение HDR может обеспечить, по меньшей мере, в четыре раза более яркий белый, чем изображение LDR. Яркость может, в частности, быть измерена относительно более темного черного, чем может быть представлен, или может быть измерена относительно заданного уровня серого или черного.

Изображение LDR может, в частности, соответствовать заданным параметрам устройства отображения, таким как постоянное битовое разрешение, относящееся к заданному набору основных цветов и/или заданной точке белого. К примеру, 8 битов могут быть предоставлены для данного набора основных цветов RGB и, например, точке белого в 500 Кд/м². Изображение HDR является изображением, которое включает в себя данные, которые должны быть воспроизведены выше этих ограничений. В частности, яркость может быть более чем в четыре раза ярче, указанная точка белого (например, 2000 Кд/м²) или больше.

Значения пикселей с высоким динамическим диапазоном имеют диапазон яркостного контраста (наибольшую яркость в наборе пикселей, деленную на наименьшую яркость), который (значительно) больше, чем диапазон, который может быть точно отображен на устройствах отображения, стандартизованных в эпоху NTSC и MPEG-2 (с их типичными основными цветами RGB, белым светом D65, с эталонной яркостью для наибольшего управляющего уровня [255, 255, 255], например, в 500 нит или ниже.). Обычно для подобного эталонного устройства отображения хватает 8 бит для отображения всех серых значений между приблизительно 500 нит и приблизительно 0.5 нит (то есть, с диапазоном контрастности 1000:1 или ниже) в зрительно малых шагах, в то время как изображения HDR кодируют с большим числом бит в слове, например, 10 бит (которые также захватывают камерами с большей глубиной потенциальной ямы и DAC, например, 14 бит). В частности, изображения HDR обычно содержат много значений пикселей (ярких объектов изображения) выше сцены белого. В частности, несколько пикселей в 2 раза ярче, чем сцена белого. Эта сцена белого может обычно быть приравнена с белым цветом эталонных устройств отображения NTSC/MPEG-2.

Число битов X, используемых для изображений HDR обычно может быть большим или равным числу битов Y, используемых для изображений LDR (X обычно может быть, например, 10 или 12, или 14 бит (на каждый цветовой канал, если используется несколько таких каналов), а Y может, например, быть 8, или 10). Преобразование/проекция может потребоваться, чтобы вместить пиксели в меньший диапазон, например, сжимающее масштабирование. Обычно, может быть задействовано нелинейное преобразование, например, логарифмическое кодирование может кодировать (как яркость) значительно больший диапазон яркости в X-битное слово, чем линейное кодирование, пусть шаги разности яркостей от одного значения к другому будут тогда не равноотстоящими, но им и не требуется быть такими для зрительной системы человека.

Фиг. 2 иллюстрируют устройство для формирования сигнала изображения. В указанном сигнале изображения, пиксели закодированы в N-битных словах, по меньшей мере, с одной яркостью, закодированной для каждого пикселя. Указанные N-битные слова могут содержать множество отдельных компонентов. К примеру, N-битное слово, представляющее пиксель, может быть разделено на некоторое число частей, каждая из которых содержит некоторое число битов, представляющих свойство указанного пикселя. К примеру, указанные N-битные слова могут быть разделены на некоторое число частей, каждая из которых содержит значение компонента пикселя, соответствующего основному цвету. Например, N-битное слово может предоставить RGB значение пикселя посредством одной части, включающей в себя биты, предоставляющие R значение пикселя, другой части, включающей в себя биты, предоставляющие G значение пикселя, и третьей части, включающей в себя биты, предоставляющие B значение пикселя.

Указанные N-битные слова, представляющие значения пикселей HDR предоставлены в соответствии с представлением цвета. Следует понимать, что любое подходящее представление цвета, обеспечивающее представление пикселей HDR может быть использовано, включая, к примеру, RGB, или YCrCb представление цвета. Следует также понимать, что представления цвета с несколькими основными цветами, использующими более чем три основных цвета, могут быть использованы.

Следует понимать, что указанное устройство может быть использовано в любом подходящем месте в канале распространения от формирования контента изображения до воспроизведения контента изображения. Однако нижеследующее описание будет сосредотачиваться на варианте осуществления, в котором указанное устройство реализовано как часть устройства 103 обработки контента на Фиг. 1.

Указанное устройство содержит приемник 201, который принимает значения пикселей с высоким динамическим диапазоном в соответствии с первым представление цвета в M-битных словах. Приемник 201 может, в частности, принимать сигнал изображения, содержащий значения пикселей для изображения HDR. Указанный сигнал может быть принят с любого подходящего внешнего или внутреннего источника, но в данном конкретном примере, указанный сигнал принимают посредством устройства 103 обработки контента от устройства 101 поставщика контента.

Подобно N-битным словам, сформированным устройством на Фиг. 2, принятые M-битные слова могут также содержать множество отдельных компонентов. К примеру, M-битное слово, представляющее пиксель, может быть предоставлено в некотором числе частей, каждая из которых содержит некоторое число битов, представляющих свойство для указанного пикселя. К примеру, указанные M-битные слова могут быть разделены на некоторое число частей, каждая из которых содержит значение компонента пикселя, соответствующее основному цвету. Например, M-битное слово может предоставить RGB значение пикселя посредством одной части, включающей в себя биты, предоставляющие R значение пикселя, другой части, включающей в себя биты, предоставляющие G значение пикселя, и третьей части, включающей в себя биты, предоставляющие B значение пикселя.

Также, указанные M-битные слова, предоставляющие значения пикселей HDR предоставлены в соответствии с первым представлением цвета. Следует понимать, что любое подходящее представление цвета, обеспечивающее представление пикселей HDR может быть использовано, включая, к примеру, RGB, или YCrCb представление цвета. Следует также понимать, что представления цвета с несколькими основными цветами, использующими более чем три основных цвета, могут быть использованы. Для краткости и ясности, нижеследующее описание будет сосредотачиваться на входном сигнале, содержащем значения пикселей HDR как M-битные слова в соответствии с RGB представлением цвета.

В некоторых вариантах осуществления, представление цвета (входных) M-битных слов (первое представление цвета) и представление цвета (выходных) N-битных слова (второе представление цвета) могут быть одними и теми же, и, действительно, N может быть равно M. Таким образом, в некоторых вариантах осуществления, одинаковое представление цвета может быть использовано как для (выходного) сигнала изображения, так и для принятого (входного) сигнала изображения.

В примере на Фиг. 2, приемник 201 соединен с первым генератором 203, который выполнен с возможностью включать N-битные слова в сигнал изображения. В данном конкретном примере, это выполнено посредством формирования пакетов данных, которые включают в себя указанные N-битные слова для указанного изображения. Кроме того, в данном примере, представления цвета и длина слов для входного и выходного сигналов одинаковы, и таким образом первый генератор 203 может напрямую включать принятые M-битные слова, представляющие значения пикселей HDR в выходной сигнал изображения, например, напрямую формируя подходящие пакеты данных или сегменты, содержащие указанные M-битные значения.

Приемник 201, кроме того, соединен со вторым генератором 205, который выполнен с возможностью формировать и включать в сигнал изображения индикатор, который указывает, что значения пикселей HDR закодированы в указанном сигнале изображения. Таким образом, индикатор предоставлен как часть указанного сигнала изображения, указывая, что данный сигнал содержит значения HDR. Указанный индикатор может, к примеру, быть включен в сигнал изображения, будучи включенным в блок данных или пакет данных, распространяемый совместно с блоком данных или пакетом данных, содержащим данные значения пикселя.

Первый и второй генераторы 203, 205 соединены с выходным модулем 207, который выполнен с возможностью выводить сигнал изображения. В данном конкретном примере, выходной модуль 207 может просто передавать блоки или пакеты данных, содержащие данные значения пикселя и индикатор.

Таким образом, в данном конкретном примере, сигнал изображения является составным или выделенным сигналом, составленным из некоторого числа независимо взаимодействующих частей. В данном конкретном примере, указанный сигнал изображения содержит множество разных видов пакетов данных. Однако в других вариантах осуществления, указанный сигнал изображения может быть предоставлении как составной единый поток данных, содержащий и данные значения пикселя и индикатор. В подобных примерах, данные, предоставленные первым и вторым генераторами 203, 205 могут быть объединены в единый поток данных или битовый поток посредством выходного модуля 207. В частности, выходной модуль 207 может содержать мультиплексор для мультиплексирования данных в единый поток данных или файл. Устройство по Фиг. 2 формирует сигнал изображения, который не только может содержать эффективное представление данных изображения HDR, но которое также предоставляет гибкое распространение и передачу HDR. В частности, это может обеспечить улучшенную обратную совместимость, и может, например, позволить или облегчить введение изображений HDR в системы и стандарты, изначально не предназначенные для HDR. К примеру, это может позволить оборудованию с подходящими возможностями (такому как устройства отображения) обрабатывать указанный сигнал изображения должным для данных HDR образом, и таким образом условная обработка принятых значений пикселей, основанная на присутствии или отсутствии указания HDR, может быть достигнута.

В примере на Фиг. 2, представление цвета входного сигнала является тем же самым, что и представление цвета выходного сигнала, и, действительно, принятые выборки HDR напрямую включают в указанный сигнал изображения. Однако во многих применениях, первое представление цвета будет отличаться от второго представления цвета.

Фиг. 3 иллюстрирует устройство по Фиг. 2, измененное, чтобы включить в себя преобразующий процессор 301 между приемником 201 и первым генератором 203. Преобразующий процессор 301 выполнен с возможностью преобразовывать значения пикселей с высоким динамическим диапазоном из первого представления цвета во второе представление цвета.

Преобразующий процессор 301 может, в частности, быть выполнен с возможностью выполнять сжатие указанного представления значений пикселей HDR, так, чтобы требуемое число битов уменьшилось. Таким образом, во многих сценариях, модуль преобразования выполнен с возможностью преобразовывать входные M-битные слова в выходные N-битные слова, где M больше, чем N. Таким образом, преобразующий процессор 301 может обычно быть выполнен с возможностью формировать более компактное представление значений пикселей HDR, таким образом, обеспечивая снижение скорости обработки данных.

Преобразование может, в частности, включать в себя нелинейное представление динамических диапазонов. К примеру, входной сигнал может быть принят как выборки в соответствии с линейным 16-битным RGB представлением цвета. Таким образом, входные слова могут быть 48-битными входными словами. Подобное представление стремится к предоставлению достаточно точного представления указанного динамического диапазона и снижает полосатость и так далее до приемлемых пределов, даже для относительно высоких динамических диапазонов. Однако требование 48 битов на пиксель приводит к относительно высокой скорости обработки данных, которая неприемлема или нежелательна для многих применений.

Преобразующий процессор 301 может соответственно обрабатывать указанные 48-битные слова, чтобы обеспечить более эффективное представление. Подобный подход может, обычно, использовать относящиеся к восприятию параметры зрительной системы человека. Параметры человеческого зрения таковы, что чувствительность к изменениям яркости обычно бывает нелинейной. Действительно, увеличение яркости, которая требуется человеку для восприятия увеличения (или уменьшения) яркости, возрастает при увеличении яркости. Соответственно, большие шаги могут быть использованы для больших яркостей, чем для меньших яркостей, и соответственно, преобразующий процессор 301 может во многих вариантах осуществления конвертировать линейные M-битные представления в нелинейное N-битное представление. Во многих сценариях подходящее преобразование может быть достигнуто путем применения логарифмической функции к значениям пикселей.

Указанное преобразование может в некоторых вариантах осуществления быть реализовано как изменение в схеме квантования, используемой для значений пикселей или включать в себя такое изменение. Схема квантования может предоставить соотношение между фактическими значениями пикселей и соответствующим светом, излучаемым от устройства отображения (или от номинального устройства отображения). В частности, схема квантования может предоставить взаимосвязи между значениями битов и соответствующим значением полного динамического диапазона.

К примеру, данный диапазон отображения может быть приведен к диапазону от 0 до 1, где 0 соответствует минимально излучаемому свету, а 1 соответствует максимально излучаемому свету. Простая линейная и равномерная схема квантования может просто делить указанный диапазон от 0 до 1 на равновеликие интервалы квантования. К примеру, для 12-битного представления, диапазон от 0 до 1 будет поделен на 4096 равных шагов.

Преобразующий процессор 301 может изменить входную схему квантования, примененную к компонентам M-битного слова, на другую схему квантования, которая применяется к выводам N-битных слов.

К примеру, входное квантование в 65336 шагов для каждого цветового компонента может быть конвертировано в 1024 шага. Однако вместо того, чтобы просто использовать соответствующее линейное квантование, преобразующий процессор 103 может применять нелинейную схему квантования, в которой, в частности, размер шагов квантования увеличивается для увеличивающихся значений битов (соответствуя возрастающему световому выходу). Неравномерное и нелинейное представление отражает человеческое восприятие и может, таким образом, во многих случаях обеспечить снижение числа битов, давая изображению восприниматься также качественно, как и при большем числе битов, сформированных равномерным и линейным квантованием.

Изменение схем квантования может в принципе быть выполнено посредством деквантования входных M-битных слов, с последующим квантованием в N-битные слова. Однако во многих сценариях, преобразующий процессор 103 может просто конвертировать слова путем применения подходящих битовых операций напрямую к M-битным словам, и в частности посредством предоставления нелинейного преобразования 16 битов каждого входного цветового компонента в 10 битов соответствующего выходного цветового компонента.

В некоторых вариантах осуществления, преобразующий процессор 301 может независимо и по отдельности преобразовывать каждый компонент указанных M-битных слов в соответствующий компонент N-битных слов. К примеру, M-битное слово может содержать R выборку пикселя, G выборку пикселя, и B выборку пикселя для RGB представления цвета, и это может быть конвертировано в R выборку пикселя, G выборку пикселя, и B выборку пикселя для RGB представления цвета N-битного слова, где R, G и B выборки размещают в разных битах указанных N-битных слов.

Однако особенно выигрышное исполнение может часто быть достигнуто посредством N-битных слов, содержащих как отдельные части для каждого компонента, так и общую часть, представляющую общий компонент для отдельных компонентов указанного N-битного слова.

В частности, отдельное значение цвета может быть предоставлено для каждого цветового компонента цветового представления указанных M-битных слов. Таким образом, M-битные слова могут только быть предоставлены как отдельные цветовые выборки, такие как, например, в RGB представлении. Однако представление цвета указанных N-битных слов может включать в себя отдельное значение для каждого цветового компонента (такие как для R, G и B компонента) но может в дополнение предоставлять общий экспоненциальный множитель для всех цветовых компонентов. Таким образом, N-битное представление может содержать четыре части с тремя частями, предоставляющими отдельное значение выборки для отдельных цветовых компонентов и четвертую часть, предоставляющую общий экспоненциальный множитель для всех значений цветов. Как конкретный пример, преобразующий модуль 201 может конвертировать из M-битного RGB представления в N-битное RGBE представление с целью обеспечить более эффективное представление значений пикселей HDR.

Следует понимать, что в некоторых вариантах осуществления, преобразующий процессор 301 может быть выполнен с возможностью исполнять более сложную обработку, и может, к примеру, преобразовывать одно представление цвета в другое, принимая во внимание параметры изображения, параметры устройства отображения, и так далее.

К примеру, указанное устройство может быть выполнено с возможностью выбирать между диапазоном представлений цветов для кодирования выборок HDR, и может выбрать одно, которое наиболее подходит для данных текущего изображения. К примеру, для последовательности изображений, имеющих очень высокий динамический диапазон, может быть использовано нелинейное (например, логарифмическое) представление, в то время как для последовательности диапазонов изображения, имеющего более низкий динамический диапазон, может быть использовано линейное представление. Указанное устройство может в подобных вариантах осуществления быть дополнительно выполнено с возможностью включать указание выбранного кодирования в сигнал изображения (например, указание о функции тонального сжатия, или гамма-функции, и так далее). Таким образом, указанный индикатор может указывать конкретное представление цвета, используемое для указанных N-битных слов сигнала изображения.

Следует понимать, что любое подходящее преобразование между M-битными словами и N-битными словами (и, таким образом, между первым и вторым представлением цвета) может быть использовано без отступления от данного изобретения.

В некоторых вариантах осуществления, указанный индикатор может содержать указание на отображаемую яркость, связанную с представлением цвета указанных N-битных слов. К примеру, указание яркости, покрываемое диапазоном цветового кодирования, может быть предоставлено.

Как конкретный пример, второе представление цвета может быть обусловлено эталонным или номинальным устройством отображения. Эталонное устройство отображения может соответствовать данной максимальной яркости, и упомянутое указание может, к примеру, указывать, что самый яркий код (например, 1023 для 10-битного представления) предназначен соответствовать яркости, скажем, в 50 000 нит. Это позволит, например, включить иначе дифференцированное представление, и интеллектуальное принимающее устройство может это учитывать.

Подобное указание может быть использовано в приемнике для адаптации принятых выборок пикселей HDR к воспроизводимой яркости конкретного устройства отображения. Действительно, во многих случаях будет более выгодно выполнять преобразование выборок пикселей HDR в управляющие значения для указанного устройства отображения, учитывая абсолютный диапазон яркости, который может быть обеспечен.

К примеру, если значения пикселей HDR просто предоставлены как относительные величины к нормализованному динамическому диапазону (скажем, от 0 до 1), устройство отображения будет, как правило, воспроизводить указанное изображения, используя соответствующие частичные яркости. Например, значение пикселя равное 0,5 будет воспроизведено как половина от максимального светового выхода. Однако, для контента HDR и/или устройств отображения HDR, подобный подход может не быть оптимальным. Например, изображение пляжа с солнцем на небе и несколькими темными областями может использовать полный динамический диапазон обеспечения очень яркого (светящегося) солнца, при представлении на 50000 нит устройстве отображения. Из-за большого динамического диапазона, это возможно, все еще обеспечивая яркий (но более темный) пляж и небо, и все еще обеспечивая детальность в теневых областях. Однако если это же самое изображение представлено на 10000 нит устройстве отображения, простое линейное масштабирование повлечет за собой представление неба и пляжа посредством более низких яркостей, в результате они выглядят темными и тусклыми. Кроме того, теневая детальность может быть сжата так сильно, что детальность становится неразличимой, (или даже невоспроизводимой). Вместо этого, будет выгодным для устройства отображения ограничить очень сильное солнце до меньшей величины яркости, и в то же время, поддерживая или только незначительно снижая яркость для неба и пляжа. Таким образом, адаптивное и нелинейное преобразование может быть выполнено. Однако подобный подход требует от устройства отображения не только учитывать параметры устройства отображения, и особенно диапазон яркости, но также знать фактические абсолютные яркости, которым принятые значения пикселей HDR предназначены соответствовать.

Этот подход может, к примеру, обеспечить, чтобы кодирование указанного изображения HDR было выполнено в соответствии с любым подходящим пространством HDR, и в то же время, обеспечивая воспроизведение указанного изображения на любом устройстве отображения, например на некотором с 1000 нит выводом, некотором с 20000 нит выводом, и так далее. Это может быть достигнуто путем выполнения преобразования цветовой гаммы, и это преобразование цветовой гаммы может, в особенности, быть в ответ на разности между абсолютными разностями яркости между эталоном для кодирования и фактическим устройством отображения, на котором это воспроизводят. Например, если устройство отображения просто преобразует, например, 50000 нит диапазон HDR в, скажем, 1000 нит доступных на конкретном устройстве отображения (линейно сжимая все), то тогда большинство цветов будут воспроизведены слишком темными. Лучшим подходом может быть, например, преобразовывать яркости выше, скажем, 5000 нит, в очень близкие к белому указанного устройства отображения (например, 950 нит). К примеру, диапазон от 5000 нит до 50000 нит может быть преобразован в 950 нит до 1000 нит; 1000 нит до 5000 нит может быть преобразован в 850 нит до 950 нит; 750 нит до 1000 нит в 750 нит до 850 нит, а оставшийся диапазон 0-750 нит может быть просто преобразован в себя.

Во многих вариантах осуществления, сигнал изображения может быть сформирован, чтобы включать в себя сегмент данных, в котором предоставлены данные изображения пикселя. К примеру, сигнал изображения может быть в соответствии со стандартом, который устанавливает определенные сегменты данных, предназначенные для включения значений пикселей. В некоторых вариантах осуществления, подобные сегменты могут быть использованы для значений пикселей HDR или могут быть использованы для значений пикселей LDR. Таким образом, иногда указанный сегмент данных может содержать значения пикселей LDR, а в других случаях, указанный сегмент данных может содержать значения пикселей HDR. В подобных вариантах осуществления, указанный индикатор может быть использован для указания типа данных, которые включены в указанный сегмент данных. Таким образом, данный индикатор может быть указывающим, включает ли в себя указанный сегмент данных данные HDR или данные LDR. Такой подход обеспечивает очень гибкую систему, и, в частности, может облегчить внедрение передачи/распространения данных HDR в существующие системы и стандарты, поскольку существующие определенные сегменты данных LDR могут быть повторно использованы для данных HDR, с единственным требованием введения нового индикатора.

Фиг. 4 иллюстрирует пример приемника для обработки сигнала, предоставленного некоторым устройством, как было описано ранее. В данном конкретном примере, указанный приемник является устройством отображения, выполненным с возможностью представлять указанное изображение указанного сигнала изображения. Указанный приемник может быть, в частности, устройством 107 отображения на Фиг. 1.

Устройство 107 отображения содержит приемник 401, который принимает указанный сигнал изображения. Этот сигнал изображения содержит сегмент данных, который может содержать значения пикселей с высоким динамическим диапазоном в N-битных словах в соответствии с одним представлением цвета, или может содержать значения пикселей с низким динамическим диапазоном (В соответствии с другим представлением цвета). Указанный сигнал изображения дополнительно содержит индикатор, который указывает, содержит ли сегмент данных значения пикселей с высоким динамическим диапазоном или значения пикселей с низким динамическим диапазоном.

Приемник 401 соединен с экстрактором 403, который выполнен с возможностью извлекать данные из указанного сегмента данных. Экстрактор 403, таким образом, извлекает данные выборки пикселя из указанного сигнала изображения.

Экстрактор 403 соединен с процессором для обработки данных выборки пикселя. В данном примере, указанный процессор является устройством 405 управления устройством отображения, которое дополнительно соединено с экраном 407 устройства отображения, и приемником 401.

Устройство 405 управления устройством отображения принимает данные выборки пикселя от экстрактора 403 и индикатор от приемника 401 и приступает к формированию управляющего сигнала устройства отображения для экрана 407 устройства отображения.

Обработка устройства 405 управления устройством отображения зависит от того, указывает ли индикатор что данные пикселя для изображения HDR или LDR. К примеру, если указанное устройство отображения является устройством отображения LDR, оно может напрямую формировать управляющие сигналы, соответствующие указанным значениям пикселей, для устройства отображения, при условии, что индикатор отражает, что указанные значения пикселей уже являются значениями LDR. Однако если указанный индикатор отражает, что принятые значения пикселей в действительности являются значениями пикселей HDR, устройство 405 управления устройством отображения может перейти к выполнению преобразования цветовой гаммы и другой конверсии из HDR в LDR. К примеру, нелинейное масштабирование может быть применено к значениям пикселей HDR (например, согласно операции протоколирования и операции усечения). Подобная конвертация может дополнительно принимать во внимание указанный динамический диапазон, связанный с принятыми данными HDR при адаптации данной конвертации.

Наоборот, если устройство отображения является устройством отображения HDR, оно может напрямую использовать значения пикселей, когда индикатор указывает, что данные пикселя являются данными HDR, и может выполнять конвертацию цветовой гаммы (включая улучшение степени яркости) когда индикатор указывает, что указанные данные являются данными LDR.

В некоторых вариантах осуществления, указанная система может быть выполнена с возможностью обеспечивать эффективное кодирование значений пикселей HDR, такой, при котором не все доступные биты данных используются. К примеру, указанный сегмент данных может быть выполнен с возможностью предоставлять значения данных пикселя в K-битных словах. Указанный сегмент данных может, к примеру, быть сегментом данных улучшения цветности, который может обеспечивать улучшенную точность. К примеру, указанный сегмент данных может предоставлять 16-битные RGB значения данных LDR, соответственно K будет равно 48 битам. Однако, данные HDR могут быт сформированы в соответствии с некоторым эффективным кодированием, таким как, в частности, к примеру, в соответствии с 32-битным RGBE представлением. В подобных вариантах осуществления, имеются 16 дополнительных битов для каждого пикселя, не используемых данными HDR. Эти дополнительные данные могут в некоторых случаях быть использованы для предоставления другой информации. К примеру, указанные неиспользуемые биты могут быть использованы для предоставления дополнительной цветовой информации. В других вариантах осуществления, указанные биты могут быть установлены в постоянные значения, чтобы обеспечить более эффективное кодирование, посредством этого снижая скорость обработки данных.

В некоторых вариантах осуществления, устройство по Фиг. 2 (или 3) может быть выполнено с возможностью формировать сигнал изображения который включает в себя второй индикатор, который указывает, что сегмент данных используется для данных LDR, даже в случае, когда он используется для данных LDR. Таким образом, этот второй индикатор может указывать, что данные в указанном сегменте данных являются обычными данными LDR в соответствии с подходящим представлением LDR, как в случае, когда указанный сегмент данных действительно содержит подобные данные LDR, также и в случае, когда он содержит данные HDR в соответствии с другим представлением цвета.

Таким образом, в подобном варианте осуществления, указанный сигнал изображения может содержать множество индикаторов, которые могут в некоторых сценариях быть в конфликте друг с другом (или когда один индикатор может быть “ошибочным”).

Данный подход может позволить некоторому оборудованию, обработке и функциональным возможностям использовать только второй индикатор, приводя к тому, что данные будут обработаны точно так, как если бы они были данными LDR. Подобный подход, в частности, подходит для компонентов, которые неспособны обрабатывать данные HDR (например, устаревшее оборудование), но могут обрабатывать сигналы изображений с данными LDR. Однако в тоже время, другое оборудование, обработка и функциональная возможность могут быть выполнены с возможностью использовать первый индикатор для правильной интерпретации данных в указанном сегменте данных, и соответственно обрабатывать их как данные HDR. Подобные компоненты с возможностью HDR могут, соответственно, в полной мере воспользоваться данными HDR.

Данный подход может быть особенно подходящим для улучшения существующих систем и стандартов, чтобы включить данные HDR. К примеру, второй индикатор может быть индикатором исходной системы/стандарта LDR, при этом первый индикатор является новым индикатором, вводимым в указанную систему при улучшении ее для включения HDR. Новый индикатор может быть предоставлен в необязательной части указанного сигнала изображения. Таким образом, существующее оборудование, которое, например, используется для передачи данных, маршрутизации, коммутации и так далее, может обрабатывать указанный сигнал точно также как и сигнал LDR, основываясь только на первом индикаторе. Таким образом, поскольку данные HDR кодируют в сегмент данных, который может быть использован для данных LDR, а второй индикатор соответствует с этим, устаревшее оборудование не будет знать разницы между сигналом HDR и сигналом LDR. Соответственно, существующее оборудование распространения LDR может быть использовано для распространения данных HDR от источника HDR к приемнику HDR. Однако, приемник, пригодный для HDR, будет выполнен с возможностью искать первый индикатор, и сможет соответственно определить, что данные содержащиеся в указанном сегменте данных, являются данными HDR, а не данными LDR.

Ниже будет предоставлен конкретный пример варианта осуществления, в котором сигнал изображения формируют в соответствии со стандартом HDMI™. Данный вариант осуществления задействует HDMI™ режим «Глубокий цвет» для внедрения контента HDR.

HDMI™ поддерживает передачу видео контента в различных кодированиях пикселей, таких как YCbCr 4:4:4, YCbCr 4:2:2 и RGB 4:4:4. В стандартных форматах кодирования HDMI™, доступны 8 битов на компонент, соответственно значения пикселей предоставляются в 24-битных словах. Однако, дополнительно, HDMI™ поддерживает передачу контента с повышенной цветовой точностью и/или более широкой цветовой гаммой, чем обычные 8 бит на компонент. Это называется режимом «Глубокий цвет», и в этом режиме HDMI™ поддерживает до 16 битов на компонент (48 битов на пиксель, то есть, 48-битные слова).

Режим «Глубокий цвет» основан на тактовой частоте линии связи, увеличенной с коэффициентом, равным глубине цвета пикселя/24 (24 бита/пиксель=1,0×частота следования пикселей) и дополнительном управляющем пакете, передаваемом чтобы указать приемнику глубина цвета и компоновку указанных битов (управляющий пакет может, таким образом, быть примером второго индикатора, упомянутого выше). Тот же самый механизм в данном примере также использован для передачи контента HDR, и никаких изменений в этом механизме не требуется.

В данном примере контент HDR передают в сегментах данных «Глубокий цвет» вместо данных LDR повышенной точности. Передача данных достигается посредством установки передачи данных HDMI™, как для режима «Глубокий цвет», но с дополнительно введенным указанием, чтобы отразить, что указанные данные не являются улучшенными данными LDR, а вместо этого являются данными HDR.

Кроме того, кодирование пикселей не просто использует линейное RGB 16-бит на компонент подход режима «Глубокий цвет» с улучшенным динамическим диапазоном, но вместо этого предоставляет данные HDR, используя эффективные кодирования пикселей HDR, такие как, к примеру, RGBE, XYZE, LogLuv, или например, 12-битное RGB кодирование с одинарной точностью и плавающей точкой, которое также используется для HDMI™ режима «Глубокий цвет». Эти более эффективно кодированные данные HDR затем передают, используя для HDMI™ передачи в режиме «Глубокий цвет».

К примеру, как показано на Фиг. 5, 48-битное «Глубокий цвет» слово содержит три 16-битных компонента, соответствующих линейным R, G и B выборкам. Кодирование данных HDR в подобном линейном представлении цвета обычно бывает неоптимальным, и в данном примере на Фиг. 5, указанное 48-битное слово вместо этого использовано для предоставления 8-битной мантиссы для каждой R, G и B выборки, совместно с 8-битным показателем. Или оно может быть использовано для 3*12 или 3*14 битных мантисс + 6-битного показателя, и так далее.

Значение показателя предоставляет общий коэффициент масштабирования для указанных трех мантисс, с коэффициентом масштабирования равным 2 в степени значения показателя минус 128. Мантиссы могут быть линейными и могут быть предоставлены как величины с плавающей точкой. Подобное RGBE кодирование может предоставить намного более эффективное представление очень большого динамического диапазона, относящегося к данным HDR. Действительно, в данном примере, такое кодирование использует только 32 бита, оставляя большую полосу пропускания на интерфейсе, которая может, например, быть использована для передачи 3D или 4k2k форматов.

Данный подход обеспечивает эффективную передачу данных HDR, используя HDMI™, действительно требуя минимальных изменений в стандарте HDMI™. Облегченное внедрение HDR в HDMI™ может быть достигнуто, и, в частности, не требуя нового аппаратного оборудования. Кроме того, существующее оборудование может быть способно переключать данные HDR, поскольку они могут рассматриваться как данные «Глубокий цвет».

В данном примере, интерфейс HDMI™ установлен в режим «Глубокий цвет», но при этом индикатор установлен указывать, что передаваемый контент является не данными «Глубокий цвет», а, скорее, данными HDR. Указанный индикатор может быть предоставлен посредством установки подходящих зарезервированных полей в информационном кадре AVI (вспомогательной видеоинформации). В качестве другого примера, указанный индикатор может быть предоставлен в виде нового информационного кадра, определенного специально для указания передачи контента HDR. В качестве еще одного примера, характерный для поставщика HDMI™ информационный кадр может быть использован для предоставления данного указания.

Более подробно, передача сигналов в HDMI™ основана на CEA 861-D. CEA861-D определяет передачу сигналов от приемника к источнику чрез E-EDID, и от источника к приемнику посредством информационного кадра AVI. Указанный информационный кадр AVI предоставляет кадровую передачу сигнала по выборке цвета и яркости, растянутой и сжатой развертке и соотношению сторон.

В соответствии с некоторыми вариантами осуществления, интерфейс HDMI установлен указывать передачу контента «Глубокий цвет», но предпочтительно с кодированием пикселей в виде, например, RGBE (или других эффективных представлений HDR).

Пример (части) возможного информационного кадра AVI.

Пакетный байт # CEA 861-D байт # 7 6 5 4 3 2 1 0 PB0 н.д. контрольная сумма PB1 Байт 1 Рзрв (0) Y1 Y0 Не существенно в этом описании PB2 Байт 2 C1 C0 Не существенно в этом описании PB3 Байт 3 ITC EC2 EC1 EC0 Q1 Q0 Не существенно PB4 Байт 4 Коды идентификации видео (VIC) PB5 Байт 5 YQ1 YQ0 CN1 CN0 Не существенно в этом описании

Y1 и YO обозначают используемый формат выборки цветового компонента и яркости. Для передачи контента HDR, это может быть 00 или 10, указывая RGB и YCbCr 4:4:4. Зарезервированное в настоящее время значение 11 может быть предпочтительно использовано для обозначения RGBE или другого подходящего представления HDR.

C1 и C0 указывают цветовые измерения передаваемого контента. Для контента HDR, они могут быть установлены в 00, означая отсутствие данных, или 11, чтобы указать, что используются расширенные цветовые измерения, как дополнительно указано в битах EC0, EC1, EC2.

ITC указывает, когда контент является IT контентом и этот бит используется в сочетании с CN1 и CN0 для указания приемнику, что он должен избегать любых операций фильтрации или аналоговой реконструкции. Для контента HDR этот бит обычно может быть установлен.

EC2, EC1 и EC0 обозначают цветовое пространство, цветовые измерения контента. Для HDR одна из определенных в настоящее время более широких гамм может быть использована. Также, зарезервированные в настоящее время поля, могут быть использованы для обозначения других цветовых пространств, более подходящих для будущих устройств отображения HDR.

Q1 и Q0 обозначают RGB диапазон квантование, для контента HDR полный диапазон (10) или 11 (зарезервированный в настоящий момент) может быть использовано для обозначения контента HDR, передаваемого в режиме «Глубокий цвет». YQ1 и YQ0 обозначают тоже самое, но для YCC квантования. Снова имеются два зарезервированных поля, которые могут быть использованы с целью обозначения контента HDR, переносимого в режиме «Глубокий цвет», таком, как например, 36-битный YCrCb.

CN1 и CN0 обозначают тип контента (Рисунок, Фотография, Кинофильм, Игра) для IT приложения и используются в сочетании с битом IT.

Для того чтобы позволить приемнику (устройству отображения) указать, что он поддерживает контент HDR, может быть реализовано расширение спецификации E-EDID. HDMI™ использует E-EDID для сигнализации возможностей устройства отображения от устройства отображения обратно к проигрывающему устройству. Спецификация HDMI™, посредством блоков данных, характерных для поставщика HDMI™ в E-EDID, уже установила, как обозначить поддержку для передачи в режиме «Глубокий цвет». Это может быть улучшено, чтобы также включить возможность поддержки форматов HDR, таких как RGBE или другие цветовые кодирования HDR.

В качестве другого примера, индикатор может быть включен, чтобы показывать, что указанное устройство отображения поддерживает контент HDR и список цветовых кодирований, которое оно может поддерживать в дополнении к тем, что уже определены в HDMI™, таким как: RGBE, XYZE, LogLuv 32, или даже EXR.

Расширенная версия блока данных, определяемого фирмой-поставщиком HDMI™ с сигнализацией о поддержке HDR, может, к примеру, выглядеть следующим образом:

Пакетный байт # 7 6 5 4 3 2 1 0 PB0 Не существенно Длина PB1 24-битный идентификатор регистрации IEEE PB2 PB3 PB4 Не существенно PB5 PB6 Не существенно PB7 PB8 Не существенно HDMI_HDR_present PB9-15 Не существенно PB16 HDR_color_encoding Зарезервировано PB(длина)

где “HDMI_HDR_present” обозначает, что указанное устройство отображения поддерживает контент HDR, а “HDR_color_encoding” указывает любые дополнительные поддерживаемые цветовые кодирования.

В качестве другого примера, данный подход может быть использован для интерфейса DisplayPort. К примеру, подход, похожий на тот, что описан для HDMI, может быть использован с данными изображения основным потоком контента, содержащего данные LDR, данные HDR, или же и те и другие. Индикатор может быть предоставлен для указания типа данных изображения в потоке контента. Управляющие и конфигурационные данные (включая, в частности, указанный индикатор) могут быть предоставлены в пакетах вторичных данных, и могут, в частности, быть предоставлены, используя информационные кадры CEA 861, как описано для HDMI. Кроме того, канал AUX может быть использован для обмена управляющей информацией. В частности, способности устройства отображения для обработки данных HDR могут быть переданы, используя канал AUX.

В качестве еще одного примера, данный подход может быть использован для систем Blu-ray Disc™.

Следует понимать, что описанная система может быть использована во многих разных видах создания, подготовки и потребления контента, включая, примеру потребительские системы.

Фиг. 6 схематически показывает пример некоторых устройств, которые могут присутствовать на создающей (передающей) стороне для использования при создании хорошо описывающего цвет сигнала. В данном примере, упомянутые устройства объединены в классическую плёночную кинокамеру (необходимо отметить, что представление цифровой поддержки указанной сцены будет только полностью [относительно значений пикселей аналоговой записи по сравнению с цифровой] сопоставимо фактически захваченному пленочному изображению, если эталонные модели материалов фильма включены для преобразования этих двух (однако, проявка тогда все еще остается неизвестной переменной, которая может быть дополнительно рассмотрена), но даже без этого, указанная цифровая запись все еще может дать очень ценную дополнительную информацию, например, если она геометрически совпадает с захваченным пленкой окном отображения, одно может определять области, и за исключением захваченных пленкой проявившихся зерновых значений, одно может кодировать, например, линейные фактические значения снимаемой сцены посредством цифрового захвата), поскольку специалист в данной области техники будет понимать, как транспонировать эти компоненты в камеру колориметра, или транскодера, делающего тоже самое, для, например, старой картины Лорела и Харди.

FIG. 6 показывает подключенный к камере 601, цифровое устройство 603 отображения (которая, например, получает входной сигнал с CCD совмещенного с объективом камеры). Однако соединение 604 необязательно должно быть неизменным, но также может быть передатчиком для некоторого числа отдельных устройств отображения (например, одно для кинооператора, и одно для обзорного устройства режиссёра). На основании устройства 603 отображения, кинооператор или оператор-постановщик может начертить, например, область 650, которую, как они знают, они откалибровали своим сценическим освещением как темную часть данного изображения, что может быть сделано посредством, например, светового пера 608 или другого средства пользовательского ввода [авторы настоящего изобретения показали только один пример, поскольку авторы настоящего изобретения думают, что специалист в данной области изобретения может хорошо понимать, какие типы системы позволяют пользователю давать отклик на отображаемом изображении]. Устройство 603 отображения может сохранять добавленную информацию в запоминающее устройство 606 (например, съемную карту памяти), или передавать через передающую систему 605. Оно может также принимать дополнительную информацию от анализирующего устройства 620 сцены на месте съемки (которое может просто быть экспонометром, или даже спектрометром с пространственной дискретизацией), через свою передающую систему 621, которая также может передавать окончательный сбор данных о месте (то есть, 640). Более того, измерители 630 внутри сцены (то есть, измерители местного освещения для измерения того, как освещены лица актеров, особенно при сильно изменяющемся свете; системы сферы, смотрящие за распределением окружающего освещения; и так далее) могут передавать свои данные любой части данной системы через свои передающие системы 631. Принимающее устройство отображения может затем попытаться воспроизвести свет в его исходной яркости, или, по меньшей мере, в части (или функции) от него, обычно в соответствии с некоторой психовизуальной моделью для создания близкого вида или художественного вида и так далее. Все данные накапливаются на устройстве 640 накопления данных со встроенным запоминающим устройством, обычно компьютере (с передающей системой 641).

Система, показанная на Фиг. 6 может, таким образом, например, использоваться оператором для формирования изображения LDR посредством ручной цветокоррекции/тональной компрессии (а также изображение HDR может быть составлено, или, по меньшей мере, его частичный вид). Итоговое изображение LDR может затем быть закодировано и представлено в первой картине пикселей. Указанная система может дополнительно определять параметры для формирования изображения. При другом подходе, оператор может также использовать систему по Фиг. 6 для формирования расширенных данных HDR, например, посредством полуавтоматического процесса.

Фиг. 7 показывает примерную систему декодирования и отображения изображения на принимающей стороне, например в жилой комнате потребителя (специалист в данной области техники поймет, как аналогичная система в соответствии с принципами данного изобретения будет выглядеть, например, в цифровом кинотеатре). Вариантом осуществления устройства 701 обработки цветопередачи изображения является телевизионная приставка (которая может соответствовать устройству 103 обработки контента на Фиг. 1) со встроенным считывателем Blu-ray (но это также может быть, например переносной компьютер, или переносное устройство, подобное мобильному телефону, и так далее, то есть, устройство столь малое, как сменная карта [при условии, что оно способно читать характеристики режима и обеспечивать с ним обработку цвета] или так велико как профессиональная студия перекодирования кино), могущий принимать Blu-ray 702 сигнал изображения с полным расширением LDR/HDR закодированным в нем, то есть, как с первым изображением с LDR, так и втором изображением, с включенными в него данными расширения HDR.

Данное устройство может, в качестве другого примера, принимать сигналы через первое соединение 703, например, с кабеля 704 передачи телевизионного сигнала (или антенны, или входя для цифровых фотографий на карте памяти, и так далее; сигнал изображения может также разным образом означать, например, кодированный сигнал телевизионного стандарта, или файл с необработанным изображением, и так далее), который несет указанные (обычно кодированные со сжатием) входные сигналы. В некоторых вариантах осуществления указанные два изображения могут быть предоставлены через два канала, например, данные описания HDR могут поступать по другой среде передачи данных через второе соединение 704, например, подключенное к Интернету 705.

Устройство 701 имеет IC (интегральную схему), которая содержит, по меньшей мере, экстрактор 711, выполненный с возможностью извлекать указанные данные, и либо выводить их напрямую, либо конвертировать их в новые значения, более подходящие для выполнения контролируемой обработки изображения посредством модуля 712 обработки изображения. Это может быть реализовано так просто, чтобы только применять некоторые преобразования воспроизведения тонов к пикселям, соответствующих специальным для указанного режима воспроизведения, или иметь сложные алгоритмы, например, обычно соответствующие любым алгоритмам, которые могут быть применены на создающей стороне, например сегментацию и/или алгоритм/модуль слежения.

Проигрыватель 701 может выводить свое улучшенное, предназначенное для воспроизведения, выходное изображение IR’ на устройство отображения/телевизор через 720 (например, HDMI), но поскольку телевизор может выполнять (или требовать выполнение) дополнительную обработку (на своей анализирующей изображение и/или обрабатывающей IC 731), второе соединение (кабельное или беспроводное) 721 может быть предусмотрено для управляющих сигналов CS (которые могут содержать любые данные из указанного сигнала, и управляющие данные, извлеченные из них). Обычно эти дополнительные управляющие сигналы могут быть добавлены через видеокабель посредством обновления, например, указанного (беспроводного) протокола HDMI. Устройство 723 может также посылать цветовые сигналы через соединение 723 второму устройству 740 отображения цвета окружения, которое может также получать свои входные сигналы предназначенного к воспроизведению цвета через устройство 730 отображения. Данное примерное устройство с LED фоновой подсветкой 732, идеально для воспроизведения HDR. Измерительные устройства окружения, подобные измерительному устройству 780 могут быть представлены, например, дешевой камерой, которая может проверять окружение телевизора, свет в комнате, отражения на передней панели телевизора, видимость калибровочных шкал серого, и так далее, и они могут передавать эту информацию устройству 701 и/или устройству 730 отображения.

Алгоритмические компоненты, раскрываемые в этом тексте, могут (полностью или частично) быть реализованы на практике как аппаратное обеспечение (например, частей специализированной IC) или программное обеспечение, работающее на специальном цифровом сигнальном процессоре, или процессоре общего назначения, и так далее.

Специалисту в данной области техники должно быть понятно из данного описания, какие компоненты могут быть необязательными усовершенствованиями и могут быть реализованы в сочетании с другими компонентами, и как (необязательные) этапы способов согласовываются с соответствующими средствами устройств, и наоборот. Слово “устройство” в этой заявке использовано в его широчайшем смысле, а именно группы средств, позволяющих реализацию конкретной задачи, и может, следовательно, например, быть (малой частью) IC, специализированным приспособлением (таким как приспособление с устройством отображения), или частью сетевой системы, и так далее. Слово “компоновка” также предназначено быть использовано в широчайшем смысле, так что оно может охватывать среди прочего, одиночное устройство, часть устройства, совокупность (частей) взаимодействующих устройств, и так далее.

Понятие компьютерного программного продукта следует понимать как заключающее в себя любую физическую реализацию набора команд, предписывающих процессору общего или специального назначения, после серии этапов загрузки (которые могут включать в себя промежуточные этапы конвертации, такие как перевод на промежуточный язык, и окончательный процессорный язык) вводить указанные команды в процессор и исполнять любые из характерных функций изобретения. В частности, компьютерный программный продукт может быть реализован в виде данных на носителе информации, таком как диск или лента, данных, представленных на запоминающем устройстве, данных, транспортируемых через сетевое соединение, проводное или беспроводное, или программного кода на бумаге. Независимо от кода программы, основные данные, требуемые для указанной программы, также могут быть реализованы как компьютерный программный продукт. Некоторые из этапов, требуемых для работы указанного способа, могут уже быть представлены в функциональных возможностях процессора, вместо описания в компьютерном программном продукте, такие как этапы ввода и вывода данных.

Следует понимать, что приведенное выше описание для ясности описывает варианты осуществления данного изобретения со ссылкой на разные функциональные схемы, модули и процессоры. Однако является очевидным, что любое подходящее распределение функциональных возможностей между разными функциональными схемами, модулями и процессорами может быть использовано без отступления от данного изобретения. К примеру, функциональные возможности, показанные как выполняемые отдельными процессорами или контроллерами, могут быть выполнены одним и тем же процессором или контроллером. Таким образом, ссылки на конкретные функциональные модули или схемы, следует рассматривать только как ссылки на подходящее средство для обеспечения описанных функциональных возможностей, а не указывающих на точную логическую или физическую структуру или организацию.

Данное изобретение может быть реализовано в любом подходящем виде, включая в себя аппаратное, программное, программно-аппаратное обеспечение или любое их сочетание. Данное изобретение, необязательно, может быть реализовано, по меньшей мере, частично, как компьютерное программное обеспечение, запущенное на одном или более процессорах данных и/или цифровых сигнальных процессорах. Элементы и компоненты вариантов осуществления данного изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Фактически, указанные функциональные возможности могут быть реализованы в одиночном модуле, во множестве модулей, или как части других функциональных модулей. В связи с этим, данное изобретение может быть реализовано в одиночном модуле, или может быть физически и функционально распределено по разным модулям, схемам и процессорам.

Хотя настоящее изобретение было описано применительно к некоторым вариантам осуществления, оно не предназначено быть ограниченным конкретной формой, изложенной в данном документе. Вместо этого, объем настоящего изобретения ограничивается только прилагаемой формулой изобретения. Кроме того, хотя признак может выглядеть как описанный применительно к конкретным вариантам осуществления, специалист в данной области техники должен осознавать, что различные признаки описанных вариантов осуществления могут быть объединены в соответствии с данным изобретением. В пунктах формулы изобретения, термин “содержит” не исключает наличие других элементов или этапов.

Более того, несмотря на индивидуальное перечисление, множество средств, элементов, схем и этапов способов могут быть реализованы посредством, например, одиночной схемы, модуля или процессора. Кроме того, несмотря на то, что отдельные признаки могут быть включены разные пункты формулы изобретения, они могут, вероятно, быть успешно объединены, и включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков не представляется возможной, и/или полезной. Также включение признака в одну категорию пункта формулы изобретения не подразумевает ограничение этой категорией, а вместо этого указывает, что данный признак применим к другим категориям пункта формулы изобретения при необходимости. Более того, порядок признаков в пунктах формулы изобретения не предполагает любой конкретный порядок, в котором указанные признаки должны работать, и, в частности, порядок отдельных этапов в способе по пункту формулы изобретения не предполагает, что указанные этапы должны выполняться в этом порядке. Вместо этого, указанные этапы могут быть выполнены в любом подходящем порядке. Кроме того, ссылки в единственном числе не исключают множество. Таким образом, ссылки на “один”, “некоторый”, “первый”, “второй” и так далее, не препятствуют множеству. Ссылочные позиции в формуле изобретения, предоставленные только как поясняющие примеры, не могут быть рассмотрены как ограничивающие объем формулы изобретения каким-либо образом.

Изобретение относится к технологиям обработки сигнала изображения, содержащего значения пикселей с высоким динамическим диапазоном. Техническим результатом является повышение эффективности кодирования сигнала изображения за счет совместного кодирования в сигнале индикатора типа HDR. Предложено устройство для формирования сигнала изображения, в котором пиксели закодированы в N-битных словах, кодирующих, по меньшей мере, яркость для каждого пикселя. Устройство содержит приемник, первый и второй генераторы. Приемник получает значения пикселя с высоким динамическим диапазоном в соответствии с первым представлением цвета в M-битных словах. Первый генератор включает значения пикселей с высоким динамическим диапазоном в упомянутый сигнал изображения в N-битных словах согласно второму представлению цвета. 4 н. и 15 з.п. ф-лы, 7 ил.

1. Устройство для формирования сигнала изображения, в котором пиксели закодированы в N-битных словах, кодирующих, по меньшей мере, яркость для каждого пикселя, причем устройство содержит:

приемник (201) для получения значений пикселей с высоким динамическим диапазоном в соответствии с первым представлением цвета в М-битных словах;

первый генератор (203) для включения значений пикселей с высоким динамическим диапазоном в упомянутый сигнал изображения в N-битных словах согласно второму представлению цвета; и

второй генератор (205) для включения в упомянутый сигнал изображения индикатора типа кодирования HDR, посредством которого закодированы значения пикселей с высоким динамическим диапазоном.

2. Устройство по п. 1, в котором первое представление цвета отличается от второго представления цвета.

3. Устройство по п. 2, дополнительно содержащее модуль (301) преобразования для преобразования значений пикселей с высоким динамическим диапазоном из первого представления цвета во второе представление цвета.

4. Устройство по п. 2 или 3, в котором преобразование содержит сжатие М-битных слов в N-битные слова, где М больше, чем N.

5. Устройство по п. 4, в котором сжатие содержит использование другой схемы квантования для упомянутых значений пикселей в соответствии со вторым представлением цвета, чем для упомянутых значений пикселей в соответствии с первым представлением цвета.

6. Устройство по п. 1, в котором первое представление цвета является тем же самым, что и второе представление цвета.

7. Устройство по п. 1 или 2, в котором индикатор содержит указание на пик белого второго представления цвета.

8. Устройство по п. 1, в котором индикатор содержит информацию о том, как именно все значения яркости или цвета по всему диапазону кодируемых цветов в М-битном представлении распределены по кодируемому диапазону N-битного сигнала.

9. Устройство по п. 1 или 2, в котором первое представление цвета применяет отдельное значение цвета для каждого цветового компонента первого представления цвета, а второе представление цвета применяет набор значений цвета для каждого цветового компонента второго представления цвета совместно с общим экспоненциальным множителем.

10. Устройство по п. 1 или 2, в котором сигнал изображения содержит сегмент для данных изображения пикселя, и первый генератор (201) выполнен с возможностью поочередно включать значения пикселей с низким динамическим диапазоном или значения пикселей с высоким динамическим диапазоном согласно второму представлению цвета в упомянутый сегмент, а индикатор выполнен с возможностью указывать, содержит ли первый сегмент значения цвета с низким динамическим диапазоном или значения цвета с высоким динамическим диапазоном.

11. Устройство по п. 10, в котором второй генератор (203) выполнен с возможностью дополнительно включать второй индикатор в сигналы изображения, причем второй индикатор задает, что упомянутый сегмент кодирует значения пикселей с низким динамическим диапазоном и тогда, когда упомянутый сегмент содержит значения пикселей с низким динамическим диапазоном, и тогда, когда упомянутый сегмент содержит значения пикселей с высоким динамическим диапазоном.

12. Устройство по п. 1, в котором первый генератор (201) выполнен с возможностью включать значения пикселей с высоким динамическим диапазоном в сегмент данных «Глубокий цвет» согласно стандарту HDMI.

13. Устройство по п. 1, в котором второй генератор (201) выполнен с возможностью включать упомянутый индикатор в информационный кадр вспомогательной видеоинформации.

14. Способ формирования сигнала изображения, в котором пиксели закодированы в N-битных словах, кодирующих, по меньшей мере, яркость для каждого пикселя, причем способ содержит этапы, на которых:

получают значения пикселей с высоким динамическим диапазоном в соответствии с первым представлением цвета в М-битных словах;

включают значения пикселей с высоким динамическим диапазоном в сигнал изображения в N-битных словах согласно второму представлению цвета; и

включают в сигнал изображения индикатор типа кодирования HDR, посредством которого закодированы значения пикселей с высоким динамическим диапазоном.

15. Устройство для обработки сигнала изображения, причем устройство содержит:

приемник (401) для приема сигнала изображения, причем сегмент данных упомянутого сигнала изображения содержит одно из значений пикселей с высоким динамическим диапазоном в N-битных словах согласно первому представлению цвета и значений пикселей с низким динамическим диапазоном согласно второму представлению цвета, и для приема индикатора, указывающего тип кодирования HDR, посредством которого закодированы значения пикселей с высоким динамическим диапазоном;

экстрактор (403) для извлечения данных упомянутого сегмента данных; и

процессор (405), выполненный с возможностью обрабатывать данные упомянутого сегмента данных как значения пикселей с высоким динамическим диапазоном в зависимости от значения индикатора.

16. Устройство по п. 15, в котором процессор (405) выполнен с возможностью адаптировать свою обработку для преобразования N-битных слов, чтобы отображать воспроизводимые выходные сигналы, в зависимости от кодирования, использованного в упомянутых N-битных словах, и указанного посредством индикатора.

17. Устройство по п. 15, в котором процессор (405) выполнен с возможностью применять цветовое преобразование, реализующее, по меньшей мере, преобразование значений серого из первого диапазона яркости, связанного с N-битными словами, во второй диапазон яркости, связанный с устройством (407) отображения, причем преобразование цвета зависит от пика белого, или любого указания уровня белого, характеризующего уровень яркости сцены относительно максимальной яркости, кодируемой в N-битных словах.

18. Устройство по п. 15, в котором упомянутый сигнал изображения соответствует стандарту HDMI, и причем упомянутое устройство дополнительно содержит средство для передачи указания о возможности обрабатывать значения пикселей с высоким динамическим диапазоном в блоке данных, характерном для поставщика HDMI.

19. Способ обработки сигнала изображения, причем способ содержит этапы, на которых:

принимают сигнал изображения, причем сегмент данных сигнала изображения содержит одно из значений пикселей с высоким динамическим диапазоном в N-битных словах согласно первому представлению цвета и значений пикселей с низким динамическим диапазоном согласно второму представлению цвета;

принимают индикатор, указывающий тип кодирования HDR, посредством которого закодированы значения пикселей с высоким динамическим диапазоном; и

обрабатывают данные упомянутого сегмента данных как значения пикселей с высоким динамическим диапазоном или как значения пикселей с низким динамическим диапазоном в зависимости от значения упомянутого индикатора.