Область техники, к которой относится изобретение
Изобретение относится к преобразованиям динамического диапазона для изображений и, в частности, но не только, к обработке изображений для того, чтобы формировать изображения с расширенным динамическим диапазоном из изображений с узким динамическим диапазоном или формировать изображения с узким динамическим диапазоном из изображений с расширенным динамическим диапазоном.
Уровень техники
В последние десятилетия все более важным становится цифровое кодирование различных исходных сигналов по мере того, как представление и обмен цифровыми сигналами все в большей степени заменяют аналоговое представление и обмен. Проводятся постоянные научные исследования в отношении того, как повышать качество, которое может получаться из кодированных изображений и видеопоследовательностей, при одновременном поддержании скорости передачи данных на допустимых уровнях.
Важным фактором для воспринимаемого качества изображений является динамический диапазон, который может быть воспроизведен, когда изображение отображается. Традиционно, динамический диапазон воспроизведенных изображений имеет тенденцию существенного уменьшения относительно нормального зрения. Фактически, уровни яркости, встречающиеся в реальном мире, охватывают динамический диапазон не менее 14 порядков величины, с варьированием от безлунной ночи до взгляда непосредственно на солнце. Мгновенный динамический диапазон яркости и соответствующая чувствительность зрительной системы человека могут попадать в диапазон 10000:1 и 100000:1 в солнечные дни или ночью (яркие отражения в сравнении с затененными областями). Традиционно, динамический диапазон дисплеев ограничен приблизительно 2-3 порядками величины, и также датчики имеют ограниченный диапазон, например, <10000:1 в зависимости от допустимости шума. Следовательно, традиционно можно сохранять и передавать изображения в 8-битовых гамма-кодированных форматах без введения перцепционно заметных артефактов на традиционных устройствах рендеринга. Тем не менее, в попытке записывать более точные и более живые изображения, разработаны новые датчики изображений с расширенным динамическим диапазоном (HDR), которые допускают запись динамических диапазонов в более чем 6 порядков величины. Кроме того, большинство спецэффектов, улучшения компьютерной графики и другие работы по доводке обычно уже проводятся при более высоких битовых глубинах и с более широкими динамическими диапазонами.
Кроме того, контрастность и пиковая яркость систем отображения предшествующего уровня техники продолжает увеличиваться. В последнее время, новые прототипные дисплеи представляются с пиковой яркостью не менее 3000 кд/м2 и коэффициентами контрастности 5-6 порядков величины (собственное значение дисплея, окружение просмотра также влияет на конечный подготовленный посредством рендеринга коэффициент контрастности, который для просмотра телевизора в дневное время может падать даже ниже 50:1). Предполагается, что проектируемые дисплеи должны иметь возможность предоставлять еще более широкие динамические диапазоны и, в частности, более высокие пиковые яркости и коэффициенты контрастности. Когда традиционно кодированные 8-битовые сигналы отображаются на таких дисплеях, могут появляться раздражающие артефакты квантования и отсечения. Кроме того, традиционные видеоформаты предлагают недостаточный запас и точность, чтобы передавать разнообразную информацию, содержащуюся в новых HDR-изображениях.
Как результат, есть возрастающая потребность в новых подходах, которые позволяют потребителю извлекать полную выгоду из характеристик датчиков и систем отображения предшествующего уровня техники (и проектируемых датчиков и систем отображения). Предпочтительно, представления такой дополнительной информации являются обратно совместимыми, так что унаследованное оборудование по-прежнему может принимать обычные видеопотоки, в то время как новые устройства с поддержкой HDR могут в полной мере пользоваться дополнительной информацией, передаваемой посредством нового формата. Таким образом, желательно, чтобы кодированные видеоданные не только представляли HDR-изображения, но также и обеспечивали кодирование соответствующих традиционных изображений с узким динамическим диапазоном (LDR), которые могут отображаться на традиционном оборудовании.
Чтобы успешно вводить HDR-системы и полностью использовать перспективы HDR, важно, чтобы применяемый подход предоставлял обратную совместимость и обеспечивал оптимизацию или, по меньшей мере, адаптацию к HDR-дисплеям. Тем не менее, по сути, это заключает в себе конфликт между оптимизацией для HDR и оптимизацией для традиционного LDR.
Например, типично контент изображений, такой как видеоклипы, обрабатывается в студии (цветокоррекция и тональное преобразование) для оптимального представления на конкретном дисплее. Традиционно, такая оптимизация выполняется для LDR-дисплеев. Например, во время изготовления стандартного LDR-дисплея, специалисты по цветокоррекции должны обеспечивать оптимальное соотношение множества аспектов качества изображений для того, чтобы создавать требуемый "вид" для основной сюжетной линии. Это может заключать в себе обеспечение оптимального соотношения региональных и локальных контрастностей, иногда даже сознательное отсечение пикселов. Например, на дисплее с относительно низкой пиковой яркостью, вспышки или яркие выделенные участки изображения зачастую существенно отсекаются, чтобы передавать впечатление высокой яркости зрителю (то же самое происходит для темных затененных деталей на дисплеях с недостаточными уровнями черного). Эта операция типично должны выполняться при допущении номинального LDR-дисплея, и традиционно дисплеи относительно незначительно отклоняются от таких номинальных LDR-дисплеев, поскольку фактически, по сути, все потребительские дисплеи являются LDR-дисплеями.
Тем не менее, если фильм адаптирован для целевого HDR-дисплея, то результат должен быть существенно отличающимся. Фактически, специалисты по обработке цветов должны выполнять оптимизацию, которая приводит к существенно отличающемуся кодовому преобразованию. Например, выделенные участки и затененные детали не только могут лучше сохраняться на HDR-дисплеях, но они также могут быть оптимизированы с возможностью иметь другое распределение по средне-серым тонам. Таким образом, оптимальное HDR-изображение не достигается посредством простого масштабирования LDR-изображения на значение, соответствующее разности яркостей белых точек (максимальной достижимой яркости).
В идеале, отдельные цветокоррекции и тональные преобразования должны выполняться для каждого возможного динамического диапазона дисплея. Например, одна видеопоследовательность должна быть предназначена для максимальной яркости белых точек 500 кд/м2, одна - для 1000 кд/м2, одна - для 1500 кд/м2 и т.д. вплоть до максимальной возможной яркости. Данный дисплей затем может просто выбирать видеопоследовательность, соответствующую своей яркости. Тем не менее, такой подход является непрактичным, поскольку он требует формирования большого числа видеопоследовательностей, за счет этого увеличивая ресурсы, требуемые для того, чтобы формировать эти различные видеопоследовательности. Кроме того, существенно возрастает требуемая емкость для хранения и распространения. Кроме того, подход ограничивает возможный максимальный уровень яркости отображения дискретными уровнями, в силу этого обеспечивая субоптимальную производительность для дисплеев с максимальными уровнями яркости отображения между уровнями, для которых предоставляются видеопоследовательности. Кроме того, такой подход не позволяет использовать проектируемые дисплеи, разработанные с более высокими уровнями максимальной яркости, чем для видеопоследовательности с наибольшим уровнем яркости.
Соответственно, предполагается, что только ограниченное число видеопоследовательностей создается на стороне предоставления контента, и предполагается, что автоматические преобразования динамического диапазона должны применяться в последующих точках цепочки распространения к таким видеопоследовательностям, чтобы формировать видеопоследовательность, подходящую для конкретного дисплея, на котором подготавливается посредством рендеринга видеопоследовательность. Тем не менее, в таких подходах качество результирующего изображения сильно зависит от автоматического преобразования динамического диапазона.
Следовательно, должен быть преимущественным усовершенствованный подход для поддержки различных динамических диапазонов для изображений и, предпочтительно, для поддержки изображений с различными динамическими диапазонами.
Сущность изобретения
Согласно аспекту изобретения, предусмотрено устройство обработки изображений, содержащее: приемное устройство для приема сигнала изображения, причем сигнал изображения содержит, по меньшей мере, первое кодированное изображение и опорную величину первого целевого дисплея, причем опорная величина первого целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодируется первое кодированное изображение; процессор динамического диапазона, выполненный с возможностью формировать выходное изображение посредством применения преобразования динамического диапазона к первому кодированному изображению в ответ на опорную величину первого целевого дисплея; и вывод для вывода сигнала выходного изображения, содержащего выходное изображение.
Изобретение может обеспечивать возможность системе поддерживать изображения и/или дисплеи с различными динамическими диапазонами. В частности, подход может обеспечивать улучшенные преобразования динамического диапазона, которые могут адаптироваться к конкретным характеристикам рендеринга изображения. Во многих сценариях может достигаться улучшенное преобразование динамического диапазона из LDR в HDR-изображения или из HDR в LDR.
В некоторых вариантах осуществления, преобразование динамического диапазона увеличивает динамический диапазон выходного видеосигнала относительно первого кодированного изображения. В некоторых вариантах осуществления, преобразование динамического диапазона снижает динамический диапазон выходного видеосигнала относительно первого кодированного изображения.
Динамический диапазон соответствует диапазону яркости рендеринга, т.е. диапазону от минимального светового выхода до максимального светового выхода для подготовленного посредством рендеринга изображения. Таким образом, динамический диапазон представляет собой не просто соотношение между максимальным значением и минимальным значением или показателем квантования (к примеру, число битов), а соответствует фактическому диапазону яркости для рендеринга изображения. Таким образом, динамический диапазон может быть диапазоном значений яркости, например, измеряемых в канделах на квадратный метр (кд/м2), что также упоминается как "ниты". Таким образом, динамический диапазон является диапазоном яркости от светового выхода (яркости), соответствующего наименьшему значению яркости (зачастую предположительно представляющего собой абсолютно черный цвет, т.е. без светового выхода), до светового выхода (яркости), соответствующего наибольшему значению яркости. Динамический диапазон, в частности, может отличаться посредством наибольшего значения светового выхода, также называемого в качестве белой точки, яркости белых точек, яркости белого или максимальной яркости. Для LDR-изображений и LDR-дисплеев, белая точка типично составляет 500 нит или меньше.
Сигнал выходного изображения, в частности, может быть подан на дисплей, имеющий конкретный динамический диапазон, и в силу этого преобразование динамического диапазона может преобразовывать кодированное изображение из динамического диапазона, указываемого посредством опорной величины целевого дисплея, в динамический диапазон дисплея, на котором подготавливается посредством рендеринга изображение.
Изображение может быть изображением последовательности движущихся изображений, таким как, например, кадр или изображение видеопоследовательности. В качестве другого примера, изображение может быть постоянным фоном или, например, наложенным изображением, к примеру, графикой и т.д.
Первое кодированное изображение, в частности, может быть LDR-изображением, и выходное изображение может быть HDR-изображением. Первое кодированное изображение, в частности, может быть HDR-изображением, и выходное изображение может быть LDR-изображением.
В соответствии с необязательным признаком изобретения, опорная величина первого целевого дисплея содержит яркость белых точек первого целевого дисплея.
Это позволяет обеспечивать преимущественную работу во многих вариантах осуществления. В частности, это позволяет обеспечивать низкую сложность и/или низкий объем служебной информации при предоставлении достаточной информации, чтобы обеспечивать выполнение улучшенного преобразования динамического диапазона.
В соответствии с необязательным признаком изобретения, опорная величина первого целевого дисплея содержит индикатор электрооптической передаточной функции для первого целевого дисплея.
Это позволяет обеспечивать преимущественную работу во многих вариантах осуществления. В частности, это позволяет обеспечивать низкую сложность и/или низкий объем служебной информации при предоставлении достаточной информации, чтобы обеспечивать выполнение улучшенного преобразования динамического диапазона. Подход, в частности, может обеспечивать преобразование динамического диапазона таким образом, чтобы также адаптироваться к конкретным характеристикам, например, для яркостей среднего диапазона. Например, он может обеспечивать преобразование динамического диапазона таким образом, чтобы учитывать разности гаммы целевого дисплея и дисплея конечного пользователя.
В соответствии с необязательным признаком изобретения, опорная величина первого целевого дисплея содержит индикатор тонального преобразования, представляющий тональное преобразование, используемое для того, чтобы формировать первое кодированное изображение для первого целевого дисплея.
Это позволяет обеспечивать выполнение улучшенного преобразования динамического диапазона во многих сценариях, и, в частности, может обеспечивать преобразование динамического диапазона таким образом, чтобы компенсировать конкретные характеристики тонального преобразования, выполняемого на стороне создания контента.
В некоторых сценариях, устройство обработки изображений в силу этого может учитывать как характеристики дисплея, для которого оптимизировано кодированное изображение, так и характеристики конкретного тонального преобразования. Например, это может обеспечивать учет субъективных и, например, художественных решений по тональному преобразованию при преобразовании изображения из одного динамического диапазона в другой.
В соответствии с необязательным признаком изобретения, сигнал изображения дополнительно содержит поле данных, содержащее управляющие данные преобразований динамического диапазона; и процессор динамического диапазона дополнительно выполнен с возможностью осуществлять преобразование динамического диапазона в ответ на управляющие данные преобразований динамического диапазона.
Это позволяет предоставлять повышенную производительность и/или функциональность во многих системах. В частности, это позволяет обеспечивать локализованную и целевую адаптацию к дисплеям с конкретным динамическим диапазоном при одновременном предоставлении возможности стороне поставщика контента сохранять определенное управление результирующими изображениями.
Управляющие данные преобразований динамического диапазона могут включать в себя данные, указывающие характеристики преобразования динамического диапазона, которое должно и/или может применяться, и/или они могут указывать рекомендованные характеристики преобразования динамического диапазона.
В соответствии с необязательным признаком изобретения, управляющие данные преобразований динамического диапазона содержат различные параметры преобразования динамического диапазона для различных максимальных уровней яркости отображения.
Это позволяет обеспечивать улучшенное управление и/или адаптацию во многих вариантах осуществления. В частности, это может обеспечивать возможность устройству 103 обработки изображений выбирать и применять надлежащие управляющие данные для конкретного динамического диапазона, для которого формируется выходное изображение.
В соответствии с необязательным признаком изобретения, управляющие данные преобразований динамического диапазона содержат различные параметры тонального преобразования для различных максимальных уровней яркости отображения, и процессор динамического диапазона выполнен с возможностью определять параметры тонального преобразования для преобразования динамического диапазона в ответ на различные параметры тонального преобразования и максимальную яркость для сигнала выходного изображения.
Это позволяет обеспечивать улучшенное управление и/или адаптацию во многих вариантах осуществления. В частности, это может обеспечивать возможность устройству 103 обработки изображений выбирать и применять надлежащие управляющие данные для конкретного динамического диапазона, для которого формируется выходное изображение. Параметры тонального преобразования могут, в частности, предоставлять параметры, которые должны, могут или рекомендованы для преобразования динамического диапазона.
В соответствии с необязательным признаком изобретения, управляющие данные преобразований динамического диапазона содержат данные, задающие набор параметров преобразования, которые должны применяться посредством преобразования динамического диапазона.
Это может обеспечивать возможность стороне поставщика контента сохранять управление изображениями, подготовленными посредством рендеринга на дисплеях, поддерживаемых посредством устройства обработки изображений. Это позволяет обеспечивать гомогенность между различными случаями рендеринга. Подход, например, может позволять поставщику контента обеспечивать то, что художественное впечатление от изображения остается относительно неизменным при рендеринге на различных дисплеях.
В соответствии с необязательным признаком изобретения, управляющие данные преобразований динамического диапазона содержат данные, задающие пределы для параметров преобразования, которые должны применяться посредством преобразования динамического диапазона.
Это позволяет обеспечивать улучшенные операции и расширенные возможности работы пользователей во многих вариантах осуществления. В частности, во многих сценариях это позволяет обеспечивать улучшенный компромисс между желанием поставщика контента сохранять управление рендерингом контента при предоставлении возможности конечному пользователю подстраивать его согласно своим предпочтениям.
В соответствии с необязательным признаком изобретения, управляющие данные преобразований динамического диапазона содержат различные управляющие данные преобразований для различных категорий изображения.
Это позволяет обеспечивать улучшенные преобразованные изображения во многих сценариях. В частности, это позволяет обеспечивать оптимизацию преобразования динамического диапазона для отдельных характеристик различных изображений. Например, различные преобразования динамического диапазона могут применяться к изображениям, соответствующим основному изображению, изображениям, соответствующим графике, изображениям, соответствующим фону, и т.д.
В соответствии с необязательным признаком изобретения, максимальная яркость динамического диапазона первого целевого дисплея составляет не менее 1000 нит.
Изображение, которое должно быть преобразовано, может быть HDR-изображением. Преобразование динамического диапазона позволяет преобразовывать такое HDR-изображение в другое HDR-изображение (ассоциированное с дисплеем, имеющим динамический диапазон не менее 1000 нит), имеющее другой динамический диапазон. Таким образом, повышенное качество изображений может достигаться посредством преобразования одного HDR-изображения для одного динамического диапазона в другое HDR-изображение для другого динамического диапазона (который может иметь более высокую или более низкую яркость белых точек).
В соответствии с необязательным признаком изобретения, сигнал изображения содержит второе кодированное изображение и опорную величину второго целевого дисплея, причем опорная величина второго целевого дисплея указывает динамический диапазон второго целевого дисплея, для которого кодируется второе кодированное изображение, при этом динамический диапазон второго целевого дисплея отличается от динамического диапазона первого целевого дисплея; и процессор динамического диапазона выполнен с возможностью применять преобразование динамического диапазона ко второму кодированному изображению в ответ на опорную величину второго целевого дисплея.
Это позволяет обеспечивать повышенное качества вывода во многих сценариях. В частности, различные преобразования могут применяться для первого кодированного изображения и для второго кодированного изображения в зависимости от различий ассоциированных целевых дисплеев (и типично в зависимости от того, как каждое из них связано с требуемым динамическим диапазоном выходного изображения).
В соответствии с необязательным признаком изобретения, процессор динамического диапазона изображения выполнен с возможностью формировать выходное изображение посредством комбинирования первого кодированного изображения и второго кодированного изображения.
Это позволяет обеспечивать повышенное качество изображений во многих вариантах осуществления и сценариях. В некоторых сценариях, комбинация может быть комбинацией на основе выбора, при которой комбинация выполняется просто посредством выбора одного из изображений.
В соответствии с необязательным признаком изобретения, устройство обработки изображений дополнительно содержит: приемное устройство для приема сигнала данных из дисплея, причем сигнал данных содержит поле данных, которое содержит индикатор динамического диапазона отображения дисплея, при этом индикатор динамического диапазона отображения содержит, по меньшей мере, одну спецификацию яркости; и процессор динамического диапазона выполнен с возможностью применять преобразование динамического диапазона к первому кодированному изображению в ответ на индикатор динамического диапазона отображения.
Это позволяет обеспечивать улучшенный рендеринг изображений во многих вариантах осуществления.
В соответствии с необязательным признаком изобретения, процессор динамического диапазона выполнен с возможностью выбирать между формированием выходного изображения в качестве первого кодированного изображения и формированием выходного изображения в качестве преобразованного изображения относительно первого кодированного изображения в ответ на опорную величину первого целевого дисплея.
Это позволяет обеспечивать улучшенный рендеринг изображений во многих вариантах осуществления и/или позволяет уменьшать вычислительную нагрузку. Например, если дисплей конечного пользователя имеет динамический диапазон, который является очень близким к диапазону, для которого сформировано кодированное изображение, то повышенное качество подготовленного посредством рендеринга изображения типично должно достигаться, если принимаемое изображение используется непосредственно. Тем не менее, если динамические диапазоны существенно отличаются, повышенное качество достигается посредством обработки изображения таким образом, чтобы адаптировать его к различному динамическому диапазону. В некоторых вариантах осуществления, преобразование динамического диапазона может быть выполнено с возможностью просто переключать между нулевой операцией (использованием непосредственно первого кодированного изображения) и применением предварительно определенного и фиксированного преобразования динамического диапазона, если опорная величина целевого дисплея существенно отличается от дисплея конечного пользователя.
В соответствии с необязательным признаком изобретения, преобразование динамического диапазона содержит преобразование палитры.
Это позволяет обеспечивать формирование улучшенного выходного изображения во многих вариантах осуществления и сценариях. В частности, это позволяет обеспечивать улучшенный воспринимаемый цветорендеринг и, например, позволяет компенсировать восприятие изменений цвета, вытекающих из изменений яркости областей изображения. В некоторых вариантах осуществления, преобразование динамического диапазона может состоять в преобразовании палитры.
В соответствии с необязательным признаком изобретения, устройство обработки изображений дополнительно содержит передающее устройство управляющих данных для передачи управляющих данных динамического диапазона в источник сигнала изображения.
Это может обеспечивать возможность источнику адаптировать сигнал изображения в ответ на управляющие данные динамического диапазона. Управляющие данные динамического диапазона могут, в частности, содержать индикатор относительно предпочтительного динамического диапазона для изображения и/или индикатор относительно динамического диапазона (например, яркость белых точек и необязательно EOTF или гамма-функцию) для дисплея конечного пользователя.
Согласно аспекту изобретения, предусмотрено устройство источника сигналов изображений, содержащее: приемное устройство для приема кодированного изображения; формирователь для формирования сигнала изображения, содержащего кодированное изображение и опорную величину целевого дисплея, указывающую динамический диапазон целевого дисплея, для которого кодируется кодированное изображение; передающее устройство для передачи сигнала изображения.
Согласно аспекту изобретения, предусмотрен способ обработки изображений, содержащий:
- прием сигнала изображения, причем сигнал изображения содержит, по меньшей мере, первое кодированное изображение и опорную величину первого целевого дисплея, причем опорная величина первого целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодируется первое кодированное изображение;
- формирование выходного изображения посредством применения преобразования динамического диапазона к первому кодированному изображению в ответ на опорную величину первого целевого дисплея; и
- вывод сигнала выходного изображения, содержащего выходное изображение.
Согласно аспекту изобретения, предусмотрен способ передачи сигнала изображения, при этом способ содержит: прием кодированного изображения; формирование сигнала изображения, содержащего кодированное изображение и опорную величину целевого дисплея, указывающую динамический диапазон целевого дисплея, для которого кодируется кодированное изображение; и передачу сигнала изображения.
Согласно аспекту изобретения, предусмотрен сигнал изображения, содержащий, по меньшей мере, первое кодированное изображение и опорную величину первого целевого дисплея, причем опорная величина первого целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодируется первое кодированное изображение.
Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.
Краткое описание чертежей
Варианты осуществления изобретения описаны далее только в качестве примера со ссылкой на чертежи, из которых:
Фиг. 1 является иллюстрацией примеров элементов системы рендеринга изображений в соответствии с некоторыми вариантами осуществления изобретения;
Фиг. 2 является иллюстрацией примера элементов устройства обработки изображений;
Фиг. 3 иллюстрирует пример преобразования для устройства обработки изображений;
Фиг. 4 иллюстрирует пример электрооптической передаточной функции (EOTF) для дисплея;
Фиг. 5 иллюстрирует пример модели для плоскостей представления в HDMV-2D-режиме Blu-RayTM-стандарта;
Фиг. 6 иллюстрирует пример обработки динамического диапазона для HDR- и LDR-изображений;
Фиг. 7 иллюстрирует пример преобразования для устройства обработки изображений;
Фиг. 8-10 иллюстрируют примеры изображений с различными преобразованиями динамического диапазона при представлении на идентичном дисплее;
Фиг. 11 иллюстрирует пример взаимосвязи между значениями яркости и возможными преобразованиями для устройства обработки изображений;
Фиг. 12 иллюстрирует пример преобразования для устройства обработки изображений;
Фиг. 13 иллюстрирует пример преобразования для устройства обработки изображений;
Фиг. 14 иллюстрирует структуру графического потока в соответствии с Blu-RayTM-стандартом;
Фиг. 15 иллюстрирует пример обработки динамического диапазона для изображения и ассоциированного наложенного графического изображения;
Фиг. 16 иллюстрирует пример обработки динамического диапазона для изображения и графики;
Фиг. 17 является иллюстрацией примера элементов устройства обработки изображений;
Фиг. 18 иллюстрирует пример преобразования для устройства обработки изображений;
Фиг. 19 является иллюстрацией примера элементов устройства обработки изображений;
Фиг. 20 иллюстрирует пример преобразования для устройства обработки изображений;
Фиг. 21 является иллюстрацией примера элементов дисплея в соответствии с некоторыми вариантами осуществления изобретения;
Фиг. 22 является иллюстрацией примера элементов устройства обработки изображений; и
Фиг. 23 схематично иллюстрирует формирование 8-битового кодирования изображений для HDR-изображения посредством устройства кодирования.
Подробное описание некоторых вариантов осуществления изобретения
Фиг. 1 иллюстрирует пример тракта аудиовизуального распространения. В примере, устройство 101 поставщика контента формирует сигнал аудиовизуального контента для элемента аудиовизуального контента, такого как, например, фильм, телевизионная программа и т.д. Устройство 101 поставщика контента, в частности, может кодировать аудиовизуальный контент в соответствии с подходящим форматом кодирования и представлением цветов. В частности, устройство 101 поставщика контента может кодировать изображения видеопоследовательности элемента аудиовизуального контента в соответствии с подходящим представлением, таким как, например, YCrCb. Устройство 101 поставщика контента может рассматриваться как представляющее киностудию, которая создает и передает в широковещательном режиме контент.
Сигнал аудиовизуального контента затем распространяется в устройство 103 обработки изображений через тракт 105 распространения. Устройство 103 обработки изображений, например, может представлять собой абонентскую приставку, находящуюся у конкретного потребителя элемента контента, к примеру, персональное видеозаписывающее устройство, Blu-RayTM-проигрыватель, сетевое (например, Интернет-) устройство потоковой передачи, спутниковый или наземный телевизионный приемник и т.д.
Аудиовизуальный контент кодируется и распространяется из устройства 101 поставщика контента на носитель, который, например, может состоять из коробочного носителя или среды связи. Затем он достигает исходного устройства в форме устройства 103 обработки изображений, которое содержит функциональность для декодирования и воспроизведения контента.
Следует принимать во внимание, что тракт 105 распространения может быть любым трактом распространения через любой носитель (среду) или с использованием любого подходящего стандарта связи. Дополнительно, тракт распространения не должен быть обязательно в реальном времени, а может включать в себя постоянное или временное хранилище. Например, тракт распространения может включать в себя Интернет-, спутниковую, кабельную или наземную широковещательную передачу, сеть мобильной или стационарной связи и т.д. или хранение на физически распределенных носителях, таких как DVD или Blu-RayTM-диск или карта памяти и т.д.
Устройство 103 обработки изображений соединяется с дисплеем 107 через тракт 109 связи. Устройство 103 обработки изображений формирует сигнал для отображения, представляющий элемент аудиовизуального контента. Таким образом, исходное устройство передает декодированный контент в потоковом режиме в устройство-приемник, которое может быть телевизором или другим устройством, который преобразует цифровые сигналы в физическое представление.
Устройство 103 обработки изображений может выполнять, например, алгоритмы улучшения изображений или обработки сигналов для данных и, в частности, может декодировать и повторно кодировать (обработанный) аудиовизуальный сигнал. Повторное кодирование, в частности, может иметь отличающийся формат кодирования или представления по сравнению с форматом кодирования или представления принимаемого сигнала.
Система по фиг. 1 в некоторых вариантах осуществления выполнена с возможностью предоставлять видеоинформацию с расширенным динамическим диапазоном (HDR) на дисплей 107 и в других вариантах осуществления или сценариях выполнена с возможностью предоставлять изображение с узким динамическим диапазоном (LDR) на дисплей 107. Дополнительно, чтобы обеспечивать, например, улучшенную обратную совместимость, в некоторых сценариях она может иметь возможность предоставлять LDR- и HDR-изображение в зависимости от дисплея, на котором она отображается. В частности, система имеет возможность передавать/распространять сигналы изображений, связанные с LDR- и HDR-изображениями.
Традиционные дисплеи типично используют LDR-представление. Типично такие LDR-представления предоставляются посредством трехкомпонентного 8-битового представления, связанного с указанными основными цветами. Например, представление RGB-цветов может предоставляться посредством трех 8-битовых выборок, упоминаемых как красный, зеленый и синий основной цвет, соответственно. Другое представление использует один компонент сигнала яркости и два компонента сигнала цветности (к примеру, YCrCb). Эти LDR-представления соответствуют данной яркости или диапазону яркости.
HDR, в частности, обеспечивает надлежащее представление значительно более ярких изображений (или областей изображения) на HDR-дисплеях. Фактически, HDR-изображение, отображенное на HDR-дисплее, может предоставлять значительно более яркий белый цвет, чем может предоставляться посредством соответствующего LDR-изображения, представленного на LDR-дисплее. Фактически, HDR-дисплей типично может обеспечивать, по меньшей мере, в четыре раза более яркий белый цвет, чем LDR-дисплей. Яркость, в частности, может измеряться относительно самого темно-черного цвета, который может представляться, или может измеряться относительно данного уровня серого или черного.
LDR-изображение, в частности, может соответствовать конкретным параметрам отображения, таким как фиксированное битовое разрешение, связанное с конкретным набором основных цветов и/или конкретной белой точкой. Например, 8 битов могут предоставляться для данного набора основных RGB-цветов и, например, белой точки 500 кд/м2. HDR-изображение является изображением, которое включает в себя данные, которые должны быть подготовлены посредством рендеринга сверх этих ограничений. В частности, яркость может более чем в четыре раза (или больше) превышать яркость белой точки (например, 2000 кд/м2).
Пиксельные значения расширенного динамического диапазона имеют диапазон яркостной контрастности (самая большая яркость в наборе пикселов, деленная на самую маленькую яркость), который (гораздо) больше диапазона, который может быть точно отображен на дисплеях, стандартизированных в эре NTSC и MPEG-2 (с типичными основными RGB-цветами и белым цветом D65 с максимальным уровнем возбуждения [255, 255, 255], опорная яркость, например, 500 нит или ниже). Типично для такого эталонного дисплея 8 битов достаточно для того, чтобы отображать все значения полутонов между приблизительно 500 нит и 0,5 нит (т.е. с диапазоном контрастности 1000:1 или ниже) с визуально небольшими шагами, тогда как HDR-изображения кодируются с помощью большего битового слова, например, 10 битов (которое также захватывается посредством камеры с большей глубиной и DAC, например, в 14 битов). В частности, HDR-изображения типично содержат множество пиксельных значений (ярких изображаемых объектов) выше белой сцены. В частности, несколько пикселов ярче в два раза белой сцены. Эта белая сцена типично может быть равной белому цвету эталонного NTSC/MPEG-2-дисплея.
Число X битов, используемых для HDR-изображений, типично может превышать или быть равно числу Y битов, используемых для LDR-изображений (X типично может составлять, например, 10 или 12 или 14 битов (в расчете на цветовой канал, если используются несколько каналов), и Y, например, может составлять 8 или 10 битов). Преобразование/преобразование может требоваться, чтобы приспосабливать пикселы в меньшем диапазоне, например, сжимающее масштабирование. Типично, может применяться нелинейное преобразование, например, логарифмическое кодирование может кодировать (в качестве сигналов яркости) намного больший диапазон яркости в X-битовом слове, чем линейное кодирование, и в таком случае шаги яркостного различия от одного значения к следующему не являются равноотстоящими, но при этом они и не должны быть обязательно такими для зрительной системы человека.
Следует отметить, что отличие между LDR- и HDR-изображениями заключается не только в том, что большее число битов используется для HDR-изображений, чем для LDR-изображений. Наоборот, HDR-изображения покрывают больший диапазон яркости, чем LDR-изображения, и типично имеют более высокое значение максимальной яркости, т.е. более высокую белую точку. Фактически, тогда как LDR-изображения имеют (белую) точку максимальной яркости, соответствующую не более 500 нит, HDR-изображения имеют (белую) точку максимальной яркости, соответствующую 500 нит и зачастую не менее 1000 нит, 2000 нит или даже 4000 нит или выше. Таким образом, HDR-изображение не просто использует дополнительные биты, соответствующие большей степени детализации или улучшенному квантованию, а вместо этого соответствует большему фактическому диапазону яркости. Таким образом, самое яркое пиксельное значение, в общем, соответствует яркости/световому выходу, которая является более высокой для HDR-изображения, чем для LDR-изображения. Фактически, HDR- и LDR-изображения могут использовать идентичное число битов, но при этом значения HDR-изображений обращаются к большему динамическому диапазону яркости/большей максимальной яркости, чем значения LDR-изображений (и в силу этого HDR-изображения представляются с более приблизительным квантованием шкалы яркости).
В идеале, контент, предоставленный посредством устройства 101 поставщика контента, должен быть захвачен и кодирован в отношении диапазона яркости, который совпадает с диапазоном яркости дисплея 107. Тем не менее, в практических системах контент может быть подготовлен посредством рендеринга на многих различных дисплеях со многими различными характеристиками и/или может быть кодирован согласно стандартам, которые основаны на диапазонах яркости, которые отличаются от диапазона яркости конкретного дисплея 107. Кроме того, контент не может первоначально быть захвачен посредством устройства или подхода для захвата, которое точно совпадает с диапазоном яркости дисплея.
Соответственно, поддержка HDR в системе контента типично требует некоторого преобразования или конверсии между различными диапазонами яркости. Например, если LDR-изображение принимается и должно быть представлено на HDR-дисплее, должно выполняться преобразование из LDR в HDR. Если HDR-изображение принимается и должно быть представлено на LDR-дисплее, должно выполняться преобразование из HDR в LDR. Такие преобразования типично являются достаточно сложными и просто не являются эквивалентными простому масштабированию диапазонов яркости, поскольку такое масштабирование приводит к изображению, которое должно восприниматься как неестественно выглядящее. Типично используются достаточно сложные преобразования, и эти преобразования зачастую упоминаются с использованием термина "тональное преобразование".
В принципе, такие преобразования яркости могут быть выполнены в трех различных местах в системе распространения контента.
Один вариант состоит в том, чтобы выполнять его в устройстве 101 поставщика контента. Типично, это позволяет обеспечивать распределение идентичной операции преобразования яркости на несколько дисплеев, в силу этого обеспечивая возможность использования одного преобразования для множества пользователей. Это позволяет обеспечивать и оправдывать целесообразность выполнения сложного и ресурсоемкого тонального преобразования вручную, например, специалистами по тональному преобразованию. Фактически, это позволяет предоставлять субъективно оптимизированное изображение для данного диапазона яркости, что зачастую называется "художественным тональным преобразованием". Тем не менее, такой подход является очень ресурсоемким и не является осуществимым для применения во множестве дисплеев. Кроме того, отдельный поток изображений требуется для каждого поддерживаемого диапазона яркости, что приводит к необходимости очень значительных ресурсов связи, что является непрактичным для многих систем.
Другой вариант состоит в том, чтобы выполнять преобразование яркости в устройстве 103 обработки изображений. Тем не менее, поскольку обычный пользователь не является специалистом по преобразованиям яркости, и поскольку требуемые усилия приводят к непрактичности выполнения адаптации вручную (особенно для движущихся изображений, таких как видеоклипы, фильмы и т.д.), преобразование предпочтительно должно быть автоматическим. Тем не менее, такие преобразования традиционно не позволяют предоставлять оптимальные изображения. В частности, оптимальное преобразование может зависеть от конкретного типа контента, намеченных характеристик изображения (например, различные преобразования могут быть подходящими для сцены, намеченной в качестве темной и угрожающей, и сцены, которая намечена просто в качестве темной, чтобы указывать сцену в ночное время). Кроме того, отправитель контента может рассматривать потенциальное влияние таких автоматических преобразований и может отказываться терять управление над тем, как контент может быть представлен в различных сценариях. Кроме того, оптимальное преобразование типично зависит от точных характеристик дисплея 107, и преобразование на основе предполагаемого, номинального или стандартного дисплея типично приводит к субоптимальным преобразованиям.
Преобразование также может выполняться на дисплее 107.
В системе по фиг. 1 устройство 103 обработки изображений содержит функциональность для выполнения преобразования динамического диапазона яркости для изображения (или набора изображений, такого как, например, видеопоследовательность), принимаемого из устройства обработки контента 103, чтобы увеличивать его динамический диапазон. В частности, устройство 103 обработки изображений принимает изображение из устройства 101 поставщика контента, затем обрабатывает изображение, чтобы формировать изображение с более широким динамическим диапазоном. В частности, принимаемое изображение может быть LDR-изображением, которое преобразуется в HDR-изображение посредством применения преобразования динамического диапазона яркости, чтобы увеличивать динамический диапазон. Преобразованное изображение затем может выводиться на дисплей 107, который является HDR-дисплеем, в силу этого приводя к преобразованию первоначально принимаемого LDR-изображения в подготовленное посредством рендеринга HDR-изображение. Преобразование динамического диапазона может преобразовывать значения яркости (по меньшей мере, части) входного изображения, ассоциированного с одним динамическим диапазоном, в значения яркости для (по меньшей мере, части) выходного изображения, ассоциированного с другим динамическим диапазоном.
В другом сценарии, устройство 103 обработки изображений может принимать изображение из устройства 101 поставщика контента и затем обрабатывать изображение, чтобы формировать изображение с более узким динамическим диапазоном. В частности, принимаемое изображение может быть HDR-изображением, которое преобразуется в LDR-изображение посредством применения преобразования динамического диапазона яркости, чтобы снижать динамический диапазон. Преобразованное изображение затем может выводиться на дисплей 107, который является LDR-дисплеем, в силу этого приводя к преобразованию первоначально принимаемого HDR-изображения в подготовленное посредством рендеринга LDR-изображение.
В системе по фиг. 1, преобразование динамического диапазона адаптируется в зависимости от информации, принимаемой из устройства 101 поставщика контента и/или дисплея 107. Таким образом, в системе, преобразование динамического диапазона не является просто локально выполняемой операцией в устройстве 103 обработки изображений, но также может зависеть от характеристик, свойств или информации из устройства 101 поставщика контента и/или дисплея 107.
Сначала система по фиг. 1 описывается в отношении случая, когда преобразование динамического диапазона основано на информации, предоставляемой в устройство 103 обработки изображений из устройства 101 поставщика контента.
Фиг. 2 иллюстрирует пример элементов устройства 103 обработки изображений по фиг. 1.
Устройство 103 обработки изображений содержит приемное устройство 201, которое принимает сигнал изображения из устройства 101 поставщика контента. Сигнал изображения содержит одно или более кодированных изображений. Во многих сценариях сигнал изображения может быть видеосигналом, содержащим кодированную видеопоследовательность, т.е. последовательность изображений. Следует принимать во внимание, что может быть использовано любое подходящее кодирование изображения(й), включающее в себя, например, кодирование JPEG-изображений, кодирование MPEG-видео и т.д. Кодированное изображение представляется посредством пиксельных значений, которые для каждого пиксела изображения представляют соответствующий световой выход для пиксела (или для отдельного субпиксела цветового канала). Пиксельные значения могут предоставляться в соответствии с любым подходящим представлением цветов, таким как, например, RGB, YUV и т.д.
Кроме того, сигнал изображения содержит опорную величину целевого дисплея, которая указывает динамический диапазон целевого дисплея, для которого кодируется первое кодированное изображение. Таким образом, опорная величина целевого дисплея предоставляет опорную величину для кодированного изображения, которая отражает динамический диапазон, для которого составлено принимаемое изображение. Опорная величина целевого дисплея может указывать яркости, для которых разработано и специально оптимизировано тональное преобразование в устройстве 101 поставщика контента.
Таким образом, устройство 101 поставщика контента выполнено с возможностью формировать сигнал изображения, который включает в себя не только непосредственно кодированное изображение, но также и опорную величину целевого дисплея, которая представляет динамический диапазон дисплея, для которого сформирован кодированный сигнал. Устройство 101 поставщика контента, в частности, может принимать кодированное изображение из внутреннего или внешнего источника. Например, изображение может предоставляться как результат тональной коррекции вручную, которая оптимизирует кодированное изображение для конкретного дисплея. Помимо этого, устройство 101 поставщика контента может получать информацию конкретного дисплея, который использован для оптимизации, например, через информацию отображения, которая автоматически передана в устройство 101 поставщика контента из дисплея (например, устройство 101 поставщика контента также может включать в себя функциональность, требуемую для поддержки тонального преобразования вручную, и может подключаться к целевому/эталонному дисплею, используемому для этого тонального преобразования). В качестве другого примера, кодированное тонально преобразованное изображение может быть принято на носителе, на котором также сохраняются свойства ассоциированного дисплея. В качестве еще одного другого примера, устройство 101 поставщика контента может принимать информацию характеристики целевого дисплея посредством пользовательского ввода вручную.
Устройство 101 поставщика контента в ответ на эту информацию может формировать сигнал изображения, который содержит как кодированное изображение (i), так и опорную величину целевого дисплея, которая указывает динамический диапазон целевого дисплея, который использован для тонального преобразования. Например, значение данных, соответствующее идентификационным данным яркости белых точек, и необязательно электрооптическая передаточная функция, соответствующая идентификационным данным яркости целевого дисплея, могут быть включены в сигнал изображения посредством устройства 101 поставщика контента.
Кроме того, устройство 103 обработки изображений содержит процессор 203 динамического диапазона, который применяет преобразование динамического диапазона к принимаемому кодированному изображению, чтобы формировать выходное изображение с более широким динамическим диапазоном, т.е. которое соответствует большему диапазону выходных яркостей, когда изображение подготавливается посредством рендеринга. В частности, входное кодированное изображение может быть изображением, которое кодируется для LDR-дисплея с белой точкой с максимальной яркостью 500 нит, и оно может быть преобразовано в выходное HDR-изображение с белой точкой с максимальной яркостью, например, в 1000 или 2000 нит. Типично, преобразование динамического диапазона также может увеличивать число битов, используемых для того, чтобы представлять каждое значение, но следует принимать во внимание, что это не важно, и что в некоторых вариантах осуществления идентичное число битов (или даже меньшее число битов) может использоваться для выходного изображения в сравнении с входным изображением. В качестве другого примера, входное кодированное изображение может быть изображением, которое кодируется для HDR-дисплея с максимальной яркостью белых точек в 2000 нит, и оно может быть преобразовано в выходное LDR-изображение с максимальной яркостью белых точек, например, в 500 нит. Такое преобразование уменьшения динамического диапазона также может включать в себя уменьшение числа битов, используемых для пиксельных значений.
Преобразование динамического диапазона выполняется в ответ на опорную величину целевого дисплея и в силу этого может быть выполнено с возможностью учитывать не только требуемый диапазон выходной яркости, но также и диапазон яркости, для которого кодировано принимаемое изображение. Например, система может адаптировать преобразование динамического диапазона таким образом, что преобразование для того, чтобы формировать выходное изображение для 1000 нит, отличается в зависимости от того, формируется входное изображение для изображения на 300 нит или 500 нит. Это может приводить к существенно улучшенному выходному изображению.
Фактически, в некоторых вариантах осуществления входное изображение может быть HDR-изображением, таким как, например, изображение на 1000 нит. Оптимальное преобразование такого изображения, соответственно, в изображение на 2000 нит и изображение на 5000 нит типично отличается, и предоставление опорной величины целевого дисплея может обеспечивать возможность устройству 103 обработки изображений оптимизировать преобразование динамического диапазона для конкретной ситуации, за счет этого предоставляя существенно улучшенное изображение для конкретных характеристик дисплея. Фактически, если дисплей является дисплеем на 500 нит, преобразование динамического диапазона должно выполнять сжатие, а не расширение динамического диапазона.
Подходы могут, в частности, быть преимущественными в негомогенных системах распространения контента, таких как, например, системы, которые все более предпочитаются для проектируемых телевизионных систем. Фактически (пиковая) яркость HDR ЖК-/светодиодных телевизоров в настоящее время быстро увеличивается, и в ближайшем будущем, дисплеи с широким спектром (пиковой) яркости предположительно должны сосуществовать на рынке. Более яркие изображения лучше выглядят на экране телевизора, и более яркий телевизор лучше продается в магазине. С другой стороны, "бюджетные" дисплеи в ноутбуках, планшетных компьютерах и смартфонах также становятся очень популярными и также используются для рендеринга, например, телевизионного контента.
Поскольку яркость отображения (и типично электрооптическая передаточная функция, которая указывает то, как дисплей преобразует входные значения возбуждения пикселов (цветов) в световые значения, которые затем предоставляют конкретное психовизуальное впечатление зрителю) более не известна на стороне формирования контента (которая, кроме того, в общем, отличается от эталонного монитора, для которого предназначен/скорректирован контент), становится сложным предоставление наилучшего/оптимального качества изображений на дисплее. Кроме того, тогда как некоторые изменения яркости отображения, возможно, существовали в прошлом, это изменение является относительно незначительным, и допущение относительно известной фиксированной яркости не приводит к значительным ухудшениям характеристик (и зачастую может компенсироваться вручную пользователем, например, посредством настройки яркости и/или контрастности дисплея).
Тем не менее, вследствие существенного увеличения множества дисплеев (смартфоны, планшетные компьютеры, переносные компьютеры, PC-мониторы, CRT-дисплеи, традиционные дисплеи ЖК-телевизоров и яркие HDR-дисплеи), характеристики (в частности, яркость и контрастность) дисплеев, используемых для рендеринга, демонстрируют очень существенное изменение. Например, контрастность и пиковая яркость систем отображения высшего класса предшествующего уровня техники непрерывно увеличивается, и новые прототипные дисплеи разработаны с пиковой яркостью в 5000 кд/м2 и коэффициентами контрастности в 5-6 порядков величины. С другой стороны, дисплеи, используемые, например, в смартфонах и планшетных компьютерах, становятся все более и более популярными, но имеют относительно низкие рабочие характеристики.
Как упомянуто ранее, контент, такой как видео для фильмов и т.д., обрабатывается на стороне создания контента, чтобы предоставлять требуемые подготовленные посредством рендеринга изображения. Например, когда фильм выпускается для общего распространения (к примеру, посредством DVD или Blu-RayTM), производители/студия типично адаптируют и настраивают изображения для оптимального представления на конкретном дисплее. Такой процесс зачастую упоминается в качестве цветокоррекции и тонального преобразования. Тональное преобразование может рассматриваться как нелинейное преобразование значения сигнала яркости входного пиксела в значение сигнала яркости выходного пиксела. Тональное преобразование выполняется для того, чтобы согласовывать видео с характеристиками дисплея, условиями просмотра и субъективными предпочтениями. В случае локального тонального преобразования обработка варьируется в зависимости от позиции пиксела в изображении. В случае глобального тонального преобразования идентичная обработка применяется ко всем пикселам.
Например, при преобразовании контента так, что он является подходящим для общего потребительского распространения, тональное преобразование зачастую выполняется для того, чтобы предоставлять требуемый вывод на стандартном LDR-дисплее. Это может выполняться вручную специалистами по цветокоррекции, которые обеспечивают оптимальное соотношение множества аспектов качества изображений для того, чтобы создавать требуемый "вид" для основной сюжетной линии. Это может заключать в себе обеспечение оптимального соотношения региональных и локальных контрастностей, иногда даже сознательное отсечение пикселов. Таким образом, типично тональное преобразование на этой стадии не является просто простым автоматизированным преобразованием, а типично является ручным, субъективным и зачастую художественным преобразованием.
Если контент скорректирован для целевого HDR-дисплея, а не для целевого LDR-дисплея, то результат тонального преобразования типично должен быть существенно отличающимся. Таким образом, при простом рендеринге видеоконтента, кодированного для LDR-дисплея, на HDR-дисплее результирующие изображения существенно отличаются от оптимального изображения. Аналогично, если оптимизированное HDR-изображение просто подготавливается посредством рендеринга на LDR-дисплее, может возникать значительное снижение воспринимаемого качества изображений.
Эта проблема в системе по фиг. 1 разрешается посредством выполнения преобразования динамического диапазона в устройстве 103 обработки изображений, но предпочтительно на основе информации, принимаемой из устройства 101 поставщика контента и из дисплея 107. Таким образом, преобразование динамического диапазона (в частности, алгоритм тонального преобразования) может быть адаптировано с возможностью рассматривать характеристики тонального преобразования, которое выполнено в устройстве 101 поставщика контента, и к конкретному диапазону яркости дисплея 107. В частности, тональное преобразование, выполняемое в устройстве 103 обработки изображений, может зависеть от целевого дисплея, для которого тональное преобразование выполняется на стороне формирования контента.
Устройство 101 поставщика контента предоставляет опорную величину целевого дисплея для устройства 103 обработки изображений (отдельно или интегрированно с кодированным изображением, т.е. сигнал изображения может состоять из двух отдельных передач данных). Опорная величина целевого дисплея, в частности, может включать в себя или быть яркостью белых точек целевого дисплея.
Например, для системы с относительно низкой сложностью, устройство 101 поставщика контента может просто передавать индикатор яркости белых точек целевого дисплея для каждого кодированного изображения (видео), которое кодировано. Например, могут передаваться данные, которые указывают число нит, доступных на целевом дисплее. Преобразование динамического диапазона затем может адаптировать преобразование на основе числа нит. Например, если устройство 103 обработки изображений выполняет преобразование динамического диапазона для того, чтобы формировать выходное изображение для дисплея на 2000 нит, сведения относительно того, входное изображение тонально преобразуется для дисплея на 500 нит или для дисплея в 1000 битов, могут быть использованы для того, чтобы оптимизировать преобразование динамического диапазона, выполняемое в устройстве 103 обработки изображений. В обоих сценариях, преобразование динамического диапазона может применять нелинейное преобразование, но это нелинейное преобразование может иметь различные характеристики для двух сценариев, т.е. в зависимости от белой точки целевого дисплея, используемого для тонального преобразования на стороне предоставления контента.
Например, может выполняться следующее преобразование между пикселами принимаемых LDR-изображений, тонально преобразованными для целевого дисплея на 500 нит и пикселов выходных HDR-изображений для дисплея конечного пользователя на 2000 нит:
0-200 нит → 0-200 нит
200-300 нит → 200-600 нит
300-400 нит → 600-1000 нит
400-500 нит → 1000-2000 нит
Тем не менее, для целевого дисплея 1000 нит, вместо этого может выполняться следующее преобразование:
0-200 нит → 0-200 нит
200-700 нит → 200-1000 нит
700-1000 нит → 1000-2000 нит
Таким образом, с точки зрения относительных значений (процентного отношения полного преобразования), два различных преобразования могут быть такими, как показано на фиг. 3, на котором взаимосвязь между процентным отношением уровня белого для входного изображения на оси X и процентным отношением уровня белого для выходного изображения на оси Y показывается, соответственно, для целевого дисплея 301 на 500 нит и целевого дисплея на 1000 нит. В примере, два существенно отличающихся нелинейных тональных преобразования применяются для идентичного пользовательского дисплея в зависимости от целевого эталонного дисплея, который использован/допущен на стороне предоставления контента.
Следует принимать во внимание, что идентичные преобразования могут использоваться для преобразования из оптимизированного изображения на 2000 нит в оптимизированное изображение на 500 или 1000 нит посредством перестановки осей (согласно применению обратного преобразования относительно преобразования, описанного выше). Также следует принимать во внимание, что преобразование, например, в оптимизированное изображение на 500 нит может быть адаптировано в зависимости от того, является входное изображение оптимизированным изображением на 1000, на 2000 или на 4000 нит.
В некоторых вариантах осуществления, опорная величина целевого дисплея альтернативно или дополнительно может содержать индикатор электрооптической передаточной функции для целевого дисплея. Например, может быть включен гамма-индикатор для целевого дисплея.
Электрооптическая передаточная функция (EOTF) дисплея описывает взаимосвязь между входным значением (возбуждения) сигнала яркости (Y') и выходной яркостью (Y) для дисплея. Эта функция преобразования зависит от многих характеристик дисплея. Также пользовательские настройки, как яркость и контрастность, могут иметь большое влияние на эту функцию. Фиг. 4 иллюстрирует типичный пример EOTF для 8-битового (256-уровневого) входного значения.
Передача EOTF целевого дисплея может предоставлять преимущественную характеризацию целевого или эталонного дисплея, используемого для того, чтобы формировать кодированное изображение или видео. Эта характеризация затем может быть использована в устройстве 103 обработки изображений для того, чтобы адаптировать преобразование динамического диапазона к отличиям между характеристиками целевого дисплея и дисплея конечного пользователя. Например, преобразование динамического диапазона может включать в себя компенсацию, которая инвертирует соотношение между EOTF целевого/эталонного дисплея и дисплея конечного пользователя.
Следует принимать во внимание, что существует множество способов отличать EOTF. Один вариант состоит в том, чтобы предоставлять набор выборочных значений EOTF. Устройство 103 обработки изображений затем может интерполировать между точками выборки, например, с использованием простой линейной интерполяции. Другой вариант состоит в том, чтобы предоставлять конкретную модель изменения шкалы полутонов/контрастности дисплея, по меньшей мере, для части диапазона отображения. В качестве другого примера, устройство 101 поставщика контента может передавать конкретную математическую функцию, отличающую EOTF. В некоторых сценариях, набор целевых дисплеев может быть предварительно задан с ассоциированными параметрами модели/функции, сохраняемой локально в устройстве 103 обработки изображений. В этом случае устройство 101 поставщика контента может передавать только идентификационный код целевого дисплея в устройство 103 обработки изображений.
В качестве еще одного другого примера, базовая математическая функция может быть предварительно определена, и индикатор целевого дисплея может содержать параметры для адаптации предварительно определенной функции, чтобы описывать конкретную EOTF целевого дисплея. Например, EOTF может отличаться посредством гамма-функции, используемой для традиционных дисплеев, и индикатор целевого дисплея может предоставлять конкретную гамму для целевого дисплея.
Во многих системах индикатор целевого дисплея может содержать или состоять в максимальной яркости и гамме целевого дисплея. Таким образом, в частности, характеризация EOTF может предоставляться посредством двух значений, а именно, гаммы и белой точки/максимальной яркости. Нижеприведенные описания фокусируются на таком сценарии.
Описание также фокусируется на вариантах осуществления, в которых система распространения соответствует Blu-RayTM-стандарту. Blu-RayTM является семейством форматов распространения аудио/видео/данных на основе технологии на базе оптических дисков. BD-ROMTM является аббревиатурой для формата неперезаписываемых Blu-Ray-дисков. Этот формат преимущественно используется для распространения видео высокой четкости (двумерного и трехмерного) и высококачественного аудио.
BD-ROMTM-проигрыватель содержит два режима работы: HDMV и BD-J. В любой момент времени проигрыватель находится в HDMV-режиме или в BD-J-режиме. Blu-RayTM-проигрыватели профиля 5 содержат рендеринг трехмерного стереоскопического видео/графики после рендеринга стандартного двумерного видео/графики. В качестве примера фиг. 5 показывает модель для плоскостей представления в HDMV-2D-режиме.
В качестве конкретного примера системы по фиг. 1, сигнал изображения может быть видеосигналом, кодированным на BDROMTM, и таким образом, устройство 103 обработки изображений, в частности, может быть Blu-RayTM-проигрывателем. Кодированное видео может быть первичным или необязательно вторичным видеоконтентом на диске. Первичное видео типично является фактическим фильмом в двумерном или возможно в трехмерном стереоскопическом формате.
Чтобы достигать оптимального качества изображений в BDROMTM-системе, система по фиг. 1 использует дополнение к спецификации BDROMTM, которое обеспечивает передачу параметров целевого дисплея. Эти данные вместе с предполагаемой или фактической информацией дисплея конечного пользователя затем используются посредством BDROMTM-проигрывателя для того, чтобы выполнять преобразование динамического диапазона. В частности, BDROMTM-проигрыватель (устройство 103 обработки изображений) может выполнять дополнительное тональное преобразование видео или другую обработку в зависимости от характеристик целевого дисплея и/или дисплея конечного пользователя.
Один вариант для передачи информации по параметрам целевого дисплея заключается во встраивании данных, указывающих эти значения параметров в BDROMTM-данных на диске. Расширенная структура данных в файле списков воспроизведения (xxxxx.mpls) может использоваться для этого. Эта расширенная структура данных имеет уникальные и новые идентификационные данные. Несовместимые унаследованные BDROMTM-проигрыватели не знают эту новую структуру данных и просто игнорируют ее. Это гарантирует обратную совместимость. Возможная реализация синтаксиса и семантики такого Target_Display_descriptor показывается ниже.
В этом примере, Abs_Max_Luminance является параметром со значением, например, между 0 и 255, который указывает абсолютную максимальную яркость/белую точку целевого дисплея согласно следующему:
Абсолютная максимальная яркость в кд/м2=Abs_Max_Luminance [bit0-4]×10Abs_Max_Luminance[bit5-7].
Следует принимать во внимание, что, конечно, могут использоваться другие числа битов для мантиссы или экспоненты.
Гамма является параметром со значением, например, между 0 и 255, которое указывает гамму целевого дисплея согласно следующему:
гамма EOTF целевого дисплея=гамма/25.
Таким образом, в этом примере в устройство 103 обработки изображений посредством BDROMTM предоставляется опорная величина целевого дисплея, включающая в себя абсолютную максимальную яркость и значение гамма для целевого дисплея, для которого сформирован видеосигнал. Устройство 103 обработки изображений затем использует эту информацию при выполнении автоматического преобразования динамического диапазона для того, чтобы увеличивать или снижать динамический диапазон видеосигнала для дисплея конечного пользователя с более высокой/более низкой яркостью.
Следует принимать во внимание, что множество различных преобразований динамического диапазона являются возможными, и что могут быть использованы множество различных способов адаптировать такие преобразования динамического диапазона на основе опорных величин целевого дисплея. Далее предоставляются различные примеры, но следует принимать во внимание, что другие подходы могут быть использованы в других вариантах осуществления.
Во-первых, отличие в оптимальном преобразовании данного исходного изображения, соответственно, в LDR- и HDR-изображение может быть проиллюстрировано посредством фиг. 6, который показывает пример различного тонального преобразования, которое может использоваться для LDR-дисплея (нижняя часть чертежа) и HDR-дисплея (верхняя часть чертежа). Исходное изображение является идентичным для LDR и для HDR. Гистограмма этого изображения показывается слева от фиг. 6. Она показывает то, что большинство пикселов имеет значения сигнала яркости в низком-среднем диапазоне. Гистограмма также показывает второй, небольшой пик при высоких значениях сигнала яркости (например, фары автомобиля или карманный фонарь).
В этом примере, тональное преобразование представляется посредством трех последовательных этапов обработки:
Отсечение: преобразование значений сигнала яркости в узком и расширенном диапазоне в ограниченное число выходных значений сигнала яркости.
Расширение: адаптация динамического диапазона к требуемому динамическому диапазону сигнала яркости.
Яркость: адаптация среднего уровня для оптимальной яркости.
В LDR-случае диапазон сигнала яркости преобразуется в диапазон яркости LDR-дисплея. Динамический диапазон исходного изображения намного больше, и в силу этого исходное изображение существенно отсекается с тем, чтобы адаптироваться для ограниченного динамического диапазона дисплея.
В HDR-случае (верхняя часть чертежа) отсечение может быть менее существенным, поскольку динамический диапазон дисплея имеет порядок величины, превышающий порядок величины для LDR-дисплея.
Фиг. 6 показывает гистограмму после каждого этапа обработки, а также гистограмму изображения, показанного на LDR- и HDR-дисплее, соответственно. В частности, правые гистограммы иллюстрируют тонально преобразованное LDR-изображение при демонстрации на HDR-дисплее и наоборот. В первом случае изображение является слишком ярким, и значения сигнала яркости с узким и расширенным диапазоном теряют слишком много деталей. Во втором случае изображение является слишком темным, и значения сигнала яркости со средним диапазоном теряют слишком много деталей и контрастность.
Как можно видеть, простое представление (масштабированной по яркости версии) оптимизированного LDR-изображения на HDR-дисплее (и наоборот) может существенно ухудшать качество изображений, и, следовательно, устройство 103 обработки изображений может выполнять преобразование динамического диапазона, с тем чтобы повышать качество изображений. Кроме того, поскольку оптимизация, выполняемая в студии, сильно зависит от характеристик дисплея, для которого выполнена оптимизация, оптимальное преобразование динамического диапазона, которое должно быть выполнено посредством устройства 103 обработки изображений, зависит не только от дисплея конечного пользователя, но также и от эталонного дисплея. Соответственно, опорная величина целевого дисплея, предоставленная для устройства 103 обработки изображений, обеспечивает возможность устройству 103 обработки изображений выполнять требуемое преобразование динамического диапазона не просто на основе предполагаемых или известных характеристик дисплея конечного пользователя, но также и на основе фактического дисплея, используемого на стороне поставщика контента. Фактически, можно считать, что предоставление опорной величины целевого дисплея обеспечивает возможность устройству 103 обработки изображений частично или полностью выполнять обратную обработку для части тонального преобразования, выполняемого в студии, в силу этого обеспечивая возможность оценки характеристик исходного изображения. На основе этой оценки, устройство 103 обработки изображений затем может применять требуемое тональное преобразование, оптимизированное для конкретных характеристик динамического диапазона HDR-дисплея конечного пользователя.
Следует принимать во внимание, что устройство 103 обработки изображений типично не направлено на выполнение конкретного обратного тонального преобразования, чтобы воссоздавать исходный сигнал, с последующим выполнением тонального преобразования, подходящего для конкретного дисплея конечного пользователя. Фактически, типично преобразование динамического диапазона не предоставляет достаточную информацию, чтобы выполнять такое обратное тональное преобразование, и тональное преобразование, выполняемое посредством поставщика контента, зачастую может быть частично необратимым. Тем не менее, устройство 103 обработки изображений может выполнять преобразование динамического диапазона, которое направлено на адаптацию принимаемого изображения посредством предоставления результата преобразования динамического диапазона, которое может представлять собой (возможно очень приблизительно) аппроксимацию более теоретической операции обратного тонального преобразования, чтобы формировать исходное изображение, с последующим выполнением оптимизированного тонального преобразования исходного изображения в конкретный требуемый динамический диапазон. Таким образом, устройство 103 обработки изображений может просто применять, например, простое преобразование из значений сигнала яркости ввода к преобразованию динамического диапазона в надлежащие значения сигнала яркости в выводе преобразования. Тем не менее, это преобразование не только отражает требуемое тональное преобразование исходного изображения для данного дисплея конечного пользователя, но также и зависит от фактического тонального преобразования, уже выполненного в устройстве 101 поставщика контента. Следовательно, устройство 103 обработки изображений может использовать преобразование динамического диапазона для того, чтобы адаптировать применяемое преобразование так, чтобы учитывать и адаптироваться к тональному преобразованию, которое уже выполнено.
В качестве примера, устройство 103 обработки изображений может быть выполнено с возможностью предоставлять выходное изображение отображению в HDR-изображении с предварительно определенной максимальной яркостью (скажем, 4000 нит). Принимаемое изображение/видео может тонально преобразовываться для LDR-дисплея 500 нит. Таким образом, это тональное преобразование оптимизирует изображение для данной максимальной яркости и гаммы. В качестве конкретного примера, гамма-функция может быть такой, как показано на кривой 701 по фиг. 7, и результирующее изображение при представлении на дисплее на 500 нит может быть таким, как показано на фиг. 8.
Когда это изображение должно быть представлено на HDR-дисплее, например, в 4000 нит, часто желательно, чтобы световой выход для темных областей не изменялся значительно, тогда как световой выход для ярких областей должен увеличиваться очень значительно. Таким образом, требуется существенно отличающаяся взаимосвязь между (линейными) значениями яркости и значениями фактического возбуждения. В частности, существенно улучшенное изображение должно быть сформировано для HDR-изображения, если использована кривая 703 преобразования по фиг. 7, т.е. если более высокая гамма применена при тональном преобразовании на стороне контента. Тем не менее, это более высокое преобразование на дисплее на 500 нит приводит к изображениям, которые выглядит слишком темными, как проиллюстрировано на фиг. 9.
В системе устройству 103 обработки изображений сообщается значение гамма для целевого дисплея на стороне контента, и оно может за счет этого извлекать кривую 701. Кроме того, требуемая кривая 703 известна, поскольку она зависит от динамического диапазона отображения, для которого формируется выходное изображение (который, например, может предоставляться в устройство 103 обработки изображений из дисплея 107 или может быть допущен/предварительно определен). Таким образом, устройство 103 обработки изображений может применять преобразование к каждому значению пиксельной яркости, соответствующему преобразованию из кривой 701 в кривую 703. Таким образом, устройство 103 обработки изображений в силу этого может продолжать использовать опорную величину целевого дисплея, предоставленную из устройства 101 поставщика контента, чтобы применять преобразование динамического диапазона, которое преобразует сформированный выходной сигнал из выходного сигнала, подходящего для LDR-дисплея, в выходной сигнал, подходящий для HDR-дисплея.
Следует принимать во внимание, что идентичные соображения могут применяться при выполнении преобразования динамического диапазона для того, чтобы уменьшать динамический диапазон. Например, если принимаемый контент должен отображаться на низкокачественном дисплее с низкой яркостью, к примеру, на дисплее мобильного телефона, предпочтительная гамма для кривой преобразования может быть такой, как указано посредством кривой 705 по фиг. 7, т.е. может быть предпочтительной гамма меньше единицы. При представлении на обычном LDR на 500 нит, соответствующее изображение выглядит слишком ярким и имеет слишком маленькую контрастность, как указано посредством фиг. 10, и фактически сценарий должен быть еще хуже для HDR-дисплея.
Таким образом, если устройство 103 обработки изображений формирует изображение для такого дисплея с низкой яркостью, оно может продолжать выполнять преобразование динамического диапазона, которое сокращает динамический диапазон посредством регулирования значений яркости для разностей гаммы между кривой 701 и 705.
В качестве другого примера, если устройство 101 поставщика контента предоставляет изображение, предназначенное для дисплея с низкой яркостью/узким динамическим диапазоном, и, соответственно, изображение, которое кодируется согласно кривой 705, устройство 103 обработки изображений может использовать сведения по этой гамме, предоставленные посредством преобразования динамического диапазона, для того чтобы преобразовывать принятые значения в значения, подходящие либо для дисплея на 500 нит посредством адаптации для отличия между кривыми 705 и 701, либо для дисплея на 4000 нит посредством адаптации для отличия между кривыми 705 и 703.
Таким образом, предоставление преобразования динамического диапазона, указывающего максимальную яркость/яркость белых точек и значение гамма, предполагаемую для целевого дисплея, обеспечивает возможность устройству 103 обработки изображений преобразовывать принимаемое изображение в значение гамма, подходящее для конкретного значения яркости дисплея, на котором должно быть подготовлено посредством рендеринга изображение.
В некоторых системах, опорная величина целевого дисплея может содержать индикатор тонального преобразования, представляющий тональное преобразование, используемое для того, чтобы формировать первый кодированный видеопоток для первого целевого дисплея.
В некоторых системах, опорная величина целевого дисплея может непосредственно предоставлять информацию части конкретного тонального преобразования, которое выполнено на стороне поставщика контента. Например, опорная величина целевого дисплея может включать в себя информацию, которая задает яркость белых точек и гамму, для которой сформировано LDR-(или HDR-) изображение, т.е. дисплей, для которого выполнено тональное преобразование. Тем не менее, помимо этого, опорная величина целевого дисплея может предоставлять некоторую конкретную информацию, которая, например, задает часть информации, потерянной при тональном преобразовании, которое выполнено на стороне поставщика контента.
Например, в примере по фиг. 6, тонально преобразованное LDR-изображение, соответствующее отсеченному изображению, может быть принято посредством устройства 103 обработки изображений. Устройство 103 обработки изображений может применять преобразование динамического диапазона, которое преобразует его в надлежащий динамический диапазон, и нелинейную взаимосвязь на основе информации гаммы целевого дисплея и белой точки. Тем не менее, чтобы обеспечивать улучшенную адаптацию, существенное отсечение, используемое для LDR-изображения, предпочтительно должно превращаться в менее существенное отсечение (или фактически в некоторых сценариях в отсутствие отсечения). Соответственно, устройство 101 поставщика контента может предоставлять дополнительную информацию, которая идентифицирует конкретное отсечение, которое выполнено для LDR-изображения посредством поставщика контента, в силу этого обеспечивая возможность полной или частичной отмены отсечения. Например, преобразование динамического диапазона может задавать диапазон, который отсечен, и устройство 103 обработки изображений, соответственно, может распределять отсеченные значения по этому диапазону в соответствии с подходящим алгоритмом (например, идентификация области отсеченных значений (к примеру, вспышки) и формирование увеличивающейся яркости в направлении к центру этой области).
Преобразование динамического диапазона альтернативно или дополнительно может предоставлять информацию, которая задает дополнительное тональное преобразование, которое выполнено на стороне поставщика контента. Например, относительно стандартное тональное преобразование может быть выполнено для большинства изображений фильма или другой видеопоследовательности. Устройство 103 обработки изображений, на основе гаммы и яркости белых точек, может преобразовывать такое тонально преобразованное изображение в изображение с требуемым (более широким или более узким) динамическим диапазоном с использованием преобразования динамического диапазона, которое допускает стандартное тональное преобразование на стороне поставщика контента. Тем не менее, для некоторых изображений поставщик контента, возможно, выполнил специальное и субъективное тональное преобразование. Например, цветокорректировщик может требовать конкретный художественный эффект или качество для некоторых изображений, такой как, например, точная градация или цветовой оттенок для темных изображений напряженной ситуации (скажем, в фильме ужасов) или конкретный эффект для сцен во сне. Это тональное преобразование может отличаться посредством данных в опорной величине целевого дисплея, в силу этого обеспечивая возможность устройству 103 обработки изображений адаптировать преобразование динамического диапазона к конкретному тональному преобразованию, которое применено.
Таким образом, в частности, в некоторых сценариях дополнительное/модифицированное тональное преобразование выполняется на стороне поставщика контента, чтобы формировать конкретный вид, так что изображение модифицируется относительно того, что предполагается посредством фиксированной адаптации к явным электрооптическим свойствам целевого дисплея. Данные, предоставленные посредством устройства 101 поставщика контента, могут указывать требуемый вид по сравнению с эталонным дисплеем, и они могут использоваться посредством устройства 103 обработки изображений для того, чтобы фактически формировать требуемые оптические свойства с учетом всех факторов (например, тогда как кодирование вслепую во входном сигнале может случайно завершаться ниже отраженного окружающего света, так что оно более не может компенсироваться согласно режиму работы на стороне поставщика кодированного контента).
В качестве примера, если известно, что гамма целевого дисплея является низкой для более темных значений, этот (опорный) дисплей может подстраивать вид, скажем, сцен из фильма ужасов. Например, изображение может компенсироваться посредством дополнительного повышения яркости таким образом, что изображение по-прежнему выглядит темноватым, но, по этому, по меньшей мере, некоторая структура объекта по-прежнему является видимой.
В качестве примера, вместе с гаммой и яркостью белых точек опорной цели, цветокорректировщик на стороне предоставления контента может предоставлять некоторую (дополнительную) информацию относительно художественного впечатления от определенных областей и/или изображений. Например, для данной EOTF, поставщик контента может указывать то, что определенная область должна иметь повышенную яркость для лучшей видимости или сниженной контрастности, чтобы предоставлять туманный вид и т.д. Таким образом, вместе с EOTF (например, представленной посредством гаммы и яркости белых точек), опорная величина целевого дисплея может указывать границы локального/частичного диапазона яркости дисплея и предоставлять данные преобразования динамического диапазона, которые предоставляют более точную информацию в отношении предпочтительного выделения уровней серого для этого.
В некоторых вариантах осуществления, процессор (203) динамического диапазона может быть выполнен с возможностью выбирать между формированием выходного изображения в качестве принимаемого кодированного изображения и формированием выходного изображения в качестве преобразованного изображения относительно первого кодированного изображения в ответ на опорную величину целевого дисплея.
В частности, если яркость белых точек, указываемая посредством опорной величины целевого дисплея, является достаточно близкой к яркости белых точек дисплея конечного пользователя, преобразование динамического диапазона может просто состоять в невыполнении любой обработки для принимаемого кодированного изображения, т.е. входное изображение может просто быть использовано в качестве выходного изображения. Тем не менее, если яркость белых точек, указываемая посредством опорной величины целевого дисплея, отличается от яркости белых точек дисплея конечного пользователя, преобразование динамического диапазона может модифицировать принимаемое изображение в соответствии с подходящим преобразованием пикселов принимаемых изображений в пикселы выходных изображений. В таких случаях, преобразование может быть адаптировано в зависимости от опорной величины целевого дисплея. В других примерах, могут быть использованы одно или более предварительно определенных преобразований.
Например, устройство 103 обработки изображений может включать в себя предварительно определенное первое преобразование, которое определено для того, чтобы предоставлять подходящее выходное изображение для двукратного повышения уровня яркости белых точек, и предварительно определенное второе преобразование, которое определено для того, чтобы предоставлять подходящее выходное изображение для сокращения в два раза уровня яркости белых точек. В таком примере, устройство 103 обработки изображений может выбирать между первым преобразованием, вторым преобразованием и единичным преобразованием в зависимости от яркости белых точек опорной величины целевого дисплея и белой точки дисплея конечного пользователя. Устройство 103 обработки изображений, в частности, может выбирать преобразование, которое наиболее близко соответствует соотношению между яркостью белых точек опорной величины целевого дисплея и яркостью белых точек дисплея конечного пользователя.
Например, если входное изображение принимается с опорной величиной целевого дисплея, указывающей то, что оно оптимизировано для дисплея на 1000 нит, и дисплей конечного пользователя является дисплеем на 2000 нит, то устройство 103 обработки изображений должно выбирать первое преобразование. Если, вместо этого, опорная величина целевого дисплея указывает то, что входное изображение оптимизировано для дисплея на 1000 нит, то устройство 103 обработки изображений должно выбирать единичное преобразование (т.е. использовать входное изображение непосредственно). Если опорная величина целевого дисплея указывает то, что оно оптимизировано для дисплея на 2000 нит, то устройство 103 обработки изображений должно выбирать второе преобразование.
Если принимаются промежуточные значения для яркости белых точек целевого дисплея, устройство 103 обработки изображений может выбирать преобразование, ближайшее к соотношению между яркостями белых точек, или, например, может интерполировать между преобразованиями.
В некоторых вариантах осуществления, преобразование динамического диапазона может содержать или состоять в преобразовании палитры. Таким образом, в некоторых вариантах осуществления, процессор 203 динамического диапазона может модифицировать цветности подготовленного посредством рендеринга изображения в зависимости от опорной величины целевого дисплея. Например, когда принимаемое HDR-изображение подготавливается посредством рендеринга на LDR-дисплее, сжатие может приводить к более мягкому изображению с меньшими изменениями и градациями в отдельных объектах изображений. Преобразование динамического диапазона может компенсировать такие уменьшения посредством увеличения изменений сигнала цветности. Например, когда изображение с ярко освещенным яблоком оптимизируется для рендеринга на HDR-дисплее, рендеринг на LDR-дисплее с уменьшенным динамическим диапазоном типично приводит к тому, что яблоко выглядит менее выделенным и выглядит менее четким и более тусклым. Это может посредством преобразования динамического диапазона компенсироваться посредством придания большей насыщенности цвету яблока. В качестве другого примера, изменения текстуры могут становиться менее перцепционно значительными вследствие уменьшенных изменений яркости, и это может компенсироваться посредством увеличения изменений сигнала цветности текстуры.
В некоторых системах, видеосигнал может содержать поле данных, которое включает в себя управляющие данные преобразований динамического диапазона, и процессор 203 динамического диапазона может адаптировать преобразование динамического диапазона в ответ на эти управляющие данные. Это может быть использовано владельцем/поставщиком контента для того, чтобы сохранять, по меньшей мере, некоторый ввод или управление рендерингом предоставленного контента.
Управляющие данные, например, могут задавать операцию или параметр преобразования динамического диапазона, которое должно применяться, может применяться или которое рекомендовано для применения. Кроме того, управляющие данные могут быть различены для различных дисплеев конечного пользователя. Например, отдельные управляющие данные могут предоставляться для множества возможных дисплеев конечного пользователя, к примеру, один набор данных для дисплея на 500 нит, другой набор для дисплея на 1000 нит, еще один набор дисплея на 2000 нит и еще один другой набор для дисплея на 4000 нит.
В качестве примера, создатель контента может указывать то, какое тональное преобразование должно быть выполнено посредством процессора 203 динамического диапазона в зависимости от характеристик дисплея конечного пользователя, как проиллюстрировано на фиг. 11. В примере, управляющие данные могут указывать преобразование для каждой из трех областей, соответствующих данным значениям максимальной яркости дисплея (ось X) и окружающем свету, падающему на дисплей (и в силу этого отражениям от дисплея - ось Y).
Таким образом, в конкретном примере преобразование 1 используется для дисплеев с низкой яркостью в окружениях с низким уровнем окружающего света. Преобразование 1 может просто быть единичным преобразованием, т.е. принимаемое LDR-изображение может быть использовано непосредственно. Для дисплея с высокой максимальной яркостью (HDR) в относительно темном окружении (низкие отражения от экрана), может быть использовано преобразование 2. Преобразование 2 может выполнять преобразование, которое дополнительно расширяет большие яркости LDR-изображения при практическом поддержании интенсивности для более темных сегментов. Для дисплея с высокой максимальной яркостью (HDR) в относительно ярком окружении (существенные отражения от экрана), может быть использовано преобразование 3. Преобразование 3 может выполнять более активное преобразование, которое не только расширяет большие яркости LDR-изображения, но также и выделяет яркостью и увеличивает контрастность для более темных областей изображения.
В некоторых сценариях, управляющие данные могут указывать границы между преобразованиями, причем преобразования предварительно определяются (например, стандартизированы или известны на стороне поставщика контента и на стороне модуля рендеринга). В некоторых сценариях, управляющие данные дополнительно могут задавать элементы различных преобразований или могут фактически указывать преобразования точно, например, с использованием значения гамма или указания конкретной функции преобразования.
В некоторых вариантах осуществления, управляющие данные преобразований динамического диапазона могут непосредственно и явно указывать преобразование динамического диапазона, которое должно быть выполнено, чтобы преобразовывать принимаемое изображение в изображение с различным динамическим диапазоном. Например, управляющие данные могут указывать прямое преобразование из значений входных изображений в значения выходных изображений для диапазона белых точек целевого выходного дисплея. Преобразование может предоставляться в качестве простого параметра, обеспечивающего реализацию надлежащего преобразования посредством процессора 203 динамического диапазона, либо могут предоставляться подробные данные, такие как конкретная таблица поиска или математическая функция.
В качестве примера с низкой сложностью, преобразование динамического диапазона может просто применять кусочно-линейную функцию к входным значениям LDR-изображения таким образом, чтобы формировать улучшенные HDR-значения. Фактически, во многих сценариях может быть использовано простое преобразование, состоящее из двух линейных взаимосвязей, как проиллюстрировано на фиг. 12. Преобразование показывает прямое преобразование между входными пиксельными значениями и выходными пиксельными значениями (или в некоторых сценариях преобразование может отражать (возможно непрерывное) преобразование между входными пиксельными яркостями и выходными пиксельными яркостями). Следует принимать во внимание, что идентичное преобразование может быть использовано для того, чтобы преобразовывать из входного HDR-изображения в выходное LDR-изображение.
В частности, для преобразования из LDR в HDR, подход обеспечивает преобразование динамического диапазона, которое сохраняет темные области изображения темными, при этом одновременно обеспечивает возможность использования существенно увеличенного динамического диапазона для того, чтобы предоставлять намного более яркий рендеринг ярких областей, а также фактически улучшенный и более живо выглядящий средний диапазон. Для преобразования из HDR в LDR, подход обеспечивает преобразование динамического диапазона, которое поддерживает темные области изображения, но сжимает более яркие области таким образом, чтобы отражать уменьшенный диапазон яркости дисплея.
Тем не менее, точное преобразование зависит от целевого дисплея, для которого изображение сформировано, и от дисплея, на котором оно должно быть подготовлено посредством рендеринга. Например, при рендеринге изображения для дисплея на 500 нит на дисплее на 1000 нит, требуется относительно умеренное преобразование, и растягивание ярких областей относительно ограничивается. Тем не менее, если идентичное изображение должно отображаться на дисплее на 5000 нит, гораздо более экстремальное преобразование требуется для того, чтобы полностью использовать доступную яркость без слишком сильного выделения яркостью темных областей.
Аналогично преобразование может зависеть от целевого дисплея, для которого сформировано исходное изображение. Например, если входное изображение, оптимизированное для 1000 нит, должно быть подготовлено посредством рендеринга на дисплее на 2000 нит, требуется относительно умеренное преобразование, и растягивание ярких областей относительно ограничивается. Тем не менее, если изображение оптимизировано для дисплея на 500 нит и должно отображаться на дисплее на 2000 нит, гораздо более экстремальное преобразование требуется для того, чтобы полностью использовать доступную яркость без слишком сильного выделения яркостью темных областей. Фиг. 13 иллюстрирует, как два различных преобразования могут использоваться, соответственно, для входного изображения на 1000 нит (кривая 1301, максимальное значение 255, соответствующее 1000 нит) и входного изображения на 500 нит (кривая 1303, максимальное значение 255, соответствующее 500 нит) для отображения во входном LDR-изображении на 2000 нит (максимальное значение 255, соответствующее 2000 нит).
Преимущество такой простой взаимосвязи состоит в том, что требуемое тональное преобразование может передаваться с очень низким объемом служебной информации. Фактически, управляющие данные могут указывать перегиб кривой, т.е. точку перехода между двумя линейными кусками. Таким образом, просто двухкомпонентное значение данных может указывать требуемое тональное преобразование, которое должно быть выполнено посредством устройства 103 обработки изображений для различных дисплеев. Устройство 103 обработки изображений дополнительно может определять подходящие значения для других значений максимальной яркости посредством интерполяции между предоставленными значениями.
В некоторых реализациях, большее число точек, например, может предоставляться для того, чтобы задавать кривую, которая по-прежнему является кусочно-линейной, но с большим числом линейных интервалов. Это позволяет обеспечивать более точное тональное преобразование и повышать качество результирующего изображения при введении только относительно незначительного объема служебной информации.
Во многих реализациях, управляющие данные могут не указывать конкретное тональное преобразование, которое должно быть выполнено, а вместо этого предоставлять данные, которые задают границы, в которых преобразование динамического диапазона/тональное преобразование может быть свободно адаптировано посредством устройства 103 обработки изображений.
Например, вместо того, чтобы указывать конкретную точку перехода для кривых фиг. 12 и 13, управляющие данные могут задавать пределы для точки перехода (возможно, с предоставлением различных пределов для различных уровней максимальной яркости). Таким образом, устройство 103 обработки изображений может по отдельности определять требуемые параметры для преобразования динамического диапазона, так что оно может задаваться с возможностью предоставлять предпочтительный переход для конкретного дисплея с учетом, например, конкретных пользовательских предпочтений. Тем не менее, одновременно поставщик контента может обеспечивать то, что эта свобода ограничивается приемлемым диапазоном, в силу этого обеспечивая возможность поставщику контента сохранять определенное управление тем, как контент подготавливается посредством рендеринга.
Таким образом, управляющие данные преобразований динамического диапазона могут включать в себя данные, которые задают параметры преобразования, которые должны применяться посредством преобразования динамического диапазона, выполняемого посредством процессора 203 динамического диапазона, и/или которые задают пределы для параметров преобразования. Управляющие данные могут предоставлять эту информацию для диапазона уровней максимальной яркости, в силу этого обеспечивая возможность адаптации преобразования динамического диапазона к различным дисплеям конечного пользователя. Кроме того, для уровней максимальной яркости, не включенных явно в управляющие данные, надлежащие значения данных могут быть сформированы из доступных значений данных, например, посредством интерполяции. Например, если точка перегиба между двумя линейными кусками указывается для дисплея конечного пользователя на 2000 нит и 4000 нит, подходящее значение для дисплея на 3000 нит может быть найдено посредством простой интерполяции (например, посредством простого усреднения в конкретном примере).
Следует принимать во внимание, что множество различных и варьирующихся подходов для преобразования динамического диапазона, а также для того, как ограничивать, адаптировать и управлять им со стороны поставщика контента посредством дополнительных управляющих данных, может быть использовано в различных системах в зависимости от конкретных предпочтений и требований отдельного варианта применения.
Фактически, множество различных команд или значений параметров могут предоставляться в управляющих данных, чтобы формировать тональные преобразования в соответствии с предпочтениями поставщика контента.
Например, в системах с низкой сложностью может применяться простое преобразование динамического диапазона, и устройство 101 поставщика контента может просто предоставлять уровень белого и уровень черного для целевого дисплея, который затем используется посредством процессора 203 динамического диапазона для того, чтобы определять тональное преобразование, которое должно применяться. В некоторых системах, функция тонального преобразования (гамма и т.п.) может предоставляться как обязательная для преобразования, по меньшей мере, одного диапазона входного изображения. Например, управляющие данные могут указывать то, что более темные и/или средние диапазоны должны быть подготовлены посредством рендеринга в соответствии с данным преобразованием, при предоставлении возможности свободного преобразования более ярких диапазонов посредством устройства 103 обработки изображений.
В некоторых сценариях, управляющие данные могут просто предоставлять предложение подходящего преобразования, которое может применяться, например, в области среднего диапазона. Таким образом, в таком случае поставщик контента может помогать устройству 103 обработки изображений в предоставлении предлагаемых параметров преобразования динамического диапазона, которые, как выясняется (например, через оптимизацию вручную посредством поставщика контента), предоставляют высокое качество изображений при просмотре на данном HDR-дисплее. Устройство 103 обработки изображений может преимущественно использовать это, но также может модифицировать преобразование, например, чтобы адаптироваться для индивидуальных пользовательских предпочтений.
Во многих сценариях преобразование, по меньшей мере, частично выполняется на основе управляющих данных, представляет функциональную взаимосвязь с относительно низкой сложностью, к примеру, гамма-преобразование, S-кривая, комбинированное преобразование, заданное посредством частичных спецификаций для отдельных диапазонов, и т.д. Тем не менее, в некоторых сценариях, конечно, могут использоваться более сложные преобразования.
Также следует принимать во внимание, что преобразование динамического диапазона зачастую может включать в себя увеличение или снижение числа битов, используемых для того, чтобы представлять значения. Например, восьмибитовое изображение может быть преобразовано в 12- или 14-битовое изображение. В таких случаях, управляющие данные из устройства 101 поставщика контента могут предоставляться независимо от измененного квантования. Например, 8-битовое/8-битовое тональное преобразование с совместным кодированием ("форма" для вложенного распределения серого) может быть задано посредством устройства 101 поставщика контента, и устройство 103 обработки изображений может масштабировать это преобразование для конкретной яркости белого дисплея с учетом преобразования в большее число битов.
В других вариантах осуществления или сценариях, преобразование динамического диапазона может включать в себя снижение числа битов, используемых для того, чтобы представлять значения. Например, 12-битовое изображение может быть преобразовано в 8-битовое изображение. Такие сценарии зачастую могут возникать, когда уменьшение динамического диапазона предоставляется посредством преобразования динамического диапазона, например, при преобразовании 12-битового HDR-изображения, которое должно быть подготовлено посредством рендеринга на LDR-дисплее для 8-битового входного значения.
Как упомянуто выше, управляющие данные могут предоставлять обязательные или необязательные управляющие данные. Фактически, принимаемые данные могут включать в себя одно или более полей, которые указывают то, являются предоставленные параметры тонального преобразования обязательными, разрешенными или предлагаемыми.
Например, предлагаемая функция тонального преобразования может предоставляться вместе с индикатором относительно того, насколько большое отклонение оттуда может быть принято. Устройство 103 обработки изображений в стандартной конфигурации затем может автоматически применять предлагаемое преобразование. Тем не менее, преобразование может быть модифицировано, например, таким образом, что оно отражает персональные настройки пользователя. Например, пользовательский ввод может изменять настройки устройства 103 обработки изображений, например, таким образом, что темные области изображения подготавливаются посредством рендеринга более яркими, чем считается идеальным посредством поставщика контента. Например, пользователь может просто нажимать кнопку для повышения яркости, и тональное преобразование может быть изменено соответствующим образом (например, нижняя линейная секция кривых по фиг. 12 и 13 перемещается вверх). Таким образом, пользователь может вводить подстройку в тональное преобразование. Тем не менее, данные относительно того, в каком объеме подстройка является приемлемой для поставщика контента, могут быть включены в управляющие данные, за счет этого ограничивая преобразование динамического диапазона для того, чтобы формировать выходные изображения, которые по-прежнему учитываются поставщиком контента, чтобы поддерживать целостность предоставляемого изображения. Управляющие данные, например, могут также указывать эффект пользовательского взаимодействия, например, задавать или ограничивать изменение яркости, которое происходит для каждого нажатия кнопки пользователем.
Преобразование динамического диапазона, соответственно, обеспечивает преобразование динамического диапазона, которое предназначено для того, чтобы предоставлять изображение, которое является подходящим для конкретного дисплея 107 конечного пользователя, с учетом характеристик дисплея для дисплея, для которого формируется входное изображение. Таким образом, устройство 103 обработки изображений формирует выходной сигнал, который ассоциирован с данным значением максимальной яркости, т.е. который предназначен для рендеринга на дисплее с этим значением белой точки/максимальной яркости. В некоторых системах, яркость белых точек дисплея не может быть точно известна устройству 103 обработки изображений, и в силу этого выходной сигнал может быть сформирован для предполагаемой яркости белых точек (например, вводимой вручную пользователем). В других вариантах применения (описаны ниже), дисплей может предоставлять информацию по яркости белых точек, и устройство 103 обработки изображений может адаптировать преобразование динамического диапазона на основе этой информации.
Если яркость белых точек, для которой формируется выходной сигнал, соответствует точно или достаточно близко яркости белых точек одного из принимаемых изображений (согласно любому подходящему критерию, такому как разность яркости белых точек ниже порогового значения), устройство 103 обработки изображений может продолжать использовать это изображение непосредственно в выходном изображении, т.е. преобразование динамического диапазона может просто быть единичным преобразованием. Кроме того, если выходная яркость белых точек не соответствует непосредственно яркости белых точек принимаемого изображения, но совпадает с яркостью белых точек дисплея конечного пользователя, для которой предоставлены явные управляющие данные преобразований динамического диапазона, эти управляющие данные могут быть использованы непосредственно, чтобы адаптировать преобразование динамического диапазона. Если выходная яркость белых точек не соответствует непосредственно яркости белых точек принимаемого изображения или яркости белых точек, для которой предоставлены управляющие данные преобразований динамического диапазона, параметры тонального преобразования, предоставленные посредством управляющих данных для различных яркостей белых точек, могут быть использованы для того, чтобы адаптировать преобразование динамического диапазона в зависимости от выходной яркости белых точек. В частности, процессор 203 динамического диапазона может интерполировать между параметрами тонального преобразования для других значений яркости белых точек для конкретной выходной яркости белых точек. Во многих вариантах осуществления, простая линейная интерполяция является достаточной, но следует принимать во внимание, что может использоваться множество других подходов.
Фактически, управляющие данные, например, могут также предоставлять информацию в отношении того, как предоставленные параметры тонального преобразования для различных яркостей белых точек дисплея должны быть обработаны для того, чтобы формировать параметры тонального преобразования для конкретной выходной яркости белых точек. Например, управляющие данные могут указывать нелинейную интерполяционную функцию, которая должна быть использована для того, чтобы формировать надлежащие параметры тонального преобразования.
Также следует принимать во внимание, что преобразование динамического диапазона не обязательно является постоянным для различных изображений или даже для идентичного изображения.
Фактически, во многих системах управляющие данные преобразований динамического диапазона могут непрерывно быть обновлены, в силу этого обеспечивая возможность адаптации преобразования динамического диапазона, выполняемого посредством процессора 203 динамического диапазона, к текущим характеристикам. Это позволяет обеспечивать использование различных тональных преобразований для темных изображений/сцен по сравнению с преобразованиями для ярких изображений/сцен. Это позволяет предоставлять повышенную производительность. Фактически, изменяющееся во времени преобразование динамического диапазона, управляемое в ответ на динамически обновленные управляющие данные преобразований динамического диапазона, может быть использовано для того, чтобы предоставлять дополнительное управление для поставщика контента. Например, рендеринг темной сцены может отличаться на HDR-дисплее в зависимости от того, является сцена напряженной сценой, предназначенной для того, чтобы передавать ощущение тревоги, или сцена является просто темной в соответствии с ночным сценарием (в первом случае, темная сцена может быть подготовлена посредством рендеринга как темная на HDR-дисплее, аналогично LDR-дисплею, и во втором случае темная сцена может быть подготовлена посредством рендеринга в некоторой степени светлее, в силу этого используя дополнительный динамический диапазон для того, чтобы обеспечивать улучшенное визуально воспринимаемое дифференцирование в темных областях).
Идентичные соображения могут применяться в изображении. Например, сцена может соответствовать яркому небу над очень темной землей (например, яркое небо в верхней половине изображения и лес в нижней половине изображения). Две области могут преимущественно преобразовываться по-разному при преобразовании из LDR в HDR, и управляющие данные преобразований динамического диапазона могут указывать отличие в этих преобразованиях. Таким образом, управляющие данные преобразований динамического диапазона могут включать в себя параметры тонального преобразования, которые изменяются для различных изображений и/или которые зависят от позиции в изображении.
В качестве конкретного примера, по меньшей мере, некоторые управляющие данные могут быть ассоциированы с данной областью изображения, диапазоном яркости и/или диапазоном изображений.
Управляющие данные преобразований динамического диапазона могут предоставляться в устройство 103 обработки изображений в соответствии с любым подходящим подходом или стандартом связи.
В конкретном примере связи между устройством 101 поставщика контента и устройством 103 обработки изображений использует Blu-RayTM-носитель. Передача команд управления для преобразования динамического диапазона может достигаться посредством встраивания этих значений параметров в BDROM-данные на диске. Расширенная структура данных в файле списков воспроизведения (xxxxx.mpls) может использоваться для этого. Эта расширенная структура данных имеет уникальные и новые идентификационные данные. Унаследованные BDROM-проигрыватели не знают эту новую структуру данных и просто игнорируют ее. Это гарантирует обратную совместимость. Возможная реализация синтаксиса и семантики такого LHDR_descriptor показывается ниже.
В этом примере LHDR_descriptor содержит три дескриптора обработки. Эти параметры указывают дополнительную обработку видео в случае, если категория целевого дисплея отличается от категории дисплея конечного пользователя. В качестве примера эти параметры могут иметь следующие значения.
Video_Process_descriptor:
Целевой дисплей=LDR
Дисплей конечного пользователя=HDR
Целевой дисплей=HDR
Дисплей конечного пользователя=LDR
DR_Process_descriptor:
Целевой дисплей=LDR
Дисплей конечного пользователя=HDR
Целевой дисплей=HDR
Дисплей конечного пользователя=LDR
Level_Process_descriptor:
Целевой дисплей=LDR
Целевой дисплей=HDR
80-125%
80-125%
70-150%
70-150%
50-200%
50-200%
Предыдущие примеры сфокусированы на примерах, в которых сигнал, принимаемый из устройства 101 поставщика контента, содержит только одну версию изображения/видеопоследовательности и, в частности, в которых сигнал содержит только LDR-изображение/видеопоследовательность.
Тем не менее, в некоторых системах и реализациях, устройство 101 поставщика контента может формировать сигнал изображения, который содержит несколько версий изображения(й). В таких сценариях одно изображение может тонально преобразовываться для одного целевого дисплея, и другое изображение может соответствовать идентичному исходному изображению, но тонально преобразовываться для другого целевого дисплея. В частности, одно изображение может быть LDR-изображением, сформированным, например, для дисплея на 500 нит, и другое изображение может быть HDR-изображением, сформированным, например, для дисплея на 2000 нит.
В таком примере, сигнал изображения дополнительно может содержать опорную величину второго целевого дисплея, т.е. опорная величина целевого дисплея может предоставляться для каждого из изображений, в силу этого указывая характеристики дисплея, для которых тональное преобразование на стороне кодера оптимизировано для отдельных изображений. В частности, максимальная яркость и параметр гаммы могут предоставляться для каждого изображения/видеопоследовательности.
В таких системах устройство 103 обработки изображений может быть выполнено с возможностью применять преобразование динамического диапазона в ответ на опорную величину второго целевого дисплея и, в частности, посредством рассмотрения первой и второй опорной величины целевого дисплея.
Преобразование динамического диапазона позволяет не только адаптировать конкретное преобразование или операцию, которая выполняется для изображения, но также позволяет в зависимости от опорных величин целевого дисплея выбирать, какое изображение использовать в качестве основы для преобразования. В качестве примера с низкой сложностью, процессор 203 динамического диапазона может выбирать между использованием первого и второго изображений в зависимости от того, насколько близко ассоциированная опорная величина целевого дисплея совпадает с яркостью белых точек, для которой формируется выходной сигнал. В частности, может быть выбрано изображение, ассоциированное с яркостью белых точек, ближайшей к требуемой выходной яркости белых точек. Таким образом, если формируется выходное LDR-изображение, преобразование динамического диапазона может быть выполнено из кодированного LDR-изображения. Тем не менее, если формируется HDR-изображение с более высокой максимальной яркостью, чем кодированное HDR-изображение, преобразование динамического диапазона может быть выполнено для кодированного HDR-изображения.
Если изображение должно быть сформировано для максимальной яркости между яркостями белых точек кодированных изображений (например, для дисплея на 1000 нит), преобразование динамического диапазона может быть основано на обоих изображениях. В частности, может выполняться интерполяция между изображениями. Такая интерполяция может быть линейной или нелинейной и может быть выполнена непосредственно для кодированных изображений до преобразования или может применяться для изображений после применения преобразования. Взвешивание отдельных изображений типично может зависеть от того, насколько близко они находятся к требуемой выходной максимальной яркости.
Например, первое преобразованное изображение может быть сформировано посредством применения преобразования динамического диапазона к первому кодированному изображению (LDR-изображению), и второе преобразованное изображение может быть сформировано посредством применения преобразования динамического диапазона к второму преобразованному изображению. Первое и второе преобразованные изображения затем комбинируются (например, суммируются), чтобы формировать выходное изображение. Весовые коэффициенты, соответственно, первого и второго преобразованных изображений определяются посредством того, насколько близко опорные величины целевого дисплея, соответственно, первого и второго кодированных изображений совпадают с требуемой выходной максимальной яркостью.
Например, для дисплея на 700 нит, первое преобразованное изображение может быть взвешено намного выше второго преобразованного изображения, и для дисплея на 3000 нит второе преобразованное изображение может быть взвешено значительно выше первого преобразованного изображения. Для дисплея на 2000 нит два преобразованных изображения возможно могут быть взвешены одинаково, и выходные значения могут быть сформированы посредством усреднения значений для каждого изображения.
В качестве другого примера, преобразование может быть выполнено избирательно на основе первого или второго изображения для различных областей изображения, например, в зависимости от характеристик изображений.
Например, для относительно темных областей преобразование динамического диапазона может применяться к LDR-изображению, чтобы формировать пиксельные значения, которые являются подходящими для дисплея на 1000 нит, по-прежнему используют более точное разрешение, которое может быть доступным для темных областей для LDR-изображения, соответствующего HDR-изображению (например, если идентичное число битов используется для обоих изображений). Тем не менее, для более ярких областей пиксельные значения могут быть сформированы посредством применения преобразования динамического диапазона к HDR-изображению, в силу этого используя то, что это изображение типично должно иметь дополнительную информацию в диапазонах высокой яркости (в частности, потери информации вследствие отсечения типично намного меньше для HDR-изображения относительно LDR-изображения).
Таким образом, когда несколько изображений принимаются из устройства 101 поставщика контента, устройство 103 обработки изображений может формировать выходное изображение из одного из этих изображений или может комбинировать их при формировании выходного изображения. Выбор и/или комбинация кодированных изображений основана на опорной величине целевого дисплея, предоставленной для каждого изображения, а также на максимальной яркости, для которой формируется выходной сигнал.
Следует принимать во внимание, что в дополнение к комбинации и/или выбору отдельных кодированных изображений, отдельные преобразования динамического диапазона также могут регулироваться и адаптироваться в ответ на преобразование динамического диапазона. Например, вышеописанные подходы могут применяться по отдельности к каждому преобразованию динамического диапазона. Аналогично, могут приниматься управляющие данные преобразований динамического диапазона, которые могут быть использованы для того, чтобы адаптировать и управлять каждым преобразованием динамического диапазона, как описано выше. Помимо этого, управляющие данные преобразований динамического диапазона могут содержать информацию, которая задает обязательные, необязательные или предпочтительные/предлагаемые параметры для комбинации обработки первого и второго кодированных изображений.
В некоторых системах, управляющие данные преобразований динамического диапазона содержат различные управляющие данные преобразований для различных категорий изображения. В частности, различные типы изображений/контента могут быть обработаны по-разному при выполнении преобразования динамического диапазона.
Например, различные тональные преобразования могут задаваться или предлагаться для различных типов видеоконтента. Например, различное преобразование динамического диапазона задается для мультфильма, фильма ужасов, футбольного матча и т.д. Принимаемый видеосигнал в таком случае может предоставлять метаданные, описывающие тип контента (или анализ контента может применяться локально в устройстве 103 обработки изображений), и применять надлежащее преобразование динамического диапазона для конкретного контента.
В качестве другого примера, подготовленное посредством рендеринга изображение может быть сформировано в качестве комбинации наложенных изображений с предоставлением различных преобразований для различных изображений. Например, в Blu-RayTM задается ряд различных плоскостей представления (как проиллюстрировано на фиг. 5), и различные преобразования динамического диапазона могут применяться для различных плоскостей представления.
Характеристики каждой из этих плоскостей представления оптимизируются посредством поставщика контента для конкретного целевого дисплея. Впечатление от просмотра для конечного пользователя может быть оптимизировано посредством адаптации характеристик плоскостей представления к дисплею конечного пользователя. Типично оптимальная адаптация отличается для различных плоскостей представления.
Относительно тонального преобразования ситуация в современной BDROM-системе следующая:
- тональное преобразование видео (глобальное и/или локальное) выполняется в студии с использованием студийного монитора.
- тональное преобразование графики (в общем, отличающееся от тонального преобразования видео) выполняется в студии с использованием студийного монитора.
- тональное преобразование OSD выполняется в BDROM-проигрывателе.
- глобальное и/или локальное тональное преобразование выполняется на дисплее для комбинированного видео- и графического сигнала. Эта обработка не может управляться конечным пользователем.
- глобальное тональное преобразование выполняется на дисплее для комбинированного видео- и графического сигнала. Эта обработка зависит, в числе прочего, от значений яркости и контрастности, заданных конечным пользователем.
Повышенное качество изображений достигается, когда:
1. Тональное преобразование видео оптимизируется для дисплея конечного пользователя.
2. Тональное преобразование графики оптимизируется для дисплея конечного пользователя.
3. Система предоставляет возможность тонального преобразования графики, отличающегося от тонального преобразования видео.
4. Система предоставляет возможность различного тонального преобразования графики для различных графических компонентов.
5. Система предоставляет возможность тонального преобразования видео и графики в зависимости от характеристик видео.
Также следует отметить, что в случае, если LDR- и HDR-версия видео присутствует на диске, дополнительное тональное преобразование должно зависеть от двух наборов параметров для целевых дисплеев: один для LDR-версии видео и один для HDR-версии видео.
В другой усовершенствованной реализации, тональное преобразование видео и/или графики варьируется во времени и зависит, например, от видеоконтента в сцене. Поставщик контента может отправлять инструкции тонального преобразования в проигрыватель в зависимости от характеристик видео- и графического контента. В другой реализации, проигрыватель автономно извлекает характеристики видео из видеосигнала и адаптирует тональное преобразование видео и графики в зависимости от этих характеристик.
Например, субтитры могут подвергаться регулированию яркости в течение определенного промежутка времени, или определенное изменение гаммы может быть реализовано в течение определенного времени (и оба могут быть координированы).
Далее описывается пример того, как предоставлять команды управления тональному преобразованию графики для BDROM.
Графический поток BDROM состоит из сегментов, встраиваемых в PES-пакеты, которые встраиваются в транспортный поток. Фиг. 14 иллюстрирует надлежащую структуру данных.
Синхронизация с основным видео выполняется на уровне элементарных потоков с использованием PTS-значений в PES-пакетах. Графический сегмент BDROM состоит из дескриптора сегмента и данных сегмента. Дескриптор сегмента содержит тип сегмента и длину.
Следующая таблица показывает некоторые типы сегментов, заданных в стандарте Blu-Ray-дисков:
В существующей спецификации значения 0x83-0xFF зарезервированы. Поэтому новый тип сегмента задается с использованием, например, значения 0x83, чтобы указывать сегмент, который содержит сегмент LHDR_Processing_definition. В общем, сегмент LHDR_Processing_definition задает способ, которым графический декодер обрабатывает графику в случае, если целевой дисплей отличается от дисплея конечного пользователя.
Следующая таблица показывает пример возможной структуры сегмента LHDR_Processing_definition:
В этом примере, сегмент LHDR_Processing_definition содержит два дескриптора обработки: Pop-up_process_descriptor и Subtitle_process_descriptor. Сегмент также может содержать палитры, которые должны быть использованы в случае, если категория целевого дисплея отличается от категории дисплея конечного пользователя. LHDR-палитра содержит число записей, идентичное числу записей исходной палитры, но записи оптимизируются для другой категории дисплея.
Параметр Pop-up_process_descriptor указывает дополнительную обработку всплывающей графики в случае, если категория целевого дисплея отличается от категории дисплея конечного пользователя.
В качестве примера этот параметр может иметь следующие значения.
- Pop-up_process_descriptor=0×00: без дополнительной обработки.
- Pop-up_process_descriptor=0×01-0×03: задание минимального значения прозрачности.
- Pop-up_process_descriptor=0×04: графический процессор использует палитры, заданные в сегменте LHDR_Processing_definition.
- Pop-up_process_descriptor=0×05: без ограничений на дополнительную обработку.
Параметр Subtitle_process_descriptor указывает дополнительную обработку графики субтитров в случае, если категория целевого дисплея отличается от категории дисплея конечного пользователя.
В качестве примера этот параметр может иметь следующие значения.
- Subtitle_process_descriptor=0×00: без дополнительной обработки.
- Pop-up_process_descriptor=0×01-0×03: адаптация значения сигнала яркости.
- Subtitle_process_descriptor=0×04: графический процессор использует палитры, заданные в сегменте LHDR_Processing_definition.
- Subtitle_process_descriptor=0×05: без ограничений на дополнительную обработку.
Конкретные примеры синтаксисов для Pop-up_process_descriptor и Subtitle_process_descriptor предоставляются в следующих таблицах:
Целевой дисплей=LDR
Дисплей конечного пользователя=HDR
Целевой дисплей=HDR
Дисплей конечного пользователя=LDR
Целевой дисплей=LDR
Дисплей конечного пользователя=HDR
Целевой дисплей=HDR
Дисплей конечного пользователя=LDR
Конкретные примеры дифференцированного тонального преобразования в зависимости от характеристик дисплея проиллюстрированы на фиг. 15 и 16. В этих примерах, исходный контент содержит HDR-видеоконтент и субтитры. Тональное преобразование для видео является идентичным в примере по фиг. 6.
Графика содержит белые символы субтитров с черной границей. Исходная гистограмма показывает пик в узком диапазоне сигнала яркости и другой пик в расширенном диапазоне сигнала яркости. Эта гистограмма для контента субтитров является очень подходящей для LDR-дисплея, поскольку она приводит к яркому четкому тексту на дисплее. Тем не менее, на HDR-дисплее эти символы являются слишком яркими, что вызывает искажения, ореол и блики. По этой причине, тональное преобразование для графики субтитров должно адаптироваться, как проиллюстрировано на фиг. 16.
В предыдущих примерах устройство 103 обработки изображений формировало выходное изображение, чтобы соответствовать требуемой максимальной яркости, т.е. намеченное для представления относительно дисплея с данным динамическим диапазоном/яркостью белых точек. Выходной сигнал, в частности, может быть сформирован таким образом, что он соответствует пользовательской настройке, которая указывает требуемую максимальную яркость/яркость белых точек, или может просто допускать данный динамический диапазон для дисплея 107.
В некоторых системах, устройство 103 обработки изображений может содержать процессор 203 динамического диапазона, который выполнен с возможностью адаптировать обработку в зависимости от данных, принимаемых из дисплея 107, указывающих характеристику яркости дисплея 107.
Пример такого устройства 103 обработки изображений проиллюстрирован на фиг. 17. Устройство 103 обработки изображений соответствует устройству обработки изображений по фиг. 1, но в этом примере устройство 103 обработки изображений также содержит приемное устройство 1701 дисплея, которое принимает сигнал данных из дисплея 107. Сигнал данных содержит поле данных, которое содержит индикатор динамического диапазона отображения для дисплея 107. Индикатор динамического диапазона отображения содержит, по меньшей мере, одну спецификацию яркости, указывающую свойство яркости дисплея. В частности, спецификация яркости может включать в себя спецификацию максимальной яркости, т.е. максимальной яркости/яркости белых точек для дисплея. В частности, индикатор динамического диапазона отображения может задавать то, является дисплей HDR- или LDR-дисплеем, и, в частности, может указывать максимальный световой выход в нит. Таким образом, индикатор динамического диапазона отображения может задавать то, является дисплей дисплеем на 500 нит, на 1000 нит, на 2000 нит, на 4000 нит и т.д.
Приемное устройство 1701 дисплея устройства 103 обработки изображений соединяется с процессором 203 динамического диапазона, в который подается индикатор динамического диапазона отображения. Процессор 203 динамического диапазона, соответственно, может формировать выходной сигнал, который непосредственно соответствует конкретному дисплею, а не формировать выходной сигнал для предполагаемой или вручную заданной яркости белых точек.
Процессор 203 динамического диапазона, соответственно, может адаптировать преобразование динамического диапазона в ответ на принимаемый индикатор динамического диапазона отображения. Например, принимаемое кодированное изображение может быть LDR-изображением, и можно предположить, что это изображение оптимизировано для дисплея на 500 нит. Если индикатор динамического диапазона отображения указывает то, что дисплей фактически является дисплеем на 500 нит, устройство 103 обработки изображений может использовать кодированное изображение непосредственно. Тем не менее, если индикатор динамического диапазона отображения указывает то, что дисплей является дисплеем на 1000 нит, может применяться первое динамическое преобразование. Если индикатор динамического диапазона отображения указывает то, что дисплей 107 является дисплеем на 2000 нит, может применяться другое преобразование, и т.д. Аналогично, если принимаемое изображение является оптимизированным изображением на 2000 нит, устройство 103 обработки изображений может использовать это изображение непосредственно, если индикатор динамического диапазона отображения указывает то, что дисплей является дисплеем на 2000 нит. Тем не менее, если индикатор динамического диапазона отображения указывает то, что дисплей является дисплеем на 1000 нит или 500 нит, устройство 103 обработки изображений может выполнять надлежащее преобразование динамического диапазона для того, чтобы уменьшать динамический диапазон.
Например, ссылаясь на фиг. 18, два различных преобразования могут быть заданы, соответственно, для дисплея на 1000 нит и для дисплея на 4000 нит, при этом третье взаимно-однозначное преобразование задается для дисплея на 500 нит. На фиг. 1, преобразование для дисплея на 500 нит указывается посредством кривой 1801, преобразование для дисплея на 1000 нит указывается посредством кривой 1803, преобразование для дисплея на 4000 нит указывается посредством кривой 1805. Таким образом, в примере, принимаемое кодированное изображение предположительно является изображением на 500 нит, и оно автоматически преобразуется в изображение, подходящее для конкретного дисплея. Таким образом, устройство 103 обработки изображений может автоматически адаптировать и формировать оптимизированное изображение для конкретного дисплея, к которому оно подключено. В частности, устройство 103 обработки изображений может автоматически адаптироваться к тому, является дисплей HDR- или LDR-дисплеем, и дополнительно может адаптироваться к конкретной яркости белого дисплея.
Следует принимать во внимание, что обратные преобразования могут быть использованы при преобразовании из более широкого динамического диапазона в более узкий динамический диапазон.
Если дисплей имеет яркость белого, соответствующую одной из трех кривых по фиг. 18, соответствующее преобразование может применяться к кодированному изображению. Если дисплей имеет различное значение яркости, может использоваться комбинация преобразований.
Таким образом, процессор 203 динамического диапазона может выбирать надлежащее преобразование динамического диапазона в зависимости от индикатора динамического диапазона отображения. В качестве примера с низкой сложностью, процессор 203 динамического диапазона может выбирать между использованием кривых в зависимости от того, насколько близко ассоциированная яркость белых точек совпадает с яркостью белых точек, указываемой посредством индикатора динамического диапазона отображения. В частности, может быть выбрано преобразование, которое ассоциировано с яркостью белых точек, ближайшей к требуемой яркости белых точек, указываемой в индикаторе динамического диапазона отображения. Таким образом, если формируется выходное LDR-изображение, преобразование динамического диапазона может быть выполнено с использованием кривой 1801. Если формируется HDR-изображение с относительно низкой яркостью белых точек, используется преобразование кривой 1803. Тем не менее, если формируется HDR-изображение с высокой яркостью белых точек, используется кривая 1805.
Если изображение должно быть сформировано для яркости белого между преобразованиями динамического диапазона для двух HDR-настроек (например, для дисплея на 2000 нит), могут быть использованы оба преобразования 1803, 1805. В частности, может выполняться интерполяция между преобразованными изображениями для двух преобразований. Такая интерполяция может быть линейной или нелинейной. Взвешивание отдельных преобразованных изображений типично может зависеть от того, насколько близко они находятся к требуемой выходной максимальной яркости.
Например, первое преобразованное изображение может быть выполнено посредством применения первого преобразования 1803 к кодированному изображению (LDR-изображение), и второе преобразованное изображение может быть выполнено посредством применения второго преобразования к кодированному изображению. Первое и второе преобразованные изображения затем комбинируются (например, суммируются), чтобы формировать выходное изображение. Весовые коэффициенты, соответственно, первого и второго преобразованных изображений определяются посредством того, насколько близко яркость белого, ассоциированная с различными преобразованиями, совпадает с яркостью белого дисплея, указываемой в индикаторе динамического диапазона отображения.
Например, для дисплея на 1500 нит, первое преобразованное изображение может быть взвешено намного выше второго преобразованного изображения, и для дисплея на 3500 нит второе преобразованное изображение может быть взвешено значительно выше первого преобразованного изображения.
В некоторых вариантах осуществления, процессор (203) динамического диапазона может быть выполнен с возможностью выбирать между формированием выходного изображения в качестве принимаемого кодированного изображения и формированием выходного изображения в качестве преобразованного изображения принимаемого кодированного изображения в ответ на индикатор динамического диапазона отображения.
В частности, если яркость белых точек, указываемая посредством индикатора динамического диапазона отображения, находится достаточно близко к яркости белых точек, указываемой или предполагаемой для принимаемого изображения, преобразование динамического диапазона может просто состоять в невыполнении обработки для принимаемого изображения, т.е. входное изображение может просто быть использовано в качестве выходного изображения. Тем не менее, если яркость белых точек, указываемая посредством индикатора динамического диапазона отображения, отличается от яркости белых точек, предполагаемой или указываемой для принимаемого изображения, преобразование динамического диапазона может модифицировать принимаемое кодированное изображение в соответствии с подходящим преобразованием пикселов входных изображений в пикселы выходных изображений. В таких случаях, преобразование может быть адаптировано в зависимости от принимаемого индикатора яркости белых точек дисплея конечного пользователя. В других примерах, могут быть использованы одно или более предварительно определенных преобразований.
Например, устройство 103 обработки изображений может включать в себя предварительно определенное первое преобразование, которое определено для того, чтобы предоставлять подходящее выходное изображение для двукратного повышения уровня белой точки, и предварительно определенное второе преобразование, которое определено для того, чтобы предоставлять подходящее выходное изображение для сокращения в два раза уровня белой точки. В таком примере, устройство 103 обработки изображений может выбирать между первым преобразованием, вторым преобразованием и единичным преобразованием в зависимости от яркости белых точек принимаемого изображения (например, как указано посредством опорной величины целевого дисплея) и яркости белых точек для дисплея конечного пользователя, как указано посредством индикатора динамического диапазона отображения. Устройство 103 обработки изображений, в частности, может выбирать преобразование, которое наиболее близко соответствует соотношению между яркостями белых точек входного изображения и дисплея конечного пользователя.
Например, если входное изображение принимается с опорной величиной целевого дисплея, указывающей то, что оно оптимизировано для дисплея на 1000 нит, и дисплей конечного пользователя является дисплеем на 2000 нит, то устройство 103 обработки изображений должно выбирать первое преобразование. Если, вместо этого, индикатор динамического диапазона отображения указывает то, что дисплей конечного пользователя является дисплеем на 1000 нит, то устройство 103 обработки изображений должно выбирать единичное преобразование (т.е. использовать входное изображение непосредственно). Если индикатор динамического диапазона указывает то, что дисплей конечного пользователя является дисплеем на 500 нит, то устройство 103 обработки изображений должно выбирать второе преобразование.
Если принимаются промежуточные значения для яркости белых точек дисплея конечного пользователя, устройство 103 обработки изображений может выбирать преобразование, ближайшее к соотношению между яркостями белых точек, или, например, может интерполировать между преобразованиями.
В примере по фиг. 2, устройство 103 обработки изображений выполнено с возможностью осуществлять преобразование динамического диапазона на основе опорной величины целевого дисплея, принимаемой из устройства 101 поставщика контента, но без конкретной информации или сведений относительно конкретного дисплея 107 (т.е. оно может просто формировать выходное изображение, которое должно быть оптимизировано для данного динамического диапазона/белой точки, но без явных сведений в отношении того, имеет или нет подключенный дисплей 107 это значение). Таким образом, может использоваться предполагаемая или опорная яркость белых точек. В примере по фиг. 17, устройство 103 обработки изображений может выполнять преобразование динамического диапазона на основе индикатора динамического диапазона отображения, принимаемого из дисплея 107, но без конкретной информации или сведений относительно конкретного динамического диапазона и яркости белых точек, для которой сформировано принимаемое кодированное изображение (т.е. оно может формировать выходное изображение просто на основе данного динамического диапазона/яркости белых точек для принимаемого кодированного изображения, но без явных сведений в отношении того, сформировано или нет изображение фактически для такого диапазона и яркости). Таким образом, может использоваться предполагаемая или опорная яркость белых точек для кодированного изображения. Тем не менее, следует принимать во внимание, что во многих реализациях, устройство 103 обработки изображений может быть выполнено с возможностью осуществлять преобразование динамического диапазона в ответ на информацию, принимаемую со стороны поставщика контента и из дисплея конечного пользователя. Фиг. 19 показывает пример устройства 103 обработки изображений, которое содержит процессор 203 динамического диапазона, выполненный с возможностью осуществлять преобразование динамического диапазона в ответ на опорную величину целевого дисплея и в ответ на индикатор динамического диапазона отображения. Также следует принимать во внимание, что комментарии и описания, предоставленные для независимых подходов по фиг. 2 и 17, применяются в равной степени (с необходимыми изменениями) к системе по фиг. 19.
Подходы могут, в частности, быть преимущественными в негомогенных системах распространения контента, таких как, например, системы, которые все более предпочитаются для проектируемых телевизионных систем. Фактически (пиковая) яркость дисплеев в настоящее время быстро увеличивается, и в ближайшем будущем, дисплеи с широким спектром (пиковой) яркости предположительно должны сосуществовать на рынке. Поскольку яркость отображения (и типично электрооптическая передаточная функция, которая указывает то, как дисплей преобразует входные значения возбуждения пикселов (цветов) в световые значения, которые затем предоставляют конкретное психовизуальное впечатление зрителю) более не известна на стороне формирования контента (которая, кроме того, в общем, отличается от эталонного монитора, для которого предназначен/скорректирован контент), становится сложным предоставление наилучшего/оптимального качества изображений на дисплее.
Следовательно, в системе по фиг. 1 дисплей 107 (или устройство-приемник) может отправлять информацию относительно своих характеристик яркости (пиковой яркости, передаточной функции рендеринга серого (/цвета) или других свойств рендеринга серого по своему HDR-диапазону, к примеру, конкретной электрооптической передаточной функции и т.д.) обратно в устройство 103 обработки изображений.
В конкретном примере устройство 103 обработки изображений является BDROM-проигрывателем, подключенным к дисплею посредством HDMI-интерфейса, и за счет этого индикатор динамического диапазона отображения может передаваться из дисплея в устройство 103 обработки изображений через HDMI-интерфейс. Таким образом, индикатор динамического диапазона отображения, в частности, может передаваться в качестве части EDID-информации, которая может быть передана в служебных сигналах по HDMI из дисплея 107 в устройство 103 обработки изображений. Тем не менее, следует принимать во внимание, что подход может применяться ко многим другим устройствам формирования видео/графики, таким как приемные DVB-устройства, приемные ATSC-устройства, персональные компьютеры, планшетные компьютеры, смартфоны и игровые приставки и т.д. Также следует принимать во внимание, что могут использоваться множество других проводных и беспроводных интерфейсов, таких как порт отображения, USB, Ethernet и Wi-Fi и т.д.
Устройство 103 обработки изображений затем может выбирать, например, одну из различных версий контента/сигнала в зависимости, например, от яркости отображения. Например, если сигнал из устройства 101 поставщика контента содержит LDR- и HDR-изображение, устройство 103 обработки изображений может выбирать между ними на основе того, указывает индикатор динамического диапазона отображения то, что дисплей является LDR-дисплеем или является HDR-дисплеем. В качестве другого примера, устройство 103 обработки изображений может интерполировать/смешивать различные версии яркости контента, чтобы извлекать новый сигнал, который является приблизительно оптимальным для яркости отображения. В качестве другого примера, оно может адаптировать преобразование из кодированного изображения в выходное изображение.
Следует принимать во внимание, что в различных реализациях различные параметры и информация могут предоставляться в индикаторе динамического диапазона отображения. В частности, следует отметить, что ранее предоставленные комментарии и описания для опорной величины целевого дисплея могут применяться в равной степени к индикатору динамического диапазона отображения. Таким образом, параметры и информация, передаваемая из дисплея 107 в устройство 103 обработки изображений, могут быть идентичными параметрами и информации, описанными для передачи информации на целевом дисплее из устройства 101 поставщика контента в устройство 103 обработки изображений.
В частности, дисплей может передавать максимальную яркость/яркость белых точек для дисплея, и она может быть использована посредством процессора 203 динамического диапазона для того, чтобы адаптировать выходной сигнал, как описано выше.
В некоторых вариантах осуществления, индикатор динамического диапазона отображения альтернативно или дополнительно может включать в себя яркость черных точек для дисплея 107. Яркость черных точек типично может указывать яркость, соответствующую значениям возбуждения, соответствующим самому темному пиксельному значению. Внутренняя яркость черных точек для дисплея для некоторых дисплеев может соответствовать практическому отсутствию светового выхода. Тем не менее, для множества дисплеев самая темная настройка, например, ЖК-элементов по-прежнему приводит к некоторому световому выходу из дисплея, приводя к тому, что черные области изображения воспринимаются более светлыми и сероватыми, а не глубоко черными. Для таких дисплеев, информация яркости черных точек может быть использована посредством процессора 203 динамического диапазона для того, чтобы выполнять тональное преобразование, при котором, например, все уровни черного ниже яркости черных точек дисплея должны быть преобразованы в самое глубокое темное пиксельное значение (либо, например, с использованием более постепенного перехода). В некоторых сценариях, яркость черных точек может включать в себя долю от окружающего света. Например, яркость черных точек может отражать количество света, отражаемого от дисплея.
Помимо этого, индикатор динамического диапазона отображения для множества дисплеев может включать в себя дополнительную информацию, отличающую OETF дисплея. В частности, как упомянуто выше, дисплей может включать в себя яркость белых точек и/или яркость черных точек. Во многих системах индикатор динамического диапазона отображения также может включать в себя дополнительные сведения относительно OETF дисплея при промежуточных световых выходах. В частности, индикатор динамического диапазона отображения может включать в себя гамму OETF для дисплея.
Процессор 203 динамического диапазона затем может использовать информацию этого OETF, чтобы адаптировать конкретное преобразование динамического диапазона для того, чтобы предоставлять требуемую производительность, и, в частности, преобразование в HDR-изображение может отражать не только то, что возможен более яркий световой выход, но и также может точно учитывать то, как должна формироваться взаимосвязь между значениями возбуждения, чтобы предоставлять требуемый световой выход в увеличенном диапазоне яркости. Аналогично, преобразование в LDR-изображение может отражаться не только, что меньше вывода яркого света доступно, но и также может учитывать точно, как взаимосвязь между значениями возбуждения должна быть сформирована, чтобы предоставлять требуемый световой выход в уменьшенном диапазоне яркости.
Таким образом, индикатор динамического диапазона отображения, в частности, может предоставлять информацию, которая сообщает процессору 203 динамического диапазона в отношении того, как оно должно преобразовывать входные значения, соответствующие одному динамическому диапазону, в выходные значения, соответствующие другому и типично большему динамическому диапазону. Процессор 203 динамического диапазона может учитывать это и, например, может компенсировать все изменения или нелинейности в рендеринге посредством дисплея 107.
Следует принимать во внимание, что возможно множество различных преобразований динамического диапазона, и что могут использоваться множество различных способов адаптации таких преобразований динамического диапазона на основе индикатора динамического диапазона отображения. Фактически, следует принимать во внимание, что большинство комментариев, предоставленных для преобразования динамического диапазона на основе опорной величины целевого дисплея из устройства 101 поставщика контента, являются в равной степени подходящими (с необходимыми изменениями) к преобразованию динамического диапазона на основе информации характеристик яркости дисплея конечного пользователя.
В качестве примера с низкой сложностью, преобразование динамического диапазона может просто применять кусочно-линейную функцию к входным значениям LDR-изображения таким образом, чтобы формировать улучшенные HDR-значения (или к входным значениям HDR-изображения таким образом, чтобы формировать улучшенные LDR-значения). Фактически, во многих сценариях может быть использовано простое преобразование, состоящее из двух линейных взаимосвязей, как проиллюстрировано на фиг. 20. Преобразование показывает прямое преобразование между входными пиксельными значениями и выходными пиксельными значениями (или в некоторых сценариях преобразование может отражать (возможно непрерывное) преобразование между входными пиксельными яркостями и выходными пиксельными яркостями).
В частности, подход обеспечивает преобразование динамического диапазона, которое сохраняет темные области изображения темными, при этом одновременно обеспечивает возможность использования существенно увеличенного динамического диапазона для того, чтобы предоставлять намного более яркий рендеринг ярких областей, а также фактически улучшенный и более живо выглядящий средний диапазон. Тем не менее, точное преобразование зависит от дисплея, на котором оно должно быть подготовлено посредством рендеринга. Например, при рендеринге изображения для дисплея на 500 нит на дисплее на 1000 нит, требуется относительно умеренное преобразование, и растягивание ярких областей относительно ограничивается. Тем не менее, если идентичное изображение должно отображаться на дисплее на 5000 нит, гораздо более экстремальное преобразование требуется для того, чтобы полностью использовать доступную яркость без слишком сильного выделения яркостью темных областей. Фиг. 20 иллюстрирует, как два различных преобразования могут использоваться, соответственно, для дисплея на 1000 нит (кривая 2001, максимальное значение 255, соответствующее 1000 нит) и дисплея на 5000 нит (кривая 2003, максимальное значение 255, соответствующее 5000 нит) для входного LDR-изображения на 500 нит (максимальное значение 255, соответствующее 500 нит). Устройство 103 обработки изображений дополнительно может определять подходящие значения для других максимальных яркостей посредством интерполяции между предоставленными значениями. В некоторых реализациях, большее число точек может быть использовано для того, чтобы задавать кривую, которая по-прежнему является кусочно-линейной, но с большим числом линейных интервалов.
Следует принимать во внимание, что идентичные преобразования могут быть использованы при преобразовании из входного HDR-изображения в выходное LDR-изображение.
В некоторых вариантах осуществления, преобразование динамического диапазона может содержать или состоять в преобразовании палитры, которое может зависеть от принимаемого индикатора динамического диапазона отображения. Таким образом, в некоторых вариантах осуществления, процессор 203 динамического диапазона может модифицировать цветности подготовленного посредством рендеринга изображения в зависимости от индикатора динамического диапазона отображения. Например, когда принимаемое HDR-изображение подготавливается посредством рендеринга на LDR-дисплее, сжатие может приводить к более мягкому изображению с меньшими изменениями и градациями в отдельных объектах изображений. Преобразование динамического диапазона может компенсировать такие уменьшения посредством увеличения изменений сигнала цветности. Например, когда изображение с ярко освещенным яблоком оптимизируется для рендеринга на HDR-дисплее, рендеринг на LDR-дисплее с уменьшенным динамическим диапазоном типично приводит к тому, что яблоко выглядит менее выделенным и выглядит менее четким и более тусклым. Это может посредством преобразования динамического диапазона компенсироваться посредством придания большей насыщенности цвету яблока. В качестве другого примера, изменения текстуры могут становиться менее перцепционно значительными вследствие уменьшенных изменений яркости, и это может компенсироваться посредством увеличения изменений сигнала цветности текстуры.
Индикатор динамического диапазона отображения в некоторых примерах или сценариях может предоставлять общую информацию для дисплея, такую как стандартные параметры изготовления, EOTF по умолчанию и т.д. В некоторых примерах и сценариях, индикатор динамического диапазона отображения дополнительно может отражать конкретную обработку, выполняемую на дисплее, и, в частности, может отражать пользовательские настройки. Таким образом, в таких примерах, индикатор динамического диапазона отображения просто не предоставляет фиксированную и неизменную информацию, которая зависит только от дисплея, а вместо этого предоставляет изменяющуюся во времени функцию, которая может отражать конкретную операцию дисплея.
Например, дисплей может иметь возможность работать в различных режимах отображения изображений с различными характеристиками рендеринга. Например, в "живом" режиме отображения дисплей может подготавливать посредством рендеринга изображения с яркими областями, более яркими, чем обычно, в "приглушенном" режиме отображения дисплей может подготавливать посредством рендеринга изображения с яркими областями, более темными, чем обычно, и т.д. Информация относительно текущего режима, например, конкретная гамма для этого режима, может сообщаться в устройство 103 обработки изображений в качестве части индикатора динамического диапазона отображения, в силу этого обеспечивая возможность устройству 103 обработки изображений адаптировать преобразование динамического диапазона таким образом, что оно отражает характеристики рендеринга. Устройство 103 обработки изображений, например, может переопределять настройку отображения посредством компенсации или может оптимизировать преобразование для того, чтобы поддерживать конкретную настройку.
Индикатор динамического диапазона отображения также может отражать другие настройки обработки для дисплея. Например, уровни отсечения, настройки мощности задней подсветки, преобразования цветовой схемы и т.д. могут передаваться в устройство 103 обработки изображений, в котором они могут быть использованы посредством процессора 203 динамического диапазона для того, чтобы адаптировать преобразование динамического диапазона.
Фиг. 21 иллюстрирует пример элементов дисплея 107, причем дисплей предоставляет индикатор динамического диапазона отображения в устройство 103 обработки изображений.
В примере, дисплей содержит приемное устройство 2101, которое принимает сигнал изображения, выводимый из устройства 103 обработки изображений. Сигнал принимаемого изображения соединяется с формирователем 2103 сигналов управления, который дополнительно соединяется с панелью 2105 отображения, которая подготавливает посредством рендеринга изображение. Панель отображения, например, может быть ЖК- или плазменной панелью отображения, как должно быть известно специалистам в данной области техники.
Формирователь 2103 сигналов управления выполнен с возможностью возбуждать панель 2105 отображения таким образом, что она подготавливает посредством рендеринга кодированное изображение. В некоторых вариантах осуществления, формирователь 2103 сигналов управления может выполнять усовершенствованные и возможно адаптивные алгоритмы обработки сигналов, включающие в себя тональное преобразование, цветокоррекцию и т.д. В других вариантах осуществления, формирователь 2103 сигналов управления может иметь относительно низкую сложность и, например, может просто выполнять стандартное преобразование из значений входных сигналов в значения возбуждения для пиксельных элементов панели 2105 отображения.
Кроме того, в системе дисплей 107 содержит передающее устройство 2107, которое выполнено с возможностью передавать сигнал данных в устройство 103 обработки изображений. Сигнал данных, например, может для HDMI-подключения передаваться в DDC-канале с использованием E-EDID-структуры, как описано ниже.
Передающее устройство 2107 формирует сигнал данных, который включает в себя индикатор динамического диапазона отображения для дисплея (107). Таким образом, в частности, передающее устройство 2107, которое указывает, например, яркость белых точек и необязательно EOTF дисплея. Например, может формироваться и передаваться значение данных, предоставляющее индекс между числом предварительно определенных яркостей белых точек или EOTF.
В некоторых вариантах осуществления с низкой сложностью, например, яркость белых точек может быть фиксированным значением, сохраненным в передающем устройстве 2107, которое просто передает это стандартное значение. В более сложных значениях индикатор динамического диапазона отображения может быть определен отражать динамически варьирующиеся и/или адаптированные значения. Например, формирователь 2103 сигналов управления может быть выполнен с возможностью работать в различных режимах отображения, и индикатор динамического диапазона отображения может быть адаптирован соответствующим образом. В качестве другого примера, пользовательская настройка, например, уровня яркости для дисплея может отражаться посредством индикатора динамического диапазона отображения, сформированного и передаваемого посредством передающего устройства 2107.
Как упомянуто выше, индикатор динамического диапазона отображения может содержать показатель окружающего света, и процессор динамического диапазона может быть выполнен с возможностью адаптировать преобразование динамического диапазона в ответ на показатель окружающего света. Показатель окружающего света может предоставляться в качестве явных и отдельных данных или может отражаться в других параметрах. Например, показатель окружающего света может отражаться в яркости черных точек, которая может включать в себя долю, соответствующую отражениям света от дисплея.
Во многих сценариях дисплей может включать в себя светоприемник, расположенный перед дисплеем. Этот светоприемник может обнаруживать общий уровень окружающего света или, в частности, может измерять свет, достигающий дисплея из данного направления, который, вероятно, должен отражаться обратно к зрителю. На основе этого обнаружения света, дисплей за счет этого может формировать индикатор окружающего света, который отражает, например, уровень окружающего света окружения просмотра в общем или, например, который, в частности, отражает оценку отраженного света с экрана. Дисплей 107 может сообщать это значение в устройство 103 обработки изображений в качестве отдельного значения или, например, посредством вычисления эффективного уровня яркости черного таким образом, чтобы отражать количество отражений света.
Процессор 203 динамического диапазона затем может адаптировать преобразование динамического диапазона соответствующим образом. Например, когда уровень окружающего света является высоким, больше использования дополнительных уровней белого HDR-дисплея может быть использовано более активно, чтобы формировать ярко выглядящее изображение с высокой контрастностью. Например, средний световой выход может задаваться относительно высоким, и даже яркости среднего диапазона могут переключаться в направлении HDR-диапазона. Яркие области могут быть подготовлены посредством рендеринга с использованием полного HDR-диапазона, и даже темные области типично должны быть подготовлены посредством рендеринга при относительно высоких уровнях света. Тем не менее, увеличенный динамический диапазон HDR-изображения позволяет такому относительно яркому изображению по-прежнему демонстрировать большие изменения яркости и за счет этого по-прежнему иметь высокую контрастность.
Таким образом, HDR-характеристики дисплея используются для того, чтобы формировать изображение, которое предоставляет изображения, которые воспринимаются как яркие и имеют высокую контрастность даже при просмотре, например, при ярком дневном свете. Такое изображение типично не является подходящим в темной комнате, поскольку оно является превалирующим и выглядит слишком ярким. Таким образом, в темном окружении, преобразование динамического диапазона должно выполнять намного более консервативное преобразование из LDR в HDR, которое, например, поддерживает идентичный световой выход LDR для темных значений и значений среднего диапазона и повышает яркость только для более ярких областей.
Подход может обеспечивать возможность устройству 103 обработки изображений автоматически адаптировать к преобразованию динамического диапазона из LDR в HDR (или, например, к преобразованию динамического диапазона из HDR в HDR), чтобы совпадать с конкретным окружением просмотра дисплея. Кроме того, это возможно без необходимости для устройства 103 обработки изображений проводить измерения или фактически даже располагаться внутри или рядом с этим окружением.
Индикатор окружающего света типично может быть необязательным, и таким образом, устройство 103 обработки изображений может использовать его при наличии и в противном случае просто выполнять преобразование динамического диапазона по умолчанию для конкретных характеристик (например, OETF дисплея).
Необязательная расширенная информация, предоставленная посредством дисплея относительно окружения просмотра (в частности, окружающего света), в силу этого используется посредством устройства 103 обработки изображений для того, чтобы выполнять более сложные преобразования с оптимизацией изображений/видео для представления оптимального изображения/видео на дисплее, при этом оптимизация может включать в себя не только характеристики дисплея, но также и окружения просмотра.
Таким образом, дополнительная оптимизация может быть выполнена, когда информация предоставляется посредством дисплея относительно окружения просмотра. Дисплей типично должен периодически измерять окружающий свет и отправлять информацию (например, яркость и цвет в форме трех параметров: XYZ) касательно означенного в устройство 103 обработки изображений. Эта информация типично не может предоставляться в качестве части EDID-данных или любого другого типа данных, главным образом используемого для одноразовой передачи информации. Наоборот, она может передаваться, например, в отдельном канале, к примеру, с использованием HDMI-CEC. Это периодическое измерение и обновление, например, может приводить к тому, что если пользователь, например, отключает свет около дисплея, устройство 103 обработки изображений может автоматически адаптировать обработку, чтобы предоставлять изображения, более подходящие для более темной обстановки просмотра, например, посредством применения различных преобразований цветов/яркости.
Пример набора релевантных параметров, которые могут сообщаться посредством дисплея конечного пользователя в индикаторе динамического диапазона отображения, включает в себя:
- абсолютную максимальную яркость (яркость белых точек) дисплея конечного пользователя.
- гамму дисплея конечного пользователя - заводская настройка.
Абсолютная максимальная яркость дисплея конечного пользователя, например, может быть задана для типичных настроек отображения, заводских настроек по умолчанию или настроек, формирующих наибольшую яркость.
Другой пример набора релевантных параметров, которые могут сообщаться посредством дисплея конечного пользователя в индикаторе динамического диапазона отображения, включает в себя:
- максимальную яркость дисплея конечного пользователя для текущих настроек яркости, контрастности и т.д.
- гамму дисплея конечного пользователя - текущие настройки.
Первый набор параметров является независимым от времени, тогда как второй набор варьируется во времени, поскольку он зависит от пользовательских настроек. Применение того или иного набора имеет последствия для поведения системы и возможностей работы пользователей, и следует принимать во внимание, что конкретный набор параметров, используемый в конкретной системе, зависит от предпочтений и требований системы. Фактически, параметры могут смешиваться между двумя наборами, и, например, заводские настройки по умолчанию могут предоставляться при включении питания, при этом зависимые от пользовательских настроек параметры сообщаются периодически после этого.
Также следует принимать во внимание, что конкретные наборы параметров могут отличать EOTF для дисплея, которая представляет собой либо заводскую EOTF по умолчанию, либо конкретную текущую зависимую от пользовательских настроек EOTF. Таким образом, параметры могут предоставлять информацию относительно преобразования между значениями возбуждения и выводом сигнала яркости дисплея, который обеспечивает возможность устройству 103 обработки изображений формировать значения возбуждения, которые должны приводить к требуемому выходному изображению. Следует принимать во внимание, что в других реализациях другие параметры могут быть использованы для того, чтобы отличать часть или все преобразование между значениями возбуждения и световым выходом для дисплея.
Следует принимать во внимание, что множество различных подходов может использоваться для передачи индикатора динамического диапазона отображения из дисплея в устройство 103 обработки изображений.
Например, для параметров дисплея, которые являются независимыми от пользовательских настроек и не варьируются во времени, данные для HDMI-подключения могут эффективно передаваться в DDC-канале с использованием E-EDID-структуры.
В подходе с низкой сложностью набор категорий может быть задан для дисплеев конечного пользователя, при этом каждая категория задает диапазоны релевантных параметров. При таком подходе должен передаваться только идентификационный код категории для дисплея конечного пользователя.
Описывается конкретный пример передачи данных индикатора динамического диапазона отображения в E-EDID-формате.
В конкретном примере, первые 128 байтов E-EDID должны содержать структуру EDID 1.3 (базовый EDID-блок).
Для параметров индикаторов динамического диапазона отображения может быть задан новый блок дескрипторов дисплея в структуре E-EDID-данных. Поскольку современные устройства не знают такой новый блок дескрипторов дисплея, они просто игнорируют его, за счет этого обеспечивая обратную совместимость. Возможный формат этого дескриптора "Свойства яркости" перечисляется в нижеприведенной таблице.
Peak_Luminance является параметром со значением между 0 и 255, который указывает пиковую яркость дисплея согласно следующему:
Пиковая яркость дисплея (кд/м2)=50×Peak_Luminance,
в силу этого покрывая диапазон 0-255*50=12750 кд/м2,
или 255*100
Передаточная кривая может быть кривой гамма-распределения (как указано ITU601, ITU709 и т.д.), но обеспечивающей гораздо более высокую гамму (до 10). Альтернативно, в некоторых сценариях может быть более подходящим другой параметр передаточной (или логарифмической) кривой. Например, вместо гамма-функции:
может быть использована степенная функция:
в которой параметры α, β и Δ могут задаваться так, что они предоставляют требуемую характеризацию.
Таким образом, дополнительная информация может быть использована посредством устройства 103 обработки изображений для того, чтобы принимать более усовершенствованные решения для определения различных уровней серого видео и графики (или состоящего из множества изображений компонента), как, например, глобальная обработка, к примеру, модификации на основе гамма-преобразования. При наличии дополнительной информации, к примеру, в отношении того, как дисплей должен выполнять повторное гамма-преобразование всех значений полутонов, процессор 203 динамического диапазона может принимать намного более интеллектуальные решения для конечного вида видео и вторичных изображений (и как они могут перекрываться в яркости также, например, в зависимости от геометрических свойств, как то, насколько большие подобласти и т.д.).
В предыдущих примерах дисплей 107 предоставляет индикатор динамического диапазона отображения, который сообщает устройству 103 обработки изображений в отношении того, как дисплей отобразит входящий сигнал для отображения. В частности, индикатор динамического диапазона отображения может указывать преобразование между значениями возбуждения и световым выходом, которое применяется посредством дисплея. Таким образом, в этих примерах индикатор динамического диапазона отображения сообщает устройству 103 обработки изображений доступный динамический диапазон, а также то, как он представляется, и устройство 103 обработки изображений может адаптировать преобразование динамического диапазона надлежащим образом.
Тем не менее, в некоторых системах дисплей также может иметь возможность осуществлять определенное управление преобразованием динамического диапазона, выполняемым посредством устройства 103 обработки изображений. В частности, индикатор динамического диапазона отображения может содержать управляющие данные преобразований динамического диапазона, и процессор 203 динамического диапазона может быть выполнен с возможностью осуществлять преобразование динамического диапазона в ответ на эти управляющие данные преобразований динамического диапазона.
Управляющие данные, например, могут задавать операцию или параметр преобразования динамического диапазона, которое должно применяться, может применяться или которое рекомендовано для применения. Кроме того, управляющие данные могут быть различены для различных характеристик изображения, которое должно быть кодировано. Например, отдельные управляющие данные могут предоставляться для множества возможных начальных изображений, к примеру, один набор для LDR-изображения на 500 нит, другой для кодированного изображения на 1000 нит и т.д.
В качестве примера, дисплей может указывать то, какое тональное преобразование должно быть выполнено посредством процессора 203 динамического диапазона в зависимости от динамического диапазона принимаемого изображения. Например, для дисплея на 2000 нит, управляющие данные могут указывать одно преобразование, которое должен быть использовано при преобразовании из LDR-изображения на 500 нит, и другое преобразование, которое должно быть использовано при преобразовании из изображения на 1000 нит и т.д.
В некоторых сценариях, управляющие данные могут указывать границы между преобразованиями, причем преобразования предварительно определяются в каждом интервале (например, стандартизированы или известны на стороне поставщика контента и на стороне модуля рендеринга). В некоторых сценариях, управляющие данные дополнительно могут задавать элементы различных преобразований или могут фактически указывать преобразования точно, например, с использованием значения гамма или указания конкретной функции преобразования.
В некоторых вариантах осуществления, управляющие данные преобразований динамического диапазона могут непосредственно и явно указывать преобразование динамического диапазона, которое должно быть выполнено, чтобы преобразовывать принимаемое изображение в изображение с динамическим диапазоном, соответствующим динамическому диапазону дисплея. Например, управляющие данные могут указывать прямое преобразование из значений входных изображений в значения выходных изображений для диапазона белых точек принимаемого изображения. Преобразование может предоставляться в качестве простого параметра, обеспечивающего реализацию надлежащего преобразования посредством процессора 203 динамического диапазона, либо могут предоставляться подробные данные, такие как конкретная таблица поиска или математическая функция.
В качестве примера с низкой сложностью, преобразование динамического диапазона может просто применять кусочно-линейную функцию к входным значениям LDR-изображения таким образом, чтобы формировать улучшенные HDR-значения (или к входным значениям HDR-изображения таким образом, чтобы формировать улучшенные LDR-значения). Фактически, во многих сценариях может быть использовано простое преобразование, состоящее из двух линейных взаимосвязей, как проиллюстрировано на фиг. 20.
В частности, как описано выше, такой подход может предоставлять преобразование динамического диапазона, которое сохраняет темные области изображения темными, при этом одновременно обеспечивает возможность использования существенно увеличенного динамического диапазона для того, чтобы предоставлять намного более яркий рендеринг ярких областей, а также фактически улучшенный и более живо выглядящий средний диапазон. Тем не менее, точное преобразование зависит от динамического диапазона принимаемого изображения, а также от динамического диапазона конечного целевого дисплея. В некоторых системах, дисплей за счет этого может указывать тональное преобразование, которое должно быть выполнено посредством устройства 103 обработки изображений, просто посредством передачи координат перегиба функции (т.е. пересечения между линейными элементами преобразования).
Преимущество такой простой взаимосвязи состоит в том, что требуемое тональное преобразование может передаваться с очень низким объемом служебной информации. Фактически, просто двухкомпонентное значение данных может указывать требуемое тональное преобразование, которое должно быть выполнено посредством устройства 103 обработки изображений для различных дисплеев. Различные координаты точки "перегиба" могут передаваться для различных входных изображений, и устройство 103 обработки изображений может определять подходящие значения для других входных изображений посредством интерполяции между предоставленными значениями.
Следует принимать во внимание, что большинство комментариев, предоставляемых относительно предоставления управляющих данных преобразований динамического диапазона из устройства 101 поставщика контента, применяется с равным успехом (с необходимыми изменениями) к управляющим данным преобразований динамического диапазона, принимаемым из дисплея 107.
Таким образом, в некоторых сценариях дисплей 107 может управлять преобразованием динамического диапазона, выполняемым посредством устройства 103 обработки изображений. Преимущество такого подхода состоит в том, что он, например, может обеспечивать возможность пользователю управлять требуемым подготовленным посредством рендеринга изображением посредством управления дисплеем и без требований для предоставления пользовательских вводов или настроек в устройство 103 обработки изображений. Это, в частности, может быть преимущественным в сценариях, в которых множество устройств обработки изображений используется с идентичным дисплеем, и, в частности, это может помогать в предоставлении гомогенности между изображениями из различных устройств обработки изображений.
Во многих реализациях, управляющие данные из дисплея 107 могут не указывать конкретное тональное преобразование, которое должно быть выполнено, а вместо этого предоставлять данные, которые задают границы, в которых преобразование динамического диапазона/тональное преобразование может быть свободно адаптировано посредством устройства 103 обработки изображений.
Например, вместо того, чтобы указывать конкретную точку перехода для кривой по фиг. 20, управляющие данные могут задавать пределы для точки перехода (возможно, с предоставлением различных пределов для различных уровней максимальной яркости). Таким образом, устройство 103 обработки изображений может по отдельности определять требуемые параметры для преобразования динамического диапазона, так что оно может задаваться с возможностью предоставлять предпочтительный переход для конкретного дисплея с учетом, например, конкретных пользовательских предпочтений. Тем не менее, одновременно дисплей может ограничивать эту свободу допустимым уровнем.
Таким образом, управляющие данные преобразований динамического диапазона могут включать в себя данные, которые задают параметры преобразования, которые должны применяться посредством преобразования динамического диапазона, выполняемого посредством процессора 203 динамического диапазона, и/или которые задают пределы для параметров преобразования. Управляющие данные могут предоставлять эту информацию для диапазона динамических диапазонов входного изображения, в силу этого обеспечивая возможность адаптации преобразования динамического диапазона к различным принимаемым изображениям. Кроме того, для входных изображений с динамическими диапазонами, не включенных явно в управляющие данные, надлежащие значения данных могут быть сформированы из доступных значений данных, например, посредством интерполяции. Например, если точка перегиба между двумя линейными кусками указывается для входного изображения на 500 нит и 2000 нит, подходящее значение для входного изображения на 1000 нит может быть найдено посредством простой интерполяции (например, посредством простого усреднения в конкретном примере).
Следует принимать во внимание, что множество различных и варьирующихся подходов для преобразования динамического диапазона а также для того, как ограничивать, адаптировать и управлять им со стороны дисплея посредством дополнительных управляющих данных, может быть использовано в различных системах в зависимости от конкретных предпочтений и требований отдельного варианта применения.
В некоторых сценариях, управляющие данные могут просто предоставлять предложение подходящего преобразования, которое может применяться, например, в области среднего диапазона. В таком случае изготовитель дисплея, соответственно, может помогать устройству 103 обработки изображений в предоставлении предлагаемых параметров преобразования динамического диапазона, которые, как выясняется (например, через оптимизацию вручную посредством изготовителем дисплея), предоставляют высокое качество изображений при просмотре на конкретном дисплее. Устройство 103 обработки изображений может преимущественно использовать это, но также может модифицировать преобразование, например, чтобы адаптироваться для индивидуальных пользовательских предпочтений.
Во многих сценариях преобразование, которое, по меньшей мере, частично выполняется на основе управляющих данных, представляет функциональную взаимосвязь с относительно низкой сложностью, к примеру, гамма-преобразование, S-кривая, комбинированное преобразование, заданное посредством частичных спецификаций для отдельных диапазонов, и т.д. Тем не менее, в некоторых сценариях, конечно, могут использоваться более сложные преобразования.
Как упомянуто выше, управляющие данные могут предоставлять обязательные или необязательные управляющие данные. Фактически, принимаемые данные могут включать в себя одно или более полей, которые указывают то, являются предоставленные параметры тонального преобразования обязательными, разрешенными или предлагаемыми.
В некоторых системах, дисплей может допускать работу в соответствии с различными динамическими диапазонами. Например, очень яркий HDR-дисплей с яркостью белых точек, скажем, 5000 нит также может иметь возможность работать в режиме отображения с яркостью белых точек 4000 нит, другой с 3000 нит, один с 2000 нит, дополнительный с 1000 нит и, наконец, может работать в LDR-режиме, имеющем яркость белого только 500 нит.
В таком сценарии сигнал данных из дисплея может указывать множество динамических диапазонов яркости. Таким образом, каждый из различных динамических диапазонов яркости может соответствовать режиму динамического диапазона для дисплея. В такой компоновке процессор 203 динамического диапазона может выбирать один из динамических диапазонов яркости и продолжать выполнять преобразование динамического диапазона в ответ на выбранный динамический диапазон отображения. Например, процессор 203 динамического диапазона может выбирать динамический диапазон 2000 нит и затем продолжать выполнять преобразование динамического диапазона для того, чтобы оптимизировать сформированное изображение для этой яркости белых точек.
Выбор подходящего динамического диапазона яркости для дисплея может зависеть от различных аспектов. В некоторых системах, устройство 103 обработки изображений может быть выполнено с возможностью выбирать подходящий динамический диапазон отображения на основе типа изображения. Например, каждый диапазон может быть ассоциирован с данным типом изображения, и устройство 103 обработки изображений может выбирать тип изображения, который наиболее близко соответствует принимаемому изображению, и затем продолжать использовать динамический диапазон, ассоциированный с этим типом изображения.
Например, число типов изображений может быть задано согласно различным типам контента. Например, один тип изображения может быть ассоциирован с мультфильмами, другой - с футбольным матчем, еще один - с программой новостей, еще один - с фильмом и т.д. Устройство 103 обработки изображений затем может определять надлежащий тип для принимаемого изображения (например, на основе явных метаданных или анализа контента) и продолжать применять соответствующий динамический диапазон. Это, например, может приводить к представлению мультфильмов очень ярко и с высокой контрастностью и высокой яркостью, одновременно позволяя избегать неестественного рендеринга, например, темных фильмов.
Таким образом, система может адаптироваться к рендерингу специальных сигналов. Например, плохо снятое потребительское видео, футбольный матч с ярким освещением, хорошо освещенная программа новостей (например, сцены с уменьшенной контрастностью) и т.д. могут отображаться по-разному, и, в частности, динамический диапазон подготовленного посредством рендеринга изображения может быть адаптирован для этого, в частности, подходящего для конкретного изображения.
Выше указано, что дисплей может предоставлять управляющие данные в устройство 103 обработки изображений. Тем не менее, в некоторых системах альтернативно или дополнительно устройство 103 обработки изображений может предоставлять управляющие данные для дисплея 107.
Таким образом, как проиллюстрировано на фиг. 22, устройство 103 обработки изображений может содержать контроллер 2201, который допускает вывод сигнала данных управления отображением на дисплее 107.
Сигнал управления отображением, в частности, может инструктировать дисплею работать в конкретном режиме динамического диапазона, который выбран посредством устройства 103 обработки изображений для конкретного изображения. Таким образом, как результат, плохо освещенное любительское изображение должно быть подготовлено посредством рендеринга с узким динамическим диапазоном, за счет этого не допуская введения недопустимых ошибок вследствие преобразования в расширенный динамический диапазон, который не присутствует фактически в исходном изображении. Одновременно, система может автоматически адаптироваться таким образом, что высококачественные изображения могут эффективно быть преобразованы в изображения с расширенным динамическим диапазоном и представлены как таковые. В качестве конкретного примера, для любительской видеопоследовательности, устройство 103 обработки изображений и дисплей могут автоматически адаптироваться таким образом, чтобы представлять видео с динамическим диапазоном на 1000 нит. Тем не менее, для профессионально захваченного высококачественного изображения, устройство 103 обработки изображений и дисплей 107 могут автоматически адаптироваться, чтобы представлять видео с использованием полного динамического диапазона на 5000 нит, который допускает дисплей 107.
Сигнал управления отображением за счет этого может быть сформирован таким образом, что он включает в себя такие команды, как "использовать динамический диапазон на 1000 нит", "использовать LDR-диапазон", "использовать максимальный динамический диапазон" и т.д.
Данные управления отображением могут быть использованы для того, чтобы предоставлять число команд в прямом направлении (из устройства 103 обработки изображений на дисплей). Например, управляющие данные могут включать в себя инструкции обработки изображений для дисплея и, в частности, могут включать в себя индикаторы тонального преобразования для дисплея.
Например, управляющие данные могут указывать настройку яркости, настройку отсечения или настройку контрастности, которая должна применяться посредством дисплея 107. Инструкция обработки изображений в силу этого может задавать обязательную, необязательную или предлагаемую операцию, которая должна быть выполнена посредством дисплея 107 на принимаемом сигнале для отображения. Таким образом, эти управляющие данные могут обеспечивать возможность устройству 103 обработки изображений управлять частью обработки, выполняемой посредством дисплея 107.
Управляющие данные, например, могут указывать то, что конкретная фильтрация должна применяться или не должна применяться. В качестве другого примера, управляющие данные могут указывать то, как должны быть выполнены операции задней подсветки. Например, дисплей может иметь возможность работать в режиме низкой мощности, который использует активное локальное потускнение задней подсветки, либо может иметь возможность работать в режиме высокой мощности, в котором используется только локальное потускнение, когда оно позволяет улучшать рендеринг темных областей. Управляющие данные могут быть использованы для того, чтобы переключать дисплей между этими режимами работы.
Управляющие данные в некоторых примерах могут указывать конкретное тональное преобразование, которое должно быть выполнено посредством дисплея, либо могут фактически указывать то, что функции тонального преобразования должны деактивироваться (в силу этого обеспечивая возможность устройству 103 обработки изображений полностью управлять полным тональным преобразованием).
Следует принимать во внимание, что в некоторых вариантах осуществления, система может использовать управляющие данные в обоих направлениях, т.е. как в прямом направлении из устройства 103 обработки изображений на дисплей 107, так и в обратном направлении из дисплея 107 в устройство 103 обработки изображений. В таких случаях, может быть необходимым вводить рабочие условия и правила, которые разрешают потенциальные конфликты. Например, может предоставляться компоновка, в которой устройство 103 обработки изображений является ведущим устройством, которое управляет дисплеем 107 и блокирует дисплей 107 в случае конфликтов. В качестве другого примера, управляющие данные могут ограничиваться конкретными параметрами в двух направлениях, так что конфликты не возникают.
В качестве другого примера, взаимосвязи ведущих и ведомых устройств могут задаваться пользователями. Например, устройство 103 обработки изображений и дисплей 107 могут быть выполнены с возможностью предоставлять управляющие данные другому объекту и могут, в частности, допускать работу в качестве ведущего устройства. Пользователь в таких системах может обозначать одно из устройств в качестве ведущего устройства, при этом другое становится ведомым устройством. Пользователь, в частности, может выбирать его на основе предпочтения, чтобы управлять системой из устройства 103 обработки изображений или из дисплея 107.
Таким образом, система, описанная выше, может обеспечивать связь между поставщиком контента и устройством обработки изображений и/или связь между устройством обработки изображений и дисплеем. Эти подходы могут применяться во многих системах, которые содержат канал связи между поставщиком контента и устройством обработки изображений и/или между устройством обработки изображений и дисплеем. Примеры включают в себя BDROM, ATSC и DVB или Интернет и т.д.
Система может использовать канал связи между устройством обработки изображений и дисплеем, к примеру, интерфейс связи по HDMI или порту отображения. Эта связь может быть в двух направлениях. Например, если интеллектуальный дисплей полностью осуществляет оптимальное преобразование видео и графики, устройство обработки изображений, например, может считывать параметры управления и переформатировать и передавать их в аналогичной HDMI-структуре.
Подход, в частности, может применяться в BDROM-системе. По сути, подход может дополнять спецификации BDROM, чтобы предоставлять возможность передачи параметров целевого дисплея и команд управления. Использование таких данных, в комбинации с параметрами дисплея конечного пользователя, может обеспечивать возможность BDROM-проигрывателю, например:
- выполнять дополнительное тональное преобразование видео и/или графики или другую обработку в проигрывателе в зависимости от характеристик целевого дисплея и дисплея конечного пользователя.
- выполнять дополнительное тональное преобразование видео и/или графики или другую обработку, управляемую посредством команд в потоке данных, предоставленном посредством поставщика контента.
В некоторых вариантах осуществления, устройство 103 обработки изображений также может содержать передающее устройство для передачи управляющих данных динамического диапазона в устройство 101 поставщика контента. Таким образом, устройство 103 обработки изображений может иметь возможность управлять или, по меньшей мере, влиять на обработку или операцию, выполняемую в устройстве 101 поставщика контента.
В качестве конкретного примера, управляющие данные могут включать в себя индикатор относительно предпочтительного динамического диапазона для изображения и могут, в частности, включать в себя индикатор относительно динамического диапазона (например, яркость белых точек и необязательно EOTF или гамма-функцию) для дисплея конечного пользователя.
В некоторых вариантах осуществления, устройство 101 поставщика контента может быть выполнено с возможностью учитывать индикатор относительно предпочтительного динамического диапазона при выполнении тонального преобразования. Тем не менее, в других вариантах осуществления, устройство 101 поставщика контента может предоставлять число предварительно определенных тональных преобразований, например, заключающих в себе тональное преобразование вручную специалистом по тональному преобразованию. Например, тонально преобразованное изображение может быть сформировано для дисплея на 500 нит, для дисплея на 1000 нит и для дисплея на 2000 нит.
В таком сценарии устройство 101 поставщика контента может быть выполнено с возможностью выбирать то, какое изображение передавать в устройство 103 обработки изображений, на основе принимаемых управляющих данных. В частности, изображение, которое является ближайшим к динамическому диапазону, указываемому посредством управляющих данных, может быть выбрано и передано в устройство 103 обработки изображений.
Такой подход может быть, в частности, подходящим для приложения потоковой передачи данных, в котором передаваемый в потоковом режиме сигнал может динамически обновляться, чтобы в максимально возможной степени совпадать с динамическим диапазоном дисплея конечного пользователя.
Подход позволяет уменьшать степень преобразования динамического диапазона, которое должно применяться в устройстве 103 обработки изображений, и, в частности, для сценариев, в которых устройство 101 поставщика контента может предоставлять изображение, тонально преобразованное в динамическом диапазоне, идентичном динамическому диапазону дисплея конечного пользователя, может обеспечивать возможность преобразования динамического диапазона в качестве простой нулевой операции (т.е. он может обеспечивать возможность использования принимаемого изображения непосредственно посредством устройства 103 обработки изображений).
Существуют различные сценарии применения, в которых могут быть полезными настоящие варианты осуществления. Например, кодирование конкретной белой точки либо намеченного белого или аналогичного значения с пиксельным контентом изображений (например, DCT-кодирование локальных текстур объектов) предоставляет возможность более интеллектуального выделения необходимых уровней кода в сравнении с намеченными выходными яркостями для различных возможных выходных сигналов. Можно, например, кодировать текстуру темной комнаты так, как будто она хорошо освещена (т.е. вплоть до пиксельных сигналов яркости 255 вместо максимального сигнала яркости, например, в 40 в изображении темной сцены), но указывать то, что "белый цвет", т.е. 255, должен трактоваться конкретным образом, т.е. что он должен быть подготовлен посредством рендеринга темным. Простой способ для этого состоит в том, чтобы совместно кодировать, например, должную подготавливаться посредством рендеринга выходную яркость на дисплее для этого кода сигнала яркости в 225. Это может выполняться с тем, чтобы кодировать преимущественно очень яркие значения, к примеру, в туманной сцене с световыми фрагментами в нем.
Что касается гаммы, она может быть использована, например, для того, чтобы указывать то, кодирован материал, например, на основе материала ступенчатого целлулоидного негатива или с помощью цифровой камеры с настройкой сильной насыщенности. Альтернативно, любая другая причина отклоняться от одного целевого значения гаммы к другому, типично для конечного дисплея, на котором должен осуществляться рендеринг. EOTF типично, например, могут кодировать очень приблизительный характер изменения значений полутонов, к примеру, с компенсацией, например, для дисплея с различной гаммой или различными окружениями просмотра, компенсируемыми в качестве различных гамм. Следовательно, можно передавать такую информацию, как "сигнал, кодированный/предназначенный, например, оптимизированный, для эталонного дисплея гаммы=X", так что другой дисплей с другими характеристиками знает, как обрабатывать его, чтобы получать более оптимальный рендеринг для художественных задумок. Тональные преобразования могут быть более общими в том, что они также могут передавать, например, то, какие типичные задумки по рендерингу применены к изображению (например, художники нарисовали облака более угрожающе темными, что должно после всех окончательных математических расчетов для рендеринга дисплея по-прежнему показываться, по меньшей мере, приблизительно в выходном отображаемом изображении).
Посредством фиг. 23 поясняется один дополнительный пример, а именно, принцип кодирования любой HDR-сцены (приблизительно) в LDR-изображении (HDR_encoded_as_LDR), которое может представлять собой, например, стандарт 10-битового изображения, но при этом объясняется интересная разновидность кодирования в классическом 8-битовом изображении, т.е. в изображении, которое является совместимым, например, с MPEG2- или AVC-стандартом и в силу этого может быть непосредственно использовано посредством классической технологии рендеринга. Хотя может требоваться большое число битов для HDR-сигнала, например, 12, 16 или 22, 8 битов для канала сигнала яркости уже передают большой объем информации (множество возможных цветов, специально для аппроксимации сложных текстур) для любого пикового белого цвета рендеринга. Кроме того, множество HDR-сигналов могут обеспечивать значительную степень аппроксимации, поскольку, например, солнце не должно кодироваться точно с яркостью, которую оно фактически имеет, поскольку оно в любом случае должно аппроксимироваться при рендеринге на дисплее. Для LDR-диапазонов яркости, даже меньшее число битов зачастую является достаточным, поскольку, например, 6 битов дают приемлемую аппроксимацию/качество изображения (как известно из печати).
В примере, следовательно, HDR-изображение кодируется точно в 8-битовой структуре сигнала яркости посредством применения надлежащих преобразований, т.е. математических преобразований, по меньшей мере, для сигналов яркости пикселов, которые типично являются простыми. Критерии состоят в том, что, с одной стороны (посредством совместного кодирования преобразований), можно восстанавливать HDR-изображение (т.е., например, посредством 8-битовой или 12-битовой интерполирующей аппроксимации, предназначенной для рендеринга дисплея на 0,1-5000 нит) из 8-битового кодированного LDR-изображения посредством выполнения обратной обработки для совместно кодированных преобразований (без необходимости какой-либо или значительной посткоррекции), т.е. HDR-изображение выглядит психовизуально (почти) неразличимым, либо, по меньшей мере, оно по-прежнему является хорошим HDR-изображением (т.е. типично показывает вид HDR-сцены, аппроксимируя то, как HDR должно быть подготовлено посредством рендеринга, если оно формируется непосредственно из оригинала, например, 12-битового HDR-изображения IM_HDR с HDR-диапазоном HDR_Rng должных быть подготовленными посредством рендеринга яркостей). Тем не менее, с другой стороны, требуется LDR-изображение, т.е. когда 8-битовый сигнал непосредственно применяется к LDR-дисплею, например, 0,1-400 нит, что по-прежнему обеспечивает хороший визуальный рендеринг. Например, можно просто линейно сжимать HDR-изображение IM_HDR до LDR-диапазона LDR_Rng, например, посредством отбрасывания младших битов и допущения того, что белый цвет (максимальное значение кода 255) предназначен для рендеринга при 400 нит. Тем не менее, поскольку такие HDR-изображения типично содержат очень яркие объекты в верхней части диапазона сигнала яркости, такое 8-битовое изображение выглядит слишком темным на LDR-дисплее, поскольку релевантные более темные части изображения/сцены теперь заканчиваются при очень небольшом числе кодов сигнала яркости, т.е. выходных яркостей дисплея. Тем не менее, существенное улучшение может уже достигаться посредством применения оптимальной гаммы до кодирования 12-битового HDR-изображения на 5000 нит в классическое 8-битовое LDR на 400 нит, например, AVC-представление. Иными словами, эта гамма преобразует яркие объекты в более яркие части (например, делая их менее контрастными и пастельными, но при этом приемлемыми на LDR-дисплее, и при этом с достаточным объемом информации для того, чтобы снова выполнять приемлемое обратное преобразование в HDR), оптимально координированными, при одновременном отказе от слишком большого сжатия более темных частей (например, темного дерева), так что эти темные объекты по-прежнему выглядят достаточно яркими на LDR-дисплее (и также хорошая темная HDR-часть может воссоздаваться для темно выглядящего объемного вида; или достаточно данных текстуры доступно для более яркого кодирования на HDR-дисплее).
В общем, такое преобразование может быть общим глобальным преобразованием для сигналов яркости (т.е. преобразованием, которое не учитывает геометрические локальные детали, к примеру, в каком месте в изображении размещается пиксел, или каковы сигналы яркости его соседних пикселов, или какому объекту сцены он принадлежит, а вместо этого просто принимает в качестве ввода значение сигнала яркости пиксела). Немного более сложные преобразования могут быть совместно кодированы, к примеру, преобразование только для разграниченной подобласти или объекта в изображении (локальное преобразование, когда типично дополнительная информация совместно кодируется, к примеру, задание границы объекта). Тем не менее, в общем, хотя можно предусматривать любое преобразование для работы с раскрытыми вариантами осуществления, пусть и только для того, чтобы уменьшать объем работ типично человека-корректировщика, задающего эти оптимальные преобразования, типично их мало, и они просты (локальное преобразование не кодируется, если достаточно общей глобальной функции, такой как S-кривая или многоточечный сплайн).
Поясняется пример с устройством 510 кодирования изображений на стороне создателя контента, причем оптимизированное кодирование человеком выходного изображения типично представляет собой 8-битовое LDR-изображение Im_1 (типично осуществляемое с помощью функций преобразования или алгоритмических стратегий в качестве метаданных MET в некоторой структуре S сигналов изображений, к примеру, предписываемой в AVC или HEVC) на запоминающее устройство (к примеру, Blu-Ray-диск 511 или временное запоминающее устройство, для окончательного кодирования для сигнала, который должен быть сохранен или передан). Этот корректировщик может проверять изображение на одном или более дисплеях 530, например, проверять, выглядят LDR- и восстанавливаемое HDR-изображение или нет хорошо на соответствующих эталонных LDR- и HDR-дисплеях, перед отправкой инструкций в модуль 550 кодирования изображений (который выполняет преобразование в 8-битовый сигнал яркости) и модуль 554 форматирования, который финализирует изображение и его цветовые коды согласно текущему стандарту кодирования изображений и совместно кодирует изображение текстуры с метаданными преобразования в вывод 512.
В верхней части следует обратить внимание на то, как HDR-изображение IM_HDR (которое вводится через ввод 511 устройства 510 кодирования изображений) с HDR-диапазоном преобразуется в LDR-изображение с LDR-диапазоном подготовленных посредством рендеринга яркостей на LDR-дисплее.
Хотя HDR_encoded_as_LDR поясняется с кодированием на стороне создания контента для передачи на сторону использования контента, к примеру, домой потребителю, очевидно, что идентичные варианты осуществления HDR_encoded_as_LDR также могут быть использованы при передаче (например, посредством транскодирования) между различными устройствами, такими как, например, два бытовых устройства в домашней сети. Затем, например, модуль автоматического анализа и преобразования изображений может применять автоматический анализ изображений и соответствующий способ преобразования сигнала яркости. Это может выполняться, например, посредством устройства приема или сохранения контента при наличии представления первого изображения, такого как, например, 12-битовое HDR-изображение, и отправке его по HDMI или другому сетевому соединению на телевизионный приемник. Альтернативно, 8-битовое LDR-изображение может быть кодировано согласно стандарту беспроводной связи, для потоковой передачи на мобильный дисплей, с HDR-характеристиками, но в любом случае с меньшим визуальным качеством.
Типично, по меньшей мере, для новых HDR-стандартов, в случае если такое 8-битовое кодирование (например, 8-битовое для сигнала яркости и обычные 2x8-битовых кодирования для сигнала цветности) выполняется в классической LDR-схеме (например, MPEG), стандарт указывает в метаданных то, что это LDR-изображение фактически является не LDR-изображением, главным образом предназначенным для LDR-дисплеев (хотя, как описано выше, оно, возможно, имеет такую структуру, что оно по-прежнему выглядит приемлемым на LDR-дисплее, например, с пиковой яркостью или пиковым белым цветом в 100 нит), а HDR-изображением. Это может осуществляться с помощью общего HDR-кода, который, например, предположительно обеспечивает приемлемый рендеринг для HDR-дисплеев с пиковой яркостью приблизительно в 3500 нит. В метаданных совместно кодированная опорная величина первого целевого дисплея также может быть немного более конкретной в том, что этот HDR-сигнал первоначально скорректирован на, например, дисплее на 5000 нит. Это означает то, что фактические сигналы яркости изображаемых объектов (также при преобразовании в LDR-сигналы яркости) имеют значения в зависимости от того, что типично подготавливается посредством рендеринга на дисплее на 5000 нит (например, резервирование поддиапазона высокой яркости и переключение объекта сцены с нормальной яркостью, типично основных объектов в сцене, в направлении более глубоких значений сигнала яркости, уже, например, с коррекцией 16-битовых необработанных HDR-изображений). В этом случае фактический дисплей на 2500 нит или на 3500 нит, вместо того, чтобы просто использовать HDR-сигнал для возбуждения дисплея, при допущении, что он по-прежнему обеспечивает приемлемое изображение (пиковая яркость, находящаяся в диапазоне вокруг намеченного значения 5000 нит), дополнительно может оптимизировать функции преобразования цветов для оптимального преобразования палитры в фактическую палитру дисплея согласно критерию качества (например, подобие выходной яркости или психовизуальный показатель качества представления на HDR-эффектах и т.д.). Можно даже совместно кодировать второе значение пиковой яркости для конечного изображения HDR_encoded_as_LDR (например, выглядит наиболее приемлемым на дисплее на 250 нит, начинает демонстрировать незначительные артефакты при более высоких и или более низких пиковых яркостях, потенциально даже дополнительно указывает такие артефакты, предпочтительно функциональным способом (например, геометрическое местоположение и т.д.), так что модуль рендеринга может пытаться корректировать артефакты).
Под HDR-дисплеем подразумевается дисплей с пиковой яркостью, превышающей 750 нит, при этом дисплеи с более низкой пиковой яркостью и, в частности, ниже 500 нит являются LDR-дисплеями.
Предварительно определенный критерий качества для определения того, могут или нет LDR-рендеринг и HDR-рендеринг восстановленного HDR-сигнала из LDR-изображения (типично извлекаемого исключительно посредством выполнения обратной обработки совместно кодированных преобразований, но может осуществляться некоторая последующая обработка, к примеру, устройство на приемной стороне может применять границу квантования, уменьшая обработку изображений, например), представляет собой либо математический алгоритм, либо определение человеком-оператором того, что оно достаточно хорошо при кодировании конечных кодирований изображений для распространения. Применяемые человеком и программно-кодированные модули оценки качества применяют следующие критерии анализа изображений: достаточная или нет (локальная) контрастность в различных областях (т.е. по-прежнему сохраняющий достаточно видимости оригинала, например, эталонное целлулоидное 12- или 14-битовое HDR-изображение для сканирования негатива), в частности, областях, центральных в изображении, много или нет таких артефактов, как границы квантования, и насколько большими или широкими являются шаги, достаточно или нет пространственных подрежимов гистограммы яркости (сохранен или нет исходный кинематографический вид/задумка), в частности, имеют пространственно разделенные объекты достаточную контрастность между областями, и т.д. Кроме того, в частности, если оригиналы присутствуют, как, например, в сетевой системе подключенных устройств, отправляющее устройство (например, абонентская приставка) определяет то, является или нет сигнал восстанавливаемого HDR-изображения достаточно близким к оригиналу, например, 12-битовым HDR-сигналом, присутствующим в этом местоположении (что может осуществляться на основе таких математических критериев, как MSE или PSNR, или психовизуально взвешенных различий и т.д.). Например, после автоматического преобразования сигнала яркости и соответствующей автоматической цветокалибровки (которая может представлять собой, например, гамма-функцию или аналогичную степенную функцию либо S-кривую, настраиваемую для таких факторов, как типичная, например, средняя яркость в сцене либо дополнительный анализ изображений, такой как обнаружение небольших ярких областей, и задание для них собственного поддиапазона и соответствующей функции преобразования и т.д.), цветокорректировщик (например, после выполнения сначала эталонной коррекции для 16-битового исходного HDR-изображения) затем дополнительно проводит цветокоррекцию изображения HDR_encoded_as_LDR. С одной стороны, следовательно, это выполняется для того, чтобы обеспечивать хорошую применимую LDR-коррекцию, но с другой стороны также восстанавливаемое HDR-изображение, так что он может выделять важную информацию, содержащую области, подобластям LDR-диапазона, которые имеют достаточно значений кодов, но по-прежнему сдвигать их с тем, чтобы "усреднять" диапазоны сигнала яркости, которые показывают хороший рендеринг на LDR (например, не слишком темными, так что более темные области по-прежнему являются хорошо видимыми, но при этом являются достаточно темными, чтобы по-прежнему передавать настроение). Типично он может выполнять это посредством тонкой настройки функции(й) сигнала яркости/преобразования цветов от автоматических. По меньшей мере, сигналы яркости должны корректно располагаться, и в этом случае цвет может быть оптимизирован с этой исходной точки. Например, если определенная фоновая область становится темноватой при LDR-рендеринге, по-прежнему можно настраивать глобальную функцию преобразования в части, соответствующей этим пикселам, при условии что она не становится хуже в других частях LDR-рендеринга, и конечно через обратное преобразование восстанавливаемое HDR-изображение не приобретает субкритическое качество. В принципе, он может даже выбирать корректировать пространственно локальную область изображения (будь это в первый раз или во второй раз в дополнение к первому кодированию изображений для этой области) таким образом, что она соответствует другой пиковой яркости отображения или гамме и т.д. по сравнению с остальной частью изображения, так что до рендеринга модуль рендеринга должен учитывать это. Это может быть полезным, например, для того чтобы подчеркивать темные области, но в общем, требуется зафиксировать ситуацию как намеченное HDR-кодирование дисплея. Таким образом, затем также совместно кодируется глобальная функция преобразования из HDR в LDR (или ее обратная функция, преобразование из LDR в HDR) и, если применимо, дополнительные данные преобразования. Унаследованные системы должны игнорировать все означенное и в принципе могут использовать классически кодированное LDR-изображение, даже если опорная величина первого целевого дисплея и другая информация исключается из сигнала кодирования изображений, но, в общем, должны записывать ее в секторах данных, которые, например, зарезервированы для обновления и игнорируются посредством устаревших систем, но используются посредством более новых систем. Приставка для декодирования HDR-изображений может рассматривать эти данные в любом случае, даже если она может подключаться к старому LDR-дисплею. Вместо простого применения LDR-сигнала к дисплею для активации рендеринга, он затем может в некоторой степени улучшать LDR-сигнал посредством преобразования цветов с учетом всех локальных факторов и всей этой дополнительной информации метаданных (либо с использованием просто типа дисплея, который является намеченным, и преобразования "вслепую" входного LDR-сигнала на основе подобия текущего окружения рендеринга с намеченным окружением рендеринга, в котором работает корректировщик, либо также с использованием части или всей информации в функциях преобразования между LDR-кодированием и исходным HDR-кодированием, причем эта информация сообщает различия между ними, т.е. HDR-характер и композицию исходной сцены и/или скорректированного HDR-сигнала).
Такой сигнал имеет преимущество, что любая система с поддержкой HDR знает, что фактически имеется HDR-изображение, кодированное как LDR-изображение, и может оптимально восстанавливать это HDR-изображение перед рендерингом, и при этом обратно совместимые унаследованные LDR-системы также могут непосредственно использовать LDR-изображение для рендеринга.
Специалистам в данной области техники должно быть очевидным то, какие комбинации могут извлекаться из данных идей, к примеру, кодирование нескольких HDR-коррекций для нескольких HDR-дисплеев, например, при нескольких LDR-кодированиях, повторных коррекциях, альтернативах для различных ситуаций, таких как изменение в окружении просмотра, которые также могут рассматриваться в качестве типа рендеринга дисплея. Если упоминаются конкретные параметры, такие как 8-битовое унаследованное кодирование, разумеется, следует понимать, что это может осуществляться, например, с использованием технологии 10-битового LDR-кодирования, и нельзя исключать из защиты все разновидности, комбинации или простые альтернативные реализации. Таким образом, идеи формулы изобретения, конечно, могут быть комбинированы и считаются описанными без трудоемкого явного указания всех без исключения легко совместимых вариантов, если из нашего описания не очевидно, что они невозможны или целесообразны. Конечно, кодирования могут быть использованы в различных сценариях, будь то профессиональные или, например, мобильные потребительские, в нескольких вариантах применения, таких как, например, системы безопасности, сбор новостей и т.д. Они могут быть использованы в значительной степени автоматически в любой технической системе, к примеру, в IC либо в многокристальной или сетевой технической системе и т.д. Некоторые части изобретения могут формировать отдельные бизнес-приложения, как, например, любые из коррекций могут выполняться в качестве повторной коррекции для существующего кодирования изображений, будь то уже скорректированные таким образом, но теперь улучшенные или без определенной коррекции, как для нового популярного дисплея или способа отображения.
Следует принимать во внимание, что вышеприведенное описание для понятности описывает варианты осуществления со ссылкой на различные функциональные схемы, модули и процессоры. Тем не менее, должно быть очевидным, что любое надлежащее распределение функциональности между различными функциональными схемами, модулями или процессорами может быть использовано без отступления от изобретения. Например, функциональность, проиллюстрированная как выполняемая посредством отдельных процессоров или контроллеров, может быть выполнена посредством одного процессора или контроллера. Следовательно, ссылки на конкретные функциональные модули или схемы должны рассматриваться только как ссылки на надлежащее средство предоставления описанной функциональности, а не обозначать точную логическую или физическую структуру либо организацию.
Все варианты осуществления способа и идеи соответствуют соответствующему устройству и потенциально дополнительному продукту, такому как выходные сигналы, варианты осуществления и наоборот. Изобретение может быть реализовано в любой надлежащей форме, включающей в себя аппаратные средства, программное обеспечение, микропрограммное обеспечение или любую комбинацию вышеозначенного. Необязательно, изобретение может быть реализовано, по меньшей мере, частично как вычислительное программное обеспечение, выполняемое на одном или более процессоров данных и/или процессоров цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым надлежащим образом. Фактически, функциональность может быть реализована в одном модуле, во множестве моделей или как часть других функциональных модулей. По существу, изобретение может быть реализовано в одном модуле или может быть физически и функционально распределено между различными блоками, схемами и процессорами.
Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не имеет намерение быть ограниченным конкретной изложенной в данном документе формой. Вместо этого, объем настоящего изобретения ограничен только посредством прилагаемой формулы изобретения. Дополнительно, хотя предположительно признак описывается в данном документе в связи с конкретными вариантами осуществления, специалисты в данной области техники должны признавать, что различные признаки описанных вариантов осуществления могут быть комбинированы в соответствии с изобретением. В формуле изобретения, термин "содержащий" не исключает наличия других элементов или этапов.
Более того, хотя перечислены по отдельности, множество средств, элементов, схем или этапов способа может быть реализовано посредством, к примеру, одной схемы, модуля или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть преимущественно комбинированы, и их включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков является невыполнимой и/или преимущественной. Так же, включение признака в одну категорию пунктов формулы изобретения не налагает ограничение на эту категорию, а вместо этого указывает то, что признак в равной степени применим к другим категориям пунктов формулы изобретения по мере необходимости. Более того, порядок признаков в пунктах формулы изобретения не налагает какой-либо конкретный порядок, в котором признаки должны осуществляться, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не подразумевает, что этапы должны выполняться в этом порядке. Вместо этого, этапы могут выполняться в любом надлежащем порядке. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, ссылки на "первый", "второй" и т.д. не исключают множественность. Ссылки с номерами в формуле изобретения предоставлены просто в качестве поясняющего примера, и они не должны истолковываться как каким-либо образом ограничивающие объем формулы изобретения.
Изобретение относится к преобразованиям динамического диапазона для изображений. Техническим результатом является обеспечение возможности улучшенных преобразований динамического диапазона, которые могут адаптироваться к конкретным характеристикам рендеринга изображений. Устройство обработки изображений содержит приемное устройство (201) для приема сигнала изображения, содержащего кодированное изображение и опорную величину целевого дисплея. Опорная величина целевого дисплея указывает динамический диапазон целевого дисплея, для которого кодируется кодированное изображение. Процессор (203) динамического диапазона формирует выходное изображение посредством применения преобразования динамического диапазона к кодированному изображению в ответ на опорную величину целевого дисплея. Вывод (205) выводит сигнал выходного изображения, содержащий выходное изображение на подходящий дисплей. Преобразование динамического диапазона выполняется в ответ на индикатор динамического диапазона отображения, принимаемый из дисплея. 4 н. и 21 з.п. ф-лы, 23 ил.
1. Устройство обработки изображений, содержащее:
- приемное устройство (201) для приема сигнала изображения, причем сигнал изображения содержит по меньшей мере первое кодированное изображение и опорную величину первого целевого дисплея, причем опорная величина первого целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодируется первое кодированное изображение, причем опорная величина первого целевого дисплея содержит, по меньшей мере, яркость белых точек первого целевого дисплея, при этом приемное устройство (201) выполнено с возможностью обрабатывать яркости белых точек по меньшей мере 1000 нит и первое кодированное изображение, соответствующее им;
- процессор (203) динамического диапазона, выполненный с возможностью формировать выходное изображение посредством применения преобразования динамического диапазона к первому кодированному изображению с учетом опорной величины первого целевого дисплея; и
- вывод (205) для вывода сигнала выходного изображения, содержащего выходное изображение.
2. Устройство обработки изображений по п. 1, в котором опорная величина первого целевого дисплея содержит индикатор электрооптической передаточной функции для первого целевого дисплея.
3. Устройство обработки изображений по п. 1, в котором опорная величина первого целевого дисплея содержит индикатор тонального преобразования, представляющий тональное преобразование, используемое для того, чтобы формировать первое кодированное изображение для первого целевого дисплея.
4. Устройство обработки изображений по п. 1, 2 или 3, в котором сигнал изображения дополнительно содержит поле данных, содержащее управляющие данные преобразований динамического диапазона, при этом процессор (203) динамического диапазона дополнительно выполнен с возможностью осуществлять преобразование динамического диапазона в ответ на управляющие данные преобразований динамического диапазона.
5. Устройство обработки изображений по п. 1, в котором процессор (203) динамического диапазона выполнен с возможностью обнаруживать первое кодированное изображение, представляющее собой LDR-изображение, кодированное в качестве унаследованного 8-или 10-битового LDR-кодирования, такого как MPEG-AVC-кодирование, выполнен с возможностью считывать из метаданных, ассоциированных с сигналом изображения, преобразование динамического диапазона, соответствующее опорной величине первого целевого дисплея, и выполнен с возможностью формировать выходное изображение, представляющее собой изображение с расширенным динамическим диапазоном, скорректированное для рендеринга на первом целевом дисплее посредством применения преобразования динамического диапазона к первому кодированному изображению.
6. Устройство обработки изображений по п. 4, в котором управляющие данные преобразований динамического диапазона содержат различные параметры преобразования динамического диапазона для различных максимальных уровней яркости отображения.
7. Устройство обработки изображений по п. 4, в котором управляющие данные преобразований динамического диапазона содержат различные параметры тонального преобразования для различных максимальных уровней яркости отображения, при этом процессор (203) динамического диапазона выполнен с возможностью определять параметры тонального преобразования для преобразования динамического диапазона в ответ на различные параметры тонального преобразования и максимальную яркость для сигнала выходного изображения.
8. Устройство обработки изображений по п. 6, в котором управляющие данные преобразований динамического диапазона содержат различные параметры тонального преобразования для различных максимальных уровней яркости отображения, при этом процессор (203) динамического диапазона выполнен с возможностью определять параметры тонального преобразования для преобразования динамического диапазона в ответ на различные параметры тонального преобразования и максимальную яркость для сигнала выходного изображения.
9. Устройство обработки изображений по п. 4, в котором управляющие данные преобразований динамического диапазона содержат данные, задающие набор параметров преобразования, которые должны применяться посредством преобразования динамического диапазона.
10. Устройство обработки изображений по п. 4, в котором управляющие данные преобразований динамического диапазона содержат данные, задающие пределы для параметров преобразования, которые должны применяться посредством преобразования динамического диапазона.
11. Устройство обработки изображений по п. 4, в котором управляющие данные преобразований динамического диапазона содержат различные управляющие данные преобразований для различных категорий изображения.
12. Устройство обработки изображений по п. 1, 2 или 3, в котором сигнал изображения содержит второе кодированное изображение и опорную величину второго целевого дисплея, причем опорная величина второго целевого дисплея указывает динамический диапазон второго целевого дисплея, для которого кодируется второе кодированное изображение, при этом динамический диапазон второго целевого дисплея отличается от динамического диапазона первого целевого дисплея; и
- при этом процессор (203) динамического диапазона выполнен с возможностью применять преобразование динамического диапазона ко второму кодированному изображению в ответ на опорную величину второго целевого дисплея.
13. Устройство обработки изображений по п. 12, в котором процессор динамического диапазона изображения выполнен с возможностью формировать выходное изображение посредством комбинирования первого кодированного изображения и второго кодированного изображения.
14. Устройство обработки изображений по п. 1, 2 или 3, дополнительно содержащее:
- приемное устройство (1701) для приема сигнала данных из дисплея, причем сигнал данных содержит поле данных, которое содержит индикатор динамического диапазона отображения дисплея, при этом индикатор динамического диапазона отображения содержит по меньшей мере одну спецификацию яркости, при этом:
- процессор (203) динамического диапазона выполнен с возможностью применять преобразование динамического диапазона к первому кодированному изображению в ответ на индикатор динамического диапазона отображения.
15. Устройство обработки изображений по п. 1, 2 или 3, в котором процессор (203) динамического диапазона выполнен с возможностью выбирать между формированием выходного изображения в качестве первого кодированного изображения и формированием выходного изображения в качестве преобразованного изображения относительно первого кодированного изображения в ответ на опорную величину первого целевого дисплея.
16. Устройство обработки изображений по п. 1, 2 или 3, в котором преобразование динамического диапазона содержит преобразование палитры.
17. Устройство обработки изображений по п. 1, 2 или 3, дополнительно содержащее передающее устройство управляющих данных для передачи управляющих данных динамического диапазона в источник сигнала изображения.
18. Устройство обработки изображений по п. 1, 2 или 3, которое выполнено с возможностью принимать сигнал изображения, представляющий собой 8- или 10-битовый сигнал изображения, и выполненное с возможностью применять преобразование сигнала яркости к сигналу изображения на основе, по меньшей мере, опорной величины первого целевого дисплея, чтобы получать выходной сигнал с расширенным динамическим диапазоном.
19. Устройство кодирования сигналов изображений, выполненное с возможностью кодировать изображение, содержащее пикселы, которые должны быть подготовлены посредством рендеринга с яркостью по меньшей мере 1000 нит, содержащее:
- приемное устройство для приема кодированного изображения;
- формирователь для формирования сигнала изображения, содержащего кодированное изображение и опорную величину целевого дисплея, указывающую динамический диапазон целевого дисплея, для которого кодируется кодированное изображение, причем эта опорная величина целевого дисплея содержит яркость белых точек целевого дисплея, и эта опорная величина целевого дисплея позволяет приемным устройствам сигнала изображения осуществлять обработку оптимального динамического диапазона с учетом опорной величины целевого дисплея; и
- передающее устройство для передачи сигнала изображения.
20. Устройство кодирования сигналов изображений по п. 19, в котором опорная величина целевого дисплея содержит индикатор электрооптической передаточной функции для целевого дисплея.
21. Устройство кодирования сигналов изображений по п. 19, в котором опорная величина целевого дисплея содержит индикатор тонального преобразования, представляющий тональное преобразование, используемое для того, чтобы формировать первое кодированное изображение для первого целевого дисплея.
22. Устройство кодирования сигналов изображений по любому из пп. 19-21, в котором формирователь дополнительно выполнен с возможностью формировать сигнал изображения, содержащий поле данных, включающее в себя управляющие данные преобразований динамического диапазона, причем управляющие данные преобразований динамического диапазона указывают параметр преобразования динамического диапазона для кодированного изображения.
23. Устройство кодирования сигналов изображений по любому из пп. 19-21, содержащее модуль 550 кодирования изображений, выполненный с возможностью кодировать HDR-изображение (IM_HDR) в кодированное изображение (Im_1), имеющее сигналы яркости, кодированные с помощью 8 или 10 битов на пиксел и предназначенные для пиковой яркости отображения, превышающей 400 нит, посредством функции или алгоритма преобразования, который отличается тем, что как LDR-рендеринг этого 8- или 10-битового изображения (Im_1) сигнала яркости в расчете на пиксел на LDR-дисплее, так и HDR-рендеринг HDR-изображения, восстанавливаемого из 8- или 10-битового изображения (Im_1) сигнала яркости в расчете на пиксел при рендеринге на HDR-дисплее, имеет достаточное качество согласно предварительно определенному критерию качества, отличающееся тем, что данные для уникального отличия функции или алгоритма преобразования совместно кодируются в опорной величине первого целевого дисплея.
24. Способ обработки изображений, содержащий этапы, на которых:
- принимают сигнал изображения, причем сигнал изображения содержит по меньшей мере первое кодированное изображение и опорную величину первого целевого дисплея, причем опорная величина первого целевого дисплея указывает динамический диапазон первого целевого дисплея, для которого кодируется первое кодированное изображение, причем опорная величина первого целевого дисплея содержит, по меньшей мере, яркость белых точек первого целевого дисплея, при этом прием позволяет обрабатывать яркости белых точек по меньшей мере 1000 нит и первое кодированное изображение, соответствующее им;
- формируют выходное изображение посредством применения преобразования динамического диапазона к первому кодированному изображению с учетом опорной величины первого целевого дисплея; и
- выводят сигнал выходного изображения, содержащий выходное изображение.
25. Способ передачи сигнала изображения, выполненный с возможностью кодировать изображение, содержащее пикселы, которые должны быть подготовлены посредством рендеринга с яркостью по меньшей мере 1000 нит, при этом способ содержит этапы, на которых:
- принимают кодированное изображение;
- формируют сигнал изображения, содержащий кодированное изображение и опорную величину целевого дисплея, указывающую динамический диапазон целевого дисплея, для которого кодируется кодированное изображение, причем опорная величина целевого дисплея содержит яркость белых точек целевого дисплея, и эта опорная величина целевого дисплея позволяет приемным устройствам сигнала изображения осуществлять обработку оптимального динамического диапазона с учетом опорной величины целевого дисплея; и
- передают сигнал изображения.
| Колосоуборка | 1923 |
|
SU2009A1 |
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| Станок для изготовления деревянных ниточных катушек из цилиндрических, снабженных осевым отверстием, заготовок | 1923 |
|
SU2008A1 |
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| Способ и приспособление для нагревания хлебопекарных камер | 1923 |
|
SU2003A1 |
| Способ приготовления мыла | 1923 |
|
SU2004A1 |
| СПОСОБЫ УПРАВЛЕНИЯ ИСТОЧНИКОМ ИСХОДНОГО СВЕТА ДИСПЛЕЯ С ПЕРЕМЕННОЙ ЗАДЕРЖКОЙ | 2008 |
|
RU2426161C1 |
