Данная заявка притязает на приоритет заявки на патент США №60/962708, поданной 30 июля 2007 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES. Для патентования в США эта заявка:
- притязает на приоритет согласно 35 U.S.C. §119 заявки на патент США №60/962708, поданной 30 июля 2007 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES, которая, таким образом, включена здесь по ссылке;
- является частичным продолжением заявки на патент США №12/182121, поданной 29 июля 2008 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES; и
- притязает на приоритет согласно 35 U.S.C. §120 заявки на патент США №12/182121, поданной 29 июля 2008 г. и озаглавленной ENHANCING DYNAMIC RANGES OF IMAGES.
Область техники, к которой относится изобретение
Данное изобретение относится к формированию цифровых изображений. Изобретение, в частности, относится к устройству и способам расширения динамического диапазона изображений (включая неподвижные и/или видео изображения). Изобретение можно реализовать, без ограничения, в электронных дисплеях, медиаплеерах (например, DVD-плеерах), подсистемах обработки изображений для использования в электронных дисплеях и/или медиаплеерах и компьютерном программном обеспечении, обеспеченных на носителе, который может считываться и затем выполняться процессором данных.
Уровень техники
Человеческий глаз воспринимает свет в очень широком диапазоне интенсивности. Желательно, чтобы изображения имели широкий динамический диапазон для точного воспроизведения реальных сцен. Высокопроизводительные датчики изображения, например высокопроизводительные матрицы ПЗС, способны воспринимать изображения, имеющие широкий динамический диапазон. Устройства отображения нового поколения предположительно обеспечивают значительно более широкий динамический диапазон по сравнению с традиционной технологией отображения.
Большинство существующих кинофильмов, видеозаписей и неподвижных изображения записано в форматах, которые обеспечивают значительно более узкий динамический диапазон, чем могут обеспечить устройства отображения нового поколения. В будущем развитие технологий съемки и файловых форматов позволит обеспечивать контент высокой верности для этих устройств отображения. В ближайшее время желательно обеспечить возможность расширения динамического диапазона информационных сред суженного динамического диапазона (например, данных изображения в формате суженного динамического диапазона (LDR)). Это позволит зрителям наслаждаться, по меньшей мере, некоторыми преимуществами дисплеев с широким динамически диапазоном при воспроизведении существующих информационных сред.
Зрители, пользующиеся театральными системами формирования изображений (проекторами) и домашними кинотеатрами, могут быть очень разборчивыми. В этих и других применениях желательно обеспечивать изображения, по существу, не содержащие сколько-либо заметные артефакты.
В некоторых применениях желательно расширять динамический диапазон изображений (например, для создания сигнала улучшенного изображения) в реальном времени.
Сущность изобретения
Данное изобретение имеет несколько аспектов. Один аспект предусматривает способы, которые берут в качестве входа данные изображения в формате суженного динамического диапазона (LDR) и создают в качестве выхода данные улучшенного изображения, имеющие более широкий динамический диапазон, чем данные входного изображения. В некоторых вариантах осуществления способы применяются к видеоданным и осуществляются в реальном времени (т.е. обработка кадров видео для расширения динамического диапазона кадров видео выполняется, по меньшей мере, в среднем, на частоте кадров видеосигнала).
Дополнительные аспекты изобретения и признаки конкретных вариантов осуществления изобретения описаны ниже.
Краткое описание чертежей
Прилагаемые чертежи иллюстрируют неограничительные варианты осуществления изобретения.
Фиг.1 - блок-схема способа расширения динамического диапазона изображения согласно одному варианту осуществления изобретения.
Фиг.1A - блок-схема способа линеаризации данных входного изображения согласно одному иллюстративному варианту осуществления.
Фиг.2 - блок-схема, демонстрирующая иллюстративный способ генерации и применения функции повышения яркости к данным изображения.
Фиг.2A - блок-схема, демонстрирующая иллюстративный способ генерации маски, образующей функцию краевой остановки.
Фиг.2B - схема, демонстрирующая окрестность пикселя и иллюстративный способ определения градиента на пикселе.
Фиг.3A, 3B, 3C и 3D соответственно демонстрируют: иллюстративное входное изображение LDR, соответствующий компонент сглаживания, соответствующую функцию повышения яркости, которая была изменена компонентом краевой остановки, и выходное изображение расширенного динамического диапазона (HDR). Заметим, что носитель патентного чертежа не воспроизводит динамические диапазоны входного и выходного изображений.
Фиг.4A - блок-схема иллюстративного способа генерации гладкого компонента для функции повышения яркости.
Фиг.4B - блок-схема иллюстративного способа генерации компонента краевой остановки для функции повышения яркости.
Фиг.4C демонстрирует пирамиды изображений, которые можно использовать при генерации функции повышения яркости способами, представленными, например, на Фиг.4A и 4B.
Фиг.4D дополнительно демонстрирует концепции Фиг.4B и, в частности, относящиеся к генерации компонента краевой остановки.
Фиг.5 демонстрирует устройство согласно варианту осуществления изобретения.
Фиг.6 и 6A демонстрируют способ согласно конкретному варианту осуществления для расширения динамического диапазона данных изображения и генерации значений возбуждения для модуляторов дисплея двухмодуляторного типа для отображения данных улучшенного изображения.
Описание
На протяжении нижеследующего описания конкретные детали представлены для обеспечения более глубокого понимания изобретения. Однако изобретение можно осуществлять на практике без этих частностей. В других случаях общеизвестные элементы не показаны и не описаны подробно во избежание ненужного затемнения изобретения. Соответственно описание изобретения и чертежи следует рассматривать в иллюстративном, а не в ограничительном смысле.
На Фиг.1 показана блок-схема способа 20 расширения динамического диапазона цифрового изображения, заданного данными 21 изображения, согласно одному варианту осуществления изобретения. Данные 21 изображения могут представлять собой данные изображения суженного динамического диапазона (LDR). На блоке 22 пиксельные значения из данных 21 входного изображения линеаризуются. Блок 22 не требуется в случае, когда пиксельные значения в данных 21 входного изображения уже представлены в пространстве, в котором светимость линейно зависит от пиксельного значения. В некоторых вариантах осуществления блок 22 линеаризации можно устранить, используя вместо него дополнительную постобработку. Блок 22 выводит данные 23 линеаризованного изображения. Каждый пиксель в данных 23 линеаризованного изображения имеет значение или значения, по меньшей мере, приблизительно пропорциональные светимости пикселя.
Конкретная обработка, осуществляемая на блоке 22 линеаризации, зависит от кодирования изображения в данных 21 входного изображения. Например, типичные данные изображения и телевизионного изображения кодируются кривой гамма-распределения, имеющей значение гамма-распределения около 2.2. Эта кривая гамма-распределения призвана компенсировать нелинейности, свойственные традиционным технологиям отображения, например электронно-лучевым трубкам (ЭЛТ). Линеаризацию таких данных можно осуществлять с применением функции, которая инвертирует кривую гамма-распределения. Инверсия кривой гамма-распределения может обеспечивать пиксельные значения, приблизительно пропорциональные светимости в исходной сцене.
Функции линеаризации блока 22 можно реализовать с использованием поисковой таблицы (LUT). Например, блок 22 процедуры линеаризации может предусматривать поиск пиксельного значения для данных 21 входного изображения, извлечение соответствующего линеаризованного пиксельного значения из LUT и вывод соответствующего линеаризованного пиксельного значения в данные 23 линеаризованного изображения. В других вариантах осуществления функции линеаризации блока 22 можно реализовать посредством оборудования или программного обеспечения, выполняющегося на пригодном процессоре данных, которое берет в качестве входа пиксельные значения из данных 21 входного изображения и создает в качестве выхода соответствующие линеаризованные пиксельные значения для данных 23 линеаризованного изображения.
В некоторых вариантах осуществления процесс линеаризации блока 22 содержит выбор одной из совокупности функций линеаризации, которая наиболее пригодна для линеаризации данных 21 входного изображения. Некоторые форматы данных включают в себя информацию, которая прямо или косвенно идентифицирует нелинейное соотношение между пиксельными значениями и светимостью. Такую информацию можно найти, например, в заголовке, связанном с данными 21 входного изображения.
На Фиг.1A показан способ реализации блока 22 линеаризации согласно конкретному варианту осуществления, где данные 21 входного изображения включают в себя информацию кодирования, которая прямо или косвенно идентифицирует нелинейное соотношение между пиксельными значениями данных 21 входного изображения и предусмотренной светимостью. Согласно Фиг.1A, процесс линеаризации блока 22 может содержать: считывание информации кодирования (блок 20A); выбор одной из совокупности функций линеаризации 25 (указанных по отдельности как 25A, 25B, 25C …), которая согласуется с информацией кодирования (блок 20B); и применение выбранной линеаризации 25 к данным 21 входного изображения (блок 20C) для генерации данных 23 линеаризованного изображения.
В некоторых вариантах осуществления пиксельные значения в данных 23 линеаризованного изображения содержат абсолютные выходные интенсивности, подлежащие отображению на дисплее для соответствующих пикселей.
Согласно Фиг.1 на блоке 30 контрастность данных 23 линеаризованного изображения нормализуется для создания данных 31 нормализованного изображения. Нормализацию контрастности на блоке 30 можно осуществлять различными способами. В одном конкретном варианте осуществления нормализация на блоке 30 осуществляется согласно:
где LDRij - пиксельное значение (снабженное индексами i, j) из данных 23 линеаризованного изображения, HDRij - соответствующее пиксельное значение (снабженное индексами i, j) из данных 31 нормализованного изображения; α - параметр, который можно установить равным уровню черного дисплея, на котором будет отображаться изображение; и β - масштабный коэффициент. В некоторых вариантах осуществления α меньше 1 кд/м2. В иллюстративном варианте осуществления α находится в пределах от 0,05 до 0,6 кд/м2. В конкретном иллюстративном варианте осуществления α равен 0,3 кд/м2, что обеспечивает глубокий черный цвет в нормальных условиях наблюдения. Масштабный коэффициент β можно выбирать для обеспечения нужного коэффициента контрастности, который не настолько велик, чтобы результирующее изображение выглядело неестественно (например, возникали артефакты). Было обнаружено, что нормализацию контрастности вплоть до около 5000:1 (т.е. вплоть до около 5000) можно осуществлять для самых разнообразных изображений без внесения неприемлемых артефактов. Этот порог является консервативным. Для многих изображений можно использовать значительно большие масштабные коэффициенты β для получения выдающихся результатов. Однако в случае превышения этого порога некоторые изображения могут испытывать ухудшение визуального качества.
Масштабный коэффициент β можно устанавливать согласно уровню белого для дисплея, на котором будет отображаться изображение. Например, β можно выбирать так, чтобы насыщенные пиксельные значения в данных 23 линеаризованного изображения отображались в значение интенсивности, соответствующее точке белого. Точка белого может, например, превышать 1000 кд/м2. В модельном варианте осуществления точка белого была выбрана равной около 1200 кд/м2. Значения α и β можно выбирать в соответствии с любым целевым дисплеем. Значения α и β можно задавать независимо от любых характеристик изображения, представленного данными 23 линеаризованного изображения.
На необязательном блоке 40 (Фиг.1) фильтр изображения применяется к данным 31 нормализованного изображения для обеспечения данных 41 фильтрованного/нормализованного изображения. Необязательный блок 40 фильтрации может подавлять шум и артефакты квантования. Нормализация контрастности (блок 30) и нелинейное отображение (блок 22) пиксельных значений могут усиливать артефакты квантования и шум. Входные изображения LDR обычно квантуются до 256 пиксельных значений, тогда как свыше 1000 разных значений обычно используется для охвата динамического диапазона дисплеев HDR с точностью до порога "минимальной заметной разницы" (JND). Сжатие видеосигнала с потерями может дополнительно сокращать количество имеющихся уровней интенсивности в локальной области изображения. Процесс фильтрации необязательного блока 40 может применять неиспользуемые уровни интенсивности для сглаживания артефактов, которые иначе могли бы возникать за счет этого усиления артефактов квантования.
В некоторых вариантах осуществления блок 40 содержит применение разграничивающего фильтра к данным 31 нормализованного изображения. Пригодный разграничивающий фильтр описан в Tomasi and Manduchi 1998, Bilateral filtering for gray and color images, In Proc. of ICCV '98, 839. В общем случае разграничивающий фильтр может иметь вид:
где h(x) - выход фильтра для пикселя в положении x; A(x) - нормирующий множитель, f(x) - пиксельное значение в положении x; c(ξ-x) - весовая функция, которая уменьшается с расстоянием между пикселем в положении ξ и пикселем в положении x (c можно называть функцией 'близости'); и s(f(ξ)-f(x)) - весовая функция, которая уменьшается с разностью между f(x) и f(ξ) (s можно называть функцией 'подобия'). Интеграл в уравнении (2) можно вычислять в окрестности N(x) положения x.
Когда разграничивающий фильтр задан уравнением (2), нормирующую функцию A(x) можно задать в виде:
В некоторых вариантах осуществления функция близости (c) и функция подобия (s) являются гауссовыми функциями соответствующих аргументов. Например, c можно задать в виде:
где d(ξ-x) - евклидово расстояние между ξ и x, и σd - параметр, задающий дисперсию (т.е. насколько быстро c падает с увеличением расстояния между ξ и x). Функцию подобия (s) можно задать в виде:
где δ - пригодная мера расстояния в пространстве интенсивности между пиксельными значениями в положениях ξ и x, и σr - параметр, задающий дисперсию (т.е. насколько быстро s падает с увеличением разности между f(ξ) и f(x)).
В некоторых вариантах осуществления в качестве функции подобия (s) используется измененная функция, так что дисперсия σr функции подобия (s) возрастает со значением f(x). В таких вариантах осуществления может быть желательно нормализовать дисперсию σr пропорционально нормализации, вносимой нелинейным отображением интенсивности для локального пиксельного значения на блоке 30, так что после нормализации на блоке 30 фотометрическая дисперсия σr равна фиксированному количеству, предпочтительно двум, уровней квантования.
Эффект вышеописанного изменения σr в зависимости от f(x) аналогичен эффекту обеспечения разграничивающего фильтра с фиксированной дисперсией до нормализации на блоке 30. Однако осуществление блока 40 разграничивающего фильтра после блока 30 нормализации может иметь преимущество, поскольку после блока 30 нормализации блок 40 разграничивающего фильтра можно осуществлять в арифметике с фиксированной точкой. Поскольку осуществление разграничивающей фильтрации может требовать больших вычислительных мощностей, в случае, когда вычислительные ресурсы ограничены, желательно задействовать разграничивающий фильтр в относительно малой окрестности N(x) каждого пикселя. Например, в некоторых вариантах осуществления разграничивающую фильтрацию блока 40 можно осуществлять в окрестностях, которые включают в себя только пиксели, находящиеся в пределах около четырех межпиксельных промежутков от текущего пикселя.
В LDR-представлении изображения пиксели в наиболее ярких областях изображения обычно обрезаются (например, когда пиксельные значения в изображении LDR являются целыми числами в пределах от 0 до 255 (что соответствует восьмибитовому представлению), пиксели в наиболее ярких областях изображения могут иметь пиксельные значения, обрезанные на 255). Поскольку 255 является максимально возможным пиксельным значением, изображению LDR недостает информации относительно того, насколько ярче исходная сцена, чем минимальный порог, для выработки пиксельного значения 255. При расширении динамического диапазона изображения может быть желательно повышать значения обрезанных пикселей за пределы нормализации контрастности, осуществляемой на блоке 30.
Кроме того, для получения наилучшего изображения HDR на основании изображения LDR может быть желательно повышать значения наиболее ярких пикселей даже, когда эти пиксельные значения не обрезаны. Например, может быть желательно повышать значения для пикселей, имеющих значения на уровне белого изображения LDR или выше. В этих областях информация может быть потеряна, поскольку интенсивность сцены превышает возможности камеры, носителя записи или формата данных изображения.
Согласно Фиг.1 блок 50 генерирует и применяет к данным 41 фильтрованного изображения (или к данным 31 нормализованного изображения, если фильтрация не предусмотрена между блоками 30 и 50) функцию повышения яркости. Выходное изображение 51 генерируется в результате применения блока 50 функции повышения яркости. Блок 50 функции повышения яркости увеличивает светимость выходного изображения 51, особенно в областях, где пиксельные значения для, по меньшей мере, одного цветового канала превышают порог в данных 41 фильтрованного изображения. Такие области называются здесь 'областями улучшения'.
Блок 50 функции повышения яркости пытается изменить данные 41 фильтрованного изображения для обеспечения выходного изображения 51, которое будет обеспечивать у зрителя примерно такой же висцеральный отклик, как при наблюдении исходной сцены. Это возможно, даже когда невозможно точно заменить информацию, которая была потеряна из исходной сцены при генерации данных 21 входного изображения.
На Фиг.2 представлен способ реализации функции повышения яркости блока 50 согласно конкретному варианту осуществления изобретения. Согласно Фиг.2 блок 50 может содержать вычисление, на блоке 50A, функции 53 повышения яркости, которую можно применять к данным 41 фильтрованного изображения для обеспечения данных выходного изображения 51. Как описано ниже, функция 53 повышения яркости должна отличаться тем, что препятствует внесению заметных пространственных или временных артефактов, которые могут значительно ухудшать данные 51 выходного изображения. Верность, необходимая в данных 51 выходного изображения, зависит от их применения. В нижеследующем примере функция 53 повышения яркости генерирует значения, которые используются для умножения пиксельных значений в данных 41 фильтрованного изображения для создания данных 51 выходного изображения. В других вариантах осуществления функцию 53 повышения яркости можно применять к данным 41 фильтрованного изображения с использованием методов, отличных от умножения.
Функция 53 повышения яркости, в основном, изменяется гладко и имеет влияние, которое распространяется за пределы краев любых областей улучшения в данных 41 фильтрованного изображения. Результатом является увеличение яркости не только для пикселей в данных 41 фильтрованного изображения с цветовыми каналами, которые превышают пороговое значение (или другую меру светимости, которая удовлетворяет критерию включения в область улучшения), но для области вокруг таких пикселей. Как описано ниже, функция 53 повышения яркости может содержать резкие края в областях сильных градиентов изображения в данных фильтрованного изображения 41. В некоторых вариантах осуществления функция повышения яркости 53 генерируется путем объединения компонента 53A изменения сглаживания и компонента 53B краевой остановки. Как объяснено более подробно ниже, компонент 53B краевой остановки может идентифицировать положения резких градиентов в данных 41 фильтрованного изображения.
Компонент 53A изменения сглаживания функции 53 повышения яркости можно определить на основании карты, которая идентифицирует пиксели в фильтрованных данных 41, имеющие значения, которые превышают пороговое значение (или иначе удовлетворяют критериям включения в область улучшения). Удобно создавать двоичную маску 55, в которой пиксели, где, по меньшей мере, один цветовой канал превышает пороговое значение интенсивности (или пиксели, для которых некоторая другая мера светимости удовлетворяет критерию включения в область улучшения), имеет одно значение (например, "1"), и все остальные пиксели имеют другое значение (например, "0"). Когда представление данных изображения обеспечивает единичное значение светимости, или эквивалентное, то двоичную маску 55 можно создать, задав пиксели, светимость которых превышает пороговое значение, равными одному значению (например, "1") и другие пиксели равными другому значению (например, «0»).
В общем случае желательно установить пороговое значение для включения пикселей в область улучшения несколько ниже значения обрезки (т.е. наивысшего значения, разрешенного в данных 21 входного изображения). Некоторые форматы видео обычно используют уровень белого 235, подразумевая, что полный уровень белого отражающих объектов соответствует пиксельному значению 235 в каждом цветовом канале. Типичные видеопотоки также содержат более высокие, 'перенасыщенные' пиксельные значения, соответствующие отражающим ярким участкам или источникам света. Сжатие видеосигнала с потерями может изменять пиксельные значения на несколько шагов в любую сторону. Было обнаружено, что при обработке данных 21 входного изображения в формате RGB с учетом того, что каждый цветовой канал имеет пиксельные значения в пределах от 0 до 255, с использованием порогового значения 230 хорошо работает для отделения областей улучшения от других областей при наличии сжатия видеосигнала с потерями. Желательно, чтобы порог был меньше или равен точке белого для данного изображения. Для обычных фотографий было обнаружено, что порог 254 пригоден при наличии артефактов, внесенных сжатием с потерями.
Описанные здесь способы не очень чувствительны к конкретному порогу, выбранному для установления различия между пикселями, которые являются просто яркими или насыщенными, и пикселями, подлежащими повышению, в изображении HDR. Пороговое значение можно немного изменять, не вызывая значительного ухудшения вида выходного изображения. Не обязательно применять резкий или фиксированный порог.
Когда пиксельные значения заданы в RGB или аналогичном формате, в котором информация светимости задается раздельно для совокупности цветовых каналов, удобно и практично, но не обязательно применять один и тот же порог ко всем цветовым каналам. Приемлемые результаты можно получить, применяя один порог (например, 229) к одному цветовому каналу и другой порог (например, 231) к одному или нескольким другим цветовым каналам.
Компонент 53A изменения сглаживания функции 53 повышения яркости можно генерировать из двоичной маски 55 путем размывания маски 55 большим ядром гауссовой или приблизительно гауссовой кривой. Результатом является изображение 57 в градации серого, имеющее значение для каждого пикселя. Значения изображений в градации серого 57 наиболее велики в областях, которые соответствуют центральным участкам областей улучшения в данных 41 фильтрованного изображения, и значения гладко уменьшаются при удалении от центральных участков таких областей улучшения. Значения в изображении 57 в градации серого можно отобразить в диапазон от 1 до a, где a - мультипликативный коэффициент, который можно использовать для обеспечения компонента 53A изменения сглаживания повышения яркости. Отображение значений изображений 57 в градации серого в диапазон от 1 до a может быть линейным.
Ядро размывания, используемое для генерации изображения 57 в градации серого, преимущественно достаточно велико для того, чтобы в ожидаемых условиях наблюдения пространственный спектр фильтра размывания, используемого для размывания двоичной маски 55, содержал в основном достаточно малые угловые частоты, чтобы они не были заметны визуальной системе человека. Например, угловые частоты могут составлять 1 цикл/градус или менее, предпочтительно 0.5 цикл/градус или менее. Визуальная система человека не очень чувствительна к изменениям яркости, которые происходят на таких низких пространственных частотах.
Стандартное отклонение фильтра размывания в отношении расстояния между пикселями может зависеть от размеров дисплея и предполагаемого диапазона расстояний наблюдения. Например, на 37-дюймовом (по диагонали) дисплее с разрешением 1920×1080 пикселей модельный вариант осуществления применяет фильтр размывания, имеющий стандартное отклонение 150 пикселей. Это соответствует 1,2 градусам при расстоянии наблюдения 3 м. Стандартное отклонение фильтра размывания может соответствовать, по меньшей мере, 0,75 градусов, предпочтительно, по меньшей мере, 1 градусу, более предпочтительно, по меньшей мере, 1,1 градусу. В результате пространственный спектр фильтра размывания будет содержать в основном низкие угловые частоты и не будет содержать высокие угловые частоты, которые могут приводить к визуально возмущающим артефактам.
Большинство компьютерных мониторов предназначено для наблюдения на расстоянии приблизительно 0,5 метра. Такой монитор, имеющий ширину 30 см, занимает угол наблюдения приблизительно 30 градусов. Рекомендуемый угол наблюдения для телевизионных экранов в домашних кинотеатрах также обычно составляет в пределах от 30 до 36 градусов. Когда предусмотренный угол наблюдения равен 30 градусам, стандартное отклонение, равное 0,025 от горизонтального разрешения дисплея, будет охватывать около 0,75 градусов, и стандартное отклонение, равное 0,05 от горизонтального разрешения дисплея, будет охватывать около 1,5 градуса.
Когда описанные здесь способы применяются для генерации изображения, отображаемого на телевизионном экране, может быть желательно, чтобы стандартное отклонение фильтра размывания составляло, по меньшей мере, около 0,025 от горизонтального разрешения дисплея и более преимущественно, по меньшей мере, около 0,033 (где 'около' означает ±15%) от горизонтального разрешения дисплея. Например, для дисплея, имеющего горизонтальное разрешение 1920 пикселей, стандартное отклонение фильтра размывания составляет преимущественно по меньшей мере, около 50 пикселей и более преимущественно, по меньшей мере, около 65 пикселей. Как отмечено выше, хорошие результаты на дисплее с таким горизонтальным разрешением были достигнуты со стандартным отклонением 150 пикселей.
Значение коэффициента усиления яркости a можно выбирать на основании возможностей целевого дисплея. Коэффициент усиления яркости a не должен быть настолько большим, чтобы он генерировал выходные значения, которые значительно превышают выходы, на которые способен дисплей. В модельном варианте осуществления значение a=4, соответствующее пиковой интенсивности 4×1200=4800 кд/м2, было найдено для получения хороших результатов на дисплее модели DR37 Brightside™. В силу большого радиуса размывания пиковая интенсивность достигается только в больших областях улучшения. Также можно использовать более высокие или низкие значения коэффициента усиления яркости a. Для некоторых изображений можно применять значения a до 32 или около того, не внося значительные артефакты. Когда способ применяется к широкому диапазону изображений без регулировки, предпочтительно более консервативное значение a, например значение в пределах от 2 до 9 или 10. В некоторых вариантах осуществления a может составлять в пределах от 3 до 12.
Компонент 53A сглаживания функции 53 повышения яркости, применяемой к данным 41 фильтрованного изображения, сам по себе нормализует глобальную контрастность и обеспечивает изображения, которые выглядят более четкими, чем данные 31 нормализованного изображения, наблюдаемые на дисплее HDR. Однако компонент 53 A сглаживания не повышает локальную контрастность вокруг резких краев. Для дополнительного улучшения вида при таких условиях функцию 53 повышения яркости можно снабдить компонентом 53B краевой остановки. Компонент краевой остановки 53B функции 53 повышения яркости ограничивает влияние компонента 53A сглаживания в областях изображения, которые отделены от области улучшения резкими краями.
Компонент 53B краевой остановки может содержать двоичную маску, которая имеет пиксельные значения, указывающие, следует ли применять компонент 53A сглаживания к пикселю. Компонент 53B краевой остановки и компонент 53A сглаживания можно объединять, указывая пиксели компонента 53A сглаживания, которые соответствуют пикселям функции 53B краевой остановки, имеющим значения, которые указывают, что компонент 53A сглаживания не следует применять. Значения для указанных таким образом пикселей в компоненте 53A сглаживания можно задавать равными 1 (чтобы они не влияли на соответствующие значения в фильтрованном изображении 41).
На Фиг.2A показан способ для генерации маски, образующей функцию 53B краевой остановки на основании маски 55 и градиентного изображения 59. Градиентное изображение 59 можно генерировать из данных фильтрованного изображения 41, и оно может принимать вид двоичной маски, имеющей пиксельные значения, указывающие, превышает ли пороговое значение градиент на каждом пикселе фильтрованных данных 41.
Затем функцию 53B краевой остановки можно генерировать соответствующим пикселям с большой величиной градиента (например, свыше порога) или границы области влияния компонента 53A сглаживания.
Градиенты для градиентного изображения 59 можно вычислять методом разделенных разностей. Например, градиент на пикселе 200 на Фиг.2B можно определить, вычислив разности между пикселями, соседствующими по вертикали 201A и 201B, и пикселями, соседствующими по горизонтали 202A и 202B. В иллюстративном варианте осуществления градиент вычисляется согласно:
где G - градиент, A - пиксельное значение пикселя 201A, B - пиксельное значение пикселя 201B, C - пиксельное значение пикселя 202A, и D - пиксельное значение пикселя 202B. Для надежности желательно использовать широкую базовую линию в несколько пикселей (т.е. 201A и 201B отстоят на несколько пикселей, и 202A и 202B отстоят на несколько пикселей). Согласно варианту осуществления, представленному на Фиг.2B, базовая линия составляет 5 пикселей. Это было установлено, чтобы помочь обеспечить толстые края в градиентном изображении 59, которые надежно предотвращают проникновение алгоритма сплошной заливки через края.
В некоторых вариантах осуществления может быть желательно дополнительно обрабатывать компонент 53B краевой остановки морфологическим оператором 'OPEN' [размыкания] (обычно обозначаемым символом '°') и слегка размывать результат для подавления ступенчатости. Оператор OPEN (не показанный в явном виде на Фиг.2A) может сглаживать контуры и разрывать узкие перешейки. Оператор OPEN может действовать, уменьшая все края на один пиксель и затем добавляя пиксели, соседствующие с любыми краями, в результирующее изображение. Дополнительно обработанный компонент 53B краевой остановки можно затем объединить с вышеописанным компонентом 53A сглаживания для обеспечения функции 53 повышения яркости. Результирующую функцию 53 повышения яркости можно умножить на данные 41 фильтрованного изображения для обеспечения данных 51 выходного изображения.
На Фиг.3A, 3B и 3C соответственно показаны: иллюстративное входное изображение LDR 60; соответствующий компонент 53A сглаживания и соответствующая функция 53 повышения яркости, которая был изменена объединением компонента 53A сглаживания с компонентом 53B краевой остановки.
Один вычислительно-эффективный подход к генерации компонента 53A сглаживания и компонента 53B краевой остановки предусматривает понижение частоты дискретизации и повышение частоты дискретизации данных изображения, показанные на Фиг.4A и 4B, которые соответственно описывают способ 70 генерации компонента 53A сглаживания и способ 71 генерации компонента 53B краевой остановки функции 53 повышения яркости согласно конкретным вариантам осуществления изобретения. Компонент 53A сглаживания можно генерировать способом 70, представленным на Фиг.4A. Способ 70 начинается с маски 55. Маска 55 может быть аналогична вышеописанной маске 55 (Фиг.2) и может быть получена в процессе, аналогичном описанному выше. На блоке 72 маска 55 подвергается понижению частоты дискретизации N раз для получения маски 73 с пониженной частотой дискретизации. Каждый из N этапов понижения частоты дискретизации блока 72 может сокращать количество пикселей с пригодным коэффициентом в каждом измерении. В некоторых вариантах осуществления удобно понижать частоту дискретизации таким образом, чтобы количество пикселей в каждом измерении сокращалось в два раза (чтобы полное количество пикселей сокращалось в четыре раза) на каждом из N этапов понижения частоты дискретизации блока 72.
В иллюстрируемом варианте осуществления компонент 53A сглаживания получают из маски 73 с пониженной частотой дискретизации посредством цикла 74. Цикл 74 содержит N итераций, причем каждая итерация содержит: применение фильтра размывания на блоке 74A (который может содержать применение гауссова размывания, имеющего малое ядро, например гауссово размывание, применяемое к окрестности каждого пикселя размером 3×3 пикселя); и затем повышение частоты дискретизации результата на блоке 74B (которое может предусматривать интерполяцию методом ближайшего соседа). Эту технику можно описать как технику пирамиды изображений. Использование пирамид изображений описано в Burt P. and Adelson E., 1983, The Laplacian pyramid as a compact image code, IEEE Trans, on Communication 31, 4, 532-540. Результатом способа 70 является компонент 53A сглаживания.
В некоторых вариантах осуществления компонент 53B краевой дискретизации N раз для обеспечения градиентного изображения 77 с пониженной частотой дискретизации. Функцию 53B краевой остановки можно получить из маски 73 с пониженной частотой дискретизации в цикле 79, N раз производя повышение частоты дискретизации маски с пониженной частотой дискретизации с использованием интерполяции методом ближайшего соседа (блок 78A) и применяя к результату морфологическую операцию 'DILATION' [дилатация (расширение)] (блок 78B). Операция DILATION (обычно обозначаемая символом '⊕') осуществляется на малых блоках (например, 3x3 пикселя) (т.е. с использованием квадратного структурного элемента 3×3) и изменяется для остановки на пикселях, которые соответствуют краю (например, помечены как имеющие высокий градиент в краевом изображении соответствующего разрешения).
На Фиг.4D дополнительно показаны эти концепции и, в частности, относящиеся к генерации компонента 53B краевой остановки. Как показано, способ 71 начинается с градиентного изображения 75, представляющего градиент фильтрованного изображения 41. Градиенты для данных градиентного изображения 75 можно определить с использованием процесса (например, разделенных разностей), аналогичного описанному выше для данных градиентного изображения 59. Способ 71 также начинается с маски 73 с пониженной частотой дискретизации (Фиг.4A), которую можно получить способом, аналогичным описанному выше. На блоке 76 градиентное изображение 75 подвергается понижению частоты дискретизации N раз для обеспечения набора из N градиентных изображений 77 с пониженной частотой дискретизации, причем каждое из N градиентных изображений 77 с пониженной частотой дискретизации имеет соответствующее разрешение. Маска 73 с пониженной частотой дискретизации и одно из градиентных изображений 77 с пониженной частотой дискретизации затем подвергаются морфологической операции DILATION (блок 78A). Блок 78A операции DILATION (обычно обозначаемой символом '⊕') можно осуществлять на малых блоках (например, 3×3 пикселя) (т.е. с использованием квадратного структурного элемента 3×3) маски 73 с пониженной частотой дискретизации. На блок 78A операции DILATION может поступать одно из градиентных изображений 77 с пониженной частотой дискретизации, имеющих такое же или почти такое же разрешение, как у маски 73 с пониженной частотой дискретизации. Блок 78A операции DILATION можно изменить для остановки на пикселях, которые соответствуют краю (например, пикселях, определенных или иначе помеченных как имеющие высокий градиент в соответствующем одном из градиентных изображений 77 с пониженной частотой дискретизации эквивалентного разрешения).
Результат блока 78A операции DILATION поступает в цикл 79, который используется для получения функции 53B краевой остановки. Цикл 79 содержит N итераций, причем каждая итерация содержит: повышение частоты дискретизации (на блоке 78B) результата предыдущей итерации цикла 79 (или результата блока 78A операции DILATION в случае начальной итерации цикла 79); и применение морфологической операции 'DILATION' (на блоке 78C) к результату блока 78B, подвергнутому повышению частоты дискретизации. Процедура повышения частоты дискретизации блока 78B может содержать интерполяцию методом ближайшего соседа. Операция DILATION блока 78C может быть аналогичной операции вышеописанного блока 78A, за исключением того, что операция DILATION блока 78C может брать в качестве входа одно из градиентных изображений 77 с пониженной частотой дискретизации, имеющих такое же или почти такое же разрешение, как у выхода процесса повышения частоты дискретизации блока 78B, и блок 78C операции DILATION можно изменить для остановки на пикселях, которые соответствуют краю (например, пикселях, определенных или иначе помеченных как имеющие высокий градиент в соответствующем одном из градиентных изображений 77 с пониженной частотой дискретизации эквивалентного разрешения). В иллюстрируемом варианте осуществления по завершении цикла 79 будет выполнено N операций повышения частоты дискретизации и N+1 операций DILATION. В других вариантах осуществления начальный блок 78A операции дилатации не требуется, т.е. может быть выполнено N операций повышения частоты дискретизации и N+1 операций DILATION. Выходом цикла 79 является компонент 53B краевой остановки.
Преимущественно радиус (размер блока), на котором действует операция DILATION (блоки 78A, 78C), может быть равен радиусу, на котором осуществляется операция размывания блока 74A (Фиг.4A). Это приводит к распространению за пределы границ областей, в которых действуют оператор размывания (блок 74A) и операторы DILATION (блоки 78A, 78C) с одной и той же скоростью при последовательных итерациях повышения частоты дискретизации.
На Фиг.4C показаны изображения с пониженной частотой дискретизации и градиентные изображения, обеспечивающие пирамиды изображений, которые можно применять при осуществлении способов 70, 71, показанных на Фиг.4A, 4B. В частности: столбец (1) Фиг.4C иллюстрирует операцию понижения частоты дискретизации блока 72 (Фиг.4A); столбец (2) Фиг.4C иллюстрирует операции размывания блока 74A и повышения частоты дискретизации блока 74A цикла 74 (Фиг.4A); столбец (3) Фиг.4C иллюстрирует блок 76 понижения частоты дискретизации градиентного изображения 75 для получения набора градиентных изображений 77 с пониженной частотой дискретизации (Фиг.4B); и столбец (4) Фиг.4C иллюстрирует операции блоков 78A, 78C DILATION и повышения частоты дискретизации блока 78B цикла 79 (Фиг.4B).
Описанные здесь иллюстративные способы можно реализовать таким образом, чтобы обеспечить преимущественные характеристики, которые могут включать в себя одно или несколько из следующих:
- Способы можно реализовать как алгоритмы, выполняемые графическими процессорами ('GPU');
- Способы можно реализовать как алгоритмы, которые могут выполняться сигнальными процессорами, специализированными интегральными схемами (ASIC) или вентильными матрицами, программируемыми пользователем ('FPGA'), которые могут располагаться в дисплеях, медиаплеерах и т.п.
- Способы достаточно эффективны для осуществления в реальном времени на динамических видеопотоках с разрешением HDTV.
- Пользовательский ввод не требуется. Все параметры можно выбрать заранее на основании аппаратных характеристик дисплея, на котором будут отображаться изображения.
- Способы могут быть устойчивыми в том смысле, что они позволяют избегать создание возмущающих артефактов. Визуальное качество выходного изображения HDR может быть, по меньшей мере, столь же высоким, как у входного изображения, для очень широкого диапазона контента.
- Выходной видеопоток может обладать временной когерентностью (так что цвета и интенсивности не изменяются резко, если этого не происходит во входном изображении).
На Фиг.5 показано устройство 80 согласно иллюстративному варианту осуществления изобретения. Устройство 80 содержит вход 82, который принимает данные 21 входного изображения (Фиг.1). Данные изображения последовательно проходят через линеаризатор 84, нормализатор контрастности 86 и необязательный фильтр 88. Выход фильтра 88 поступает на систему 90 сравнения с порогом и пространственный фильтр 92 для создания данных, определяющих компонент 53A сглаживания. Пространственный фильтр 92 может, например, осуществлять операции способа 70 (Фиг.4A). Выход фильтра 88 также последовательно проходят через вычислитель 93 градиента, фильтр 94 и систему 96 сравнения с порогом для обеспечения компонента 53B краевой остановки. Данные, определяющие компонент 53A сглаживания и компонент 53B краевой остановки, поступают на генератор 98 компонента повышения яркости, который генерирует функцию 53 повышения яркости. Функция 53 повышения яркости и выход фильтра 88 поступают на умножитель 99, который в иллюстрируемом варианте осуществления перемножает (например, попиксельно перемножает) выход фильтра 88 и функцию 53 повышения яркости. В иллюстрируемом варианте осуществления выход умножителя 99 поступает на выход 95. В других вариантах осуществления умножитель 99 может осуществлять какую-либо другую форму отображения или функции (т.е. отличную от попиксельного умножения), которая берет в качестве входа выход фильтра 88 и функцию 53 повышения яркости и выводит результирующие данные 95. В некоторых вариантах осуществления выходные данные на выходе 95 могут сохраняться в хранилище данных или могут продолжаться на тракте данных дисплея, который отображает выходные данные. Устройство 80 может обрабатывать данные, принятые на входе 82 в реальном времени.
Элементы, показанные на Фиг.5, можно реализовать любым пригодным образом. Например, эти элементы могут содержать программное обеспечение, выполняющееся на пригодном процессоре данных, фиксированных аппаратных схемах, перенастраиваемом оборудовании, например FPGA или их частях, приспособленных для осуществления необходимых функций, и т.п.
Некоторые дисплеи HDR относятся к типу, который имеет два модулятора, и их можно называть двухмодуляторными дисплеями HDR. Первый модулятор создает световую картину, и второй модулятор модулирует световую картину, созданную первым модулятором, для обеспечения изображения. Первый модулятор возбуждается для создания представления изображения сравнительно низкого разрешения. Представление низкого разрешения модулируется вторым модулятором для обеспечения изображения более высокого разрешения, которое может наблюдать наблюдатель. Первый модулятор может содержать матрицу или массив активно модулируемых источников света, например светодиодов (СИД) и т.п. или, альтернативно, модулятор, который модулирует свет, излучаемый источником света, функционально отдельным от модулятора. Первый модулятор можно называть светоизлучающим слоем или слоем источников света. Количество излучаемого света как функция положения на светоизлучающем слое можно контролировать. Второй модулятор представляет собой жидкокристаллический дисплей (ЖКД) в некоторых вариантах осуществления. Такие двухмодуляторные дисплеи HDR генерируют отдельные сигналы возбуждения для первого и второго модуляторов.
Некоторые подходы к генерации сигналов возбуждения для первого и второго модуляторов в двухмодуляторных дисплеях описаны в международной патентной заявке №PCT/CA2005/000807, поданной 27 мая 2005 г. и озаглавленной RAPID IMAGE RENDERING ON DUAL-MODULATOR DISPLAYS. Эта заявка была опубликована под номером WO 2006/010244 и, таким образом, включена сюда в порядке ссылки.
Существует синергизм между вышеописанными способами расширения динамического диапазона и способами, которые можно применять для генерации сигналов возбуждения для модуляторов в двухмодуляторном дисплее. В частности, некоторые промежуточные результаты (например, различные уровни данных изображения с пониженной/повышенной частотой дискретизации) полезны для обоих способов. В некоторых вариантах осуществления описанные здесь способы и устройство для расширения динамического диапазона объединяются со способами и устройством для генерации сигналов возбуждения для двухмодуляторного дисплея. Преимущественно в таких вариантах осуществления данные могут обобществляться между способами. Это позволяет экономить аппаратные и/или вычислительные ресурсы. Конкретная экономия приводит к некоторым вариантам осуществления, где некоторые данные изображения с пониженной частотой дискретизации используются как для расширения динамического диапазона изображения, так и для генерации надлежащих сигналов возбуждения (например, сигналов возбуждения для одного из модуляторов), чтобы двухмодуляторный дисплей отображал улучшенное изображение. В некоторых вариантах осуществления устройства, отвечающие изобретению, входят в состав микросхемы видеопроцессора, используемой в дисплее, или микросхемы драйвера дисплея, используемой в дисплее.
На Фиг.6 и 6A представлен способ 100 улучшения и отображения изображения согласно иллюстративному варианту осуществления. Способ 100 может осуществляться, например, в схеме двухмодуляторного дисплея. На блоке 102 входное изображение LDR 101A линеаризуется в пространстве интенсивности для обеспечения линеаризованного изображения 101B. Если входное изображение LDR 101A закодировано с помощью кривой гамма-коррекции, блок 102 может содержать гамма-коррекцию, корректирующую значения светимости изображения LDR 101A для получения данных 101B линеаризованного изображения.
На блоке 104 линеаризованное изображение 101B подвергается понижению частоты дискретизации (например, до разрешения, совпадающего с разрешением элементов слоя источников света (т.е. первого модулятора) двухмодуляторного дисплея, который используется для отображения изображения) для создания данных 105 изображения с пониженной частотой дискретизации. Понижение частоты дискретизации на блоке 104 можно осуществлять в один или несколько этапов. Слой источников света может содержать, например, матрицу источников света, например светодиодов (СИД), массив управляемых пикселей в модуляторе отражающего типа или пропускающего типа, который регулирует пропускание света от общего источника света или набора источников света, и т.п. Разрешение изображения 105 с пониженной частотой дискретизации обычно выше, чем у градиентного изображения 77 с пониженной частотой дискретизации (см. Фиг.4B) или чем у изображения 107 самого низкого разрешения, используемого для расширения динамического диапазона.
Изображение 105 с пониженной частотой дискретизации можно сохранять (например, сохранять в пригодной памяти и т.п.). На блоке 106 изображение 105 с пониженной частотой дискретизации дополнительно подвергается понижению частоты дискретизации для обеспечения изображения 107 самого низкого разрешения. Изображение 107 самого низкого разрешения может иметь разрешение, необходимое для генерации функции 53 повышения яркости (например, для осуществления способов 70, 71, показанных на Фиг.4A, 4B). Понижение частоты дискретизации на блоке 106 можно осуществлять в виде последовательности этапов понижения частоты дискретизации.
Маска 109, идентифицирующая области улучшения, подготавливается на блоке 108. Блок 108 может содержать сравнение пиксельных значений в изображении 107 самого низкого разрешения с одним или несколькими пороговыми значениями и генерацию маски 109, преобразованной к двоичному виду, например, как описано выше. Маска 109 (Фиг.6) может соответствовать вышеописанный маске 73 с пониженной частотой дискретизации (Фиг.4A, 4B) и может генерироваться на блоке 108 с использованием процесса, аналогичного описанному выше. В некоторых вариантах осуществления маску полного разрешения, преобразованную к двоичному виду (аналогичная маске 55, показанной на Фиг.2, 4A), можно генерировать непосредственно из данных линеаризованного изображения 101B, после чего саму маску полного разрешения, преобразованную к двоичному виду, можно подвергать понижению частоты дискретизации для получения маски 109.
На блоке 110 градиентное изображение 111 вычисляется на основании данных линеаризованного изображения 101B. Градиентное изображение 111 (Фиг.6) может соответствовать градиентному изображению 75 (Фиг.4B) и может вычисляться на блоке 110 способом, аналогичным описанному выше. На блоке 112 градиентное изображение 111 подвергается понижению частоты дискретизации до такого же разрешения, как у изображения 107 и маски 109 самого низкого разрешения. В иллюстрируемом варианте осуществления понижение частоты дискретизации осуществляется блоком 112 в виде последовательности этапов понижения частоты дискретизации для обеспечения набора градиентных изображений 113 с пониженной частотой дискретизации с разными разрешениями. Набор градиентных изображений 113 с пониженной частотой дискретизации (Фиг.6) может соответствовать набору градиентных изображений 77 с пониженной частотой дискретизации (Фиг.4B) и может генерироваться на блоке 112 способом, аналогичным описанному выше.
На блоке 114 маска 109 подвергается повышению частоты дискретизации несколько раз для достижения разрешения линеаризованного изображения 101B. Как объяснено выше в цикле 74 (Фиг.4A), гауссово размывание (блок 74A на Фиг.4A) можно применять до каждого этапа повышения частоты дискретизации на блоке 114. Результатом повышения частоты дискретизации на блоке 114 является изображение 115 в градации серого. Изображение 115 в градации серого может соответствовать изображению 57 в градации серого (Фиг.2) и/или компоненту 53A сглаживания (Фиг.2, Фиг.4A) функции повышения яркости.
На блоке 116 маска 109 подвергается повышению частоты дискретизации до такого же разрешения, как у изображения 105 с пониженной частотой дискретизации. Результат операции повышения частоты дискретизации на блоке 116 сохраняется (например, сохраняется в пригодной памяти и т.п.) в качестве изображения 117 с повышенной частотой дискретизации. Как объяснено выше в способе 71 (Фиг.4B), операцию DILATION (блоки 78A, 78C на Фиг.4B) можно применять на каждом этапе повышения частоты дискретизации блока 116. Как рассмотрено выше в связи с операциями DILATION блоков 78 A, 78C, на каждом этапе повышения частоты дискретизации блока 116 градиентное изображение 113 соответствующего разрешения можно использовать в качестве краевой остановки (например, для ограничения области действия операции DILATION и/или соответствующей области действия функции повышения яркости). Например, пикселям, соответствующим пикселям высокого градиента в соответствующем градиентном изображении 113, можно присвоить значение, которое приведет к тому, что функция повышения яркости будет влиять на эти пиксели в меньшей степени или вовсе не будет влиять на них.
На блоке 118 изображение 117 с повышенной частотой дискретизации дополнительно подвергается повышению частоты дискретизации до разрешения линеаризованного изображения 101B. Результатом повышения частоты дискретизации на блоке 118 является изображение 119 с повышенной частотой дискретизации. Хотя это явно не показано на Фиг.6, процедура повышения частоты дискретизации блока 118 также может предусматривать операцию DILATION, аналогичную той, которая осуществляется на блоках 78A, 78C (Фиг.4B). Опять же, на каждом этапе повышения частоты дискретизации блока 118 градиентное изображение 113 соответствующего разрешения можно использовать в качестве краевой остановки (например, для ограничения области действия операции DILATION и/или соответствующей области действия функции повышения яркости). Изображение 119 с повышенной частотой дискретизации может соответствовать компоненту 53B краевой остановки (Фиг.4B) функции повышения яркости.
На блоке 120 изображение 115 в градации серого перемножается (например, путем попиксельного умножения) с изображением 119 с повышенной частотой дискретизации для обеспечения изображения 121 улучшения. В другом варианте осуществления блок 120 может содержать какое-либо другое отображение, которое берет в качестве входа изображение 115 в градации серого и изображение 119 с повышенной частотой дискретизации и выводит изображение 121 улучшения. На блоке 122 сглаживающий фильтр применяется к изображению 121 улучшения для обеспечения изображения 123 расширения насыщенности. В других вариантах осуществления блок 122 может предусматривать другие методы сглаживания или иного удаления или подавления ступенчатости в изображении 121 улучшения для обеспечения изображения 123 расширения. Изображение 123 расширения может соответствовать вышеописанной функции 53 повышения яркости (Фиг.2).
На блоке 124 (Фиг.6A) изображение 123 расширения насыщенности перемножается (например, путем попиксельного умножения) с данными линеаризованного изображения 101B для обеспечения изображения HDR 125. В некоторых вариантах осуществления блок 124 может предусматривать отображение (например, в значения 1 - a) до осуществления умножения. В других вариантах осуществления блок 124 может содержать какое-либо другое отображение, которое берет в качестве входа изображение 123 расширения насыщенности и данные линеаризованного изображения 101B и выводит изображение HDR 125.
В иллюстрируемом варианте осуществления способа 100 сигнал управления 131 для светоизлучающего слоя (например, первого модулятора двухмодуляторного дисплея) генерируется на блоках 126-130. На блоке 126 светимость изображения 105 с пониженной частотой дискретизации обрезается, чтобы светимость не превышала порогового значения (например, пороговое значение можно связать с максимальной светимостью, которую способен излучать СИД светоизлучающего слоя). Блок 126 выдает изображение 127 с обрезкой.
На блоке 128 этап сбора светимости осуществляется на изображении 127 с обрезкой для обеспечения собранного изображения 129 СИД. В некоторых вариантах осуществления блок 128 может содержать применение фильтра размывания к изображению 127 с обрезкой. Блок 128 полезен в случае, когда элементы источника света первого модулятора образуют шаблон, отличающийся от сетки, используемой в обработке изображений. Например, СИД или другие источники света первого модулятора в устройстве отображения могут располагаться в шестиугольной сетке, но этапы обработки изображений способа 100 можно осуществлять на квадратной или прямоугольной сетке (для удобства алгоритма и/или оборудования обработки изображений). В этом случае некоторые элементы прямоугольной сетки могут не соответствовать СИД или другому(им) светоизлучающему(им) элементу(ам) первого модулятора. Операцию фильтрации размывания можно осуществлять на блоке 128 для распределения интенсивности на соседние элементы, которые соответствуют СИД или другому(им) светоизлучающему(им) элементу(ам) первого модулятора.
На блоке 130 осуществляется обмен на собранном изображении 129 СИД для обеспечения значений 131 возбуждения первого модулятора. Блок 130 операции обмена может увеличивать интенсивность света, доставляемого первым модулятором в области второго модулятора, которые соответствуют областям улучшения. Совместно блок 130 операции обмена и блок 132 моделирования светового поля могут пытаться компенсировать потенциальный эффект перекрытия множественных СИД в первом модуляторе. Блок 130 операции обмена может принимать изображение 117 с повышенной частотой дискретизации в качестве входа. Интенсивность света в положении на втором модуляторе можно увеличивать путем увеличения выхода источников света первого модулятора, окружающих источник света, который соответствует положению. Как рассмотрено ниже, пиксельные значения для второго модулятора установлены на основании моделирования светового поля (блок 132). Блок 132 моделирования светового поля учитывает свет, который будет создан первым модулятором при его возбуждении значениями возбуждения 131. Таким образом, блок 132 моделирования светового поля препятствует установлению чрезмерной яркости областей, окружающих положения, в которых интенсивность световой картины, созданной первым модулятором, увеличена в изображениях, наблюдаемых зрителем.
В иллюстрируемом варианте осуществления моделирование светового поля блока 132 осуществляется с использованием значений 131 возбуждения первого модулятора в качестве входов. Значения 131 возбуждения первого модулятора, генерируемые операцией обмена 130, учитывают собранное изображение 129 СИД и изображение 117 с повышенной частотой дискретизации. В других вариантах осуществления блок 132 моделирования светового поля может, в необязательном порядке, принимать собранное изображение 129 СИД и/или изображение 117 с повышенной частотой дискретизации. Изображение 117 с повышенной частотой дискретизации может обеспечивать информацию, касающуюся расширения динамического диапазона, подлежащую применению к элементам слоя источников света. Блок 132 моделирования светового поля вырабатывает карту светимости 133. Карта светимости 133 оценивает интенсивность падающего света на пикселях второго модулятора, которая получится, когда значения возбуждения 131, соответствующие собранному изображению 129 СИД, модифицированному изображением 117 с повышенной частотой дискретизации, применяются для возбуждения слоя источников света (первого модулятора).
На блоке 134 изображение HDR 125 делится картой светимости 133 для обеспечения значений возбуждения 135 для элементов второго модулятора. В некоторых вариантах осуществления операция деления блока 134 может содержать попиксельное деление. В других вариантах осуществления блок 134 может содержать какую-либо другую форму отображения, которое берет в качестве входа данные изображения HDR 125 и карту светимости 133 и генерирует из них значения 135 возбуждения второго модулятора. Блок 134 также может предусматривать регулировку значений изображения для функции отклика (гамма-коррекции) второго модулятора.
Дисплей будет отображать рендеринг изображения HDR 125, когда первый модулятор возбуждается согласно значениям возбуждения 131 и второй модулятор возбуждается согласно значениям возбуждения 135.
В некоторых вариантах осуществления значения возбуждения первого модулятора 131 передаются ниже на схему возбуждения дисплея в 'запасную' строку сканирования формата изображения, содержащего значения возбуждения 135 второго модулятора. Схема возбуждения извлекает значения возбуждения 131 первого модулятора из запасной строки сканирования и применяет значения возбуждения 131 первого модулятора для возбуждения первого модулятора. Это часто имеет практический смысл, поскольку первый модулятор обычно имеет гораздо меньше элементов, чем второй модулятор, и формат данных может иметь емкость для переноса одной или нескольких строк сканирования, не нужных второму модулятору. Например, первый модулятор может быть выполнен из некоторого количества СИД, которое меньше количества пикселей на одной строке сканирования второго модулятора. В этом случае все значения возбуждения 131 первого модулятора для СИД могут содержаться в единичной строке сканирования формата данных, который не нуждается в переносе значений возбуждения 135 для пикселей второго модулятора.
Дисплей или компонент дисплея может быть приспособлен для осуществления способа 100, показанного на Фиг.6, 6A, на входящих данных изображения. В некоторых вариантах осуществления способ включает в себя определение, требуют ли входящие данные изображения расширения динамического диапазона. Если расширение динамического диапазона не требуется (например, в случае, когда входящие данные изображения задают изображение широкого динамического диапазона в пригодном формате данных HDR), то дисплей переключается в режим, где расширение динамического диапазона отключено. Этапы способа 100 (Фиг.6, 6A) можно осуществлять в одном или нескольких процессорах данных, например графических процессорах, цифровых сигнальных процессорах или микропроцессорах, и/или в аппаратных подсистемах, например, надлежащим образом сконфигурированных ASIC, FPGA, логических схемах и пр. В некоторых вариантах осуществления этапы способа 100 (Фиг.6, 6A) осуществляются на кадрах из последовательности кадров видео в реальном времени (т.е., по меньшей мере, в среднем, на частоте кадров видеосигнала).
Некоторые реализации изобретения содержат компьютерные процессоры, которые выполняют программные инструкции, предписывающие процессорам осуществлять способ, отвечающий изобретению. Например, один или несколько процессоров в дисплее, или контроллере дисплея, или медиаплеере могут реализовать способы, представленные на Фиг.1, 1A, 2, 2A, 4A, 6 и/или 6A, выполняя программные инструкции в программной памяти, доступной процессорам. Изобретение также можно обеспечить в форме программного продукта. Программный продукт может содержать любой носитель, который несет набор компьютерно-считываемых данных, содержащий инструкции, которые при выполнении процессором данных предписывают процессору данных выполнять способ, отвечающий изобретению. Программные продукты, отвечающие изобретению, могут принимать любую из разнообразных форм. Программный продукт может содержать, например, физические носители, например магнитные носители данных, включая флоппи-диски, жесткие диски, оптические носители данных, включая CD ROM, DVD, электронные носители данных, включая ПЗУ, флэш-память и т.п. Компьютерно-считываемые данные в программном продукте можно, в необязательном порядке, сжимать или шифровать.
При упоминании компонента (например, программного модуля, процессора, агрегата, устройства, схемы и т.д.), если не указано обратное, ссылку на этот компонент (включая ссылку на "средство") следует интерпретировать как включающую в себя, в качестве эквивалентов этого компонента, любой компонент, который осуществляет функцию описанного компонента (т.е. которая функционально эквивалентна), включая компоненты, которые функционально не эквивалентны раскрытой структуре, которые осуществляют функцию в рассмотренных иллюстративных вариантах осуществления изобретения.
Из вышеприведенного раскрытия специалисты в данной области техники могут понять, что при практическом осуществлении этого изобретения возможны многие альтернативы и модификации, не выходящие за рамки его сущности и объема. Например:
- В вышеописанных иллюстративных способах функция 53 повышения яркости применяется (например, на блоке 50) после нормализации контрастности (например, на блоке 30). Этот порядок не является обязательным. В альтернативных вариантах осуществления функцию повышения яркости можно применять до нормализации контрастности.
- Осуществление описанных здесь способов облегчается благодаря работе с представлением, в котором пиксельные значения линейно изменяются со светимостью. Это удобно, но не обязательно. Описанные здесь способы можно осуществлять при соответствующих модификациях в нелинейном пространстве.
- В некоторых применениях практично обеспечивать пользователю-человеку возможность точно регулировать один или несколько параметров, влияющих на расширение динамического диапазона для получения изображения HDR, имеющего нужный вид. Варианты осуществления таких применений могут содержать пользовательский интерфейс, который обеспечивает доступ к параметрам. Пользователь может выбирать желаемые значения параметров и наблюдать изображение, созданное из исходного изображения с применением описанных здесь способов, которые используют эти параметры. Любые параметры можно сделать регулируемыми пользователем. Некоторые неограничительные примеры параметров, которые могут регулироваться пользователем, таковы: параметры, задающие функцию линеаризации; пороги для идентификации областей улучшения; параметры, задающие точки темного и белого; параметры, задающие величину глобально применяемой нормализации контрастности; параметры, связанные с размером области, к которой применяется функция повышения яркости; параметры, связанные с максимальным значением функции повышения яркости, и пр.
- В данной заявке и нижеследующей формуле изобретения могут упоминаться данные изображения суженного динамического диапазона или LDR и данные изображения расширенного динамического диапазона (HDR). Следует понимать, что эти ссылки связаны друг с другом. То есть следует понимать, что данные LDR имеют более узкий динамический диапазон, чем данные HDR, и наоборот. Однако, если не утверждается обратное, не существует ограничения на абсолютный динамический диапазон данных LDR или HDR.
Соответственно объем изобретения следует рассматривать в соответствии с содержанием нижеследующей формулы изобретения.
Изобретение относится к формированию цифровых изображений. Техническим результатом является расширение динамического диапазона изображений в реальном времени за счет расширения динамического диапазона информационных сред суженного динамического диапазона. Способы и устройство согласно различным аспектам получают в качестве входа данные изображения в формате суженного динамического диапазона (LDR) и создают в качестве выхода данные улучшенного изображения, имеющие более широкий динамический диапазон, чем данные входного изображения (т.е. данные изображения расширенного динамического диапазона (HDR)). В некоторых вариантах осуществления способы применяются к видеоданным и осуществляются в реальном времени (т.е. обработка кадров видео для расширения динамического диапазона кадров видео выполняется, по меньшей мере, в среднем на частоте кадров видеосигнала). 4 н. и 54 з.п. ф-лы, 16 ил.
1. Способ расширения данных изображения суженного динамического диапазона (LDR), представляющих изображение, способ содержит этапы, на которых:
идентифицируют, по меньшей мере, одну область улучшения в изображении,
применяют функцию повышения яркости к данным изображения LDR для генерации данных изображения расширенного динамического диапазона (HDR), причем, по сравнению с данными изображения LDR, данные изображения HDR содержат повышенные значения светимости пикселей области улучшения в области улучшения и повышенные значения светимости одного или нескольких пикселей граничной области вне области улучшения, причем увеличение значения светимости пикселей граничной области уменьшается с расстоянием от области улучшения.
2. Способ по п.1, в котором на этапе идентификации, по меньшей мере, одной области улучшения в изображении оценивают значения светимости пикселей в данных изображения LDR с использованием критерия улучшения.
3. Способ по п.2, в котором критерий улучшения содержит пороговое значение светимости, выше которого пиксели идентифицируются как находящиеся в области улучшения и ниже которого пиксели идентифицируются как находящиеся вне области улучшения.
4. Способ по п.1, содержащий этап, на котором генерируют функцию повышения яркости, причем на этапе генерации функции повышения яркости
генерируют маску, преобразованную к двоичному виду, которая идентифицирует пиксели внутри и вне области улучшения,
применяют фильтр размывания к маске, преобразованной к двоичному виду, для получения данных изображения в градации серого.
5. Способ по п.4, в котором фильтр размывания содержит гладко изменяющуюся функцию.
6. Способ по п.5, в котором гладко изменяющаяся функция содержит, по меньшей мере, одну из гауссовой кривой и приблизительно гауссовой кривой.
7. Способ по п.4, в котором пространственная угловая частота фильтра размывания меньше или равна 1 цикл/градус.
8. Способ по п.4, в котором стандартное отклонение фильтра размывания составляет, по меньшей мере, около 0.025 от горизонтального разрешения дисплея, на котором должны отображаться данные изображения HDR.
9. Способ по п.4, содержащий этап, на котором отображают данные изображения в градации серого для обеспечения гладкого компонента функции повышения яркости, причем компонент сглаживания имеет диапазон 1 - а, где а - параметр усиления яркости, превышающий 1.
10. Способ по п.9, в котором параметр усиления яркости находится в пределах от 2 до 10.
11. Способ по п.9, в котором на этапе применения функции повышения яркости к данным изображения LDR попиксельно перемножают компонент сглаживания с данными изображения LDR.
12. Способ по п.4, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
13. Способ по п.9, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
14. Способ по п.13, в котором на этапе применения функции повышения яркости к данным изображения LDR применяют компонент сглаживания к данным изображения LDR только для пикселей, где компонент краевой остановки указывает, что применение функции повышения яркости должно увеличивать светимость пикселей.
15. Способ по п.14, в котором на этапе применения гладкого компонента к данным изображения LDR только для пикселей, где компонент краевой остановки указывает, что применение функции повышения яркости должно увеличивать светимость пикселей, попиксельно перемножают компонент сглаживания с данными изображения LDR.
16. Способ по п.12, содержащий этап, на котором определяют градиентное изображение данных изображения LDR методом разделенных разностей.
17. Способ по п.12, содержащий этап, на котором определяют градиентное изображение данных изображения LDR путем вычисления разностей между пикселями, соседствующими по вертикали, и пикселями, соседствующими по горизонтали.
18. Способ по п.17, в котором пиксели, соседствующие по вертикали, и пиксели, соседствующие по горизонтали, отделены друг от друга базовой линией из двух или более пикселей.
19. Способ по п.12, в котором на этапе генерации компонента краевой остановки определяют, превышает ли порог градиентное изображение данных изображения LDR.
20. Способ по п.19, в котором на этапе генерации компонента краевой остановки осуществляют операцию сплошной заливки с использованием маски в качестве исходного варианта и позволяют сплошной заливке проходить наружу из области улучшения, пока сплошная заливка не достигнет пикселей, для которых градиентное изображение превышает порог.
21. Способ по п.20, в котором на этапе генерации компонента краевой остановки применяют морфологический оператор OPEN к результату операции сплошной заливки.
22. Способ по п.1, содержащий этап, на котором генерируют функцию повышения яркости, причем на этапе генерации функции повышения яркости:
генерируют маску, преобразованную к двоичному виду, которая идентифицирует пиксели внутри и вне области улучшения,
понижают частоту дискретизации маски, преобразованной к двоичному виду, для получения маски с пониженной частотой дискретизации,
для каждой итерации в цикле, содержащем N итераций,
применяют фильтр размывания к маске с пониженной частотой дискретизации в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата фильтра размывания на этапе повышения частоты дискретизации,
причем результат N-й итерации цикла содержит данные изображения в градации серого, имеющие такое же разрешение, как данные изображения LDR.
23. Способ по п.22, содержащий этап, на котором отображают данные изображения в градации серого для обеспечения гладкого компонента функции повышения яркости, причем компонент сглаживания имеет диапазон 1 - а, где а - параметр усиления яркости, превышающий 1.
24. Способ по п.23, в котором на этапе применения функции повышения яркости к данным изображения LDR попиксельно перемножают компонент сглаживания с данными изображения LDR.
25. Способ по п.22, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
26. Способ по п.23, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
27. Способ по п.25, в котором на этапе генерации компонента краевой остановки:
понижают частоту дискретизации градиентного изображения данных изображения LDR в последовательности из N этапов понижения частоты дискретизации для получения набора из N градиентных изображений с пониженной частотой дискретизации,
для каждой итерации в цикле, содержащем N итераций,
применяют операцию DILATION к маске с пониженной частотой дискретизации в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации.
28. Способ по п.27, в котором для каждой операции DILATION:
идентифицируют одно из набора из N градиентных изображений с пониженной частотой дискретизации, имеющее разрешение, соответствующее разрешению текущего субъекта операции DILATION, и
останавливают операцию DILATION на пикселях в одном из набора из N градиентных изображений с пониженной частотой дискретизации, имеющих градиенты, превышающие порог.
29. Способ по п.26, в котором на этапе генерации компонента краевой остановки:
понижают частоту дискретизации градиентного изображения данных изображения LDR в последовательности из N этапов понижения частоты дискретизации для получения набора из N градиентных изображений с пониженной частотой дискретизации,
для каждой итерации в цикле, содержащем N итераций,
применяют операцию DILATION к маске с пониженной частотой дискретизации в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации.
30. Способ по п.29 в котором для каждой операции DILATION:
идентифицируют одно из набора из N градиентных изображений с пониженной частотой дискретизации, имеющее разрешение, соответствующее разрешению текущего субъекта операции DILATION, и
останавливают операцию DILATION на пикселях в одном из набора из N градиентных изображений с пониженной частотой дискретизации, имеющих градиенты, превышающие порог.
31. Способ по п.29, в котором на этапе применения функции повышения яркости к данным изображения LDR применяют компонент сглаживания к данным изображения LDR только для пикселей, где компонент краевой остановки указывает, что применение функции повышения яркости должно увеличивать светимость пикселей.
32. Способ по п.31, в котором на этапе применения гладкого компонента к данным изображения LDR только для пикселей, где компонент краевой остановки указывает, что применение функции повышения яркости должно увеличивать светимость пикселей, попиксельно перемножают компонент сглаживания с данными изображения LDR.
33. Способ по п.1, содержащий этап, на котором генерируют функцию повышения яркости, причем на этапе генерации функции повышения яркости:
понижают частоту дискретизации данных изображения LDR для получения данных изображения с пониженной частотой дискретизации промежуточного разрешения,
дополнительно понижают частоту дискретизации данных изображения с пониженной частотой дискретизации промежуточного разрешения для получения данных изображения с пониженной частотой дискретизации пониженного разрешения,
генерируют маску более низкого разрешения из данных изображения с пониженной частотой дискретизации пониженного разрешения, причем маска более низкого разрешения идентифицирует пиксели внутри и вне области улучшения, и
для каждой итерации в цикле, содержащем N итераций,
применяют фильтр размывания к маске более низкого разрешения в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата фильтра размывания на этапе повышения частоты дискретизации,
причем результат N-й итерации цикла содержит данные изображения в градации серого, имеющие такое же разрешение, как данные изображения LDR.
34. Способ по п.33, содержащий этап, на котором отображают данные изображения в градации серого для обеспечения гладкого компонента функции повышения яркости, причем компонент сглаживания имеет диапазон 1 - а, где а - параметр усиления яркости, превышающий 1.
35. Способ по п.33, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
36. Способ по п.34, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
37. Способ по п.35, в котором на этапе генерации компонента краевой остановки:
понижают частоту дискретизации градиентного изображения данных изображения LDR в последовательности из N этапов понижения частоты дискретизации для получения набора из N градиентных изображений с пониженной частотой дискретизации,
для каждой итерации в первом цикле, содержащем М итераций, где M<N,
применяют операцию DILATION к маске более низкого разрешения в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации,
причем результат первого цикла содержит данные краевой остановки с промежуточным разрешением,
для каждой итерации во втором цикле, содержащем N-M итераций,
применяют операцию DILATION к данным краевой остановки с промежуточным разрешением в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации,
причем результат второго цикла содержит данные краевой остановки с полным разрешением, имеющие разрешение, соответствующее разрешению данных изображения LDR.
38. Способ по п.36, в котором на этапе генерации компонента краевой остановки:
понижают частоту дискретизации градиентного изображения данных изображения LDR в последовательности из N этапов понижения частоты дискретизации для получения набора из N градиентных изображений с пониженной частотой дискретизации,
для каждой итерации в первом цикле, содержащем М итераций, где M<N,
применяют операцию DILATION к маске более низкого разрешения в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации,
причем результат первого цикла содержит данные краевой остановки с промежуточным разрешением,
для каждой итерации во втором цикле, содержащем N-M итераций,
применяют операцию DILATION к данным краевой остановки с промежуточным разрешением в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации,
причем результат второго цикла содержит данные краевой остановки с полным разрешением, имеющие разрешение, соответствующее разрешению данных изображения LDR.
39. Способ по п.33, содержащий этап, на котором определяют значения возбуждения первого модулятора для первого модулятора двухмодуляторного дисплея, используемого для отображения данных изображения HDR, на основании, по меньшей мере, отчасти, данных изображения с пониженной частотой дискретизации промежуточного разрешения.
40. Способ по п.37, содержащий этап, на котором определяют значения возбуждения первого модулятора для первого модулятора двухмодуляторного дисплея, используемого для отображения данных изображения HDR, на основании, по меньшей мере, отчасти, данных изображения с пониженной частотой дискретизации промежуточного разрешения и на основании, по меньшей мере, отчасти, данных краевой остановки с промежуточным разрешением.
41. Способ по п.38, содержащий этап, на котором определяют значения возбуждения первого модулятора для первого модулятора двухмодуляторного дисплея, используемого для отображения данных изображения HDR, на основании, по меньшей мере, отчасти, данных изображения с пониженной частотой дискретизации промежуточного разрешения и на основании, по меньшей мере, отчасти, данных краевой остановки с промежуточным разрешением.
42. Компьютерно-считываемый носитель, содержащий последовательность инструкций, которые, при выполнении надлежащим образом сконфигурированным процессором, предписывают процессору осуществлять способ расширения данных изображения суженного динамического диапазона (LDR), представляющих изображение, причем способ содержит этапы, на которых:
идентифицируют, по меньшей мере, одну область улучшения в изображении,
применяют функцию повышения яркости к данным изображения LDR для генерации данных изображения расширенного динамического диапазона (HDR), причем, по сравнению с данными изображения LDR, данные изображения HDR содержат повышенные значения светимости пикселей области улучшения в области улучшения и повышенные значения светимости одного или нескольких пикселей граничной области вне области улучшения, причем увеличение значения светимости пикселей граничной области уменьшается с расстоянием от области улучшения.
43. Компьютерно-считываемый носитель по п.42, в котором способ содержит этап генерации функции повышения яркости, причем на этапе генерации функции повышения яркости:
генерируют маску, преобразованную к двоичному виду, которая идентифицирует пиксели внутри и вне области улучшения,
применяют фильтр размывания к маске, преобразованной к двоичному виду, для получения данных изображения в градации серого.
44. Компьютерно-считываемый носитель по п.43, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
45. Компьютерно-считываемый носитель по п.42, в котором способ содержит этап генерации функции повышения яркости, причем на этапе генерации функции повышения яркости:
генерируют маску, преобразованную к двоичному виду, которая идентифицирует пиксели внутри и вне области улучшения,
понижают частоту дискретизации маски, преобразованной к двоичному виду, для получения маски с пониженной частотой дискретизации,
для каждой итерации в цикле, содержащем N итераций,
применяют фильтр размывания к маске с пониженной частотой дискретизации в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата фильтра размывания на этапе повышения частоты дискретизации,
причем результат N-й итерации цикла содержит данные изображения в градации серого, имеющие такое же разрешение, как данные изображения LDR.
46. Компьютерно-считываемый носитель по п.45, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
47. Компьютерно-считываемый носитель по п.46, в котором на этапе генерации компонента краевой остановки:
понижают частоту дискретизации градиентного изображения данных изображения LDR в последовательности из N этапов понижения частоты дискретизации для получения набора из N градиентных изображений с пониженной частотой дискретизации,
для каждой итерации в цикле, содержащем N итераций,
применяют операцию DILATION к маске с пониженной частотой дискретизации в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации.
48. Компьютерно-считываемый носитель по п.42, в котором способ содержит этап генерации функции повышения яркости, причем на этапе генерации функции повышения яркости:
понижают частоту дискретизации данных изображения LDR для получения данных изображения с пониженной частотой дискретизации промежуточного разрешения,
дополнительно понижают частоту дискретизации данных изображения с пониженной частотой дискретизации промежуточного разрешения для получения данных изображения с пониженной частотой дискретизации пониженного разрешения,
генерируют маску более низкого разрешения из данных изображения с пониженной частотой дискретизации пониженного разрешения, причем маска более низкого разрешения идентифицирует пиксели внутри и вне области улучшения, и
для каждой итерации в цикле, содержащем N итераций,
применяют фильтр размывания к маске более низкого разрешения в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата фильтра размывания на этапе повышения частоты дискретизации,
причем результат N-й итерации цикла содержит данные изображения в градации серого, имеющие такое же разрешение, как данные изображения LDR.
49. Компьютерно-считываемый носитель по п.48, в котором на этапе генерации функции повышения яркости генерируют компонент краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR.
50. Компьютерно-считываемый носитель по п.49, в котором на этапе генерации компонента краевой остановки:
понижают частоту дискретизации градиентного изображения данных изображения LDR в последовательности из N этапов понижения частоты дискретизации для получения набора из N градиентных изображений с пониженной частотой дискретизации,
для каждой итерации в первом цикле, содержащем М итераций, где M<N,
применяют операцию DILATION к маске более низкого разрешения в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации,
причем результат первого цикла содержит данные краевой остановки с промежуточным разрешением,
для каждой итерации во втором цикле, содержащем N-M итераций,
применяют операцию DILATION к данным краевой остановки с промежуточным разрешением в начальной итерации и к результату предыдущей итерации в других итерациях, и
повышают частоту дискретизации результата операции DILATION на этапе повышения частоты дискретизации,
причем результат второго цикла содержит данные краевой остановки с полным разрешением, имеющее разрешение, соответствующее разрешению данных изображения LDR.
51. Компьютерно-считываемый носитель по п.48, в котором способ содержит этап определения значений возбуждения первого модулятора для первого модулятора двухмодуляторного дисплея, используемого для отображения данных изображения HDR на основании, по меньшей мере, отчасти, данных изображения с пониженной частотой дискретизации промежуточного разрешения.
52. Компьютерно-считываемый носитель по п.50, в котором способ содержит этап определения значений возбуждения первого модулятора для первого модулятора двухмодуляторного дисплея, используемого для отображения данных изображения HDR, на основании, по меньшей мере, отчасти, данных изображения с пониженной частотой дискретизации промежуточного разрешения и на основании, по меньшей мере, отчасти, данных краевой остановки с промежуточным разрешением.
53. Дисплей для отображения изображения расширенного динамического диапазона (HDR), полученного из данных изображения суженного динамического диапазона (LDR), представляющих изображение, дисплей содержит:
пару модуляторов, содержащую:
первый модулятор, предназначенный для обеспечения световой картины, изменяющейся в соответствии с набором сигналов возбуждения, и
второй модулятор, предназначенный для модуляции световой картины для обеспечения выходного изображения, и
процессор, сконфигурированный
идентифицировать, по меньшей мере, одну область улучшения в изображении;
применять функцию повышения яркости к данным изображения LDR для генерации данных изображения HDR, причем, по сравнению с данными изображения LDR, данные изображения HDR содержат повышенные значения светимости пикселей области улучшения в области улучшения и повышенные значения светимости одного или нескольких пикселей граничной области вне области улучшения, причем увеличение значения светимости пикселей граничной области уменьшается с расстоянием от области улучшения, и
определять сигналы возбуждения для первого модулятора на основании, по меньшей мере, отчасти, промежуточных данных, полученных в ходе применения функции повышения яркости к данным изображения LDR.
54. Дисплей по п.53, в котором промежуточные данные содержат версию данных изображения LDR с пониженной частотой дискретизации.
55. Дисплей по п.53, в котором процессор приспособлен для генерации функции повышения яркости и в котором генерация функции повышения яркости предусматривает генерацию компонента краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR, и в котором промежуточные данные содержат версию компонента краевой остановки с низким разрешением.
56. Способ отображения изображения расширенного динамического диапазона (HDR), полученного из данных изображения суженного динамического диапазона (LDR), способ содержит этапы, на которых
идентифицируют, по меньшей мере, одну область улучшения в данных изображения LDR,
применяют функцию повышения яркости к данным изображения LDR для генерации данных изображения HDR, причем, по сравнению с данными изображения LDR, данные изображения HDR содержит повышенные значения светимости пикселей области улучшения в области улучшения и повышенные значения светимости одного или нескольких пикселей граничной области вне области улучшения, причем увеличение значения светимости пикселей граничной области уменьшается с расстоянием от области улучшения, и
определяют сигналы возбуждения для, по меньшей мере, одного модулятора двухмодуляторного дисплея на основании, по меньшей мере, отчасти, промежуточных данных, полученных в ходе применения функции повышения яркости к данным изображения LDR.
57. Способ по п.56, в котором промежуточные данные содержат версию данных изображения LDR с пониженной частотой дискретизации.
58. Дисплей по п.56, содержащий генерацию функции повышения яркости и в котором генерация функции повышения яркости содержит генерацию компонента краевой остановки функции повышения яркости на основании, по меньшей мере, отчасти, градиентного изображения данных изображения LDR, причем компонент краевой остановки имеет пиксельные значения, указывающие, должно ли применение функции повышения яркости увеличивать светимость соответствующих пикселей данных изображения LDR, и в котором промежуточные данные содержат версию компонента краевой остановки с низким разрешением.
| Прибор, замыкающий сигнальную цепь при повышении температуры | 1918 |
|
SU99A1 |
| Способ приготовления мыла | 1923 |
|
SU2004A1 |
| ПРЕОБРАЗОВАТЕЛЬ ИЗОБРАЖЕНИЯ | 1995 |
|
RU2092882C1 |
