СПОСОБЫ И СИСТЕМЫ ДЛЯ МОДУЛЯЦИИ ФОНОВОЙ ПОДСВЕТКИ С ОБНАРУЖЕНИЕМ СМЕНЫ ПЛАНА Российский патент 2011 года по МПК G09G3/36 

ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

Нижеследующие заявки настоящим включаются в этот документ путем отсылки: заявка на патент США №11/465436, озаглавленная "Methods and Systems for Selecting a Display Source Light Illumination Level", зарегистрированная 17 августа 2006 г.; заявка на патент США №11/293562, озаглавленная "Methods and Systems for Determining a Display Light Source Adjustment", зарегистрированная 2 декабря 2005 г.; заявка на патент США №11/224792, озаглавленная "Methods and Systems for Image-Specific Tone Scale Adjustment and Light-Source Control", зарегистрированная 12 сентября 2005 г.; заявка на патент США №11/154053, озаглавленная "Methods and Systems for Enhancing Display Characteristics with High Frequency Contrast Enhancement", зарегистрированная 15 июня 2005 г.; заявка на патент США №11/154054, озаглавленная "Methods and Systems for Enhancing Display Characteristics with Frequency-Specific Gain", зарегистрированная 15 июня 2005 г.; заявка на патент США №11/154052, озаглавленная "Methods and Systems for Enhancing Display Characteristics", зарегистрированная 15 июня 2005 г.; заявка на патент США №11/393404, озаглавленная "A Color Enhancement Technique using Skin Color Detection", зарегистрированная 30 марта 2006 г.; заявка на патент США №11/460768, озаглавленная "Methods and Systems for Distortion-Related Source Light Management", зарегистрированная 28 июля 2006 г.; заявка на патент США №11/202903, озаглавленная "Methods and Systems for Independent View Adjustment in Multiple-View Displays", зарегистрированная 8 августа 2005 г.; заявка на патент США №11/371466, озаглавленная "Methods and Systems for Enhancing Display Characteristics with Ambient Illumination Input", зарегистрированная 8 марта 2006 г.; заявка на патент США №11/293066, озаглавленная "Methods and Systems for Display Mode Dependent Brightness Preservation", зарегистрированная 2 декабря 2005 г.; заявка на патент США №11/460907, озаглавленная "Methods and Systems for Generating and Applying Image Tone Scale Corrections", зарегистрированная 28 июля 2006 г.; заявка на патент США №11/160940, озаглавленная "Methods and Systems for Color Preservation with Image Tonescale Corrections", зарегистрированная 28 июля 2006 г.; заявка на патент США №11/564203, озаглавленная "Methods and Systems for Image Tonescale Adjustment to Compensate for a Reduced Source Light Power Level", зарегистрированная 28 ноября 2006 г.; заявка на патент США №11/680312, озаглавленная "Methods and Systems for Brightness Preservation Using a Smoothed Gain Image", зарегистрированная 28 февраля 2007 г.; заявка на патент США №11/845651, озаглавленная "Methods and Systems for Tone Curve Generation, Selection and Application", зарегистрированная 27 августа 2007 г.; и заявка на патент США №11/605711, озаглавленная "A Color Enhancement Technique using Skin Color Detection", зарегистрированная 28 ноября 2006 г.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Варианты осуществления настоящего изобретения содержат способы и системы для улучшения изображения. Некоторые варианты осуществления содержат методики улучшения цветов, некоторые варианты осуществления содержат сохранение яркости, некоторые варианты осуществления содержат улучшение яркости, и некоторые варианты осуществления содержат методики увеличения битовой глубины.

УРОВЕНЬ ТЕХНИКИ

Типичное устройство отображения показывает изображение с использованием постоянного диапазона уровней яркости. Для многих дисплеев диапазон яркости имеет 256 уровней, которые равномерно расположены от 0 до 255. Кодовые значения изображения обычно назначаются для непосредственного соответствия этим уровням.

Во многих электронных устройствах с большими дисплеями дисплеи являются основными потребителями энергии. Например, в ноутбуке дисплей, вероятно, потребляет больше энергии, чем любой из других компонентов в системе. Многие дисплеи с ограниченной доступностью энергии, например, которые находятся в устройствах с батарейным питанием, могут использовать несколько уровней подсветки или яркости, чтобы помочь в управлении энергопотреблением. Система может использовать режим полной мощности, когда она подключена к источнику питания, например энергии переменного тока, и может использовать энергосберегающий режим при работе на энергии батарей.

В некоторых устройствах дисплей может автоматически входить в энергосберегающий режим, в котором подсветка дисплея уменьшается для сбережения энергии. Эти устройства могут обладать несколькими энергосберегающими режимами, в которых подсветка уменьшается поэтапно. Как правило, когда уменьшается подсветка дисплея, также падает и качество изображения. Когда уменьшается максимальный уровень яркости, динамический диапазон дисплея сокращается, и страдает контраст изображения. Поэтому контраст и другие свойства изображения уменьшаются во время типичной работы в энергосберегающем режиме.

Многие устройства отображения, например жидкокристаллические дисплеи (LCD) или цифровые микрозеркальные устройства (DMD), используют световые клапаны, которые в том или ином отношении являются фоновой подсветкой, боковой подсветкой или передней подсветкой. В дисплее со светоклапанной фоновой подсветкой, например LCD, фоновая подсветка устанавливается сзади жидкокристаллической панели. Фоновая подсветка излучает свет через ЖК-панель, которая модулирует свет для передачи изображения. В цветных дисплеях может модулироваться и яркость, и цвет. Отдельные ЖК-пиксели модулируют количество света, которое передается от фоновой подсветки и через ЖК-панель к глазам пользователя или какой-нибудь другой цели. В некоторых случаях целью может быть светочувствительный датчик, например прибор с зарядовой связью (CCD).

Некоторые дисплеи также могут использовать излучатели света для передачи изображения. Эти дисплеи, например дисплеи на светоизлучающих диодах (LED) и плазменные дисплеи, используют элементы изображения, которые излучают свет, а не отражают свет от другого источника.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для изменения уровня модуляции яркости у пикселя со светоклапанной модуляцией, чтобы компенсировать сниженную освещенность источника света или улучшить качество изображения при постоянном уровне яркости источника света.

Некоторые варианты осуществления настоящего изобретения также могут использоваться с дисплеями, которые используют излучатели света для передачи изображения. Эти дисплеи, например дисплеи на светоизлучающих диодах (LED) и плазменные дисплеи, используют элементы изображения, которые излучают свет, а не отражают свет от другого источника. Варианты осуществления настоящего изобретения могут быть использованы для улучшения изображения, созданного этими устройствами. В этих вариантах осуществления яркость пикселей может настраиваться для улучшения динамического диапазона определенных диапазонов частот изображения, диапазонов яркости и других подразделов изображения.

В некоторых вариантах осуществления настоящего изобретения источник подсветки дисплея может быть настроен на разные уровни в ответ на характеристики изображения. Когда изменяются эти уровни (яркости) источника света, кодовые значения изображения могут быть настроены для компенсации изменения в яркости или иного улучшения изображения.

Некоторые варианты осуществления настоящего изобретения содержат измерение общего освещения, которое может быть использовано в качестве входных данных в определении уровней источника света и значений пикселей изображения.

Некоторые варианты осуществления настоящего изобретения содержат связанное с искажением управление источником света и расходом батареи.

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для формирования и применения исправлений в градационной шкале изображения.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для исправления градационной шкалы изображения с повышенной точностью цветовоспроизведения.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для выбора уровня яркости подсветки дисплея.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для проектирования панели градационной кривой и целевой градационной кривой. Некоторые из этих вариантов осуществления предусматривают создание множества целевых градационных кривых, причем каждая кривая имеет отношение к разному уровню яркости фоновой подсветки или источника света. В этих вариантах осуществления может выбираться уровень яркости фоновой подсветки, и целевая градационная кривая, имеющая отношение к выбранному уровню яркости фоновой подсветки, может применяться к изображению, которое нужно показать. В некоторых вариантах осуществления эксплуатационная цель может влиять на выбор параметров градационной кривой.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для улучшения цвета. Некоторые из этих вариантов осуществления содержат определение телесного цвета, уточнение карты телесных цветов и цветовую обработку.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для увеличения битовой глубины. Некоторые из этих вариантов осуществления содержат применение пространственного и временного шаблона размывания на верхних частотах к изображению перед уменьшением битовой глубины.

Некоторые варианты осуществления настоящего изобретения содержат фильтры сигнала уровня яркости подсветки, которые реагируют на наличие смены плана в видеопоследовательности.

Вышеупомянутые и другие цели, признаки и преимущества изобретения быстрее станут понятными при рассмотрении нижеследующего подробного описания изобретения в сочетании с прилагаемыми чертежами.

КРАТКОЕ ОПИСАНИЕ НЕКОТОРЫХ ЧЕРТЕЖЕЙ

Фиг.1 - схема, показывающая системы LCD с фоновой подсветкой предшествующего уровня техники;

Фиг.2А - диаграмма, показывающая связь между исходными кодовыми значениями изображения и повышенными кодовыми значениями изображения;

Фиг.2В - диаграмма, показывающая связь между исходными кодовыми значениями изображения и повышенными кодовыми значениями изображения с отсечением;

Фиг.3 - диаграмма, показывающая уровень яркости, связанный с кодовыми значениями для различных схем изменения кодовых значений;

Фиг.4 - диаграмма, показывающая связь между исходными кодовыми значениями изображения и измененными кодовыми значениями изображения в соответствии с различными схемами изменения;

Фиг.5 - схема, показывающая формирование примерной модели настройки градационной шкалы;

Фиг.6 - схема, показывающая примерное применение модели настройки градационной шкалы;

Фиг.7 - схема, показывающая формирование примерной модели настройки градационной шкалы и отображения усиления;

Фиг.8 - диаграмма, показывающая примерную модель настройки градационной шкалы;

Фиг.9 - диаграмма, показывающая примерное отображение усиления;

Фиг.10 - блок-схема алгоритма, показывающая примерный процесс, в котором модель настройки градационной шкалы и карта прироста применяются к изображению;

Фиг.11 - блок-схема алгоритма, показывающая примерный процесс, в котором модель настройки градационной шкалы применена к одному диапазону частот изображения, а карта прироста применяется к другому диапазону частот изображения;

Фиг.12 - диаграмма, показывающая вариации модели настройки градационной шкалы, когда изменяется MFP;

Фиг.13 - блок-схема алгоритма, показывающая примерный зависимый от изображения способ наложения градационной шкалы;

Фиг.14 - схема, показывающая типовые варианты осуществления зависимого от изображения выбора градационной шкалы;

Фиг.15 - схема, показывающая примерные варианты осуществления зависимого от изображения вычисления карты градационной шкалы;

Фиг.16 - блок-схема алгоритма, показывающая варианты осуществления, содержащие настройку уровня подсветки и зависимое от изображения наложение градационной шкалы;

Фиг.17 - схема, показывающая примерные варианты осуществления, содержащие устройство вычисления уровня подсветки и селектор карты градационной шкалы;

Фиг.18 - схема, показывающая типовые варианты осуществления, содержащие устройство вычисления уровня подсветки и устройство вычисления карты градационной шкалы;

Фиг.19 - блок-схема алгоритма, показывающая варианты осуществления, содержащие настройку уровня подсветки и зависимое от уровня подсветки наложение градационной шкалы;

Фиг.20 - схема, показывающая варианты осуществления, содержащие устройство вычисления уровня подсветки и зависимое от уровня подсветки вычисление или выбор градационной шкалы;

Фиг.21 - схема, показывающая график исходных кодовых значений изображения в зависимости от наклона градационной шкалы;

Фиг.22 - схема, показывающая варианты осуществления, содержащие анализ отдельного канала сигнала цветности;

Фиг.23 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки изображений;

Фиг.24 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки подсветки;

Фиг.25 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки изображений и ввод характеристик устройства;

Фиг.26 - схема, показывающая варианты осуществления, содержащие альтернативные вводы общего освещения в модуль обработки изображений и/или модуль обработки подсветки и постпроцессор сигнала подсветки;

Фиг.27 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки подсветки, который передает эти входные данные в модуль обработки изображений;

Фиг.28 - схема, показывающая варианты осуществления, содержащие ввод общего освещения в модуль обработки изображений, который может передать эти входные данные в модуль обработки подсветки;

Фиг.29 - схема, показывающая варианты осуществления, содержащие приспосабливающееся к искажениям управление питанием;

Фиг.30 - схема, показывающая варианты осуществления, содержащие постоянное управление питанием;

Фиг.31 - схема, показывающая варианты осуществления, содержащие саморегулирующееся управление питанием;

Фиг.32А - график, показывающий сравнение потребляемой мощности в моделях постоянной мощности и постоянного искажения;

Фиг.32В - график, показывающий сравнение искажения в моделях постоянной мощности и постоянного искажения;

Фиг.33 - схема, показывающая варианты осуществления, содержащие приспосабливающееся к искажениям управление питанием;

Фиг.34 - график, показывающий уровни мощности фоновой подсветки при различных пределах искажения для примерной видеопоследовательности;

Фиг.35 - график, показывающий примерные кривые мощности/искажения;

Фиг.36 - блок-схема, показывающая варианты осуществления, которые управляют потреблением мощности в отношении критерия искажения;

Фиг.37 - блок-схема, показывающая варианты осуществления, содержащие выбор уровня мощности подсветки на основе критерия искажения;

Фиг.38А и B - блок-схемы, показывающие варианты осуществления, содержащие измерение искажений, которое учитывает результаты способов сохранения яркости;

Фиг.39 - кривая мощности/искажения для примерных изображений;

Фиг.40 - график мощности, показывающий неизменное искажение;

Фиг.41 - график искажения, показывающий неизменное искажение;

Фиг.42 - примерная кривая настройки градационной шкалы;

Фиг.43 - увеличенное представление темной области кривой настройки градационной шкалы, показанной на фиг.42;

Фиг.44 - другая примерная кривая настройки градационной шкалы;

Фиг.45 - увеличенное представление темной области кривой настройки градационной шкалы, показанной на фиг.44;

Фиг.46 - блок-схема, показывающая настройку кодового значения изображения на основе максимального значения канала цветности;

Фиг.47 - блок-схема, показывающая настройку кодового значения изображения из нескольких каналов цветности на основе максимального кодового значения канала цветности;

Фиг.48 - блок-схема, показывающая настройку кодового значения изображения из нескольких каналов цветности на основе характеристики кодового значения одного из каналов цветности;

Фиг.49 - схема, показывающая варианты осуществления настоящего изобретения, содержащие генератор градационной шкалы, который принимает максимальное кодовое значение канала цветности в качестве входных данных;

Фиг.50 - схема, показывающая варианты осуществления настоящего изобретения, содержащие разложение частоты и распознавания кода канала цветности с настройкой градационной шкалы;

Фиг.51 - схема, показывающая варианты осуществления настоящего изобретения, содержащие разложение частоты, распознавание канала цветности и сохраняющее цвет отсечение;

Фиг.52 - схема, показывающая варианты осуществления настоящего изобретения, содержащие сохраняющее цвет отсечение на основе характеристик кодового значения канала цветности;

Фиг.53 - схема, показывающая варианты осуществления настоящего изобретения, содержащие разделение частот на нижние частоты/верхние частоты и выбор максимального кодового значения канала цветности;

Фиг.54 - схема, показывающая различные связи между обработанными изображениями и моделями дисплеев;

Фиг.55 - график кодовых значений изображения для примерного изображения;

Фиг.56 - график примерной кривой искажения, соответствующей гистограмме из фиг.55;

Фиг.57 - график, показывающий результаты применения примерного критерия оптимизации к короткому DVD-ролику, этот график изображает выбранную мощность фоновой подсветки по отношению к номеру видеокадра;

Фиг.58 иллюстрирует определение фоновой подсветки с минимальным искажением MSE для разных коэффициентов контрастности у реального дисплея;

Фиг.59 - график, показывающий примерную градационную кривую панели и целевую градационную кривую;

Фиг.60 - график, показывающий примерную градационную кривую панели и целевую градационную кривую для энергосберегающей конфигурации;

Фиг.61 - график, показывающий примерную градационную кривую панели и целевую градационную кривую для конфигурации с меньшим уровнем черного;

Фиг.62 - график, показывающий примерную градационную кривую панели и целевую градационную кривую для конфигурации с улучшением яркости;

Фиг.63 - график, показывающий примерную градационную кривую панели и целевую градационную кривую для конфигурации улучшения изображения, в которой уровень черного занижается, а яркость улучшается;

Фиг.64 - график, показывающий ряд примерных целевых градационных кривых для улучшения уровня черного;

Фиг.65 - график, показывающий ряд примерных целевых градационных кривых для улучшения уровня черного и улучшения яркости изображения;

Фиг.66 - схема, показывающая примерный вариант осуществления, содержащий определение целевой градационной кривой и связанный с искажением выбор фоновой подсветки;

Фиг.67 - схема, показывающая примерный вариант осуществления, содержащий связанные с эксплуатационной целью выбор параметра, определение целевой градационной кривой и выбор фоновой подсветки;

Фиг.68 - схема, показывающая примерный вариант осуществления, содержащий связанные с эксплуатационной целью определение целевой градационной кривой и выбор фоновой подсветки;

Фиг.69 - схема, показывающая примерный вариант осуществления, содержащий связанные с эксплуатационной целью и связанные с изображением определение целевой градационной кривой и выбор фоновой подсветки;

Фиг.70 - схема, показывающая примерный вариант осуществления, содержащий разложение частоты и обработку градационной шкалы с увеличением битовой глубины;

Фиг.71 - схема, показывающая примерный вариант осуществления, содержащий разложение частоты и улучшение цвета;

Фиг.72 - схема, показывающая примерный вариант осуществления, содержащий улучшение цвета, выбор фоновой подсветки и процессы усиления верхних частот;

Фиг.73 - схема, показывающая примерный вариант осуществления, содержащий улучшение цвета, формирование гистограммы, обработку градационной шкалы и выбор фоновой подсветки;

Фиг.74 - схема, показывающая примерный вариант осуществления, содержащий определение телесного цвета и уточнение карты телесных цветов;

Фиг.75 - схема, показывающая примерный вариант осуществления, содержащий улучшение цвета и увеличение битовой глубины;

Фиг.76 - схема, показывающая примерный вариант осуществления, содержащий улучшение цвета, обработку градационной шкалы и увеличение битовой глубины;

Фиг.77 - схема, показывающая примерный вариант осуществления, содержащий улучшение цвета;

Фиг.78 - схема, показывающая примерный вариант осуществления, содержащий улучшение цвета и увеличение битовой глубины;

Фиг.79 - график, показывающий целевую кривую выходного сигнала и несколько кривых выходных сигналов панели или дисплея;

Фиг.80 - график, показывающий графики векторов ошибки для целевых кривых выходных сигналов и кривых выходных сигналов дисплея из фиг.79;

Фиг.81 - график, показывающий диаграмму взвешенной по гистограмме ошибки;

Фиг.82 - схема, показывающая примерный вариант осуществления настоящего изобретения, содержащий выбор уровня яркости подсветки на основе взвешенной по гистограмме ошибки;

Фиг.83 - схема, показывающая альтернативный примерный вариант осуществления настоящего изобретения, содержащий выбор уровня яркости подсветки на основе взвешенной по гистограмме ошибки;

Фиг.84 - схема, показывающая примерную систему, содержащую детектор смены плана;

Фиг.85 - схема, показывающая примерную систему, содержащую детектор смены плана и модуль компенсации изображения;

Фиг.86 - схема, показывающая примерную систему, содержащую детектор смены плана и буфер гистограммы;

Фиг.87 - схема, показывающая примерную систему, содержащую детектор смены плана и временной фильтр, реагирующий на детектор смены плана;

Фиг.88 - блок-схема, показывающая примерный способ, в котором выбор фильтра основан на обнаружении смены плана;

Фиг.89 - блок-схема, показывающая примерный способ, в котором кадры сравниваются для обнаружения смены плана;

Фиг.90 - график, показывающий характеристику фоновой подсветки без фильтра;

Фиг.91 - график, показывающий типичную временную функцию контрастной чувствительности;

Фиг.92 - график, показывающий характеристику примерного фильтра;

Фиг.93 - график, показывающий характеристику фоновой подсветки с фильтрацией и без фильтрации;

Фиг.94 - график, показывающий характеристику фильтра по всей смене плана; и

Фиг.95 - график, показывающий характеристику, без фильтрации по всей смене плана вместе с первой фильтрованной характеристикой и второй фильтрованной характеристикой.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Варианты осуществления настоящего изобретения будут лучше всего восприниматься исходя из чертежей, где все одинаковые части обозначаются одинаковыми цифрами. Перечисленные выше чертежи в прямой форме включаются в виде части этого подробного описания изобретения.

Станет совершенно понятно, что компоненты настоящего изобретения, которые в общих чертах описываются и иллюстрируются на чертежах в этом документе, могли бы быть организованы и спроектированы в широком спектре разных конфигураций. Таким образом, нижеследующее более подробное описание вариантов осуществления способов и систем из настоящего изобретения не предназначено ограничить объем изобретения, а представляет предпочтительные сейчас варианты осуществления изобретения.

Элементы вариантов осуществления настоящего изобретения могут быть реализованы в аппаратных средствах, программно-аппаратных средствах и/или программном обеспечении. Хотя примерные варианты осуществления, раскрытые в этом документе, могут описывать только одну из этих форм, нужно понимать, что специалист в данной области техники смог бы выполнить эти элементы в любой из этих форм, оставаясь в рамках объема настоящего изобретения.

Устройства отображения, использующие светоклапанные модуляторы, например ЖК-модуляторы и другие модуляторы, могут быть отражающими, где свет излучается на переднюю поверхность (обращенную к зрителю) и отражается обратно к зрителю после прохождения через модуляционный слой панели. Устройства отображения также могут быть пропускающими, где свет излучается на заднюю сторону модуляционного слоя панели и ему разрешается пройти через модуляционный слой к зрителю. Некоторые устройства отображения также могут быть прозрачно-отражающими, сочетанием отражающего и пропускающего, где свет может проходить через модуляционный слой с задней стороны на переднюю, тогда как свет от другого источника отражается после входа с передней стороны модуляционного слоя. В любом из этих случаев элементы в модуляционном слое, например отдельные ЖК-элементы, могут управлять воспринимаемой яркостью пикселя.

В дисплеях с задней подсветкой, передней подсветкой и боковой подсветкой источник света может быть группой флуоресцентных ламп, массивом LED или каким-нибудь другим источником. Если дисплей больше типичного размера около 18", большая часть потребляемой мощности для устройства обусловлена источником света. Для некоторых применений и на некоторых рынках сокращение потребления мощности является важным. Однако уменьшение мощности означает сокращение светового потока у источника света и таким образом уменьшение максимальной яркости дисплея.

Основным уравнением, устанавливающим связь текущих полутоновых кодовых значений светоклапанного модулятора с гамма-коррекцией (CV) яркости источника света, (L_source) и выходного уровня яркости (L_out) является:

Уравнение 1

L_out=L_source*g(CV+dark)^γ+ambient,

где g - прирост калибровки, dark - уровень темного у светового клапана, и ambient - свет, попадающий на дисплей в условиях помещения. Из этого уравнения видно, что уменьшение источника света фоновой подсветки на x% также уменьшает выход света на x%.

Уменьшение яркости источника света может компенсироваться изменением значений модуляции светового клапана, в частности их повышением. Фактически, любой уровень яркости меньше (1-x%) может воспроизводиться полностью, тогда как любой уровень яркости выше (1-x%) не может воспроизводиться без дополнительного источника света или увеличения мощности источника.

Установка выхода света из исходных и уменьшенных источников дает базовую поправку кодового значения, которая может использоваться для исправления кодовых значений для уменьшения на x% (предполагая, что dark и ambient равны 0):

Уравнение 2

L_out=L_source*g(CV)^γ=L_reduced*g(CV_boost)^γ

Уравнение 3

CV_boost=CV*(L_source/L_reduced)^1/γ=CV*(1/x%)^1/γ

Фиг.2А иллюстрирует эту настройку. На фиг.2А и 2В исходные значения отображения соответствуют точкам на линии 12. Когда фоновая подсветка или источник света переводится в энергосберегающий режим и яркость источника света уменьшается, кодовые значения отображения необходимо повысить, чтобы позволить световым клапанам нейтрализовать уменьшение яркости источника света. Эти повышенные значения совпадают с точками на линии 14. Однако эта настройка приводит к кодовым значениям 18, которые выше, чем способен создать дисплей (например, 255 для 8-разрядного дисплея). Следовательно, эти значения заканчиваются отсечением 20, как проиллюстрировано на фиг.2В. Настроенные таким образом изображения могут страдать от размытых ярких участков не естественного вида и, как правило, низкого качества.

Используя эту простую модель настройки, кодовые значения ниже точки 15 отсечения (входное кодовое значение 230 в этом примерном варианте осуществления) будут отображаться с уровнем яркости, равным уровню, созданному источником света на полной мощности, находясь при этом в режиме уменьшенной яркости подсветки. Такая же яркость создается с меньшей мощностью, приводя к экономии энергии. Если набор кодовых значений изображения ограничивается диапазоном ниже точки 15 отсечения, режим экономии энергии может быть легко задействован пользователем. К сожалению, когда значения превышают точку 15 отсечения, яркость уменьшается и теряется детализация. Варианты осуществления настоящего изобретения предоставляют алгоритм, который может изменять кодовые значения LCD или светового клапана, чтобы обеспечить увеличенную яркость (или нехватку уменьшения яркости в энергосберегающем режиме) наряду с уменьшением дефектов срезания, которые могут возникать в верхней части диапазона яркости.

Некоторые варианты осуществления настоящего изобретения могут устранять уменьшение яркости, вызванное уменьшением мощности источника света дисплея, путем приведения в соответствие яркости изображения, отображаемого с низкой мощностью и отображаемого с полной мощностью для значительного диапазона значений. В этих вариантах осуществления уменьшение мощности источника света или фоновой подсветки, которая делит выходную яркость на определенный коэффициент, компенсируется увеличением в данных изображения на обратный коэффициент.

Игнорируя ограничения динамического диапазона, изображения, показанные при полной мощности и уменьшенной мощности, могут быть одинаковыми, потому что деление (для уменьшенной яркости источника света) и умножение (для повышенных кодовых значений) по существу компенсируются на значительном диапазоне. Границы динамического диапазона могут вызывать дефекты срезания всякий раз, когда умножение (для подъема кодового значения) данных изображения превышает максимальное значение дисплея. Дефекты срезания, вызванные ограничениями динамического диапазона, могут устраняться или уменьшаться путем постепенного уменьшения степени увеличения на верхней границе кодовых значений. Этот спад может начинаться с точки максимального соответствия (MFP), выше которой яркость уже не соответствует исходной яркости.

В некоторых вариантах осуществления настоящего изобретения нижеследующие этапы могут выполняться для компенсации уменьшения яркости источника света или возможного уменьшения для улучшения изображения:

1. Уровень уменьшения (фоновой подсветки) подсветки определяется в показателях процентного отношения уменьшения яркости.

2. Определяется точка максимального соответствия (MFP), в которой происходит спад соответствия выходного сигнала при уменьшенной мощности и выходного сигнала при полной мощности.

3. Определить компенсирующий оператор градационной шкалы:

a) ниже MFP, поднять градационную шкалу для компенсации уменьшения яркости дисплея;

b) выше MFP, постепенно снизить градационную шкалу (в некоторых вариантах осуществления - следуя непрерывным производным).

4. Применить к изображению оператор наложения градационной шкалы.

5) Отправить на дисплей.

Основное преимущество этих вариантов осуществления в том, что энергосбережение может достигаться только с небольшими изменениями в ограниченной категории изображений. (Отличия возникают только выше MFP и состоят из уменьшения пиковой яркости и некоторой потери ярких деталей). Значения изображения ниже MFP могут отображаться в режиме энергосбережения с такой же яркостью, что и в режиме полной мощности, делая эти области изображения неотличимыми от режима полной мощности.

Некоторые варианты осуществления настоящего изобретения могут использовать карту градационной шкалы, которая зависит от уменьшения мощности и гаммы дисплея и которая не зависит от данных изображения. Эти варианты осуществления могут обеспечить два преимущества. Во-первых, не возникают дефекты мерцания, которые могут возникать из-за различной обработки кадров, и во-вторых, алгоритм обладает очень низкой сложностью реализации. В некоторых вариантах осуществления может использоваться автономное исполнение градационной шкалы и оперативное наложение градационной шкалы. Отсечение в ярких участках может управляться с помощью описания MFP.

Некоторые варианты осуществления настоящего изобретения могут описываться в соответствии с фиг.3. Фиг.3 - график, показывающий кодовые значения изображения, нанесенные относительно яркости для некоторых ситуаций. Первая кривая 32, показанная точечной, представляет исходные кодовые значения для источника света, работающего при 100%-ной мощности. Вторая кривая 30, показанная в виде штрихпунктирной кривой, представляет яркость исходных кодовых значений, когда источник света работает на 80% от полной мощности. Третья кривая 36, показанная в виде пунктирной кривой, представляет яркость, когда кодовые значения повышаются, чтобы соответствовать яркости, предоставленной при 100%-ной яркости источника света, хотя источник света работает на 80% от полной мощности. Четвертая кривая 34, показанная в виде сплошной линии, представляет повышенные данные, но с кривой спада для уменьшения эффектов отсечения в верхней части данных.

В этом примерном варианте осуществления, показанном на фиг.3, использовалась MFP 35 при кодовом значении 180. Отметим, что ниже кодового значения 180 повышенная кривая 34 соответствует выходному сигналу 32 яркости посредством исходного отображения на 100%-ной мощности. Выше 180 повышенная кривая плавно переходит в максимальный выход, допустимый на 80% отображения. Эта плавность уменьшает дефекты срезания и квантования. В некоторых вариантах осуществления функция градационной шкалы может быть задана фрагментарно, чтобы плавно соответствовать в точке перехода, заданной MFP 35. Ниже MFP 35 может использоваться функция повышенной градационной шкалы. Выше MFP 35 кривая плавно подходит к конечной точке кривой повышенной градационной шкалы в MFP и подходит к конечной точке 37 в максимальном кодовом значении [255]. В некоторых вариантах осуществления наклон кривой может подгоняться к наклону кривой/линии повышенной градационной шкалы в MFP 35. Это может достигаться путем согласования наклона линии ниже MFP с наклоном кривой выше MFP с помощью выравнивания производных функций линии и кривой в MFP и путем согласования значений функций линии и кривой в этой точке. Другое ограничение на функцию кривой может состоять в том, что она вынуждена проходить через точку 37 максимального значения [255,255]. В некоторых вариантах осуществления наклон кривой может быть установлен в 0 в точке 37 максимального значения. В некоторых вариантах осуществления значение MFP в 180 может соответствовать уменьшению мощности источника света на 20%.

В некоторых вариантах осуществления настоящего изобретения кривая градационной шкалы может задаваться линейным соотношением с приростом g ниже точки максимального соответствия (MFP). Градационная шкала дополнительно может задаваться выше MFP, чтобы кривая и ее первая производная были непрерывными в MFP. Эта непрерывность подразумевает следующий вид функции градационной шкалы:

Уравнение 4

Прирост может определяться гаммой дисплея и кратностью уменьшения яркости следующим образом:

Уравнение 5

В некоторых вариантах осуществления значение MFP может настраиваться путем ручного уравновешивания сохранения детализации ярких участков и сохранения абсолютной яркости.

MFP может определяться путем наложения ограничения, что наклон должен быть нулевым в максимальной точке. Это подразумевает:

Уравнение 6

В некоторых типовых вариантах осуществления могут использоваться нижеследующие уравнения для вычисления кодовых значений для простых повышенных данных, повышенных данных с отсечением и исправленных данных соответственно согласно примерному варианту осуществления.

Уравнение 7

Постоянные A, B и C могут выбираться, чтобы давать плавную подгонку в MFP и чтобы кривая проходила через точку [255,255]. Графики этих функций показаны на фиг.4.

Фиг.4 - график исходных кодовых значений в зависимости от скорректированных кодовых значений. Исходные кодовые значения показываются в виде точек на линии 40 исходных данных, которая показывает соотношение 1:1 между скорректированными и исходными значениями, так как эти значения являются исходными без настройки. В соответствии с вариантами осуществления настоящего изобретения эти значения могут быть повышены или скорректированы для представления более высоких уровней яркости. Простая процедура подъема в соответствии с вышеприведенным уравнением "подъема градационной шкалы" может привести к значениям на линии 42 подъема. Поскольку отображение этих значений приведет к отсечению, как графически показано на линии 46 и математически в уравнении "отсеченной градационной шкалы" выше, настройка может сокращаться от точки 45 максимального соответствия на кривой 44 до точки 47 максимального значения. В некоторых вариантах осуществления это соотношение может описываться математически в уравнении "исправленной градационной шкалы" выше.

Используя эти идеи, значения яркости, представленные дисплеем с источником света, работающим на 100%-ной мощности, могут быть представлены дисплеем с источником света, работающим на более низком уровне мощности. Это достигается посредством подъема градационной шкалы, который по существу открывает световые клапаны дополнительно для компенсации потери яркости источника света. Однако простое применение этого подъема на всем диапазоне кодовых значений приводит к дефектам срезания в верхней части диапазона. Чтобы предотвратить или уменьшить эти дефекты, функция градационной шкалы может снижаться плавно. Этот спад может управляться параметром MFP. Большие значения MFP дают совпадения яркости на широком интервале, но увеличивают видимые дефекты квантования/срезания на верхнем уровне кодовых значений.

Варианты осуществления настоящего изобретения могут функционировать путем настройки кодовых значений. В модели дисплея с простой гаммой масштабирование кодовых значений дает масштабирование значений яркости с разным масштабным коэффициентом. Чтобы определить, сохраняется ли эта зависимость в более реалистичных моделях дисплеев, мы можем рассмотреть модель Gamma-Offset-Gain - Flair (GOG-F). Масштабирование мощности фоновой подсветки соответствует уравнениям линейного уменьшения, где процентное отношение p применяется к выходному сигналу дисплея, а не общему освещению. Согласно наблюдениям, уменьшение прироста на коэффициент p эквивалентно оставлению прироста неизмененным и масштабированию данных, кодовых значений и смещения на коэффициент, определенный гаммой дисплея. Математически мультипликативный множитель может быть внесен в степенную функцию при соответствующем изменении. Этот измененный коэффициент может масштабировать как кодовые значения, так и смещение.

Уравнение 8. Модель GOG-F

Уравнение 9. Линейное уменьшение яркости

Уравнение 10. Уменьшение кодового значения

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.5. В этих вариантах осуществления настройка градационной шкалы может выполняться или вычисляться автономно, перед обработкой изображений, либо настройка может выполняться или вычисляться оперативно, когда обрабатывается изображение. Независимо от выбора момента времени операции настройка 56 градационной шкалы может выполняться или вычисляться на основе по меньшей мере одного из гаммы 50 дисплея, коэффициента 52 эффективности и точки 54 максимальной точности (MFP). Эти факторы могут обрабатываться в процессе 56 исполнения градационной шкалы, чтобы создать модель 58 настройки градационной шкалы. Модель настройки градационной шкалы может принимать вид алгоритма, справочной таблицы (LUT) или некоторой другой модели, которая может применяться к данным изображения.

Как только создана модель 58 настройки, она может применяться к данным изображения. Применение модели настройки может описываться со ссылкой на фиг.6. В этих вариантах осуществления введено 62 изображение и модель 58 настройки градационной шкалы применена 64 к изображению для настройки кодовых значений изображения. Этот процесс приводит к выходному изображению 66, которое может быть отправлено на дисплей. Применение 64 настройки градационной шкалы обычно является оперативным процессом, но может выполняться перед показом изображения, когда позволяют условия.

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для улучшения изображений, отображаемых на дисплеях, использующих модуляторы светоизлучающих пикселей, таких как LED-дисплеях, плазменных дисплеях и других типах дисплеев. Эти системы и способы могут использоваться для улучшения изображений, отображаемых на дисплеях, использующих модуляторы светоклапанных пикселей с источниками света, работающими в режиме полной мощности или иным образом.

Эти варианты осуществления работают аналогично ранее описанным вариантам осуществления, однако вместо компенсации уменьшенной яркости источника света эти варианты осуществления просто увеличивают яркость диапазона пикселей, как если бы был уменьшен источник света. Таким образом, общая яркость изображения повышается.

В этих вариантах осуществления исходные кодовые значения повышаются на существенном диапазоне значений. Эта настройка кодовых значений может осуществляться, как объяснялось выше для других вариантов осуществления, за исключением того, что не происходит фактического уменьшения яркости источника света. Поэтому яркость изображения существенно увеличивается в широком диапазоне кодовых значений.

Некоторые из этих вариантов осуществления с тем же успехом можно объяснить со ссылкой на фиг.3. В этих вариантах осуществления кодовые значения для исходного изображения показываются в виде точек на кривой 30. Эти значения могут повышаться или подгоняться к значениям с более высоким уровнем яркости. Эти повышенные значения могут изображаться в виде точек на кривой 34, которая простирается от нулевой точки 33 до точки 35 максимального соответствия и затем сходит к точке 37 максимального значения.

Некоторые варианты осуществления настоящего изобретения содержат процесс нерезкого наложения маски. В некоторых из этих вариантов осуществления нерезкое наложение маски может использовать пространственно меняющийся прирост. Этот прирост может определяться по значению изображения и наклону измененной кривой градационной шкалы. В некоторых вариантах осуществления использование массива приростов дает возможность выравнивания контраста изображения, даже когда яркость изображения нельзя удвоить из-за ограничений по мощности дисплея.

Некоторые варианты осуществления настоящего изобретения могут выполнять следующие этапы обработки:

1. Вычислить модель настройки градационной шкалы.

2. Вычислить высокочастотное изображение.

3. Вычислить массив приростов.

4. Взвесить высокочастотное изображение по приросту.

5. Суммировать низкочастотное изображение и взвешенное высокочастотное изображение.

6. Отправить на дисплей.

Другие варианты осуществления настоящего изобретения могут выполнять следующие этапы обработки:

1. Вычислить модель настройки градационной шкалы.

2. Вычислить низкочастотное изображение.

3. Вычислить высокочастотное изображение как разницу между изображением и низкочастотным изображением.

4. Вычислить массив приростов с использованием значения изображения и наклона измененной кривой градационной шкалы.

5. Взвесить высокочастотное изображение по приросту.

6. Суммировать низкочастотное изображение и взвешенное высокочастотное изображение.

7. Отправить на дисплей уменьшенной мощности.

Используя некоторые варианты осуществления настоящего изобретения, можно добиться энергосбережения с помощью лишь небольших изменений на ограниченной категории изображений. (Отличия возникают только выше MFP и состоят из уменьшения пиковой яркости и некоторой потери ярких деталей). Значения изображения ниже MFP могут отображаться в режиме энергосбережения с такой же яркостью, что и в режиме полной мощности, делая эти области изображения неотличимыми от режима полной мощности. Другие варианты осуществления настоящего изобретения улучшают это выполнение путем уменьшения потери ярких деталей.

Эти варианты осуществления могут содержать пространственно меняющееся нерезкое использование маски, чтобы сохранить яркие детали. Как и в случае с другими вариантами осуществления, может использоваться оперативный и автономный компонент. В некоторых вариантах осуществления автономный компонент может быть расширен путем вычисления карты прироста в дополнение к функции градационной шкалы. Карта прироста может задавать прирост фильтра уменьшения резкости для применения на основе значения изображения. Значение карты прироста может определяться с использованием наклона функции градационной шкалы. В некоторых вариантах осуществления, значение карты прироста в конкретной точке "Р" может вычисляться как отношение наклона функции градационной шкалы ниже MFP к наклону функции градационной шкалы в точке "Р". В некоторых вариантах осуществления функция градационной шкалы является линейной ниже MFP, поэтому прирост равен единице ниже MFP.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.7. В этих вариантах осуществления настройка градационной шкалы может выполняться или вычисляться автономно, перед обработкой изображений, либо настройка может выполняться или вычисляться оперативно, когда обрабатывается изображение. Независимо от выбора момента времени операции настройка 76 градационной шкалы может выполняться или вычисляться на основе по меньшей мере одного из гаммы 70 дисплея, коэффициента 72 эффективности и точки 74 максимального соответствия (MFP). Эти факторы могут обрабатываться в настройки 76 исполнения градационной шкалы, чтобы создать модель 78 настройки градационной шкалы. Модель настройки градационной шкалы может принимать вид алгоритма, справочной таблицы (LUT) или некоторой другой модели, которая может применяться к данным изображения, как описано выше в отношении других вариантов осуществления. В этих вариантах осуществления также происходит вычисление 75 отдельной карты 77 прироста. Эта карта 77 прироста может применяться к определенным подразделам изображения, например частотным диапазонам. В некоторых вариантах осуществления карта прироста может применяться к частям изображения с частотным разделением. В некоторых вариантах осуществления карта прироста может применяться к высокочастотному подразделу изображения. Она также может применяться к определенным частотным диапазонам изображения или другим подразделам изображения.

Примерная модель настройки градационной шкалы может описываться в соответствии с фиг.8. В этих примерных вариантах осуществления выбирается точка 84 перехода функции (FTP) (аналогично MFP используемая в вариантах осуществления компенсации уменьшения источника света), и функция прироста выбирается для обеспечения первого соотношения 82 прироста для значений ниже FTP 84. В некоторых вариантах осуществления первое соотношение прироста может быть линейным соотношением, но другие соотношения и функции могут использоваться для преобразования кодовых значений в улучшенные кодовые значения. Выше FTP 84 может использоваться второе соотношение 86 прироста. Это второе соотношение 86 прироста может быть функцией, которая соединяет FTP 84 с точкой 88 максимального значения. В некоторых вариантах осуществления второе соотношение 86 прироста может совпадать со значением и наклоном первого соотношения 82 прироста в FTP 84 и проходить через точку 88 максимального значения. Другие соотношения, которые описаны выше относительно других вариантов осуществления, и совсем другие соотношения также могут служить в качестве второго соотношения 86 прироста.

В некоторых вариантах осуществления, карта 77 прироста может вычисляться в отношении модели настройки градационной шкалы, которая показана на фиг.8. Примерная карта 77 прироста может описываться относительно фиг.9. В этих вариантах осуществления функция карты прироста относится к модели 78 настройки градационной шкалы как функция наклона модели настройки градационной шкалы. В некоторых вариантах осуществления значение функции карты прироста в определенном кодовом значении определяется отношением наклона модели настройки градационной шкалы в любом кодовом значении ниже FTP к наклону модели настройки градационной шкалы в определенном кодовом значении. В некоторых вариантах осуществления это соотношение может математически выражаться в уравнении 11:

Уравнение 11

В этих вариантах осуществления функция карты прироста равна единице ниже FTP, где модель настройки градационной шкалы приводит к линейному увеличению. Для кодовых значений выше FTP функция карты прироста быстро увеличивается, когда спадает наклон модели настройки градационной шкалы. Это резкое увеличение функции карты прироста улучшает контраст частей изображения, к которым она применяется.

Примерный коэффициент настройки градационной шкалы, проиллюстрированный на фиг.8, и примерная функция карты прироста, проиллюстрированная на фиг.9, вычислялись с использованием процентного соотношения отображения (уменьшения подсветки) при 80%, гаммы дисплея, равной 2,2, и точки максимальной точности, равной 180.

В некоторых вариантах осуществления настоящего изобретения операция нерезкого применения маски может применяться после применения модели настройки градационной шкалы. В этих вариантах осуществления дефекты уменьшаются с помощью методики нерезкого применения маски.

Некоторые варианты осуществления настоящего изобретения могут описываться в соответствии с фиг.10. В этих вариантах осуществления вводится исходное изображение 102, и модель 103 настройки градационной шкалы применяется к изображению. Исходное изображение 102 также используется в качестве входных данных в процесс 105 составления карты прироста, который дает в результате карту прироста. Скорректированное по градационной шкале изображение затем обрабатывается посредством фильтра 104 нижних частот, дающего в результате скорректированное низкочастотное изображение. Скорректированное низкочастотное изображение затем вычитается 106 из скорректированного по градационной шкале изображения, чтобы получить высокочастотное скорректированное изображение. Это высокочастотное скорректированное изображение затем умножается 107 на подходящее значение в карте прироста, чтобы предоставить усиленное высокочастотное изображение, которое затем прибавляется 108 к низкочастотному скорректированному изображению, которое уже скорректировано с помощью модели настройки градационной шкалы. Это добавление дает в результате выходное изображение 109 с увеличенной яркостью и улучшенным высокочастотным контрастом.

В некоторых из этих вариантов осуществления для каждой составляющей в каждом пикселе изображения значение прироста определяется из карты прироста и значения изображения в этом пикселе. Исходное изображение 102 перед применением модели настройки градационной шкалы может использоваться для определения прироста. Каждая составляющая в каждом пикселе высокочастотного изображения также может масштабироваться на соответствующее значение прироста перед добавлением к низкочастотному изображению. В точках, где функция карты прироста равна единице, операция нерезкого применения маски не изменяет значения изображения. В точках, где функция карты прироста превышает единицу, контраст увеличивается.

Некоторые варианты осуществления настоящего изобретения действуют на уменьшение контраста в кодовых значениях верхнего уровня при увеличении яркости кодового значения путем разложения изображения на несколько диапазонов частот. В некоторых вариантах осуществления функция градационной шкалы может применяться к диапазону низких частот, увеличивая яркость данных изображения, чтобы компенсировать уменьшение яркости подсветки в режиме низкого энергоснабжения или чтобы просто увеличить яркость показываемого изображения. Параллельно постоянный прирост может применяться к диапазону высоких частот, сохраняя контраст изображения даже в областях, где средняя абсолютная яркость уменьшается из-за низкой мощности дисплея. Работа примерного алгоритма имеет вид:

1. Выполнить разложение частоты у исходного изображения.

2. Применить сохранение яркости, карту градационной шкалы к низкочастотному изображению.

3. Применить постоянный множитель к высокочастотному изображению.

4. Сложить низкочастотные и высокочастотные изображения.

5. Отправить результат на дисплей.

Функция градационной шкалы и постоянный прирост могут определяться автономно путем создания фотометрического соответствия между показом на полной мощности исходного изображения и показом на низкой мощности обработанного изображения для применений с уменьшением яркости подсветки. Функция градационной шкалы также может определяться автономно для применений с улучшением яркости.

Для умеренных значений MFP эти варианты осуществления с постоянным высокочастотным приростом и варианты осуществления с нерезким применением маски почти неотличимы по производительности. Эти варианты осуществления с постоянным высокочастотным приростом обладают тремя основными преимуществами по сравнению с вариантами осуществления нерезкого применения маски: уменьшенная чувствительность к шуму, возможность использовать большее MFP/FTP и использование этапов обработки в настоящее время в системе отображения. Варианты осуществления с нерезким применением маски используют прирост, который является обратной величиной наклона кривой градационной шкалы. Когда наклон этой кривой небольшой, этот прирост подвергается большому шуму усиления. Это усиление шума также может накладывать практическое ограничение на размер MFP/FTP. Второе преимущество является возможностью расширяться до произвольных значений MFP/FTP. Третье преимущество появляется из рассмотрения размещения алгоритма в системе. Как варианты осуществления с постоянным высокочастотным приростом, так и варианты осуществления с нерезким применением маски используют разложение частоты. Варианты осуществления с постоянным высокочастотным приростом выполняют эту операцию первой, тогда как некоторые варианты осуществления с нерезким применением маски сначала применяют функцию градационной шкалы перед разложением частоты. Некоторая системная обработка, например устранение контура, будет выполнять разложение частоты до алгоритма сохранения яркости. В этих случаях это разложение частоты может использоваться некоторыми вариантами осуществления с постоянным высокочастотным приростом, посредством этого исключая этап преобразования, тогда как некоторые варианты осуществления с нерезким применением маски должны инвертировать разложение частоты, применять функцию градационной шкалы и выполнять дополнительное разложение частоты.

Некоторые варианты осуществления настоящего изобретения препятствуют потере контраста в кодовых значениях верхнего уровня путем разделения изображения на основе пространственной частоты перед применением функции градационной шкалы. В этих вариантах осуществления функция градационной шкалы со спадом может применяться к составляющей низкой частоты LP изображения. В применениях с компенсацией уменьшения яркости источника света это обеспечит общее совпадение яркости низкочастотных составляющих изображения. В этих вариантах осуществления составляющая высокой частоты HP равномерно повышается (постоянный прирост). Разложенные по частоте сигналы могут воссоединяться и отсекаться при необходимости. Детализация сохраняется, поскольку высокочастотная составляющая не проходит через спад функции градационной шкалы. Плавный спад низкочастотной функции градационной шкалы оставляет возможность добавления повышенного высокочастотного контраста. Отсечение, которое может возникать в этом итоговом сочетании, не оказалось значительно уменьшающим детализацию.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.11. Эти варианты осуществления содержат разделение или разложение 111 частот, наложение 112 низкочастотной градационной шкалы, постоянный высокочастотный прирост или подъем 116 и суммирование или воссоединение 115 улучшенных составляющих изображения.

В этих вариантах осуществления входное изображение 110 раскладывается на диапазоны пространственных частот 111. В примерном варианте осуществления, в котором используются два диапазона, это может выполняться с использованием низкочастотного (LP) фильтра 111. Частотное разделение выполняется путем вычисления LP-сигнала посредством фильтра 111 и вычитания 113 LP-сигнала из исходного, чтобы образовать высокочастотный (HP) сигнал 118. В примерном варианте осуществления пространственный фильтр 5x5 с прямоугольной характеристикой может использоваться для этого разложения, хотя может использоваться и другой фильтр.

LP-сигнал может затем обрабатываться путем применения наложения градационной шкалы, которое обсуждалось для ранее описанных вариантов осуществления. В примерном варианте осуществления это может достигаться с помощью фотометрического совпадения LUT. В этих вариантах осуществления более высокое значение MFP/FTP может использоваться по сравнению с некоторыми ранее описанными вариантами осуществления с нерезким применением маски, поскольку большинство деталей уже извлечено в фильтрации 111. Отсечение, как правило, не следует использовать, поскольку обычно должна сохраняться некоторая возможность добавить контраст.

В некоторых вариантах осуществления, MFP/FTP может определяться автоматически и может устанавливаться так, чтобы наклон кривой градационной шкалы был равен нулю в верхнем пределе. Ряд функций градационной шкалы, определенный таким образом, иллюстрируется на фиг.12. В этих вариантах осуществления максимальное значение MFP/FTP может определяться из условия, чтобы функция градационной шкалы имела нулевой наклон в 255. Это наибольшее значение MFP/FTP, которое не вызывает отсечения.

В некоторых вариантах осуществления настоящего изобретения, описанных со ссылкой на фиг.11, обработка HP-сигнала 118 является независимой от выбора MFP/FTP, используемого в обработке низкочастотного сигнала. HP-сигнал 118 обрабатывается с постоянным приростом 116, который сохранит контраст, когда уменьшается мощность/яркость источника света или когда кодовые значения изображения повышаются иным образом для улучшения яркости. Формула для прироста 116 HP-сигнала в показателях полной и уменьшенной мощностей фоновой подсветки (BL) и гаммы дисплея приводится непосредственно ниже в виде уравнения высокочастотного прироста. Подъем высокочастотного контраста устойчив к шуму, поскольку прирост обычно небольшой (например, прирост равен 1,1 для 80%-ного уменьшения мощности и гаммы 2,2).

Уравнение 12

В некоторых вариантах осуществления, как только применено наложение градационной шкалы 112 к LP-сигналу, посредством обработки по LUT или иным образом, и постоянный прирост 116 применен к HP-сигналу, эти частотные составляющие могут складываться 115 и, в некоторых случаях, срезаться. Отсечение может быть необходимо, когда увеличенное HP-значение, добавленное к LP-значению, превышает 255. Это обычно будет свойственно только ярким сигналам с высоким контрастом. В некоторых вариантах осуществления, LP-сигнал не превышает верхний предел благодаря построению LUT градационной шкалы. HP-сигнал может вызывать отсечение в сумме, но отрицательные значения HP-сигнала никогда не отсекутся, поддерживая некоторый контраст, даже когда возникает отсечение.

Зависимые от изображения варианты осуществления подсветки

В некоторых вариантах осуществления настоящего изобретения уровень яркости источника света дисплея может настраиваться в соответствии с характеристиками показываемого изображения, ранее показанных изображений, изображений для показа после показываемого изображения или их сочетаний. В этих вариантах осуществления уровень яркости источника света дисплея может меняться в соответствии с характеристиками изображения. В некоторых вариантах осуществления эти характеристики изображения могут содержать уровни яркости изображения, уровни цветности изображения, характеристики гистограммы изображения и другие характеристики изображения.

Как только выявлены характеристики изображения, уровень яркости источника света (фоновой подсветки) может меняться для улучшения одного или нескольких свойств изображения. В некоторых вариантах осуществления яркость источника света может уменьшаться или увеличиваться для улучшения контраста в более темных или более светлых областях изображения. Уровень яркости источника света также может увеличиваться или уменьшаться для увеличения динамического диапазона изображения. В некоторых вариантах осуществления яркость источника света может настраиваться для оптимизации энергопотребления для каждого кадра изображения.

Когда изменена яркость источника света по любой причине, кодовые значения пикселей изображения могут настраиваться с использованием настройки градационной шкалы, чтобы дополнительно улучшить изображение. Если яркость источника света уменьшена для экономии энергии, значения пикселей могут быть увеличены для восстановления утраченной яркости. Если яркость источника света изменена для улучшения контраста в определенном диапазоне яркости, то значения пикселей могут настраиваться для компенсации уменьшенного контраста в другом диапазоне или для дополнительного улучшения определенного диапазона.

В некоторых вариантах осуществления настоящего изобретения, которые проиллюстрированы на фиг.13, настройки градационной шкалы изображения могут зависеть от содержания изображения. В этих вариантах осуществления изображение может анализироваться 130 для определения характеристик изображения. Характеристики изображения могут содержать характеристики канала яркости, такие как средняя яркость изображения (APL), которая является средней яркостью изображения; максимальное значение яркости; минимальное значение яркости; данные гистограммы яркости, такие как среднее значение гистограммы, самое часто встречающееся значение гистограммы и другие; и другие характеристики яркости. Характеристики изображения также могут содержать характеристики цвета, такие как характеристика отдельных каналов цветности (например, R, G и B в RGB-сигнале). Каждый канал цветности может анализироваться независимо для определения характерных для канала цветности характеристик изображения. В некоторых вариантах осуществления для каждого канала цветности может использоваться отдельная гистограмма. В других вариантах осуществления данные гистограммы пятен, которые содержат в себе информацию о пространственном распределении данных изображения, могут использоваться в качестве характеристики изображения. Характеристики изображения также могут содержать временные изменения между видеокадрами.

Как только проанализировано 130 изображение и определены характеристики, может вычисляться или выбираться 132 карта градационной шкалы из набора предварительно вычисленных карт на основе значения характеристики изображения. Эта карта может затем применяться 134 к изображению для компенсации настройки фоновой подсветки или иного улучшения изображения.

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.14. В этих вариантах осуществления анализатор 142 изображения принимает изображение 140 и определяет характеристики изображения, которые могут использоваться для выбора карты градационной шкалы. Эти характеристики затем отправляются в селектор 143 карты градационной шкалы, который определяет подходящую карту на основе характеристик изображения. Этот выбор карты может затем отправляться процессору 145 изображений для применения карты к изображению 140. Процессор 145 изображений будет получать выбор карты и исходные данные изображения и обрабатывать исходное изображение с помощью выбранной карты 144 градационной шкалы, посредством этого формируя скорректированное изображение, которое отправляется на дисплей 146 для показа пользователю. В этих вариантах осуществления одна или несколько карт 144 градационной шкалы хранятся для выбора на основе характеристик изображения. Эти карты 144 градационной шкалы могут предварительно вычисляться и сохраняться в виде таблиц или некоторого другого формата данных. Эти карты 144 градационной шкалы могут содержать простые таблицы преобразования гаммы, карты улучшения, созданные с использованием способов, описанных выше в отношении фиг.5, 7, 10 и 11, или другие карты.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг.15. В этих вариантах осуществления анализатор 152 изображения принимает изображение 150 и определяет характеристики изображения, которые могут быть использованы для вычисления карты градационной шкалы. Эти характеристики затем отправляются в устройство 153 вычисления карты градационной шкалы, которое может вычислить подходящую карту на основе характеристик изображения. Вычисленная карта может затем отправляться процессору 155 изображений для применения карты к изображению 150. Процессор 155 изображений будет принимать вычисленную карту 154 и исходные данные изображения и обрабатывать исходное изображение с помощью карты 154 градационной шкалы, посредством этого формируя скорректированное изображение, которое отправляется на дисплей 156 для показа пользователю. В этих вариантах осуществления вычисляется карта 154 градационной шкалы, по существу в реальном масштабе времени на основе характеристик изображения. Вычисленная карта 154 градационной шкалы может содержать простую таблицу преобразования гаммы, карту улучшения, созданную с использованием способов, описанных выше в отношении фиг.5, 7, 10 и 11, или другую карту.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны в соответствии с фиг.16. В этих вариантах осуществления уровень яркости подсветки может зависеть от содержания изображения наряду с тем, что карта градационной шкалы также зависит от содержания изображения. Однако не обязательно может иметь место какая-либо связь между каналом вычисления подсветки и каналом карты градационной шкалы.

В этих вариантах осуществления изображение анализируется 160 для определения характеристик изображения, необходимых для вычислений подсветки или карты градационной шкалы. Эта информация затем используется для вычисления 161 уровня яркости подсветки, подходящего для изображения. Эти данные о подсветке затем отправляются 162 на дисплей для изменения подсветки (например, фоновой подсветки), когда отображается изображение. Данные характеристик изображения также отправляются в канал карты градационной шкалы, где карта градационной шкалы выбирается или вычисляется 163 на основе информации о характеристиках изображения. Карта затем применяется 164 к изображению для создания улучшенного изображения, которое отправляется на дисплей 165. Сигнал подсветки, вычисленный для изображения, синхронизируется с улучшенными данными изображения так, чтобы сигнал подсветки совпадал с показом улучшенных данных изображения.

Некоторые из этих вариантов осуществления, проиллюстрированных на фиг.17, применяют сохраненные карты градационной шкалы, которые могут содержать простую таблицу преобразования гаммы, карту улучшения, созданную с использованием способов, описанных выше в соответствии с фиг.5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 170 отправляется анализатору 172 изображения для определения характеристик изображения, существенных для вычислений карты градационной шкалы и подсветки. Эти характеристики затем отправляются устройству 177 вычисления источника света для определения подходящего уровня яркости подсветки. Некоторые характеристики также могут отправляться селектору 173 карты градационной шкалы для использования в определении подходящей карты 174 градационной шкалы. Исходное изображение 170 и данные выбора карт затем отправляются процессору 175 изображений, который извлекает выбранную карту 174 и применяет карту 174 к изображению 170, чтобы создать улучшенное изображение. Это улучшенное изображение затем отправляется на дисплей 176, который также принимает сигнал уровня подсветки от калькулятора 177 подсветки и использует этот сигнал для модулирования подсветки 179, пока выводится улучшенное изображение.

Некоторые из этих вариантов осуществления, проиллюстрированных на фиг.18, могут вычислять карту градационной шкалы в процессе работы. Эти карты могут содержать простую таблицу преобразования гаммы, карту улучшения, созданную с использованием способов, описанных выше в соответствии с фиг.5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 180 отправляется анализатору 182 изображения для определения характеристик изображения, существенных для вычислений карты градационной шкалы и подсветки. Эти характеристики затем отправляются устройству 187 вычисления источника света для определения подходящего уровня яркости подсветки. Некоторые характеристики также могут отправляться устройству 183 вычисления карты градационной шкалы для использования в вычислении подходящей карты 184 градационной шкалы. Исходное изображение 180 и вычисленная карта 184 затем отправляются процессору 185 изображений, который применяет карту 184 к изображению 180 для создания улучшенного изображения. Это улучшенное изображение затем отправляется на дисплей 186, который также принимает сигнал уровня подсветки от устройства 187 вычисления источника света и использует этот сигнал для модулирования подсветки 189, пока выводится улучшенное изображение.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.19. В этих вариантах осуществления изображение анализируется 190 для определения характеристик изображения относительно вычисления и выбора подсветки и карты градационной шкалы. Эти характеристики затем используются для вычисления 192 уровня яркости подсветки. Уровень яркости подсветки затем используется для вычисления или выбора 194 карты настройки градационной шкалы. Эта карта затем применяется 196 к изображению для создания улучшенного изображения. Улучшенное изображение и данные об уровне источника света затем отправляются 198 на дисплей.

Устройство, используемое для способов, описанных в отношении фиг.19, может быть описано со ссылкой на фиг.20. В этих вариантах осуществления изображение 200 принимается анализатором 202 изображения, где определяются характеристики изображения. Анализатор 202 изображения может затем отправить данные о характеристиках изображения устройству 203 вычисления источника света для определения уровня подсветки. Данные об уровне подсветки могут быть затем отправлены селектору или устройству 204 вычисления карты градационной шкалы, который может вычислить или выбрать карту градационной шкалы на основе яркости источника света. Выбранная карта 207 или вычисленная карта может быть затем отправлена процессору 205 изображений вместе с исходным изображением для применения карты к исходному изображению. Этот процесс выработает улучшенное изображение, которое отправляется дисплею 206 вместе с сигналом уровня подсветки, который используется для модулирования подсветки дисплея, пока выводится изображение.

В некоторых вариантах осуществления настоящего изобретения блок управления подсветкой отвечает за выбор уменьшения подсветки, которое будет поддерживать качество изображения. Сведения о возможности сохранения качества изображения на этапе адаптации используются для управления выбором уровня подсветки. В некоторых вариантах осуществления важно осознавать, что высокий уровень подсветки нужен, когда либо изображение яркое, либо изображение содержит очень насыщенные цвета, то есть синий с кодовым значением 255. Использование одной лишь яркости для определения уровня фоновой подсветки может привести к дефектам изображений, имеющих низкую яркость, но большие кодовые значения, то есть насыщенный синий или красный. В некоторых вариантах осуществления может исследоваться каждая плоскость цветов, и решение может быть принято на основе максимума всех плоскостей цветов. В некоторых вариантах осуществления настройка фоновой подсветки может быть основана на одном заданном процентном соотношении пикселей, которые отсекаются. В других вариантах осуществления, проиллюстрированных на фиг.22, алгоритм модуляции фоновой подсветки может использовать два процентных соотношения: процентное соотношение 236 отсеченных пикселей и процентное соотношение 235 искаженных пикселей. Выбор настройки фоновой подсветки с помощью этих отличающихся значений предоставляет пространство для устройства вычисления градационной шкалы, чтобы плавно снизить функцию градационной шкалы, вместо наложения жесткого отсечения. Принимая во внимание входное изображение, определяется гистограмма кодовых значений для каждой цветовой плоскости. Принимая во внимание два процентных отношения P_Clipped 236 и P_Distored 235, гистограмма каждой цветовой плоскости 221-223 исследуется для определения кодовых значений, соответствующих этим процентным отношениям 224-226. Это дает C_Clipped(цвет) 228 и C_Distorted(цвет) 227. Максимальное отсеченное кодовое значение 234 и максимальное искаженное кодовое значение 233 из разных цветовых плоскостей из различных цветовых плоскостей могут использоваться для определения настройки 229 фоновой подсветки. Эта настройка обеспечивает, что в большинстве для каждой цветовой плоскости будет отсекаться или искажаться заданное процентное соотношение кодовых значений.

Уравнение 13

Процентное соотношение фоновой подсветки (BL) определяется путем исследования функции градационной шкалы (TS), которая будет использоваться для компенсации, и выбора процентного соотношения BL таким образом, что функция градационной шкалы будет отсекаться при 255 в кодовом значении Cv_Clipped 234. Функция градационной шкалы будет линейной ниже значения Cv_Distorted (значение этого наклона будет компенсировать уменьшение BL), постоянной при 255 для кодовых значений выше Cv_Clipped и иметь непрерывную производную. Исследование производной иллюстрирует, как выбирать наклон, а отсюда и мощность фоновой подсветки, которая не дает искажения изображения для кодовых значений ниже Cv_Distorted.

На графике производной TS, показанном на фиг.21, значение H является неизвестным. Чтобы TS преобразовать Cv_Clipped в 255, область под производной TS должна быть равна 255. Это ограничение позволяет нам определить значение H следующим образом.

Уравнение 14

Процентное соотношение BL определяется из увеличения кодового значения и гаммы дисплея и критериев точной компенсации кодовых значений ниже точки искажения. Отношение BL, которое будет отсекаться в Cv_Clipped и позволит плавный переход из отсутствия искажения ниже Cv_Distorted, имеет вид:

Уравнение 15

Более того, чтобы решить проблему изменения BL, на отношение BL устанавливается верхний предел.

Уравнение 16

Временная низкочастотная фильтрация 231 может применяться к зависимому от изображения сигналу BL, выведенному выше, чтобы компенсировать отсутствие синхронизации между LCD и BL. Схема примерного алгоритма модуляции фоновой подсветки показана на фиг.22, в других вариантах осуществления могут использоваться отличающиеся процентные соотношения и значения.

Наложение градационной шкалы может компенсировать выбранную настройку фоновой подсветки наряду с минимизацией искажения изображения. Как описано выше, алгоритм выбора фоновой подсветки проектируется на основе возможности соответствующих операций наложения градационной шкалы. Выбранный уровень BL допускает функцию градационной шкалы, которая компенсирует уровень фоновой подсветки без искажения для кодовых значений ниже первого заданного процентиля и отсекает кодовые значения выше второго заданного процентиля. Два заданных процентиля допускают функцию градационной шкалы, которая плавно переходит между диапазонами без искажения и диапазонами с отсечением.

Измеряющие общий свет варианты осуществления

Некоторые варианты осуществления настоящего изобретения содержат датчик общего освещения, который может предоставлять входные данные модулю обработки изображений и/или модулю управления подсветкой. В этих вариантах осуществления обработка изображений, включающая настройку градационной шкалы, составление карты прироста и другие модификации, может иметь отношение к характеристикам общего освещения. Эти варианты осуществления также могут содержать настройку подсветки или фоновой подсветки, которая относится к характеристикам общего освещения. В некоторых вариантах осуществления подсветка и обработка изображений могут объединяться в единый модуль обработки. В других вариантах осуществления эти функции могут выполняться отдельными модулями.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.23. В этих вариантах осуществления датчик 270 общего освещения может использоваться в качестве входных данных для способов обработки изображений. В некоторых примерных вариантах осуществления входное изображение 260 может обрабатываться на основе входных данных от датчика 270 общего освещения и уровня подсветки 268. Подсветка 268, например фоновая подсветка для освещения панели 266 LCD-дисплея, может модулироваться или настраиваться для экономии энергии или по другим причинам. В этих вариантах осуществления процессор 262 изображений может принимать входные данные от датчика 270 общего освещения и подсветки 268. На основе этих входных данных процессор 262 изображений может изменять входное изображение, чтобы учитывать условия окружающей среды и уровни яркости подсветки 268. Входное изображение 260 может изменяться в соответствии с любым из способов, описанных выше для других вариантов осуществления, или с помощью других способов. В примерном варианте осуществления карта градационной шкалы может применяться к изображению для увеличения значений пикселей изображения в отношении уменьшенной яркости подсветки и изменений общего освещения. Измененное изображение 264 затем может быть показано на панели 266 дисплея, например LCD-панели. В некоторых вариантах осуществления уровень яркости подсветки может уменьшаться, когда общее освещение слабое, и может дополнительно уменьшаться, когда используется настройка градационной шкалы или другая методика манипуляции значениями пикселей для компенсации уменьшения яркости подсветки. В некоторых вариантах осуществления уровень яркости подсветки может уменьшаться, когда уменьшается общее освещение. В некоторых вариантах осуществления уровень яркости подсветки может увеличиваться, когда общее освещение достигает верхнего порогового значения и/или нижнего порогового значения.

Дополнительные варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.24. В этих вариантах осуществления входное изображение 280 принимается в модуле 282 обработки изображений. Обработка входного изображения 280 может зависеть от входных данных от датчика 290 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 294 обработки подсветки. В некоторых вариантах осуществления модуль 294 обработки подсветки может принимать входные данные от датчика 290 общего освещения. Некоторые варианты осуществления также могут принимать входные данные от индикатора 292 режима работы устройства, такого как индикатор режима мощности, который может указывать режим энергопотребления устройства, состояние батарей устройства или какое-нибудь другое состояние устройства. Модуль 294 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения уровня яркости подсветки, который используется для управления подсветкой 288, которая будет освещать дисплей, например LCD-дисплей 286. Модуль обработки подсветки также может передавать уровень яркости подсветки и/или другую информацию модулю 282 обработки изображений.

Модуль 282 обработки изображений может использовать информацию о подсветке от модуля 294 обработки подсветки для определения параметров обработки для обработки входного изображения 280. Модуль 282 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых примерных вариантах осуществления эта процедура улучшит яркость и контраст изображения и частично или полностью компенсирует уменьшение яркости источника света. Результатом обработки модулем 282 обработки изображений является скорректированное изображение 284, которое может отправляться на дисплей 286, где оно может освещаться подсветкой 288.

Другие варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.25. В этих вариантах осуществления входное изображение 300 принимается в модуле 302 обработки изображений. Обработка входного изображения 300 может зависеть от входных данных от датчика 310 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 314 обработки подсветки. В некоторых вариантах осуществления модуль 314 обработки подсветки может принимать входные данные от датчика 310 общего освещения. Некоторые варианты осуществления также могут принимать входные данные от индикатора 312 режима работы устройства, такого как индикатор режима мощности, который может указывать режим энергопотребления устройства, состояние батарей устройства или какое-нибудь другое состояние устройства. Модуль 314 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения уровня яркости подсветки, который используется для управления подсветкой 308, которая будет освещать дисплей, например LCD-дисплей 306. Модуль обработки подсветки также может передавать уровень яркости подсветки и/или другую информацию модулю 302 обработки изображений.

Модуль 302 обработки изображений может использовать информацию о подсветке от модуля 314 обработки подсветки для определения параметров обработки для обработки входного изображения 300. Модуль 302 обработки изображений также может использовать информацию об общем освещении от датчика 310 общего освещения, чтобы определить параметры обработки для обработки входного изображения 300. Модуль 302 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых примерных вариантах осуществления эта процедура улучшит яркость и контраст изображения и частично или полностью компенсирует уменьшение яркости источника света. Результатом обработки модулем 302 обработки изображений является скорректированное изображение 304, которое может отправляться на дисплей 306, где оно может освещаться подсветкой 308.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.26. В этих вариантах осуществления входное изображение 320 принимается в модуле 322 обработки изображений. Обработка входного изображения 320 может зависеть от входных данных от датчика 330 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 334 обработки подсветки. В некоторых вариантах осуществления модуль 334 обработки подсветки может принимать входные данные от датчика 330 общего освещения. В других вариантах осуществления информация о внешней среде может приниматься от модуля 322 обработки изображений. Модуль 334 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения промежуточного уровня яркости подсветки. Этот промежуточный уровень яркости подсветки может отправляться постпроцессору 332 подсветки, который может принимать вид квантователя, процессора синхронизации или некоторого другого модуля, который может приспособить промежуточный уровень яркости источника света к потребностям определенного устройства. В некоторых вариантах осуществления постпроцессор 332 подсветки может приспособить управляющий сигнал источника света для временных ограничений, налагаемых типом источника 328 света и/или приложением формирования изображений, например приложением воспроизведения видео. Сигнал из постпроцессора может затем использоваться для управления подсветкой 328, которая будет освещать дисплей, например LCD-дисплей 326. Модуль обработки подсветки также может передавать уровень яркости подсветки из постпроцессора и/или другую информацию модулю 322 обработки изображений.

Модуль 322 обработки изображений может использовать информацию о подсветке от постпроцессора 332 подсветки для определения параметров обработки для обработки входного изображения 320. Модуль 322 обработки изображений также может использовать информацию об общем освещении от датчика 330 общего освещения, чтобы определить параметры обработки для обработки входного изображения 320. Модуль 322 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых типовых вариантах осуществления эта процедура улучшит яркость и контраст изображения и частично или полностью компенсирует уменьшение яркости источника света. Результатом обработки модулем 322 обработки изображений является скорректированное изображение 344, которое может отправляться на дисплей 326, где оно может освещаться подсветкой 328.

Некоторые варианты осуществления настоящего изобретения могут содержать отдельные модули 342, 362 анализа изображений и модули 343, 363 обработки изображений. Хотя эти модули могут быть объединены в единый компонент или на одной микросхеме, они иллюстрируются и описываются как отдельные модули для лучшего описания их взаимодействия.

Некоторые из этих вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.27. В этих вариантах осуществления входное изображение 340 принимается в модуле 342 анализа изображений. Модуль анализа изображений может анализировать изображение для определения характеристик изображения, которые могут передаваться модулю 343 обработки изображений и/или модулю 354 обработки подсветки. Обработка входного изображения 340 может зависеть от входных данных от датчика 330 общего освещения. В некоторых вариантах осуществления модуль 354 обработки подсветки может принимать входные данные от датчика 350 общего освещения. Модуль 354 обработки подсветки также может принимать входные данные от датчика 352 состояния или режима работы устройства. Модуль 354 обработки подсветки может использовать состояние общего освещения, характеристику изображения и/или состояние устройства для определения уровня яркости подсветки. Этот уровень яркости подсветки может отправляться подсветке 348, которая будет освещать дисплей, такой как LCD-дисплей 346. Модуль 354 обработки подсветки также может передавать уровень яркости подсветки из постпроцессора и/или другую информацию модулю 343 обработки изображений.

Модуль 322 обработки изображений может использовать информацию о подсветке от модуля 354 обработки подсветки для определения параметров обработки для обработки входного изображения 340. Модуль 343 обработки изображений также может использовать информацию об общем освещении, которая передается от датчика 350 общего освещения через модуль 354 обработки подсветки. Эта информация об общем освещении может использоваться для определения параметров обработки для обработки входного изображения 340. Модуль 343 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых примерных вариантах осуществления эта процедура повысит яркость и контраст изображения и частично или полностью компенсирует уменьшение яркости источника света. Результатом обработки модулем 343 обработки изображений является скорректированное изображение 344, которое может быть отправлено на дисплей 346, где оно может быть освещено подсветкой 348.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.28. В этих вариантах осуществления входное изображение 360 принимается в модуле 362 анализа изображений. Модуль анализа изображений может анализировать изображение для определения характеристик изображения, которые могут передаваться модулю 363 обработки изображений и/или модулю 374 обработки подсветки. Обработка входного изображения 360 может зависеть от входных данных от датчика 370 общего освещения. Эта обработка также может зависеть от выходных данных из модуля 374 обработки подсветки. В некоторых вариантах осуществления информация о внешней среде может приниматься от модуля 363 обработки изображений, который может принимать информацию о внешней среде от датчика 370 общего освещения. Эта информация о внешней среде может передаваться и/или обрабатываться модулем 363 обработки изображений по пути к модулю 374 обработки подсветки. Состояние или режим работы устройства также может передаваться модулю 374 обработки подсветки от модуля 372 устройства.

Модуль 374 обработки подсветки может использовать состояние общего освещения и/или состояние устройства для определения уровня яркости подсветки. Этот уровень яркости подсветки может использоваться для управления подсветкой 368, которая будет освещать дисплей, такой как LCD-дисплей 366. Модуль 374 обработки подсветки также может передавать уровень яркости подсветки и/или другую информацию модулю 363 обработки изображений.

Модуль 363 обработки изображений может использовать информацию о подсветке от модуля 374 обработки подсветки для определения параметров обработки для обработки входного изображения 360. Модуль 363 обработки изображений также может использовать информацию об общем освещении от датчика 370 общего освещения, чтобы определить параметры обработки для обработки входного изображения 360. Модуль 363 обработки изображений может применять настройку градационной шкалы, карту прироста или другую процедуру для настройки значений пикселей изображения. В некоторых примерных вариантах осуществления эта процедура улучшит яркость и контраст изображения и частично или полностью компенсирует уменьшение яркости источника света. Результатом обработки модулем 363 обработки изображений является скорректированное изображение 364, которое может отправляться на дисплей 366, где оно может освещаться подсветкой 368.

Варианты осуществления адаптивного к искажениям

управления питанием

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для рассмотрения потребностей в питании, характеристик дисплея, окружающей среды и ограничений батареи в устройствах отображения, включающих мобильные устройства и приложения. В некоторых вариантах осуществления может использоваться три группы алгоритмов: алгоритмы управления питанием дисплея, алгоритмы модуляции фоновой подсветки и алгоритмы сохранения яркости (BP). Хотя управление питанием имеет высокий приоритет в мобильных устройствах с батарейным питанием, эти системы и способы могут применяться к другим устройствам, которым может быть полезно управление питанием для экономии энергии, управление тепловыделением и другие цели. В этих вариантах осуществления эти алгоритмы могут взаимодействовать, но их индивидуальные функциональные возможности могут содержать:

• Управление питанием - эти алгоритмы управляют мощностью фоновой подсветки на протяжении всей последовательности кадров, используя изменения в визуализируемом контенте для оптимизации энергопотребления.

• Модуляция фоновой подсветки - эти алгоритмы выбирают уровни мощности фоновой подсветки для использования в отдельном кадре и используют статистические данные в изображении, чтобы оптимизировать энергопотребление.

• Сохранения яркости - эти алгоритмы обрабатывают каждое изображение для компенсации уменьшенной мощности фоновой подсветки и сохранения яркости изображения наряду с предотвращением дефектов.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.29, которая содержит упрощенную блок-схему, указывающую взаимодействие компонентов этих вариантов осуществления. В некоторых вариантах осуществления алгоритм 406 управления питанием может управлять постоянным ресурсом батареи 402 на видеопоследовательности, последовательности изображений или другой задаче отображения и может обеспечивать заданную среднюю потребляемую мощность, в то же время сохраняя качество и/или другие характеристики. Алгоритм 410 модуляции фоновой подсветки может принимать команды от алгоритма 406 управления питанием и выбирать уровень мощности, подлежащий ограничениям, заданным алгоритмом 406 управления питанием, для эффективного представления каждого изображения. Алгоритм 414 сохранения яркости может использовать выбранный уровень 415 фоновой подсветки и возможное значение 413 отсечения, чтобы обработать изображение, компенсируя уменьшенную фоновую подсветку.

Управление питанием дисплея

В некоторых вариантах осуществления алгоритм 406 управления питанием дисплея может управлять распределением потребления электроэнергии на видеопоследовательности, последовательности изображений или другой задаче отображения. В некоторых вариантах осуществления алгоритм 406 управления питанием дисплея может распределять постоянную энергию батареи, чтобы обеспечить гарантированное функциональное время работы наряду с сохранением качества изображения. В некоторых вариантах осуществления одной целью алгоритма управления питанием является обеспечение гарантированных нижних пределов времени работы батареи, чтобы повысить удобство эксплуатации мобильного устройства.

Постоянное управление питанием

Одной формой регулирования мощности, которая соответствует произвольной цели, является выбор неизменной мощности, которая будет соответствовать нужному времени работы. Блок-схема системы, показывающая систему на основе постоянного управления питанием, показана на фиг.30. Существенным моментом является то, что алгоритм 436 управления питанием выбирает постоянную мощность фоновой подсветки исключительно на основе начального заряда батареи 432 и нужного времени 434 работы. Компенсация 442 для этого уровня 444 фоновой подсветки выполняется над каждым изображением 446.

Уравнение 17. Постоянное управление питанием

Уровень 444 фоновой подсветки, а отсюда и энергопотребление являются независимыми от данных изображения 440. Некоторые варианты осуществления могут поддерживать несколько режимов постоянной мощности, позволяя сделать выбор уровня мощности на основе режима мощности. В некоторых вариантах осуществления зависимая от изображения модуляция фоновой подсветки может не использоваться для упрощения реализации системы. В других вариантах осуществления может устанавливаться небольшое количество уровней постоянной мощности и выбираться на основе режима работы или предпочтения пользователя. Некоторые варианты осуществления могут использовать эту идею с единственным уровнем уменьшенной мощности, то есть 75% от максимальной мощности.

Простое адаптивное управление питанием

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.31. Эти варианты осуществления содержат алгоритм 456 адаптивного управления питанием. Уменьшение 455 мощности из-за модуляции 460 фоновой подсветки возвращается по обратной связи алгоритму 456 управления питанием, допускающего улучшенное качество изображения наряду с обеспечением нужного времени работы системы.

В некоторых вариантах осуществления экономия энергии с зависимой от изображения модуляцией фоновой подсветки может включаться в алгоритм управления питанием путем постепенного обновления статического вычисления максимальной мощности, как в уравнении 18. Адаптивное управление питанием может содержать вычисление отношения оставшегося заряда батареи (мА·ч) к оставшемуся нужному времени работы (ч), чтобы предоставить верхний предел мощности (мА) алгоритму 460 модуляции фоновой подсветки. Вообще, модуляция 460 фоновой подсветки может выбирать фактическую мощность ниже этого максимума, предоставляя дополнительную экономию энергии. В некоторых вариантах осуществления экономия энергии благодаря модуляции фоновой подсветки может отражаться в виде обратной связи посредством изменения значений оставшегося заряда батареи или работы на средней выбранной мощности, а отсюда влияния на последующие решения по управлению питанием.

Уравнение 18. Адаптивное управление питанием

В некоторых вариантах осуществления, если информация о состоянии батареи недоступна или неточная, оставшийся заряд батареи может оцениваться путем вычисления энергии, используемой дисплеем, т.е. средней выбранной мощности, умноженной на время работы, и вычитания этого из начального заряда батареи.

Уравнение 19. Оценка оставшегося заряда батареи

Эта последняя методика обладает преимуществом выполнения без взаимодействия с батареей.

Управление мощностью/искажением

Автор изобретения наблюдал в изучении искажения в зависимости от мощности, что многие изображения демонстрируют очень разное искажение при одинаковой мощности. Тусклые изображения с плохим контрастом, такие как недоэкспонированные фотографии, в действительности могут отображаться лучше на низкой мощности вследствие повышения уровня черного, которое происходит от использования большой мощности. Алгоритм регулирования мощности может увязать искажение изображения с емкостью батареи вместо прямых установок мощности. В некоторых вариантах осуществления настоящего изобретения, проиллюстрированных на фиг.29, методики управления питанием могут содержать параметр 403 искажения, такой как максимальное значение искажения, в дополнение к максимальной мощности 401, предоставленной алгоритму 410 управления фоновой подсветкой. В этих вариантах осуществления алгоритм 406 управления питанием может использовать обратную связь от алгоритма 410 модуляции фоновой подсветки в виде характеристик 405 мощности/искажения у текущего изображения. В некоторых вариантах осуществления максимальное искажение изображения может изменяться на основе целевой мощности и показателя мощности-искажения у текущего кадра. В этих вариантах осуществления, в дополнение к обратной связи о фактически выбранной мощности, алгоритм управления питанием может выбирать и обеспечивать плановые показатели 403 искажения и может принимать обратную связь о соответствующем искажении 405 изображения в дополнение к обратной связи о заряде батареи 402. В некоторых вариантах осуществления дополнительные входные данные могли бы использоваться в алгоритме регулирования мощности, например уровень 408 общего освещения, предпочтение пользователя и режим работы (то есть Видео/Графика).

Некоторые варианты осуществления настоящего изобретения могут пытаться оптимально распределить мощность на протяжении всей видеопоследовательности наряду с сохранением качества отображения. В некоторых вариантах осуществления для данной видеопоследовательности два критерия могут использоваться для выбора компромисса между используемой полной мощностью и искажением изображения. Могут использоваться максимальное искажение изображения и среднее искажение изображения. В некоторых вариантах осуществления эти показатели могут минимизироваться. В некоторых вариантах осуществления минимизация максимального искажения на последовательности изображений может достигаться с использованием одинакового искажения для каждого изображения в последовательности. В этих вариантах осуществления алгоритм 406 управления питанием может выбирать это искажение 403, позволяющее алгоритму 410 модуляции фоновой подсветки выбирать уровень фоновой подсветки, который соответствует этому плановому показателю 403 искажения. В некоторых вариантах осуществления минимизация среднего искажения может достигаться, когда мощность, выбранная для каждого изображения, является такой, что наклоны кривых искажения мощности являются равными. В этом случае алгоритм 406 управления питанием может выбирать наклон кривой искажения мощности, полагаясь на алгоритм 410 модуляции фоновой подсветки, чтобы выбрать подходящий уровень фоновой подсветки.

Фиг.32А и 32В могут использоваться для иллюстрации экономии энергии при рассмотрении искажения в процессе управления питанием. Фиг.32А - график уровня мощности подсветки для последовательных кадров последовательности изображений. Фиг.32А показывает уровни мощности подсветки, необходимые для поддержания постоянного искажения 480 между кадрами и средней мощностью 482 в графике постоянного искажения. Фиг.32В - график искажения изображения для тех же последовательных кадров последовательности изображений. Фиг.32В показывает искажение 484 постоянной мощности, происходящее от поддержания настройки постоянной мощности, уровень 488 постоянного искажения, происходящий от поддержания постоянного искажения на всей последовательности и среднее искажение 486 постоянной мощности при поддержании постоянной мощности. Уровень постоянной мощности выбран равным средней мощности результата постоянного искажения. Таким образом, оба способа используют одинаковую среднюю мощность. Изучая искажение, мы обнаруживаем, что постоянная мощность 484 дает значительное колебание в искажении изображения. Также отметим, что среднее искажение 486 управления постоянной мощностью больше чем в 10 раз превышает искажение 488 алгоритма постоянного искажения вопреки тому, что оба используют одинаковую среднюю мощность.

На практике оптимизация для минимизации либо максимального, либо среднего искажения на видеопоследовательности может оказаться слишком сложной для некоторых приложений, так как искажение между исходными и изображениями с уменьшенной мощностью должно вычисляться в каждой точке функции искажения мощности, чтобы оценить компромисс мощности-искажения. Каждая оценка искажения может требовать, чтобы уменьшение фоновой подсветки и соответствующее компенсирующее увеличение яркости изображения вычислялись и сравнивались с исходным изображением. Следовательно, некоторые варианты осуществления могут содержать более простые способы для вычисления или оценки характеристик искажения.

В некоторых вариантах осуществления могут использоваться некоторые приближения. Сначала мы наблюдаем, что точечный показатель искажения, например среднеквадратическая ошибка (MSE), может вычисляться из гистограммы кодовых значений изображения, а не из самого изображения, как представлено в Уравнении 20. В этом случае гистограмма является одномерным сигналом только с 256 значениями, в отличие от изображения, которое при разрешении в 320×240 имеет 7680 выборок. Это могло бы дополнительно уменьшиться путем субдискретизации гистограммы при желании.

В некоторых вариантах осуществления приближение может быть осуществлено путем предположения, что изображение просто масштабируется с отсечением на этапе компенсации вместо применения алгоритма реальной компенсации. В некоторых вариантах осуществления также может быть полезно включение слагаемого повышения уровня черного в показатель искажения. В некоторых вариантах осуществления использование этого слагаемого может подразумевать, что минимальное искажение для полностью черного кадра возникает при нулевой фоновой подсветке.

Уравнение 20. Упрощение вычисления искажения

В некоторых вариантах осуществления, чтобы вычислить искажение на заданном уровне мощности, для каждого кодового значения может определяться искажение, вызванное линейным увеличением с отсечением. Искажение затем может взвешиваться по частоте кодового значения и суммироваться, чтобы предоставить среднее искажение изображения на заданном уровне мощности. В этих вариантах осуществления простое линейное увеличение для компенсации яркости не дает приемлемого качества для показа изображения, а служит в качестве простого источника для вычисления оценки искажения изображения, вызванного изменением фоновой подсветки.

В некоторых вариантах осуществления, проиллюстрированных на фиг.33, для управления как энергопотреблением, так и искажением изображения алгоритм 500 управления питанием может отслеживать не только заряд 506 батареи и оставшееся время 508 работы, но также и искажение 510 изображения. В некоторых вариантах осуществления и верхний предел 512 на энергопотребление, и плановый показатель 511 искажения могут передаваться в алгоритм 502 модуляции фоновой подсветки. Алгоритм 502 модуляции фоновой подсветки может затем выбрать уровень 512 фоновой подсветки в соответствии с пределом мощности и плановым показателем искажения.

Алгоритмы модуляции фоновой подсветки (BMA)

Алгоритм 502 модуляции фоновой подсветки отвечает за выбор уровня фоновой подсветки, используемого для каждого изображения. Этот выбор может основываться на изображении, которое нужно показать, и сигналах от алгоритма 500 управления питанием. С помощью соблюдения предела на подаваемую 512 максимальную мощность посредством алгоритма 500 управления питанием, батарея 506 может расходоваться в течение нужного времени работы. В некоторых вариантах осуществления алгоритм 502 модуляции фоновой подсветки может выбирать меньшую мощность в зависимости от статистических данных текущего изображения. Это может быть источником экономии энергии на конкретном изображении.

Как только выбирается подходящий уровень 415 фоновой подсветки, фоновая подсветка 416 устанавливается в выбранный уровень, и этот уровень 415 предоставляется алгоритму 414 сохранения яркости, чтобы определить необходимую компенсацию. Для некоторых изображений и последовательностей допущение небольшой степени искажения изображения может значительно уменьшить необходимую мощность фоновой подсветки. Поэтому некоторые варианты осуществления содержат алгоритмы, которые допускают управляемую степень искажения изображения.

Фиг.34 - график, показывающий величину экономии энергии на образце DVD-ролика в зависимости от номера кадра для нескольких допусков искажения. Процентное отношение пикселей с нулевым искажением колебалось от 100% до 97%-95%, и определялась средняя мощность по видеоклипу. Средняя мощность колебалась от 95% до 60% соответственно. Таким образом, разрешение искажения в 5% пикселей дало дополнительные 35% экономии энергии. Это демонстрирует значительную экономию энергии, возможную путем разрешения небольших искажений изображения. Если алгоритм сохранения яркости может сохранить субъективное качество, внося небольшое искажение, то можно добиться значительной экономии энергии.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.30. Эти варианты осуществления также могут содержать информацию от датчика 438 общего освещения и могут быть уменьшены по сложности для мобильного применения. Эти варианты осуществления содержат статический предел процентиля гистограммы и динамический предел максимальной мощности, подаваемые алгоритмом 436 управления питанием. Некоторые варианты осуществления могут содержать постоянный план мощности, тогда как другие варианты осуществления могут содержать более сложный алгоритм. В некоторых вариантах осуществления изображение может анализироваться путем вычисления гистограмм каждой из составляющих цвета. Кодовое значение на гистограмме, в котором возникает заданный процентиль, может вычисляться для каждой цветовой плоскости. В некоторых вариантах осуществления целевой уровень фоновой подсветки может выбираться так, что линейное увеличение кодовых значений вызовет только отсечение кодового значения, выбранного из гистограмм. Фактический уровень фоновой подсветки может выбираться как минимальный из этого целевого уровня и предела уровня фоновой подсветки, предоставленного алгоритмом 436 управления питанием. Эти варианты осуществления могут обеспечивать гарантированное регулирование мощности и могут позволить ограниченную степень искажения изображения в случаях, где может быть достигнут предел регулирования мощности.

Уравнение 21. Выбор мощности на основе процентиля гистограммы

Варианты осуществления на основе искажения изображения

Некоторые варианты осуществления настоящего изобретения могут содержать предел искажения и предел максимальной мощности, поставляемые алгоритмом управления питанием. Фиг.32В и 34 демонстрируют, что степень искажения на данном уровне мощности фоновой подсветки меняется значительно в зависимости от содержания изображения. Свойства характера изменения мощности-искажения у каждого изображения могут использоваться в процессе выбора фоновой подсветки. В некоторых вариантах осуществления текущее изображение может анализироваться путем вычисления гистограмм для каждой составляющей цвета. Кривая искажения мощности, задающая искажение (например, MSE), может вычисляться путем вычисления искажения на диапазоне значений мощности, используя второе выражение в Уравнении 20. Алгоритм модуляции фоновой подсветки может выбирать в качестве целевого уровня наименьшую мощность с искажением в заданном пределе искажения или ниже. Уровень фоновой подсветки тогда может выбираться как минимальный из целевого уровня и предела уровня фоновой подсветки, предоставленного алгоритмом управления питанием. Более того, искажение изображения на выбранном уровне может предоставляться алгоритму управления питанием, чтобы управлять обратной связью искажения. Частота дискретизации у кривой искажения мощности и гистограммы изображения может быть уменьшена для регулирования сложности.

Сохранение яркости (BP)

В некоторых вариантах осуществления алгоритм BP увеличивает яркость изображения на основе выбранного уровня фоновой подсветки, чтобы компенсировать уменьшенное освещение. Алгоритм BP может управлять искажением, привнесенным в дисплей, и возможность алгоритма BP сохранить качество предписывает, сколько мощности алгоритм модуляции фоновой подсветки может попытаться сохранить. Некоторые варианты осуществления могут компенсировать уменьшение фоновой подсветки путем масштабирования значений отсечения изображения, которые превышают 255. В этих вариантах осуществления алгоритм модуляции фоновой подсветки должен быть устойчивым к уменьшению мощности, иначе вносятся неприятные искажения срезания, соответственно ограничивая возможную экономию энергии. Некоторые варианты осуществления спроектированы для сохранения качества на самых востребованных кадрах при постоянном значении уменьшения мощности. Некоторые из этих вариантов осуществления компенсируют один уровень фоновой подсветки (то есть 75%). Другие варианты осуществления могут быть обобщены для работы с модуляцией фоновой подсветки.

Некоторые варианты осуществления алгоритма сохранения яркости (BP) могут использовать описание выходного сигнала яркости от дисплея в зависимости от фоновой подсветки и данных изображения. Используя эту модель, BP может определить изменения в изображении для компенсации уменьшения фоновой подсветки. С прозрачно-отражающим дисплеем модель BP может быть изменена для включения в себя описания отражающей особенности дисплея. Выходной сигнал яркости от дисплея становится функцией фоновой подсветки, данных изображения и общего освещения. В некоторых вариантах осуществления алгоритм BP может определять изменения в изображении для компенсации уменьшения фоновой подсветки в заданных условиях окружающей среды.

Влияние внешней среды

Из-за ограничений реализации некоторые варианты осуществления могут содержать алгоритмы ограниченной сложности для определения параметров BP. Например, разработка алгоритма, полностью работающего на модуле LCD, ограничивает обработку и память, доступную алгоритму. В этом примере формирование дополнительных кривых гаммы для разных сочетаний фоновой подсветки/общего освещения может использоваться для некоторых вариантов осуществления BP. В некоторых вариантах осуществления могут потребоваться ограничения на число и разрешение кривых гаммы.

Кривые мощности/искажения

Некоторые варианты осуществления настоящего изобретения могут получать, оценивать, вычислять или иным образом определять характеристики мощности/искажения для изображений, включающих, но не только, кадры видеопоследовательности. Фиг.35 - график, показывающий характеристики мощности/искажения для четырех примерных изображений. На фиг.35 кривая 520 для изображения C сохраняет отрицательный наклон на всем диапазоне мощности подсветки. Кривые 522, 524 и 526 для изображений A, B и D убывают на отрицательном наклоне, пока они не достигнут минимума, затем растут на положительном наклоне. Для изображений A, B и D увеличение мощности подсветки фактически увеличит искажение в определенных диапазонах кривых, где кривые обладают положительным наклоном 528. Это может быть обусловлено характеристиками дисплея, такими как, но не только, рассеивание LCD или другие неравномерности дисплея, которые вынуждают показываемое изображение, которое смотрит зритель, постоянно отличаться от кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут использовать эти характеристики для определения подходящих уровней мощности подсветки для определенных изображений или типов изображений. Характеристики дисплея (например, рассеивание LCD) могут учитываться в вычислениях параметров искажений, которые используются для определения подходящего уровня мощности подсветки для изображения.

Примерные способы

Некоторые варианты осуществления настоящего изобретения могут описываться относительно фиг.36. В этих вариантах осуществления устанавливается 530 баланс мощности. Это может выполняться с использованием простого управления питанием, адаптивного управления питанием и других способов, описанных выше, либо с помощью других способов. Как правило, установление баланса мощности может содержать оценку уровня мощности подсветки или фоновой подсветки, который позволит завершить задачу отображения, такую как отображение видеофайла, используя неизменный ресурс мощности, такой как часть заряда батареи. В некоторых вариантах осуществления установление баланса мощности может содержать определение среднего уровня мощности, который позволит завершение задачи отображения с неизменной величиной мощности.

В этих вариантах осуществления также может устанавливаться начальный критерий 532 искажения. Этот начальный критерий искажения может определяться путем оценки уменьшенного уровня мощности подсветки, который будет соответствовать балансу мощности и измерению искажения изображения при этом уровне мощности. Искажение может измеряться на неисправленном изображении, на изображении, которое изменено с использованием методики сохранения яркости (BP), которая описана выше, или на изображении, которое изменено с помощью упрощенного процесса BP.

Как только устанавливается начальный критерий искажения, первая часть задачи отображения может быть показана 534 с использованием уровней мощности подсветки, которые вынуждают характеристику искажения у показанного изображения или изображений удовлетворять критерию искажения. В некоторых вариантах осуществления уровни мощности источника света могут выбираться для каждого кадра видеопоследовательности из условия, чтобы каждый кадр удовлетворял необходимому требуемому искажению. В некоторых вариантах осуществления значения источника света могут выбираться для поддержания постоянного искажения или диапазона искажений, для сохранения искажения ниже заданного уровня или иного соответствия критерию искажения.

Затем может оцениваться 536 энергопотребление, чтобы определить, соответствует ли мощность, используемая для отображения первой части задачи отображения, параметрам управления балансом мощности. Мощность может распределяться с использованием постоянной величины для каждого изображения, видеокадра или другого элемента задачи отображения. Мощность также может распределяться из условия, чтобы средняя мощность, потребленная в течение последовательности элементов задачи отображения, удовлетворяла некоторому требованию, хотя мощность, потребленная для каждого элемента задачи отображения, может меняться. Также могут использоваться другие схемы распределения мощности.

Когда оценка 536 энергопотребления показывает, что энергопотребление для первой части задачи отображения не соответствовало требованиям баланса мощности, критерий искажения может быть изменен 538. В некоторых вариантах осуществления, в которых кривая мощности/искажения может оцениваться, предполагаться, вычисляться или иным образом определяться, критерий искажения может изменяться, чтобы допустить большие или меньшие искажения при необходимости, чтобы соответствовать требованию баланса мощности. Хотя кривые мощности/искажения являются характерными для изображения, может использоваться кривая мощности/искажения для первого кадра последовательности, для примерного изображения в последовательности или для синтезированного изображения, символизирующего задачу отображения.

В некоторых вариантах осуществления, когда использовалось больше предусмотренной величины мощности для первой части задачи отображения и наклон кривой мощности/искажения является положительным, критерий искажения может изменяться, чтобы дать меньше искажения. В некоторых вариантах осуществления, когда использовалось больше предусмотренной величины мощности для первой части задачи отображения и наклон кривой мощности/искажения является отрицательным, критерий искажения может изменяться, чтобы дать больше искажения. В некоторых вариантах осуществления, когда использовалось меньше предусмотренной величины мощности для первой части задачи отображения и наклон кривой мощности/искажения является отрицательным либо положительным, критерий искажения может изменяться, чтобы дать меньше искажения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.37. Эти варианты осуществления обычно содержат устройство с батарейным питанием при ограниченной мощности. В этих вариантах осуществления оценивается или измеряется 540 заряд батареи. Требуемая мощность для задачи отображения также может оцениваться или вычисляться 542. Начальный уровень мощности источника света также может оцениваться или иным образом определяться 544. Этот начальный уровень мощности источника света может определяться с использованием заряда батареи и требуемой мощности для задачи отображения, как описано для постоянного управления питанием выше, или с помощью других способов.

Также может определяться 546 критерий искажения, который соответствует начальному уровню мощности источника света. Этот критерий может быть значением искажения, которое возникает для примерного изображения при начальном уровне мощности источника света. В некоторых вариантах осуществления значение искажения может основываться на неисправленном изображении, изображении, измененном с помощью алгоритма фактического или предполагаемого BP, или другом примерном изображении.

Как только определяется 546 критерий искажения, оценивается первая часть задачи отображения, и выбирается 548 уровень мощности подсветки, который заставит искажение первой части задачи отображения соответствовать критерию искажения. Первая часть задачи отображения затем показывается 550 с использованием выбранного уровня мощности подсветки, и оценивается или измеряется 552 мощность, потребленная во время отображения той части. Когда это энергопотребление не соответствует требуемой мощности, критерий искажения может изменяться 554, чтобы привести энергопотребление в соответствие с требуемой мощностью.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.38А и 38В. В этих вариантах осуществления устанавливается 560 баланс мощности, и также устанавливается 562 критерий искажения. Оба они обычно устанавливаются относительно конкретной задачи отображения, например видеопоследовательности. Затем выбирается 564 изображение, например кадр или множество кадров в видеопоследовательности. Затем оценивается 566 уменьшенный уровень мощности подсветки для выбранного изображения так, чтобы искажение, происходящее от уменьшенного уровня мощности света, соответствовало критерию искажения. Это вычисление искажения может содержать применение способов предполагаемого или фактического сохранения яркости (BP) к значениям изображения для выбранного изображения.

Выбранное изображение может затем изменяться с помощью способов 568 BP, чтобы компенсировать уменьшенный уровень мощности источника света. Затем может быть измерено 570 фактическое искажение измененного с BP изображения, и определение может выполняться в отношении того, соответствует ли это фактическое искажение критерию 572 искажения. Если фактическое искажение не соответствует критерию искажения, то процесс 574 оценки может настраиваться, и уменьшенный уровень мощности источника света может оцениваться 566 повторно. Если фактическое искажение удовлетворяет критерию искажения, то выбранное изображение может быть показано 576. Энергопотребление во время показа изображения затем измеряется 578 и сравнивается с ограничением 580 баланса мощности. Если энергопотребление удовлетворяет ограничению баланса мощности, то может выбираться 584 следующее изображение, такое как последующий набор видеокадров, пока не закончится 582 задача отображения, и в этот момент процесс завершится. Если выбирается 584 следующее изображение, то процесс вернется в точку "В", где будет оцениваться 566 уменьшенный уровень мощности источника света для этого изображения, и процесс будет продолжаться как для первого изображения.

Если энергопотребление для выбранного изображения не соответствует ограничению 580 баланса мощности, то критерий искажения может изменяться 586, как описано для других вариантов осуществления выше, и будет выбрано 584 следующее изображение.

Варианты осуществления с улучшенным уровнем черного

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для улучшения уровня черного у дисплея. Некоторые варианты осуществления используют заданный уровень фоновой подсветки и формируют подходящую к яркости градационную шкалу, которая и сохраняет яркость, и улучшает уровень черного. Другие варианты осуществления содержат алгоритм модуляции фоновой подсветки, который в своем исполнении включает в себя улучшение уровня черного. Некоторые варианты осуществления могут быть реализованы в виде расширения или модификации вариантов осуществления, описанных выше.

Улучшенный подбор яркости

(показатель, соответствующий идеальному дисплею)

Формулировка подбора яркости, представленная выше в Уравнении 7, используется для определения линейного масштабирования кодовых значений, которое компенсирует уменьшение фоновой подсветки. Это доказало эффективность в экспериментах с уменьшением мощности до 75%. В некоторых вариантах осуществления с зависимой от изображения модуляцией фоновой подсветки, фоновая подсветка может быть значительно уменьшена, например ниже 10%, для темных кадров. Для этих вариантов осуществления линейное масштабирование кодовых значений, выведенных в Уравнении 7, может быть неподходящим, поскольку оно может чрезмерно увеличить темные значения. Хотя варианты осуществления, применяющие эти способы, могут удвоить выходную полную мощность на дисплее с уменьшенной мощностью, это не может использоваться для оптимизации выходного сигнала. Так как дисплей с полной мощностью обладает повышенным уровнем черного, воспроизведение этого выходного сигнала для темных сцен не достигает эффекта уменьшенного уровня черного, возможного с меньшей настройкой мощности фоновой подсветки. В этих вариантах осуществления критерии подбора могут изменяться, и может быть выведена замена для результата, данного в Уравнении 7. В некоторых вариантах осуществления подбирается выходной сигнал идеального дисплея. Идеальный дисплей может содержать нулевой уровень черного и такой же максимальный выходной уровень белого = W, как и дисплей полной мощности. Реакция этого примерного идеального дисплея на кодовое значение (cv) может выражаться в Уравнении 22 в показателях максимального выхода W, гаммы дисплея и максимального кодового значения.

Уравнение 22. Идеальный дисплей

В некоторых вариантах осуществления и примерный LCD может иметь такой же максимальный выход W и гамму, но ненулевой уровень черного B. Этот примерный LCD может моделироваться с использованием модели GOG, описанной выше для полной выходной мощности. Выходной сигнал регулируется с помощью относительной мощности фоновой подсветки для мощности меньше 100%. Параметры модели в виде прироста и смещения могут определяться по максимальному выходу W и уровню черного B у дисплея полной мощности, как показано в уравнении 23.

Уравнение 23. Модель GOG с полной мощностью

Выходной сигнал дисплея уменьшенной мощности с относительной мощностью фоновой подсветки P может определяться путем масштабирования результатов полной мощности посредством относительной мощности.

Уравнение 24. Фактический выходной сигнал LCD в сравнении с мощностью и кодовым значением

В этих вариантах осуществления кодовые значения могут изменяться, чтобы выходные сигналы идеального и реального дисплеев были равны, где это возможно. (Если идеальный выходной сигнал не меньше или больше возможного при заданной мощности на реальном дисплее).

Уравнение 25. Критерии для подбора выходных сигналов

Некоторое вычисление определяет в показателях x, P, W, B.

Уравнение 26.

Зависимость кодового значения для подбора выходного сигнала

Эти варианты осуществления демонстрируют некоторые свойства зависимости кодового значения для подбора идеального выходного сигнала на реальном дисплее с ненулевым уровнем черного. В этом случае имеется отсечение на верхнем () и нижнем () краях. Они соответствуют отсечению входа на x_low и x_high, заданному Уравнением 27

Уравнение 27. Точки отсечения

Эти результаты согласуются с нашей предыдущей разработкой для других вариантов осуществления, в которых предполагается, что дисплей имеет нулевой уровень черного, то есть коэффициент контрастности является бесконечным.

Алгоритм модуляции фоновой подсветки

В этих вариантах осуществления теория подбора яркости, которая заключает в себе рассмотрения уровня черного путем приведения в соответствие дисплея с заданной мощностью и эталонного дисплея с нулевым уровнем черного, чтобы определить алгоритм модуляции фоновой подсветки. Эти варианты осуществления используют теорию подбора яркости для определения искажения, которое должно иметь изображение при показе с мощностью P по сравнению с показом на идеальном дисплее. Алгоритм модуляции фоновой подсветки может использовать предел максимальной мощности и предел максимального искажения для выбора наименьшей мощности, которая приведет к искажению ниже заданного максимального искажения.

Искажение мощности

В некоторых вариантах осуществления, принимая во внимание целевой дисплей, заданный уровнем черного и максимальной яркостью при полной мощности, и изображение для показа, может вычисляться искажение в отображении изображения при заданной мощности P. Ограниченная мощность и ненулевой уровень черного у дисплея могут имитироваться на идеальном эталонном дисплее путем отсечения значений больше яркости дисплея с ограниченной мощностью и путем отсечения значений ниже уровня черного у идеального эталонного дисплея. Искажение изображения может задаваться как MSE между исходными кодовыми значениями изображения и отсеченными кодовыми значениями, однако в некоторых вариантах осуществления могут использоваться другие показатели искажения.

Изображение с отсечением, которое задается зависимыми от мощности пределами отсечения кодовых значений, введенных в Уравнении 27, задается в Уравнении 28.

Уравнение 28. Отсеченное изображение

Искажение между изображением на идеальном дисплее и на дисплее с мощностью P в области пикселей становится

Заметим, что это может вычисляться с использованием гистограммы кодовых значений изображения.

Определение функции градационной шкалы может использоваться для выведения эквивалентной формы этого показателя искажения, показанной в виде Уравнения 29.

Уравнение 29. Показатель искажения

Этот показатель содержит взвешенную сумму ошибки отсечения на верхних и нижних кодовых значениях. Кривая мощности/искажения может быть построена для изображения с использованием выражения из Уравнения 29. Фиг.39 - график, показывающий кривые мощности/искажения для различных примерных изображений. Фиг.39 показывает график 590 мощности/искажения для сплошного белого изображения, график 592 мощности/искажения для яркого крупного плана желтого цветка, график 594 мощности/искажения для темного, малоконтрастного изображения группы людей, график 596 мощности/искажения для сплошного черного изображения и график 598 мощности/искажения для яркого изображения серфера на волне.

Как видно из фиг.39, разные изображения могут иметь достаточно разные зависимости мощности/искажения. В крайнем случае черный кадр 596 имеет минимальное искажение при нулевой мощности фоновой подсветки, при этом искажение резко поднимается, когда мощность увеличивается до 10%. Наоборот, белый кадр 590 имеет максимальное искажение при нулевой фоновой подсветке с искажением, падающим монотонно до быстрого снижения до нуля при 100%-ной мощности. Яркое изображение 598 серфинга показывает постепенное уменьшение искажения, когда увеличивается мощность. Два других изображения 592 и 594 показывают минимальное искажение на промежуточных уровнях мощности.

Некоторые варианты осуществления настоящего изобретения могут содержать алгоритм модуляции фоновой подсветки, который работает следующим образом:

1. Вычислить гистограмму изображения.

2. Вычислить функцию искажения мощности для изображения.

3. Рассчитать наименьшую мощность с искажением ниже предела искажения.

4. (Необязательный) Ограничить выбранную мощность на основе переданных верхних и нижних пределов мощности.

5. Выбрать вычисленную мощность для фоновой подсветки.

В некоторых вариантах осуществления, описанных в соответствии с фиг.40 и 41, значение 604 фоновой подсветки, выбранное алгоритмом модуляции BL, может предоставляться алгоритму BP и использоваться для разработки градационной шкалы. Показаны средняя мощность 602 и искажение 606. Также показана верхняя граница средней мощности 600, используемая в этом эксперименте. Поскольку используемая средняя мощность значительно ниже этой верхней границы, алгоритм модуляции фоновой подсветки использует меньше мощности, чем просто при использовании постоянной мощности, равной этому среднему пределу.

Разработка гладкой функции градационной шкалы.

В некоторых вариантах осуществления настоящего изобретения гладкая функция градационной шкалы содержит две особенности исполнения. Первая предполагает, что задаются параметры для градационной шкалы, и определяет гладкую функцию градационной шкалы, соответствующую тем параметрам. Вторая содержит алгоритм для выбора параметров исполнения.

Предполагаемые параметры исполнения градационной шкалы

Зависимость кодового значения, определенная Уравнением 26, имеет неоднородности наклона при отсечении до допустимого диапазона [cvMin, cvMax]. В некоторых вариантах осуществления настоящего изобретения плавный спад в темном крае может задаваться аналогично тому, как сделано в ярком крае в Уравнении 7. Эти варианты осуществления предполагают точку максимального соответствия (MFP) и точку наименьшего соответствия (LFP), между которыми градационная шкала согласуется с Уравнением 26. В некоторых вариантах осуществления градационная шкала может создаваться непрерывной и иметь непрерывную первую производную как в MFP, так и в LFP. В некоторых вариантах осуществления градационная шкала может проходить через точки экстремума (ImageMinCV, cvMin) и (ImageMaxCV, cvMax). В некоторых вариантах осуществления градационная шкала может изменяться от аффинного увеличения на верхних и нижних краях. Более того, пределы кодовых значений изображения могут использоваться для определения точек экстремума вместо использования фиксированных пределов. Можно использовать фиксированные пределы в этой конструкции, но могут возникнуть проблемы с большим уменьшением мощности. В некоторых вариантах осуществления эти условия однозначно задают кусочно-квадратичную градационную шкалу, которая выводится ниже.

Условия:

Уравнение 30. Определение градационной шкалы

Уравнение 31. Наклон градационной шкалы

Беглое изучение непрерывности градационной шкалы и первой производной в LFP и MFP приводит к

Уравнение 32.

Решение для параметров B, C, E, F градационной шкалы

Вершины определяют постоянные A и D в виде:

Уравнение 33.

Решение для параметров A и D градационной шкалы

В некоторых вариантах осуществления эти зависимости определяют плавное расширение градационной шкалы, предполагая, что доступны MFP/LFP и ImageMaxCV/ImageMinCV. Это оставляет необходимость выбирать эти параметры. Дополнительные варианты осуществления содержат способы и системы для выбора этих параметров исполнения.

Выбор параметра (MFP/LFP)

Некоторые варианты осуществления настоящего изобретения, описанные выше и в родственных заявках, направлены только на MFP с ImageMaxCV, равным 255, cvMax использовалось вместо ImageMaxCV в этих вариантах осуществления. Эти ранее описанные варианты осуществления имели линейную градационную шкалу в нижнем крае вследствие сопоставления на основе дисплея полной мощности, а не идеального дисплея. В некоторых вариантах осуществления MFP выбиралась так, чтобы плавная градационная шкала имела нулевой наклон в верхнем пределе, ImageMaxCV. Математически MFP определялось с помощью:

Уравнение 34. Критерий выбора MFP

Решение этого критерия устанавливает связь MFP с верхней точкой отсечения и максимальным кодовым значением:

Уравнение 35. Прежние критерии выбора MFP

Для умеренного уменьшения мощности, такого как P=80%, эти прежние критерии выбора MFP работают хорошо. Для большого уменьшения мощности эти варианты осуществления могут превзойти результаты ранее описанных вариантов осуществления.

В некоторых вариантах осуществления мы выбираем критерий выбора MFP подходящим для большого уменьшения мощности. Использование значения ImageMaxCV непосредственно в Уравнении 35 может вызвать проблемы. В изображениях, где мощность низкая, предполагаем низкое максимальное кодовое значение. Если максимальное кодовое значение в изображении, ImageMaxCV, известно как небольшое, Уравнение 35 дает приемлемое значение для MFP, но в некоторых случаях ImageMaxCV либо неизвестно, либо большое, что может привести к неприемлемым, то есть отрицательным значениям MFP. В некоторых вариантах осуществления, если максимальное кодовое значение неизвестно или слишком высокое, другое значение может выбираться для ImageMaxCV и применяться в вышеупомянутом результате.

В некоторых вариантах осуществления k может задаваться в качестве параметра, определяющего наименьшую долю отсеченного значения x _high, которую может иметь MFP. Тогда k может использоваться для определения, является ли приемлемой MFP, вычисленная с помощью Уравнения 35, то есть

Уравнение 36. "Приемлемые" критерии MFP

Если вычисленная MFP не приемлема, MFP может быть задана как наименьшее приемлемое значение, и может быть определено необходимое значение ImageMaxCV, Уравнение 37. Значения MFP и ImageMaxCV могут затем использоваться для определения градационной шкалы, как рассматривается ниже.

Уравнение 37. Исправление ImageMaxCV

Этапы для выбора MFP в некоторых вариантах осуществления обобщаются ниже:

1. Вычислить возможную MFP с использованием ImageMaxCV (или cvMax, если недоступно).

2. Проверить приемлемость, используя Уравнение 36.

3. Если неприемлемая, задать MFP на основе доли k кодового значения отсечения.

4. Рассчитать новое ImageMaxCV, используя Уравнение 37.

5. Вычислить гладкую функцию градационной шкалы, используя MFP, ImageMaxCV и мощность.

Аналогичные методики могут применяться для выбора LFP в темном крае, используя ImageMinCV и x_low.

Примерные исполнения градационной шкалы на основе алгоритмов разработки плавной градационной шкалы и автоматического выбора параметра показаны на фиг.42-45. Фиг.42 и 43 показывают примерное исполнение градационной шкалы, где выбран уровень мощности фоновой подсветки в 11%. Показана линия 616, соответствующая линейному участку исполнения градационной шкалы между MFP 610 и LFP 612. Исполнение 614 градационной шкалы изгибается от линии 616 выше MFP 610 и ниже LFP 612, но совпадает с линией 616 между LFP 612 и MFP 610. Фиг.41 - увеличенное изображение темной области исполнения градационной шкалы из фиг.42. LFP 612 является явно видимой, и нижнюю кривую 620 в исполнении градационной шкалы можно видеть отклоняющейся от линейного продолжения 622.

Фиг.44 и 45 показывают примерное исполнение градационной шкалы, в котором уровень фоновой подсветки выбран на 89% максимальной мощности. Фиг.44 показывает линию 634, совпадающую с линейной частью исполнения градационной шкалы. Линия 634 представляет реакцию идеального дисплея. Исполнение 636 градационной шкалы отклоняется (636, 638) от идеального линейного отображения 634 дисплея выше MFP 630 и ниже LFP 632. Фиг.45 показывает увеличенное представление темного края исполнения 636 градационной шкалы ниже LFP 640, где исполнение 642 градационной шкалы отклоняется от продолжения 644 идеального дисплея.

В некоторых вариантах осуществления настоящего изобретения вычисление искажения может изменяться путем изменения вычисления ошибки между изображениями идеального и реального дисплеев. В некоторых вариантах осуществления MSE может заменяться суммой искаженных пикселей. В некоторых вариантах осуществления ошибка отсечения в верхних и нижних областях может взвешиваться по-разному.

Некоторые варианты осуществления настоящего изобретения могут содержать датчик общего освещения. Если доступен датчик общего освещения, то датчик может использоваться для изменения показателя искажения, включающего воздействия окружающего освещения и отражения экрана. Это может использоваться для изменения показателя искажения, а отсюда и алгоритма модуляции фоновой подсветки. Информация о внешней среде может использоваться для управления исполнением градационной шкалы также путем указания важной претензионной точки отсечения в черном крае.

Варианты осуществления с сохранением цвета

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для сохранения цветовых характеристик наряду с улучшением яркости изображения. В некоторых вариантах осуществления сохранение яркости содержит преобразование объемной гаммы на полной мощности в меньшую объемную гамму дисплея с уменьшенной мощностью. В некоторых вариантах осуществления используются разные способы для сохранения цвета. Некоторые варианты осуществления сохраняют оттенок/насыщенность цвета в обмен на уменьшение увеличения яркости.

Некоторые не сохраняющие цвет варианты осуществления, описанные выше, обрабатывают каждый цветовой канал, функционирующий независимо, чтобы предоставить совпадение яркости на каждом цветовом канале. В тех не сохраняющих цвет вариантах осуществления сильно насыщенные цвета или цвета подсвечивания могут стать ненасыщенными и/или поменяться в оттенке после обработки. Сохраняющие цвет варианты осуществления направляют усилия на эти дефекты цвета, но в некотором случае могут немного уменьшить увеличение яркости.

Некоторые сохраняющие цвет варианты осуществления также могут применять операцию отсечения, когда воссоединяются низкочастотные и высокочастотные каналы. Отсечение каждого цветового канала по отдельности снова может привести к изменению цвета. В вариантах осуществления, применяющих сохраняющее цвет отсечение, операция отсечения может использоваться для сохранения оттенка/насыщенности. В некоторых случаях это сохраняющее цвет отсечение может уменьшить яркость отсеченных значений ниже, чем у других не сохраняющих цвет вариантов осуществления.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.46. В этих вариантах осуществления считывается входное изображение 650, и определяются кодовые значения, соответствующие разным цветовым каналам для определенного 652 расположения пикселя. В некоторых вариантах осуществления входное изображение может быть в формате, который содержит информацию об отдельных цветовых каналах, записанную в файл изображения. В примерном варианте осуществления изображение может записываться с красным, зеленым и синим (RGB) цветовыми каналами. В других вариантах осуществления файл изображения может записываться в формате голубого, пурпурного, желтого и черного (CMYK), Lab, YUV или в другом формате. Входное изображение может быть в формате, содержащем отдельный канал сигнала яркости, такой как Lab, или в формате без отдельного канала сигнала яркости, таком как RGB. Когда файл изображения не имеет легко доступных данных отдельного цветового канала, файл изображения может быть преобразован в формат с данными цветового канала.

Как только определяются 652 кодовые значения для каждого цветового канала, затем определяется 654 максимальное кодовое значение среди кодовых значений цветового канала. Это максимальное кодовое значение затем может использоваться для определения параметров модели 656 настройки кодовых значений. Модель настройки кодовых значений может формироваться многими способами. Кривая настройки градационной шкалы, функция прироста или другие модели настройки могут использоваться в некоторых вариантах осуществления. В примерных вариантах осуществления может использоваться кривая настройки градационной шкалы, которая улучшает яркость изображения в ответ на уменьшенную настройку мощности фоновой подсветки. В некоторых вариантах осуществления модель настройки кодовых значений может содержать кривую настройки градационной шкалы, которая описана выше в отношении других вариантов осуществления. Кривая настройки кодовых значений затем может применяться 658 к каждому из кодовых значений цветового канала. В этих вариантах осуществления применение кривой настройки кодовых значений приведет к одинаковому значению прироста, применяемому к каждому цветовому каналу. Как только выполнены настройки, процесс будет продолжаться для каждого пикселя 660 в изображении.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.47. В этих вариантах осуществления считывается входное изображение 670, и выбирается 672 первое расположение пикселя. Кодовые значения для первого цветового канала определяются 674 для выбранного расположения пикселя, и кодовые значения для второго цветового канала определяются 676 для выбранного расположения пикселя. Эти кодовые значения затем анализируются, и одно из них выбирается 678 на основе критерия выбора кодового значения. В некоторых вариантах осуществления может выбираться максимальное кодовое значение. Это выбранное кодовое значение затем может использоваться в качестве входных данных для генератора 680 модели настройки кодовых значений, который будет формировать модель. Модель затем может применяться 682 к кодовым значениям первого и второго цветовых каналов с практически равным приростом, применяемым к каждому каналу. В некоторых вариантах осуществления значение прироста, полученное из модели настройки, может применяться ко всем цветовым каналам. Обработка затем может переходить к следующему пикселю 684, пока не обработается все изображение.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.48. В этих вариантах осуществления входное изображение 690 вводится в систему. Изображение затем фильтруется 692 для создания изображения с первым частотным диапазоном. В некоторых вариантах осуществления это может быть низкочастотное изображение или изображение некоторого другого частотного диапазона. Также может быть сформировано изображение 694 со вторым частотным диапазоном. В некоторых вариантах осуществления изображение со вторым частотным диапазоном может быть создано путем вычитания изображения с первым частотным диапазоном из входного изображения. В некоторых вариантах осуществления, где изображение с первым частотным диапазоном является низкочастотным (LP) изображением, изображение со вторым частотным диапазоном может быть высокочастотным (HP) изображением. Затем может определяться 696 кодовое значение для первого цветового канала в изображении с первым частотным диапазоном для расположения пикселя, и также может определяться 698 кодовое значение для второго цветового канала в изображении с первым частотным диапазоном для расположения пикселя. Затем выбирается 700 одно из кодовых значений цветового канала путем сравнения кодовых значений или их характеристик. В некоторых вариантах осуществления может выбираться максимальное кодовое значение. Затем может быть сформирована или получена 702 модель настройки с использованием выбранного кодового значения в качестве входных данных. Это может привести к коэффициенту прироста, который может применяться 704 к кодовому значению первого цветового канала и кодовому значению второго цветового канала.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.49. В этих вариантах осуществления входное изображение 710 может быть введено в селектор 712 пикселей, который может определить пиксель, который нужно корректировать. Считыватель 714 кодового значения первого цветового канала может считать кодовое значение для выбранного пикселя для первого цветового канала. Считыватель 716 кодового значения второго цветового канала также может считать кодовое значение для второго цветового канала в выбранном расположении пикселя. Эти кодовые значения могут анализироваться в модуле 718 анализа, где будет выбираться одно из кодовых значений на основе характеристики кодового значения. В некоторых вариантах осуществления может выбираться максимальное кодовое значение. Это выбранное кодовое значение затем может быть введено в генератор 720 модели или селектор модели, который может определить значение или модель прироста. Это значение или модель прироста затем может применяться 722 к кодовым значениям обоих цветовых каналов независимо от того, выбиралось ли кодовое значение модулем 718 анализа. В некоторых вариантах осуществления при применении модели можно обращаться 728 к входному изображению. Управление затем может передаваться 726 обратно селектору 712 пикселей, чтобы выполнять цикл по другим пикселям в изображении.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.50. В этих вариантах осуществления входное изображение 710 может быть введено в фильтр 730, чтобы получить изображение 732 с первым частотным диапазоном и изображение 734 со вторым частотным диапазоном. Изображение с первым частотным диапазоном может быть преобразовано, чтобы сделать возможным доступ к кодовым значениям 736 отдельных цветовых каналов. В некоторых вариантах осуществления входное изображение может обеспечивать доступ к кодовым значениям цветового канала без какого-либо преобразования. Может определяться кодовое значение 738 для первого цветового канала в первом частотном диапазоне, и может определяться кодовое значение 740 для второго цветового канала в первом частотном диапазоне.

Эти кодовые значения могут вводиться в анализатор 742 характеристик кодового значения, который может определять характеристики кодового значения. Селектор 744 кодового значения затем может выбрать одно из кодовых значений на основе анализа кодовых значений. Этот выбор затем может вводиться в селектор или генератор 746 модели настройки, который будет формировать или выбирать значение прироста или карту прироста на основе выбора кодового значения. Значение или карта прироста могут быть затем применены 748 к кодовым значениям первого частотного диапазона для обоих цветовых каналов в корректируемом пикселе. Этот процесс может повторяться, пока не скорректировано 750 все изображение с первым частотным диапазоном. Карта прироста также может применяться 753 к изображению 734 со вторым частотным диапазоном. В некоторых вариантах осуществления постоянный коэффициент прироста может применяться ко всем пикселям в изображении со вторым частотным диапазоном. В некоторых вариантах осуществления изображение со вторым частотным диапазоном может быть высокочастотной версией входного изображения 710. Скорректированное изображение 750 с первым частотным диапазоном и скорректированное изображение 753 со вторым частотным диапазоном могут складываться или иным образом объединяться 754 для создания скорректированного выходного изображения 756.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.51. В этих вариантах осуществления входное изображение 710 может отправляться в фильтр 760 или какой-нибудь другой процессор для разделения изображения на изображения нескольких частотных диапазонов. В некоторых вариантах осуществления фильтр 760 может содержать фильтр нижних частот (LP) и процессор для вычитания LP-изображения, созданного с помощью LP-фильтра, из входного изображения для создания высокочастотного (HP) изображения. Модуль 760 фильтра может выводить два или более частотных изображений 762, 764, причем каждое имеет определенный частотный диапазон. Изображение 762 с первым частотным диапазоном может содержать данные цветового канала для первого цветового канала 766 и второго цветового канала 768. Кодовые значения для этих цветовых каналов могут отправляться модулю 770 оценки характеристик кодового значения и/или селектору 772 кодового значения. Этот процесс приведет к выбору одного из кодовых значений цветового канала. В некоторых вариантах осуществления будет выбрано максимальное кодовое значение из данных цветового канала для определенного расположения пикселя. Это выбранное кодовое значение может быть передано генератору 774 режима настройки, который сформирует модель настройки кодовых значений. В некоторых вариантах осуществления эта модель настройки может содержать карту прироста или значение прироста. Эта модель настройки затем может применяться 776 к каждому из кодовых значений цветового канала для анализируемого пикселя. Этот процесс может повторяться для каждого пикселя в изображении, приводя к скорректированному изображению 778 с первым частотным диапазоном.

Изображение 764 со вторым частотным диапазоном при желании может корректироваться с помощью отдельной функции 765 прироста, чтобы увеличить кодовые значения. В некоторых вариантах осуществления может не применяться никакой настройки. В других вариантах осуществления постоянный коэффициент прироста может применяться ко всем кодовым значениям в изображении со вторым частотным диапазоном. Это изображение со вторым частотным диапазоном может объединяться со скорректированным изображением 778 с первым частотным диапазоном для образования скорректированного объединенного изображения 781.

В некоторых вариантах осуществления применение модели настройки к изображению с первым частотным диапазоном и/или применение функции прироста к изображению со вторым частотным диапазоном может привести к тому, что некоторые кодовые значения изображения превысят диапазон устройства отображения или формата изображения. В этих случаях может потребоваться "отсечь" кодовые значения до необходимого диапазона. В некоторых вариантах осуществления может использоваться сохраняющий цвет процесс 782 отсечения. В этих вариантах осуществления кодовые значения, которые выпадают из заданного диапазона, могут отсекаться способом, который сохраняет соотношение между значениями цвета. В некоторых вариантах осуществления может вычисляться множитель, который не превышает максимальное значение в необходимом диапазоне, разделенное на максимальное кодовое значение цветового канала для анализируемого пикселя. Это приведет к коэффициенту "прироста", который меньше единицы и который уменьшит "завышенное" кодовое значение до максимального значения в необходимом диапазоне. Это значение "прироста" или отсечения может применяться ко всем кодовым значениям цветового канала, чтобы сохранить цвет пикселя, в то же время уменьшая все кодовые значения до значения, которое меньше либо равно максимальному значению в заданном диапазоне. Применение этого процесса отсечения приводит к скорректированному выходному изображению 784, у которого все кодовые значения находятся в заданном диапазоне и который сохраняет соотношение цвета у кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут быть описаны в соответствии с фиг.52. В этих вариантах осуществления сохраняющее цвет отсечение используется для сохранения соотношений цвета, в то же время ограничивая кодовые значения в заданном диапазоне. В некоторых вариантах осуществления объединенное скорректированное изображение 792 может соответствовать объединенному скорректированному изображению 781, описанному в соответствии с фиг.51. В других вариантах осуществления объединенное скорректированное изображение 792 может быть любым другим изображением, которое имеет кодовые значения, которые нужно отсечь до заданного диапазона.

В этих вариантах осуществления определяется кодовое значение 794 первого цветового канала, и определяется кодовое значение 796 второго цветового канала для заданного расположения пикселя. Эти кодовые значения 794, 796 цветового канала оцениваются в блоке 798 оценки характеристик кодового значения, чтобы определить выборочную характеристику кодового значения и выбрать кодовое значение цветового канала. В некоторых вариантах осуществления выборочная характеристика будет максимальным значением, и большее кодовое значение будет выбрано в качестве входных данных для генератора 800 настройки. Выбранное кодовое значение может использоваться в качестве входных данных для формирования настройки 800 отсечения. В некоторых вариантах осуществления эта настройка уменьшит максимальное кодовое значение до значения в заданном диапазоне. Эта настройка отсечения затем может применяться ко всем кодовым значениям цветового канала. В примерном варианте осуществления кодовые значения первого цветового канала и второго цветового канала будут уменьшены 802 на одинаковый коэффициент, посредством этого сохраняя отношение двух кодовых значений. Применение этого процесса ко всем пикселям в изображении приведет к выходному изображению 804 с кодовыми значениями, которые попадают в заданный диапазон.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.53. В этих вариантах осуществления способы реализуются в области RGB путем управления приростом, применяемым ко всем трем составляющим цвета на основе максимальной составляющей цвета. В этих вариантах осуществления входное изображение 810 обрабатывается путем разложения 812 частоты. В примерном варианте осуществления фильтр 814 нижних частот (LP) применяется к изображению для создания LP-изображения 820, которое затем вычитается из входного изображения 810 для создания высокочастотного (HP) изображения 826. В некоторых вариантах осуществления для LP-фильтра может использоваться пространственный фильтр 5x5 с прямоугольной характеристикой. В каждом пикселе в LP-изображении 820 выбирается максимальное значение 816 трех цветовых каналов (R, G и B) и вводится в карту 818 LP-прироста, которая выбирает подходящую функцию прироста для применения ко всем значениям цветового канала для этого конкретного пикселя. В некоторых вариантах осуществления прирост в пикселе со значениями [r, g, b] может определяться с помощью одномерной LUT, проиндексированной по max(r, g, b). Прирост в значении x может выводиться из значения кривой градационной шкалы фотометрического совпадения, описанной выше, в значении x, деленного на x.

Функция 834 прироста также может применяться к HP-изображению 826. В некоторых вариантах осуществления функция 834 прироста может быть постоянным коэффициентом прироста. Это измененное HP-изображение объединяется 830 со скорректированным LP-изображением для образования выходного изображения 832. В некоторых вариантах осуществления выходное изображение 832 может содержать кодовые значения, которые находятся вне диапазона для применения. В этих вариантах осуществления процесс отсечения может применяться, как объяснялось выше в отношении фиг.51 и 52.

В некоторых вариантах осуществления настоящего изобретения, описанных выше, модель настройки кодовых значений для LP-изображения может быть спроектирована так, что для пикселей, чья максимальная составляющая цвета ниже некоторого параметра, например точки максимального соответствия, прирост компенсирует уменьшение в уровне мощности фоновой подсветки. Низкочастотный прирост плавно спадает до 1 на границе цветовой гаммы таким образом, что обработанный низкочастотный сигнал остается в пределах гаммы.

В некоторых вариантах осуществления обработка HP-сигнала может быть независимой от выбора обработки низкочастотного сигнала. В вариантах осуществления, которые компенсируют уменьшенную мощность фоновой подсветки, HP-сигнал может быть обработан с постоянным приростом, который сохранит контраст, когда уменьшается мощность. Формула для прироста HP-сигнала в показателях полной и уменьшенной мощностей фоновой подсветки и гаммы дисплея приводится в 5. В этих вариантах осуществления, увеличение высокочастотного контраста устойчиво к шуму, поскольку прирост обычно небольшой, например прирост равен 1,1 для 80%-ного уменьшения мощности и гаммы 2,2.

В некоторых вариантах осуществления результат обработки LP-сигнала и HP-сигнала суммируется и отсекается. Отсечение может применяться ко всему вектору выборок RGB в каждом пикселе, одинаково масштабируя все три составляющие, чтобы наибольшая составляющая масштабировалась до 255. Отсечение возникает, когда повышенное HP-значение, прибавленное к LP-значению, превышает 255, и обычно характерно только для ярких сигналов с высоким контрастом. Как правило, с помощью построения LUT обеспечивается, что LP-сигнал не превышает верхний предел. HP-сигнал может вызывать отсечение в сумме, но отрицательные значения HP-сигнала никогда не отсекутся, тем самым поддерживая некоторый контраст, даже когда возникает отсечение.

Варианты осуществления настоящего изобретения могут попытаться оптимизировать яркость изображения, либо они могут попытаться оптимизировать сохранение или совпадение цвета наряду с увеличением яркости. Как правило, существует компромисс между изменением цвета при максимизации яркости и яркостью. Когда предотвращается изменение цвета, обычно будет страдать яркость. Некоторые варианты осуществления настоящего изобретения могут попытаться уравновесить соотношение между изменением цвета и яркостью путем формирования взвешенного прироста, примененного к каждой составляющей цвета, как показано в уравнении 38.

Уравнение 38. Взвешенный прирост

Этот взвешенный прирост колеблется между максимальным совпадением яркости при альфа = 0 до минимальных дефектов цвета при альфа = 1. Отметим, что когда все кодовые значения находятся ниже параметра MFP, все три прироста равны.

Основанные на модели дисплея, связанные с искажением варианты осуществления

Термин "масштабирование фоновой подсветки" может относиться к методике для уменьшения фоновой подсветки LCD и одновременного изменения данных, отправляемых в LCD, чтобы компенсировать уменьшение фоновой подсветки. Основная особенность этой методики - выбор уровня фоновой подсветки. Варианты осуществления настоящего изобретения могут выбирать уровень яркости фоновой подсветки в LCD, используя модуляцию фоновой подсветки либо для экономии энергии, либо для улучшенного динамического контраста. Способы, используемые для решения этой проблемы, могут разделяться на зависимые от изображения и независимые от изображения методики. Зависимые от изображения методики могут иметь целью ограничение величины отсечения, вводимого последующей обработкой изображения с компенсацией фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения могут использовать оптимизацию для выбора уровня фоновой подсветки. Принимая во внимание изображение, процедура оптимизации может выбрать уровень фоновой подсветки для минимизации искажения между изображением, как оно появилось бы на гипотетическом эталонном дисплее, и изображением, как оно появилось бы на реальном дисплее.

Нижеследующие термины могут использоваться для описания элементов вариантов осуществления настоящего изобретения:

1. Модель эталонного дисплея: Модель эталонного дисплея может представлять собой нужный выходной сигнал из дисплея, такого как LCD. В некоторых вариантах осуществления модель эталонного дисплея может моделировать идеальный дисплей с нулевым уровнем черного или дисплей с неограниченным динамическим диапазоном.

2. Модель реального дисплея: Модель выходного сигнала реального дисплея. В некоторых вариантах осуществления выходной сигнал реального дисплея может моделироваться для разных уровней фоновой подсветки, и реальный дисплей может моделироваться как имеющий ненулевой уровень черного. В некоторых вариантах осуществления алгоритм выбора фоновой подсветки может зависеть от коэффициента контрастности дисплея через этот параметр.

3. Сохранение яркости (BP): Обработка исходного изображения для компенсации уменьшенного уровня фоновой подсветки. Изображение, как оно появилось бы на реальном дисплее, является выходными данными модели дисплея при заданном уровне фоновой подсветки на изображении с увеличенной яркостью. Некоторыми примерными случаями являются:

• Отсутствие сохранения яркости: Необработанные данные изображения отправляются на LCD-панель. В этом случае алгоритм выбора фоновой подсветки изменяет только фоновую подсветку - следовательно, яркость не сохраняется.

• Линейное увеличение для компенсации яркости. Изображение обрабатывается с использованием простого аффинного преобразования, чтобы компенсировать уменьшение фоновой подсветки. Хотя этот простой алгоритм сохранения яркости жертвует качеством изображения, если в действительности используется для компенсации фоновой подсветки, он является эффективным инструментом для выбора значения фоновой подсветки.

• Наложение градационной шкалы: Изображение обрабатывается с использованием карты градационной шкалы, которая может содержать линейные и нелинейные участки. Участки могут использоваться для ограничения отсечения и улучшения контраста.

4. Показатель искажения. Модель дисплея и алгоритм сохранения яркости могут использоваться для определения изображения, как оно появилось бы на реальном дисплее. Затем может вычисляться искажение между этим выходным сигналом и изображением на эталонном дисплее. В некоторых вариантах осуществления искажение может вычисляться исключительно на основе кодовых значений изображения. Искажение зависит от выбора показателя ошибки, в некоторых вариантах осуществления может использоваться среднеквадратическая ошибка.

5. Критерии оптимизации. Искажение может минимизироваться при соблюдении разных ограничений. Например, в некоторых вариантах осуществления могут использоваться следующие критерии:

• Минимизировать искажение на каждом кадре видеопоследовательности.

• Минимизировать максимальное искажение при соблюдении ограничения средней фоновой подсветки.

• Минимизировать среднее искажение при соблюдении ограничения средней фоновой подсветки.

Модели дисплеев

В некоторых вариантах осуществления настоящего изобретения модель GoG может использоваться как для модели эталонного дисплея, так и модели реального дисплея. Эта модель может изменяться для масштабирования на основе уровня фоновой подсветки. В некоторых вариантах осуществления эталонный дисплей может моделироваться в виде идеального дисплея с нулевым уровнем черного и максимальным выходом W. Реальный дисплей может моделироваться как имеющий такой же максимальный выход W при полной фоновой подсветке и уровень черного B при полной фоновой подсветке. Коэффициент контрастности равен W/B. Коэффициент контрастности является бесконечным, когда уровень черного нулевой. Эти модели могут выражаться математически с использованием CV_Max для обозначения максимального кодового значения изображения в уравнениях ниже.

Уравнение 39.

Модель выходного сигнала эталонного (идеального) дисплея

Для реального LCD с максимальным выходом W и минимальным выходом B при полном уровне фоновой подсветки, то есть P=1; выходной сигнал моделируется как масштабирование с относительным уровнем фоновой подсветки P. Коэффициент контрастности CR = W/B не зависит от уровня фоновой подсветки.

Уравнение 40. Модель реального LCD

Сохранение яркости

В этом примерном варианте осуществления используется процесс BP на основе простого увеличения и отсечения, в котором увеличение выбирается для компенсации уменьшения фоновой подсветки, где это возможно. Нижеследующий вывод показывает модификацию градационной шкалы, которая обеспечивает совпадение яркости между эталонным дисплеем и реальным дисплеем при заданной фоновой подсветке. Как максимальный выход, так и уровень черного у реального дисплея масштабируются с помощью фоновой подсветки. Отметим, что выходной сигнал реального дисплея ограничивается ниже масштабированного выходного максимума и выше масштабированного уровня черного. Это соответствует отсечению результата градационной шкалы подбора яркости до 0 и CV_max.

Уравнение 41. Критерии для согласования выходных сигналов

Пределы отсечения на cv' подразумевают пределы отсечения на диапазоне подбора яркости.

Уравнение 42. Пределы отсечения

Уравнение 43. Точки отсечения

Градационная шкала обеспечивает совпадение выходного сигнала для кодовых значений выше минимального и ниже максимального, где минимум и максимум зависят от относительной мощности фоновой подсветки P и коэффициента контрастности реального дисплея CR=W/B.

Вычисление искажения

Различные измененные изображения, созданные и использованные в вариантах осуществления настоящего изобретения, можно описать со ссылкой на фиг.54. Исходное изображение I 840 может использоваться в качестве входных данных в создании каждого из этих примерных измененных изображений. В некоторых вариантах осуществления исходное входное изображение 840 обрабатывается 842, чтобы произвести идеальный выходной сигнал Y_Ideal 844. Процессор идеальных изображений, эталонный дисплей 842, может предполагать, что идеальный дисплей обладает нулевым уровнем черного. Это выходной сигнал Y_Ideal 844 может представлять исходное изображение 840, которое видно на эталонном (идеальном) дисплее. В некоторых вариантах осуществления, полагая, что задается уровень фоновой подсветки, можно вычислить искажение, вызванное отображением изображения с этим уровнем фоновой подсветки на реальном LCD.

В некоторых вариантах осуществления сохранение 846 яркости может использоваться для формирования изображения I' 850 из изображения I 840. Изображение I' 850 затем может отправляться процессору 854 реального LCD вместе с выбранным уровнем фоновой подсветки. Результирующий выходной сигнал помечается Y_actual 858.

Модель эталонного дисплея может имитировать выходной сигнал реального дисплея путем использования входного изображения I* 852.

Выходной сигнал реального LCD 854 является результатом прохождения исходного изображения I 840 через функцию 846 градационной шкалы подбора яркости, чтобы получить изображение I' 850. Это не может точно воспроизводить эталонный выходной сигнал, зависящий от уровня фоновой подсветки. Однако выходной сигнал реального дисплея может имитироваться на эталонном дисплее 842. Изображение I* 852 обозначает данные изображения, отправленные на эталонный дисплей 842, чтобы имитировать выходной сигнал реального дисплея, посредством этого создавая Y_emulated 860. Изображение I* 852 создается путем отсечения изображения I 840 до диапазона, определенного точками отсечения, заданными выше в соответствии с Уравнением 43 и где-то в другом месте. В некоторых вариантах осуществления I* может математически описываться в виде:

Уравнение 44. Отсеченное изображение

В некоторых вариантах осуществления искажение может задаваться в виде разницы между выходным сигналом эталонного дисплея с изображением I и выходным сигналом реального дисплея с уровнем фоновой подсветки P и изображением I'. Поскольку изображение I* имитирует выходной сигнал реального дисплея на эталонном дисплее, искажение между эталонным и реальным дисплеями равно искажению между изображениями I и I* на эталонном дисплее.

Уравнение 45

Поскольку оба изображения находятся на эталонном дисплее, искажение может измеряться только между данными изображения, не нуждаясь в выходном сигнале дисплея.

Уравнение 46

Показатель искажения изображения

Анализ выше показывает, что искажение между отображением изображения I 840 на эталонном дисплее и отображением на реальном дисплее эквивалентно искажению между отображением обоих изображений I 840 и I* 852 на эталонном дисплее. В некоторых вариантах осуществления поточечный показатель искажения может использоваться для установления искажения между изображениями. Учитывая точечное искажение d, искажение между изображениями может вычисляться путем суммирования разницы между изображениями I и I*. Поскольку изображение I* имитирует совпадение яркости, ошибка состоит из отсечения в верхнем и нижнем пределах. В некоторых вариантах осуществления стандартная гистограмма изображения h(x) может использоваться для установления искажения изображения по отношению к мощности фоновой подсветки.

Уравнение 47

Кривая фоновой подсветки в зависимости от искажения

Принимая во внимание эталонный дисплей, реальный дисплей, определение искажения и изображение, искажение может вычисляться в диапазоне уровней фоновой подсветки. При объединении эти данные искажения могут образовать кривую фоновой подсветки в зависимости от искажения. Кривая фоновой подсветки в зависимости от искажения может быть проиллюстрирована с использованием выборочного кадра, который является тусклым изображением вида наблюдаемого из темной комнаты, и модели идеального дисплея с нулевым уровнем черного, модели реального LCD с коэффициентом контрастности 1000:1 и показателя ошибки в виде среднеквадратической ошибки MSE. Фиг.55 - график гистограммы кодовых значений изображения для этого примерного изображения.

В некоторых вариантах осуществления кривая искажения может вычисляться путем вычисления искажения для диапазона значений фоновой подсветки, используя гистограмму. Фиг.56 - график примерной кривой искажения, соответствующей гистограмме из фиг.55. Для этого примерного изображения при низких значениях фоновой подсветки, сохранение яркости не способно эффективно компенсировать уменьшенную фоновую подсветку, приводя к резкому увеличению в искажении 880. На высоких уровнях фоновой подсветки ограниченный коэффициент контрастности вынуждает уровень черного подниматься 882 по сравнению с идеальным дисплеем. Существует диапазон минимального искажения, и в некоторых вариантах осуществления наименьшее значение фоновой подсветки, дающее это минимальное искажение 884, может выбираться с помощью алгоритма минимального искажения.

Алгоритм оптимизации

В некоторых вариантах осуществления кривая искажения, такая как показанная на фиг.56, может использоваться для выбора значения фоновой подсветки. В некоторых вариантах осуществления может выбираться минимальная мощность искажения для каждого кадра. В некоторых вариантах осуществления, когда значение минимального искажения не является уникальным, может выбираться наименьшая мощность 884, которая дает это минимальное искажение. Результаты применения этого критерия оптимизации к короткому DVD-ролику показываются на фиг.57, которая изображает выбранную мощность фоновой подсветки по отношению к номеру видеокадра. В этом случае средняя выбранная фоновая подсветка 890 приблизительно равна 50%.

Зависимость от изображения

Чтобы проиллюстрировать зависимую от изображения сущность некоторых вариантов осуществления настоящего изобретения, выбирались примерные тестовые изображения с меняющимся содержанием, и искажение в этих изображениях вычислялось для диапазона значений фоновой подсветки. Фиг.39 - график кривых фоновой подсветки в зависимости от искажения для этих примерных изображений. Фиг.39 содержит графики для: изображения A 596, полностью черного изображения; изображения B 590, полностью белого изображения; изображения C 594, очень тусклой фотографии группы людей, и изображения D 598, яркого изображения серфера на волне.

Отметим, что форма кривой сильно зависит от содержания изображения. Предполагается, что уровень фоновой подсветки уравновешивает искажение из-за потери яркости и искажение из-за повышенного уровня черного. Черное изображение 596 имеет наименьшее искажение при низкой фоновой подсветке. Белое изображение 590 имеет наименьшее искажение при полной фоновой подсветке. Тусклое изображение 594 имеет наименьшее искажение при промежуточном уровне фоновой подсветки, который использует ограниченный коэффициент контрастности в качестве эффективного баланса между повышенным уровнем черного и уменьшением яркости.

Коэффициент контрастности

Коэффициент контрастности дисплея может входить в определение реального дисплея. Фиг.58 иллюстрирует определение фоновой подсветки с минимальным искажением MSE для разных коэффициентов контрастности у реального дисплея. Отметим, что на пределе 1:1 коэффициента 900 контрастности фоновая подсветка с минимальным искажением зависит от среднего уровня сигнала (ASL) изображения. В противоположной крайности с бесконечным коэффициентом контрастности (нулевой уровень черного), фоновая подсветка с минимальным искажением зависит от максимума 902 изображения

В некоторых вариантах осуществления настоящего изобретения модель эталонного дисплея может содержать модель дисплея с идеальным нулевым уровнем черного. В некоторых вариантах осуществления модель эталонного дисплея может содержать эталонный дисплей, выбранный по модели визуальной яркости, и в некоторых вариантах осуществления модель эталонного дисплея может содержать датчик общего освещения.

В некоторых вариантах осуществления настоящего изобретения модель реального дисплея может содержать пропускающую GoG-модель с конечным уровнем черного. В некоторых вариантах осуществления модель реального дисплея может содержать модель для прозрачно-отражающего дисплея, где выходной сигнал моделируется как зависимый от общего освещения и отражающей части дисплея.

В некоторых вариантах осуществления настоящего изобретения сохранение яркости (BP) в процессе выбора фоновой подсветки может содержать линейное увеличение с отсечением. В других вариантах осуществления процесс выбора фоновой подсветки может содержать операторы градационной шкалы с плавным спадом и/или алгоритмом двухканального BP.

В некоторых вариантах осуществления настоящего изобретения показатель искажения может содержать среднеквадратическую ошибку (MSE) в кодовых значениях изображения в качестве точечного показателя. В некоторых вариантах осуществления показатель искажения может содержать точечные показатели ошибок, включающие сумму абсолютных разностей, количество отсеченных пикселей и/или процентильные показатели на основе гистограммы.

В некоторых вариантах осуществления настоящего изобретения критерии оптимизации могут содержать выбор уровня фоновой подсветки, который минимизирует искажение в каждом кадре. В некоторых вариантах осуществления критерии оптимизации могут содержать ограничения средней мощности, которые минимизируют максимальное искажение или которые минимизируют среднее искажение.

Варианты осуществления LCD с динамическим контрастом

Жидкокристаллические дисплеи (LCD) обычно страдают от ограниченного коэффициента контрастности. Например, уровень черного у дисплея может повышаться из-за рассеивания фоновой подсветки или других проблем. Это может заставить черные области выглядеть серыми, а не черными. Модуляция фоновой подсветки может смягчить эту проблему путем снижения уровня фоновой подсветки и ассоциированного рассеивания, посредством этого уменьшая также уровень черного. Однако при использовании без компенсации эта методика будет иметь нежелательный эффект уменьшения яркости дисплея. Компенсация изображения может использоваться для восстановления потери яркости дисплея из-за затемнения фоновой подсветки. Компенсация, как правило, ограничена восстановлением яркости дисплея, работающего с полной мощностью.

Некоторые варианты осуществления настоящего изобретения, описанные выше, содержат модуляцию фоновой подсветки, которая ориентирована на экономию энергии. В тех вариантах осуществления целью является воспроизведение выходного сигнала полной мощности на меньших уровнях фоновой подсветки. Это может достигаться путем одновременного затемнения фоновой подсветки и увеличения яркости изображения. Улучшение уровня черного или динамического контраста является благоприятным побочным эффектом в тех вариантах осуществления. В этих вариантах осуществления целью является достижение повышения качества изображения. Некоторые варианты осуществления могут привести к следующим повышениям качества изображения:

1. Меньший уровень черного вследствие уменьшенной фоновой подсветки.

2. Улучшенная насыщенность темных цветов вследствие уменьшенного рассеивания, вызванного уменьшением фоновой подсветки.

3. Улучшение яркости, если используется компенсация сильнее уменьшения фоновой подсветки.

4. Улучшенный динамический контраст, то есть максимальное значение в ярком кадре последовательности, деленное на минимальное значение в темном кадре.

5. Внутрикадровый контраст в темных кадрах.

Некоторые варианты осуществления настоящего изобретения могут добиваться одного или нескольких из этих эффектов посредством двух важнейших методик: выбор фоновой подсветки и компенсация изображения. Одной задачей является уход от дефектов мерцания в видеоизображении, так как фоновая подсветка и компенсированное изображение будут меняться в яркости. Некоторые варианты осуществления настоящего изобретения могут использовать целевую градационную кривую для уменьшения вероятности мерцания. В некоторых вариантах осуществления целевая кривая может иметь коэффициент контрастности, который превышает таковой у панели (с фиксированной фоновой подсветкой). Целевая кривая может служить двум целям. Во-первых, целевая кривая может использоваться в выборе фоновой подсветки. Во-вторых, целевая кривая может использоваться для определения компенсации изображения. Целевая кривая влияет на упомянутые выше особенности качества изображения. Целевая кривая может простираться от пикового значения отображения при полной яркости фоновой подсветки до минимального значения отображения при минимальной яркости фоновой подсветки. Соответственно, целевая кривая будет простираться ниже диапазона типичных значений отображения, достигаемых с полной яркостью фоновой подсветки.

В некоторых вариантах осуществления выбор яркости фоновой подсветки или уровня яркости может соответствовать выбору интервала целевой кривой, соответствующего собственному коэффициенту контрастности панели. Этот интервал перемещается, когда меняется фоновая подсветка. При полной фоновой подсветке темная область целевой кривой не может быть представлена на панели. При слабой фоновой подсветке яркая область целевой кривой не может быть представлена на панели. В некоторых вариантах осуществления для определения фоновой подсветки задается градационная кривая панели, целевая градационная кривая и изображение для показа. Уровень фоновой подсветки может выбираться так, чтобы диапазон контрастности панели с выбранной фоновой подсветкой почти совпадал с диапазоном значений изображения ниже целевой градационной кривой.

В некоторых вариантах осуществления, изображение может изменяться или компенсироваться так, чтобы выходной сигнал дисплея как можно больше попадал на целевую кривую. Если фоновая подсветка слишком сильная, то нельзя достичь темной области целевой кривой. Аналогичным образом, если фоновая подсветка слабая, нельзя достичь яркой области целевой кривой. В некоторых вариантах осуществления мерцание можно минимизировать с использованием фиксированной цели для компенсации. В этих вариантах осуществления яркость фоновой подсветки и компенсация изображения меняются, но выходной сигнал дисплея приближается к целевой градационной кривой, которая неподвижна.

В некоторых вариантах осуществления целевая градационная кривая может обобщать одно или несколько улучшений качества изображения, перечисленных выше. Выбор фоновой подсветки и компенсация изображения могут управляться посредством целевой градационной кривой. Выбор яркости фоновой подсветки может выполняться для "оптимального" представления изображения. В некоторых вариантах осуществления алгоритм выбора фоновой подсветки на основе искажения, описанный выше, может применяться с заданной целевой градационной кривой и градационной кривой панели.

В некоторых примерных вариантах осуществления модель Gain-Offset-Gamma Flare (GOGF) может использоваться для градационных кривых, как показано в уравнении 49. В некоторых вариантах осуществления значение 2,2 может использоваться для гаммы, и ноль может использоваться для смещения, оставляя два параметра, прирост и засветку. Градационные кривые панели и целевые градационные кривые могут задаваться с помощью этих двух параметров. В некоторых вариантах осуществления Прирост определяет максимальную яркость, а коэффициент контрастности определяет дополнительный член засветки.

Уравнение 48. Модель градационной кривой

где CR - коэффициент контрастности дисплея, M - максимальный выход панели, c - кодовое значение изображения, T - значение градационной кривой и γ - значение гаммы.

Чтобы добиться улучшения динамического контраста, целевая градационная кривая отличается от градационной кривой панели. В простейшем применении коэффициент контрастности (CR) у целевой кривой больше, чем у панели. Примерные градационные кривые панели представлены в Уравнении 49,

Уравнение 49. Примерная градационная кривая панели

где CR - коэффициент контрастности панели, M - максимальный выход панели, c - кодовое значение изображения, T - значение градационной кривой панели и γ - значение гаммы.

Примерная целевая градационная кривая представлена в Уравнении 50.

Уравнение 50. Примерная целевая градационная кривая

где CR - коэффициент контрастности целевой кривой, M - максимальный целевой выход (например, максимальный выход панели при полной яркости фоновой подсветки), c - кодовое значение изображения, T - значение целевой градационной кривой и γ - значение гаммы.

Особенности некоторых примерных градационных кривых можно описать в отношении фиг.60. Фиг.59 - график в двойном логарифмическом масштабе кодовых значений на горизонтальной оси и относительной яркости на вертикальной оси. На нем показаны три градационные кривые: градационная кривая 1000 панели, целевая градационная кривая 1001 и кривая 1002 степенной зависимости. Градационная кривая 1000 панели простирается от точки 1003 черного у панели до максимального значения 1005 панели. Целевая градационная кривая простирается от целевой точки 1004 черного до максимального целевого значения/значения панели 1005. Целевая точка 1004 черного находится ниже точки 1003 черного у панели, поскольку она извлекает выгоду из меньшей яркости фоновой подсветки, однако полный диапазон целевой градационной кривой не может использоваться для одного изображения, так как фоновая подсветка может иметь только один уровень яркости для любого заданного кадра, поэтому максимального целевого значения/значения панели 1005 нельзя достичь, когда яркость фоновой подсветки уменьшается для получения меньшей целевой точки 1004 черного. Варианты осуществления настоящего изобретения выбирают диапазон целевой градационной кривой, который больше всего подходит для показываемого изображения и для нужной эксплуатационной цели.

Различные целевые градационные кривые могут формироваться для достижения разных приоритетов. Например, если экономия энергии является основной целью, то значения M и CR для целевой кривой могут быть установлены равными соответствующим значениям в градационной кривой панели. В этом энергосберегающем варианте осуществления целевая градационная кривая равна собственной градационной кривой панели. Модуляция фоновой подсветки используется для экономии энергии, хотя показанное изображение в сущности является таким же, как на дисплее с полной мощностью, за исключением верхней части диапазона, которая недостижима при низких настройках фоновой подсветки.

Примерная градационная кривая для экономии энергии иллюстрируется на фиг.60. В этих вариантах осуществления градационные кривые панели и целевые градационные кривые идентичны 1010. Яркость фоновой подсветки уменьшается, посредством этого обеспечивая возможность более низкой возможной целевой кривой 1011, однако эта возможность не используется в этих вариантах осуществления. Вместо этого увеличивается яркость изображения посредством компенсации кодовых значений изображения, чтобы соответствовать градационной кривой 1010 панели. Когда это невозможно, при ограничении панели из-за уменьшенной фоновой подсветки для экономии 1013 энергии, компенсация может округляться 1012, чтобы избежать дефектов срезания. Это округление может достигаться в соответствии со способами, описанными выше в отношении других вариантов осуществления. В некоторых вариантах осуществления может быть разрешено отсечение, или оно может не возникать из-за ограниченного динамического диапазона изображения. В этих случаях округление 1012 может быть ненужным, и целевая градационная кривая может просто следовать за градационной кривой панели на верхней границе диапазона 1014.

В другом примерном варианте осуществления, когда основной целью является меньший уровень черного, значение M для целевой кривой может быть установлено равным соответствующему значению на градационной кривой панели, а значение CR для целевой кривой может быть установлено в 4 раза больше соответствующего значения на градационной кривой панели. В этих вариантах осуществления целевая градационная кривая выбирается для уменьшения уровня черного. Яркость дисплея остается без изменений относительно дисплея с полной мощностью. Целевая градационная кривая имеет тот же максимум M, что и панель, но обладает более высоким коэффициентом контрастности. В примере выше коэффициент контрастности в 4 раза больше собственного коэффициента контрастности панели. В качестве альтернативы целевая градационная кривая может содержать кривую с округлением в верхней части ее диапазона. Предположительно, фоновая подсветка может модулироваться с коэффициентом 4:1.

Некоторые варианты осуществления, которые отдают предпочтение уменьшению уровня черного, можно описать в соответствии с фиг.61. В этих вариантах осуществления градационная кривая 1020 панели вычисляется как описано выше, например, с использованием Уравнения 49. Целевая градационная кривая 1021 также вычисляется для уменьшенного уровня яркости фоновой подсветки и более высокого коэффициента контрастности. В верхней части диапазона целевая градационная кривая 1024 может тянуться вдоль градационной кривой панели. В качестве альтернативы целевая градационная кривая может применять кривую 1023 округления, которая может уменьшить отсечение около предела 1022 дисплея для уменьшенного уровня фоновой подсветки.

В другом примерном варианте осуществления, когда основной целью является достижение более яркого изображения, значение M для целевой кривой может быть установлено в 1,2 раза больше соответствующего значения на градационной кривой панели, а значение CR для целевой кривой может быть установлено равным соответствующему значению на градационной кривой панели. Целевая градационная кривая выбирается для увеличения яркости, сохраняя такой же коэффициент контрастности. (Отметим, что уровень черного повышается). Целевой максимум M больше максимума панели. Компенсация изображения будет использоваться для увеличения яркости изображения, чтобы добиться этого увеличения яркости.

Некоторые варианты осуществления, которые отдают предпочтение яркости изображения, можно описать в соответствии с фиг.62. В этих вариантах осуществления градационная кривая панели и целевая градационная кривая практически одинаковы около нижней границы диапазона 1030. Однако над этой областью градационная кривая 1032 панели следует типичной траектории к максимальному выходу 1033 дисплея. Однако целевая градационная кривая следует повышенной траектории 1031, которая предусматривает более яркие кодовые значения изображения в этой области. В направлении верхней границы диапазона целевая кривая 1031 может содержать кривую 1035 округления, которая округляет целевую кривую до точки 1033, в которой дисплей уже не может следовать целевой кривой из-за уменьшенного уровня фоновой подсветки.

В другом примерном варианте осуществления, когда основной целью является улучшенное изображение с меньшим уровнем черного и более ярким средним диапазоном, значение M для целевой кривой может быть установлено в 1,2 раза больше соответствующего значения на градационной кривой панели, а значение CR для целевой кривой может быть установлено в 4 раза больше соответствующего значения на градационной кривой панели. Целевая градационная кривая выбирается как для увеличения яркости, так и уменьшения уровня черного. Целевой максимум больше максимума панели M, и коэффициент контрастности также больше коэффициента контрастности панели. Эта целевая градационная кривая может влиять как на выбор фоновой подсветки, так и на компенсацию изображения. Фоновая подсветка будет уменьшаться в темных кадрах, чтобы добиться уменьшенного уровня черного в целевой кривой. Компенсация изображения может использоваться даже при полной фоновой подсветке, чтобы добиться увеличенной яркости.

Некоторые варианты осуществления, которые отдают предпочтение яркости изображения и меньшему уровню черного, можно описать в соответствии с фиг.63. В этих вариантах осуществления градационная кривая 1040 панели вычисляется как описано выше, например, с использованием Уравнения 49. Также вычисляется целевая градационная кривая 1041, однако целевая градационная кривая 1041 может начинаться с более низкой точки 1045 черного, чтобы учитывать уменьшенный уровень фоновой подсветки. Целевая градационная кривая 1041 также может следовать повышенной траектории, чтобы увеличить яркость кодовых значений изображения в среднем диапазоне и верхнем диапазоне градационной шкалы. Поскольку дисплей с уменьшенным уровнем фоновой подсветки не может достичь максимального целевого значения 1042 или даже максимального значения 1043 панели, может применяться кривая 1044 округления. Кривая 1044 округления может ограничивать целевую градационную кривую 1041 в максимальном значении 1046 панели с уменьшенной фоновой подсветкой. Различные способы, описанные в отношении других вариантов осуществления выше, могут использоваться для определения характеристик кривой округления.

Некоторые варианты осуществления настоящего изобретения могут описываться в соответствии с фиг.64. В этих вариантах осуществления может вычисляться множество целевых градационных кривых, и может быть сделан выбор из множества вычисленных кривых на основе характеристик изображения, эксплуатационных целей или какого-нибудь другого критерия. В этих вариантах осуществления градационная кривая 1127 панели может быть сформирована для ситуации с полной яркостью фоновой подсветки с повышенным уровнем 1120 черного. Также могут быть сформированы целевые градационные кривые 1128 и 1129. Эти целевые градационные кривые 1128 и 1129 содержат область 1122 перехода уровня черного, в которой кривая переходит в точку уровня черного, например точку 1121 уровня черного. Эти кривые также содержат общую область, в которой входные точки от любой из целевых градационных кривых преобразуются в одинаковые выходные точки. В некотором варианте осуществления эти целевые градационные кривые также могут содержать кривую 1126 округления яркости, где кривая округляется до максимального уровня 1125 яркости, например, описанного выше для других вариантов осуществления. Кривая может выбираться из этого набора целевых градационных кривых на основе характеристик изображения. Например, и не для ограничения, изображение с очень многими темными пикселями может выиграть от меньшего уровня черного, и для этого изображения может выбираться кривая 1128 с затемненной фоновой подсветкой и меньшим уровнем черного. Изображение со многими значениями ярких пикселей может влиять на выбор кривой 1127 с большей максимальной яркостью 1124. Каждый кадр видеопоследовательности может влиять на выбор разной целевой градационной кривой. Если не управляется, то использование разных градационных кривых может вызвать мерцание и нежелательные дефекты в последовательности. Однако общая область 1123, совместно используемая всеми целевыми градационными кривыми этих вариантов осуществления, служит для стабилизации временных эффектов и уменьшения мерцания и аналогичных дефектов.

Некоторые варианты осуществления настоящего изобретения могут описываться в соответствии с фиг.65. В этих вариантах осуществления может формироваться набор целевых градационных кривых, таких как целевая градационная кривая 1105. Эти целевые градационные кривые могут содержать разные области 1102 перехода уровня черного, которые могут соответствовать разным уровням яркости фоновой подсветки. Этот набор целевых градационных кривых также содержит улучшенную общую область 1101, в которой все кривые в наборе совместно используют одинаковое наложение. В некоторых вариантах осуществления эти кривые также могут содержать кривые 1103 округления яркости, которые переходят из общей области на максимальный уровень яркости. В примерной улучшенной целевой градационной кривой 1109 кривая может начинаться в точке 1105 уровня черного и переходить в улучшенную общую область 1101, кривая может затем переходить из улучшенной общей области на максимальный уровень 1106 яркости с помощью кривой округления. В некоторых вариантах осуществления может отсутствовать кривая округления яркости. Эти варианты осуществления отличаются от описанных со ссылкой на фиг.65 в том, что общая область находится выше градационной кривой панели. Это преобразует входные значения пикселей в более высокие выходные значения, посредством этого увеличивая яркость показываемого изображения. В некоторых вариантах осуществления набор улучшенных целевых градационных кривых может быть сформирован и выборочно использован для кадров последовательности изображений. Эти варианты осуществления совместно используют общую область, которая служит для уменьшения мерцания и аналогичных дефектов. В некоторых вариантах осуществления набор целевых градационных кривых и набор улучшенных целевых градационных кривых может вычисляться и сохраняться для выборочного использования в зависимости от характеристик изображения и/или эксплуатационных целей.

Некоторые варианты осуществления настоящего изобретения могут быть описаны в соответствии с фиг.66. В способах из фиг.66 определяются 1050 параметры целевой градационной кривой. В некоторых вариантах осуществления эти параметры могут содержать максимальный целевой выход панели, целевой коэффициент контрастности и/или целевое значение гаммы панели. Другие параметры также могут использоваться для задания целевой градационной кривой, которая может использоваться для настройки или компенсации изображения, чтобы выполнить эксплуатационную цель.

В этих вариантах осуществления также может вычисляться градационная кривая 1051 панели. Градационная кривая панели показана для иллюстрации различий между типичным выходным сигналом панели и целевой градационной кривой. Градационная кривая 1051 панели относится к характеристикам панели дисплея, которые нужно использовать для отображения, и может использоваться для создания опорного изображения, из которого могут быть выполнены измерения ошибки или искажения. Эта кривая 1051 может вычисляться на основе максимального выхода панели M и коэффициента контрастности панели CR для заданного дисплея. В некоторых вариантах осуществления эта кривая может основываться на максимальном выходе панели M, коэффициенте контрастности панели CR, значении гаммы панели γ и кодовых значениях изображения c.

Может вычисляться 1052 одна или несколько целевых градационных кривых TTC. В некоторых вариантах осуществления может вычисляться семейство TTC, причем каждый член семейства основывается на разном уровне фоновой подсветки. В других вариантах осуществления могут меняться другие параметры. В некоторых вариантах осуществления целевая градационная кривая может вычисляться с использованием максимального целевого входа M и целевого коэффициента контрастности CR. В некоторых вариантах осуществления эта целевая градационная кривая может основываться на максимальном целевом выходе M, целевом коэффициенте контрастности CR, значении гаммы дисплея γ и кодовых значениях изображения c. В некоторых вариантах осуществления целевая градационная кривая может представлять нужные модификации изображения. Например, целевая градационная кривая может представлять одну или несколько из меньшего уровня черного, более яркой области изображения, компенсированной области и/или кривой округления. Целевая градационная кривая может быть представлена в виде справочной таблицы (LUT), может вычисляться посредством аппаратных средств или программного обеспечения или может быть представлена другими способами.

Может определяться 1053 уровень яркости фоновой подсветки. В некоторых вариантах осуществления выбор уровня фоновой подсветки может зависеть от эксплуатационных целей, таких как экономия энергии, критерии уровня черного или других целей. В некоторых вариантах осуществления уровень фоновой подсветки может определяться с тем, чтобы минимизировать искажение или ошибку между обработанным или улучшенным изображением и исходным изображением, которое отображено на гипотетическом эталонном дисплее. Когда значения изображения преимущественно очень темные, меньший уровень фоновой подсветки может быть наиболее подходящим для показа изображения. Когда значения изображения преимущественно яркие, более высокий уровень фоновой подсветки может быть наиболее подходящим для показа изображения. В некоторых вариантах осуществления изображение, обработанное с помощью градационной кривой панели, может сравниваться с изображениями, обработанными с помощью различных TTC, чтобы определить подходящую TTC и соответствующий уровень фоновой подсветки.

В некоторых вариантах осуществления настоящего изобретения определенные эксплуатационные цели также могут рассматриваться в способах выбора фоновой подсветки и выбора компенсации изображения. Например, когда экономия энергии установлена как эксплуатационная цель, меньшие уровни фоновой подсветки могут иметь приоритет над оптимизацией характеристик изображения. Наоборот, когда яркость изображения является эксплуатационной целью, меньшие уровни фоновой подсветки могут обладать меньшим приоритетом.

Уровень фоновой подсветки может выбираться 1053 для того, чтобы минимизировать ошибку или искажение изображения относительно целевой градационной кривой, гипотетического эталонного дисплея или какого-нибудь другого стандарта. В некоторых вариантах осуществления способы, раскрытые в заявке на патент США №11/460768, озаглавленной "Methods and Systems for Distortion-Related Source Light Management", поданной 28 июля 2006 г., которая настоящим включается в этот документ путем отсылки, могут использоваться для выбора уровней фоновой подсветки и способов компенсации.

После вычисления целевой градационной кривой изображение может настраиваться или компенсироваться 1054 с помощью целевой градационной кривой, чтобы достичь эксплуатационных целей или компенсировать уменьшенный уровень фоновой подсветки. Эта настройка или компенсация может выполняться относительно целевой градационной кривой.

После выбора 1053 фоновой подсветки и компенсации либо настройки 1054 скорректированное или компенсированное изображение может отображаться с выбранным уровнем 1055 фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.67. В этих вариантах осуществления устанавливается 1060 цель улучшения или обработки изображения. Эта цель может содержать экономию энергии, меньший уровень черного, увеличение яркости изображения, настройку градационной шкалы или другие цели обработки или улучшения. На основе цели обработки или улучшения могут выбираться 1061 параметры целевой градационной кривой. В некоторых вариантах осуществления выбор параметра может быть автоматизирован и основываться на целях улучшения или обработки. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой выход M и целевой коэффициент контрастности CR. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой выход M, целевой коэффициент контрастности CR, значение гаммы дисплея γ и кодовые значения изображения c.

Целевая градационная кривая (TTC) может вычисляться 1062 на основе выбранных параметров целевой градационной кривой. В некоторых вариантах осуществления может вычисляться набор TTC. В некоторых вариантах осуществления набор может содержать кривые, соответствующие меняющимся уровням фоновой подсветки, но с общими параметрами TTC. В других вариантах осуществления могут меняться другие параметры.

Может выбираться 1063 уровень яркости фоновой подсветки. В некоторых вариантах осуществления уровень фоновой подсветки может выбираться относительно характеристик изображения. В некоторых вариантах осуществления уровень фоновой подсветки может выбираться на основе эксплуатационной цели. В некоторых вариантах осуществления уровень фоновой подсветки может выбираться на основе эксплуатационных целей и характеристик изображения. В некоторых вариантах осуществления уровень фоновой подсветки может выбираться путем выбора TTC, которая удовлетворяет эксплуатационной цели или критерию ошибок, и использования уровня фоновой подсветки, который соответствует той TTC.

Как только выбирается 1063 уровень фоновой подсветки, целевая градационная кривая, соответствующая этому уровню, выбирается посредством сопоставления. Теперь изображение может корректироваться, улучшаться или компенсироваться 1064 с помощью целевой градационной кривой. Скорректированное изображение затем может отображаться 1065 на дисплее с использованием выбранного уровня фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.68. В этих вариантах осуществления устанавливаются 1070 эксплуатационные цели показа изображения. Это может выполняться через интерфейс пользователя, при помощи которого пользователь непосредственно выбирает эксплуатационные цели. Это также может выполняться путем запроса пользователя, при помощи которого пользователь устанавливает приоритеты, из которых формируются эксплуатационные цели. Эксплуатационная цель также может быть установлена автоматически на основе анализа изображения, характеристик устройства отображения, предыстории использования устройства или другой информации.

На основе эксплуатационной цели могут автоматически выбираться или формироваться 1071 параметры целевой градационной кривой. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой выход M и целевой коэффициент контрастности CR. В некоторых типовых вариантах осуществления эти параметры могут содержать максимальный целевой выход M, целевой коэффициент контрастности CR, значение гаммы дисплея γ и кодовые значения изображения c.

Одна или несколько целевых градационных кривых могут формироваться 1072 из параметров целевой градационной кривой. Целевая градационная кривая может быть представлена в виде уравнения, рядов уравнений, таблицы (например, LUT) или какого-нибудь другого представления.

В некоторых вариантах осуществления каждая TTC будет соответствовать уровню фоновой подсветки. Уровень фоновой подсветки может выбираться 1073 путем отыскания соответствующей TTC, которая удовлетворяет критерию. В некоторых вариантах осуществления выбор фоновой подсветки может проводиться другими способами. Если фоновая подсветка выбирается независимо от TTC, то TTC, соответствующая тому уровню фоновой подсветки, также может быть выбрана.

Как только выбрана 1073 итоговая TTC, она может применяться 1074 к изображению для улучшения, компенсации или иной обработки изображения для показа. Обработанное изображение затем может быть показано 1075.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.69. В этих вариантах осуществления устанавливаются 1080 эксплуатационные цели показа изображения. Это может выполняться через интерфейс пользователя, при помощи которого пользователь непосредственно выбирает эксплуатационные цели. Это также может выполняться путем запроса пользователя, при помощи которого пользователь устанавливает приоритеты, из которых формируются эксплуатационные цели. Эксплуатационная цель также может быть установлена автоматически на основе анализа изображения, характеристик устройства отображения, предыстории использования устройства или другой информации. Также может выполняться 1081 анализ изображения, чтобы определить характеристики изображения.

На основе эксплуатационной цели могут автоматически выбираться или формироваться 1082 параметры целевой градационной кривой. Также может выбираться уровень фоновой подсветки, который может быть непосредственно определен или может подразумеваться из значения максимального выхода дисплея и коэффициента контрастности. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой выход M и целевой коэффициент контрастности CR. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой выход M, целевой коэффициент контрастности CR, значение гаммы дисплея γ и кодовые значения изображения c.

Целевая градационная кривая может формироваться 1083 из параметров целевой градационной кривой. Целевая градационная кривая может быть представлена в виде уравнения, рядов уравнений, таблицы (например, LUT) или какого-нибудь другого представления. Как только эта кривая формируется 1083, она может применяться 1084 к изображению для улучшения, компенсации или иной обработки изображения для показа. Обработанное изображение затем может быть показано 1085.

Улучшение цвета и улучшение яркости

Некоторые варианты осуществления настоящего изобретения содержат улучшение цвета и улучшение или сохранение яркости. В этих вариантах осуществления определенные значения цвета, диапазоны или области могут изменяться для улучшения цветовых особенностей вместе с улучшением или сохранением яркости. В некоторых вариантах осуществления эти модификации или улучшения могут выполняться на низкочастотной (LP) версии изображения. В некоторых вариантах осуществления могут использоваться процессы улучшения определенного цвета.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.70. В этих вариантах осуществления изображение 1130 может фильтроваться 1131 с помощью фильтра нижних частот (LP), чтобы создать LP-изображение 1125. Это LP-изображение 1125 может вычитаться 1134 или иным образом объединяться с исходным изображением 1130, чтобы создать высокочастотное (HP) изображение 1135. LP-изображение затем может быть обработано с помощью процесса 1133 с градационной шкалой, например процесса сохранения яркости (BP) или аналогичного процесса для увеличения яркости элементов изображения, компенсации уменьшенного уровня фоновой подсветки или иного изменения LP-изображения 1125, как описано выше в отношении других вариантов осуществления. Результирующее обработанное LP-изображение затем может объединяться с HP-изображением 1135 для создания изображения с улучшенной градационной шкалой, которое затем может обрабатываться с помощью процесса 1139 увеличения битовой глубины (BDE). В процессе 1139 BDE специально спроектированные структуры шумов или шаблоны размывания могут применяться к изображению для уменьшения чувствительности к контурным дефектам от последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут заключать в себе процесс BDE, который описан в заявке на патент США №10/775012, озаглавленной "Methods and Systems for Adaptive Dither Structures", поданной 9 февраля 2004 г. и изобретенной Scott J. Daly и Xiao-Fan Feng, причем упомянутая заявка настоящим включается в этот документ путем отсылки. Некоторые варианты осуществления могут содержать процесс BDE, который описан в заявке на патент США №10/645952, озаглавленной "Systems and Methods for Dither Structure Creation and Application", поданной 22 августа 2003 г. и изобретенной Xiao-Fan Feng и Scott J. Daly, причем упомянутая заявка настоящим включается в этот документ путем отсылки. Некоторые варианты осуществления могут содержать процесс BDE, который описан в заявке на патент США №10/676891, озаглавленной "Systems and Methods for Multi-Dimensional Dither Structure Creation and Application", поданной 30 сентября 2003 г. и изобретенной Xiao-Fan Feng и Scott J. Daly, причем упомянутая заявка настоящим включается в этот документ путем отсылки. Результирующее, улучшенное с помощью BDE изображение 1129 может затем отображаться или дополнительно обрабатываться. Улучшенное с помощью BDE изображение 1129 с меньшей вероятностью будет демонстрировать контурные дефекты, когда его битовая глубина уменьшается, как объясняется в заявках, которые выше включаются путем отсылки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.71. В этих вариантах осуществления изображение 1130 может пропускаться через фильтр 1131 нижних частот (LP), чтобы создать LP-версию изображения. Эта LP-версия может быть отправлена в модуль 1132 улучшения цвета для обработки. Модуль 1132 улучшения цвета может содержать функции определения цветов, функции уточнения карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, таких как значения интенсивности пикселя.

После изменения цвета LP-изображение с измененными цветами может быть отправлено модулю 1133 сохранения яркости или улучшения яркости. Этот модуль 1133 аналогичен многим вариантам осуществления, описанным выше, в которых значения изображения корректируются или изменяются с помощью кривой градационной шкалы или аналогичного способа для улучшения характеристик яркости. В некоторых вариантах осуществления кривая градационной шкалы может быть связана с уровнем фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может компенсировать уменьшенный уровень фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может увеличить яркость изображения или иным образом изменить изображение независимо от любого уровня фоновой подсветки.

Изображение с улучшенными цветами и улучшенной яркостью затем может объединяться с высокочастотной (HP) версией изображения. В некоторых вариантах осуществления HP-версия изображения может создаваться путем вычитания 1134 LP-версии из исходного изображения 1130, в результате выдавая HP-версию 1135 изображения. Объединение 1137 изображения с улучшенными цветами и улучшенной яркостью и HP-версии 1135 изображения создает улучшенное изображение 1138.

Некоторые варианты осуществления настоящего изобретения могут содержать зависимый от изображения выбор фоновой подсветки и/или отдельный процесс прироста для HP-изображения. Эти два дополнительных элемента являются независимыми, отделимыми элементами, но будут описываться в отношении варианта осуществления, содержащего оба элемента, как проиллюстрировано на фиг.72. В этом примерном варианте осуществления изображение 1130 может вводиться в модуль 1131 фильтрации, где может создаваться LP-изображение 1145. LP-изображение 1145 затем может вычитаться из исходного изображения 1130 для создания HP-изображения 1135. LP-изображение 1145 также может отправляться модулю 1132 улучшения цвета. В некоторых вариантах осуществления исходное изображение 1130 также может отправляться модулю 1140 выбора фоновой подсветки для использования в определении уровня яркости фоновой подсветки.

Модуль 1132 улучшения цвета может содержать функции определения цветов, функции уточнения карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, таким как значения интенсивности пикселя.

Модуль 1141 сохранения яркости (BP) или улучшения яркости с помощью градационной шкалы может принимать LP-изображение 1145 для обработки с помощью операции применения градационной шкалы. Операция применения градационной шкалы может зависеть от информации о выборе фоновой подсветки, принятой от модуля 1140 выбора фоновой подсветки. Когда достигается сохранение яркости с помощью операции применения градационной шкалы, информация о выборе фоновой подсветки является полезной в определении кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации фоновой подсветки, информация о выборе фоновой подсветки может не понадобиться.

HP-изображение 1135 также может быть обработано в модуле 1136 усиления HP, используя способы, описанные выше для аналогичных вариантов осуществления. Обработка с усилением в модуле усиления HP приведет к измененному HP-изображению 1147. Измененное LP-изображение 1146, получаемое в результате обработки градационной шкалы в модуле 1141 градационной шкалы, может затем объединяться 1142 с измененным HP-изображением 1147 для создания улучшенного изображения 1143.

Улучшенное изображение 1143 может быть показано на дисплее с использованием модуляции фоновой подсветки с фоновой подсветкой 1144, которая приняла данные выбора фоновой подсветки от модуля 1140 выбора фоновой подсветки. Соответственно, изображение может быть показано с уменьшенной или иным образом модулированной настройкой фоновой подсветки, но с измененными значениями изображения, которые компенсируют модуляцию фоновой подсветки. Аналогичным образом изображение с улучшенной яркостью, содержащее обработку градационной шкалы LP и обработку с усилением HP, может быть показано с полной яркостью фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.73. В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтрации, который может формировать LP-изображение 1155. В некоторых вариантах осуществления модуль фильтрации также может формировать гистограмму 1151. LP-изображение 1155 может быть отправлено в модуль 1156 улучшения цвета, также как в процесс 1157 вычитания, где LP-изображение 1155 будет вычитаться из исходного изображения 1130, чтобы сформировать HP-изображение 1158. В некоторых вариантах осуществления HP-изображение 1158 также может подвергаться процессу 1159 шумового ограничения, в котором некоторые высокочастотные элементы удаляются из HP-изображения 1158. Этот процесс шумового ограничения приведет к вычищенному HP-изображению 1160, которое затем может быть обработано 1161 с помощью карты 1162 прироста для выполнения сохранения яркости, улучшения или других процессов, которые описаны выше для других вариантов осуществления. Процесс 1161 составления карты прироста приведет к HP-изображению 1168 с картой прироста.

LP-изображение 1155, отправленное модулю 1156 улучшения цвета, может быть обработано там с помощью функций определения цветов, функций уточнения карты цветов, функций обработки цветовой области и других функций. В некоторых вариантах осуществления модуль 1156 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1156 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, например значений интенсивности пикселя, которые могут быть записаны как LP-изображение 1169 с улучшенными цветами.

LP-изображение 1169 с улучшенными цветами затем может обрабатываться в модуле 1163 градационной шкалы для BP или градационной шкалы для улучшения. Модуль 1163 сохранения яркости (BP) или улучшения яркости с помощью градационной шкалы может принимать LP-изображение 1169 с улучшенными цветами для обработки с помощью операции применения градационной шкалы. Операция применения градационной шкалы может зависеть от информации о выборе фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки. Когда достигается сохранение яркости с помощью операции применения градационной шкалы, информация о выборе фоновой подсветки становится пригодной для определения кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации фоновой подсветки, информация о выборе фоновой подсветки может не понадобиться. Операция применения градационной шкалы, выполненная в модуле 1163 градационной шкалы, может зависеть от характеристик изображения, эксплуатационных целей применения и других параметров независимо от информации о фоновой подсветке.

В некоторых вариантах осуществления гистограмма 1151 изображения может быть задержана 1152, чтобы выделить время модулю 1156 улучшения цвета и модулю 1163 градационной шкалы для выполнения их функций. В этих вариантах осуществления задержанная гистограмма 1153 может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от предыдущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от двух кадров ранее текущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. Как только выбор фоновой подсветки выполнен, данные выбора фоновой подсветки могут использоваться модулем 1163 градационной шкалы.

Как только LP-изображение 1169 с улучшенными цветами обработано с помощью модуля 1163 градационной шкалы, результирующее LP-изображение 1176 с улучшенными цветами и улучшенной яркостью может объединяться 1164 с HP-изображением 1168 с картой прироста. В некоторых вариантах осуществления этот процесс 1164 может быть процессом сложения. В некоторых вариантах осуществления объединенное улучшенное изображение 1177, получающееся в результате этого процесса 1164 объединения, будет конечным продуктом для показа изображения. Это объединенное, улучшенное изображение 1177 может быть показано на дисплее с использованием фоновой подсветки 1166, модулированной с помощью настройки фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки.

Некоторые модули улучшения цвета из настоящего изобретения можно описать со ссылкой на фиг.74. В этих вариантах осуществления LP-изображение 1170 может вводиться в модуль 1171 улучшения цвета. Различные процессы могут применяться к LP-изображению 1170 в модуле 1171 улучшения цвета. Процесс 1172 определения телесного цвета может применяться к LP-изображению 1170. Процесс 1172 определения телесного цвета может содержать анализ цвета каждого пикселя в LP-изображении 1170 и присвоение значения правдоподобия телесного цвета на основе цвета пикселя. Этот процесс может в результате сделать карту правдоподобия телесных цветов. В некоторых вариантах осуществления справочная таблица (LUT) может использоваться для определения правдоподобия того, что цвет является телесным цветом. Также могут использоваться другие способы для определения правдоподобия телесного цвета. Некоторые варианты осуществления могут содержать способы определения телесного цвета, описанные выше и в других заявках, которые включаются в этот документ путем отсылки.

Результирующая карта правдоподобия телесных цветов может быть обработана процессом 1173 уточнения карты телесных цветов. LP-изображение 1170 также может вводиться или предоставляться этому процессу 1173 уточнения. В некоторых вариантах осуществления этот процесс 1173 уточнения может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1173 уточнения может содержать процесс усреднения, применяемый к значению карты телесных цветов, когда соответствующее значение цвета изображения находится в пределах определенного расстояния в цветовом пространстве от значения цвета соседнего пикселя и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта телесных цветов, измененная или уточненная этим процессом, может затем использоваться для установления области телесных цветов в LP-изображении. Область вне области телесных цветов также может устанавливаться как область нетелесных цветов.

В модуле 1171 улучшения цвета LP-изображение 1170 может затем дифференциально обрабатываться путем применения процесса 1174 изменения цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1174 изменения цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс изменения цвета может применяться к области телесных цветов, а второй процесс изменения цвета может применяться к области нетелесных цветов. Каждый из этих процессов изменения цвета приведет к LP-изображению с измененными цветами или улучшенному LP-изображению 1175. В некоторых вариантах осуществления улучшенное LP-изображение может дополнительно обрабатываться модулем градационной шкалы, например модулем 1163 градационной шкалы для BP или улучшения.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.75. В этих вариантах осуществления изображение 1130 может пропускаться через фильтр 1131 нижних частот (LP), чтобы создать LP-версию изображения. Эта LP-версия может отправляться в модуль 1132 улучшения цвета для обработки. Модуль 1132 улучшения цвета может содержать функции определения цветов, функции уточнения карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, таким как значения интенсивности пикселя.

После изменения цвета LP-изображение с измененными цветами может отправляться модулю 1133 сохранения яркости или улучшения яркости. Этот модуль 1133 аналогичен многим вариантам осуществления, описанным выше, в которых значения изображения корректируются или изменяются с помощью кривой градационной шкалы или аналогичного способа для улучшения характеристик яркости. В некоторых вариантах осуществления кривая градационной шкалы может иметь отношение к подсветке или уровню фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может компенсировать уменьшенный уровень фоновой подсветки. В некоторых вариантах осуществления кривая градационной шкалы может увеличить яркость изображения или иным образом изменить изображение независимо от любого уровня фоновой подсветки.

Изображение с улучшенными цветами и улучшенной яркостью затем может объединяться с высокочастотной (HP) версией изображения. В некоторых вариантах осуществления HP-версия изображения может быть создана путем вычитания 1134 LP-версии из исходного изображения 1130, приводя к HP-версии 1135 изображения. Объединение 1137 изображения с улучшенными цветами и улучшенной яркостью и HP-версии 1135 изображения создает улучшенное изображение 1138.

В этих вариантах осуществления процесс 1139 увеличения битовой глубины (BDE) может выполняться на улучшенном изображении 1138. Этот процесс 1139 BDE может уменьшить видимые дефекты, которые возникают, когда ограничивается битовая глубина. Некоторые варианты осуществления могут содержать процессы BDE, которые описаны в заявках на патент, упомянутых выше, которые включаются в этот документ путем отсылки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.76. Эти варианты осуществления аналогичны описанным относительно фиг.73, но содержат дополнительную обработку с увеличением битовой глубины.

В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтрации, который может формировать LP-изображение 1155. В некоторых вариантах осуществления модуль фильтрации также может формировать гистограмму 1151. LP-изображение 1155 может быть отправлено в модуль 1156 улучшения цвета, также как и в процесс 1157 вычитания, где LP-изображение 1155 будет вычитаться из исходного изображения 1130, чтобы образовать HP-изображение 1158. В некоторых вариантах осуществления HP-изображение 1158 также может подвергаться процессу 1159 шумового ограничения, в котором некоторые высокочастотные элементы удаляются из HP-изображения 1158. Этот процесс шумового ограничения приведет к вычищенному HP-изображению 1160, которое затем может быть обработано 1161 с помощью карты 1162 прироста для достижения сохранения яркости, улучшения или других процессов, как описано выше для других вариантов осуществления. Процесс 1161 составления карты прироста приведет к HP-изображению 1168 с картой прироста.

LP-изображение 1155, отправленное модулю 1156 улучшения цвета, может быть обработано там с помощью функций определения цветов, функций уточнения карты цветов, функций обработки цветовой области и других функций. В некоторых вариантах осуществления модуль 1156 улучшения цвета может содержать функции определения телесного цвета, функции уточнения карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1156 улучшения цвета могут приводить к измененным значениям цвета для элементов изображения, таким как значения интенсивности пикселя, которые могут быть записаны как LP-изображение 1169 с улучшенными цветами.

LP-изображение 1169 с улучшенными цветами затем может обрабатываться в модуле 1163 градационной шкалы для BP или градационной шкалы для улучшения. Модуль 1163 сохранения яркости (BP) или улучшения яркости с помощью градационной шкалы может принимать LP-изображение 1169 с улучшенными цветами для обработки с помощью операции применения градационной шкалы. Операция применения градационной шкалы может зависеть от информации о выборе фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки. Когда достигнуто сохранение яркости с помощью операции применения градационной шкалы, информация о выборе фоновой подсветки становится пригодной для определения кривой градационной шкалы. Когда выполняется только улучшение яркости без компенсации фоновой подсветки, информация о выборе фоновой подсветки может не понадобиться. Операция применения градационной шкалы, выполненная в модуле 1163 градационной шкалы, может зависеть от характеристик изображения, эксплуатационных целей применения и других параметров независимо от информации о фоновой подсветке.

В некоторых вариантах осуществления гистограмма 1151 изображения может быть задержана 1152, чтобы выделить время модулю 1156 улучшения цвета и модулю 1163 градационной шкалы для выполнения их функций. В этих вариантах осуществления задержанная гистограмма 1153 может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от предыдущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. В некоторых вариантах осуществления гистограмма от двух кадров ранее текущего кадра может использоваться для оказания влияния на выбор 1154 фоновой подсветки. Как только выбор фоновой подсветки выполнен, данные выбора фоновой подсветки могут быть использованы модулем 1163 градационной шкалы.

Как только LP-изображение 1169 с улучшенными цветами обработано с помощью модуля 1163 градационной шкалы, результирующее LP-изображение 1176 с улучшенными цветами и улучшенной яркостью может объединяться 1164 с HP-изображением 1168 с картой прироста. В некоторых вариантах осуществления этот процесс 1164 может быть процессом сложения. В некоторых вариантах осуществления объединенное улучшенное изображение 1177, происходящее из этого процесса 1164 объединения, может быть обработано с помощью процесса 1165 увеличения битовой глубины (BDE). Этот процесс 1165 BDE может уменьшить видимые дефекты, которые возникают, когда ограничивается битовая глубина. Некоторые варианты осуществления могут содержать процессы BDE, которые описаны в заявках на патент, упомянутых выше, которые включаются в этот документ путем отсылки.

После обработки 1165 BDE улучшенное изображение 1169 может быть показано на дисплее с использованием фоновой подсветки 1166, модулированной с помощью настройки фоновой подсветки, принятой от модуля 1154 выбора фоновой подсветки.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.77. В этих вариантах осуществления изображение 1180 может фильтроваться 1181 с помощью фильтра нижних частот (LP), чтобы создать LP-изображение 1183. Это LP-изображение 1183 может вычитаться 1182 или иным образом объединяться с исходным изображением 1180, чтобы создать высокочастотное (HP) изображение 1189. LP-изображение затем может быть обработано с помощью модуля 1184 улучшения цвета. В модуле 1184 улучшения цвета различные процессы могут применяться к LP-изображению. Процесс 1185 определения телесного цвета может применяться к LP-изображению 1183. Процесс 1185 определения телесного цвета может содержать анализ цвета каждого пикселя в LP-изображении 1183 и присвоение значения правдоподобия телесного цвета на основе цвета пикселя. Этот процесс может в результате выдать карту правдоподобия телесных цветов. В некоторых вариантах осуществления справочная таблица (LUT) может использоваться для определения правдоподобия того, что цвет является телесным цветом. Также могут использоваться другие способы для определения правдоподобия телесного цвета. Некоторые варианты осуществления могут содержать способы определения телесного цвета, описанные выше и в других заявках, которые включаются в этот документ путем отсылки.

Результирующая карта правдоподобия телесных цветов может быть обработана процессом 1186 уточнения карты телесных цветов. LP-изображение 1183 также может вводиться или предоставляться этому процессу 1186 уточнения. В некоторых вариантах осуществления этот процесс 1186 уточнения может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1186 уточнения может содержать процесс усреднения, применяемый к значениям в карте телесных цветов, когда соответствующее значение цвета изображения находится в пределах определенного расстояния в цветовом пространстве от значения цвета соседнего пикселя, и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта телесных цветов, измененная или уточненная этим процессом, может затем использоваться для установления области телесных цветов в LP-изображении. Область вне области телесных цветов также может устанавливаться как область нетелесных цветов.

В модуле 1184 улучшения цвета LP-изображение 1183 может затем дифференциально обрабатываться путем применения процесса 1187 изменения цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1187 изменения цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс изменения цвета может применяться к области телесных цветов, а второй процесс изменения цвета может применяться к области нетелесных цветов. Каждый из этих процессов изменения цвета приведет к LP-изображению с измененными цветами или улучшенному LP-изображению 1188.

Это улучшенное LP-изображение 1188 затем может добавляться или иным образом объединяться с HP-изображением 1189, чтобы создать улучшенное изображение 1192.

Некоторые варианты осуществления настоящего изобретения можно описать со ссылкой на фиг.78. В этих вариантах осуществления, изображение 1180 может фильтроваться 1181 с помощью фильтра нижних частот (LP), чтобы создать LP-изображение 1183. Это LP-изображение 1183 может вычитаться 1182 или иным образом объединяться с исходным изображением 1180, чтобы создать высокочастотное (HP) изображение 1189. LP-изображение затем может быть обработано с помощью модуля 1184 улучшения цвета. В модуле 1184 улучшения цвета различные процессы могут применяться к LP-изображению. Процесс 1185 определения телесного цвета может применяться к LP-изображению 1183. Процесс 1185 определения телесного цвета может содержать анализ цвета каждого пикселя в LP-изображении 1183 и присвоение значения правдоподобия телесного цвета на основе цвета пикселя. Этот процесс может в результате выдать карту правдоподобия телесных цветов. В некоторых вариантах осуществления справочная таблица (LUT) может использоваться для определения правдоподобия того, что цвет является телесным цветом. Также могут использоваться другие способы для определения правдоподобия телесного цвета. Некоторые варианты осуществления могут содержать способы определения телесного цвета, описанные выше и в других заявках, которые включаются в этот документ путем отсылки.

Результирующая карта правдоподобия телесных цветов может быть обработана процессом 1186 уточнения карты телесных цветов. LP-изображение 1183 также может вводиться или предоставляться этому процессу 1186 уточнения. В некоторых вариантах осуществления этот процесс 1186 уточнения может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1186 уточнения может содержать процесс усреднения, применяемый к значениям в карте телесных цветов, когда соответствующее значение цвета изображения находится в пределах определенного расстояния в цветовом пространстве от значения цвета соседнего пикселя и когда пиксель изображения и соседний пиксель находятся в пределах определенного пространственного расстояния. Карта телесных цветов, измененная или уточненная этим процессом, может затем использоваться для установления области телесных цветов в LP-изображении. Область вне области телесных цветов также может устанавливаться как область нетелесных цветов.

В модуле 1184 улучшения цвета LP-изображение 1183 может затем дифференциально обрабатываться путем применения процесса 1187 изменения цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1187 изменения цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс изменения цвета может применяться к области телесных цветов, а второй процесс изменения цвета может применяться к области нетелесных цветов. Каждый из этих процессов изменения цвета приведет к LP-изображению с измененными цветами или улучшенному LP-изображению 1188.

Это улучшенное LP-изображение 1188 затем может добавляться или иным образом объединяться с HP-изображением 1189, чтобы создать улучшенное изображение, которое затем может быть обработано с помощью процесса 1191 увеличения битовой глубины (BDE). В процессе 1191 BDE специально спроектированные структуры шумов или шаблоны размывания могут применяться к изображению для уменьшения чувствительности к дефектам контуров от последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут содержать процессы BDE, которые описаны в заявках на патент, упомянутых выше, которые включаются в этот документ путем отсылки. Результирующее, улучшенное с помощью BDE изображение 1193 может затем отображаться или дополнительно обрабатываться. Улучшенное с помощью BDE изображение 1193 с меньшей вероятностью будет демонстрировать дефекты контуров, когда его битовая глубина уменьшается, как объясняется в заявках, которые выше включаются путем отсылки.

Некоторые варианты осуществления настоящего изобретения содержат подробности реализации высококачественной модуляции фоновой подсветки и сохранения яркости при ограничениях аппаратной реализации. Эти варианты осуществления могут описываться со ссылкой на варианты осуществления, проиллюстрированные на фиг.73 и 76.

Некоторые варианты осуществления содержат элементы, которые находятся в модуле 1154 выбора фоновой подсветки и модуле 1163 градационной шкалы для BP на фиг.73 и 76. Некоторые из этих вариантов осуществления могут уменьшить потребление памяти и потребности в вычислении в реальном масштабе времени.

Вычисление гистограммы

В этих вариантах осуществления гистограмма вычисляется на основе кодовых значений изображения, а не значений яркости. Таким образом, не нужно никакого преобразования цветов. В некоторых вариантах осуществления исходный алгоритм может вычислить гистограмму на всех выборках изображения. В этих вариантах осуществления вычисление гистограммы не может быть завершено, пока не получена последняя выборка изображения. Все выборки должны быть получены, и гистограмма должна быть завершена, перед тем как может быть выполнен выбор фоновой подсветки и разработка компенсирующей градационной кривой.

Эти варианты осуществления имеют несколько сложных проблем:

• Необходимость в кадровом буфере, так как первый пиксель не может быть компенсирован, пока не завершена гистограмма - RAM.

• Малое время доступно для вычислений гистограммы и выбора фоновой подсветки, в то время как другие функциональные элементы простаивают в ожидании результатов - Вычисление.

• Большое количество выборок изображения, которое должно быть обработано для вычисления гистограммы на всех выборках изображения - Вычисление.

• Для 10-битовых данных изображения 10-битовая гистограмма требует относительно большой памяти для хранения данных и большого количества точек, которые нужно исследовать в оптимизации искажения - RAM и Вычисление.

Некоторые варианты осуществления настоящего изобретения содержат методики для преодоления этих проблем. Чтобы исключить необходимость в кадровом буфере, гистограмма предшествующего кадра может использоваться в качестве входных данных в алгоритм выбора фоновой подсветки. Гистограмма от кадра n используется в качестве входных данных для кадра n+1, n+2 или другого последующего кадра, посредством этого устраняя необходимость в кадровом буфере.

Чтобы выделить время для вычисления, гистограмма может задерживаться на один или несколько дополнительных кадров, поэтому гистограмма от кадра n используется в качестве выходных данных для выбора фоновой подсветки в кадре n+2, n+3 и т.д. Это выделяет алгоритму выбора фоновой подсветки время для вычисления от конца кадра n до начала последующего кадра, например n+2.

В некоторых вариантах осуществления временной фильтр на выходе алгоритма выбора фоновой подсветки может использоваться для уменьшения чувствительности к этой задержке кадра при выборе фоновой подсветки относительно входного кадра.

Чтобы уменьшить количество выборок, которые должны быть обработаны при вычислении каждой гистограммы, некоторые варианты осуществления могут использовать блок вместо отдельных пикселей. Для каждой плоскости цветов и каждого блока вычисляется максимальная выборка. Гистограмма может быть вычислена на этих максимумах блоков. В некоторых вариантах осуществления максимум вычисляется еще на каждой плоскости цветов. Таким образом, изображение с M блоками будет иметь 3-M входов в гистограмму.

В некоторых вариантах осуществления гистограмма может вычисляться на входных данных, квантованных на небольшой диапазон разрядов, то есть 6-битовый. В этих вариантах осуществления уменьшается RAM, необходимая для хранения гистограммы. Также в связанных с искажением вариантах осуществления с тем же успехом сокращаются операции, необходимые для поиска искажения.

Примерный вариант осуществления вычисления гистограммы описан ниже в виде кода как Функция 1.

Функция 1

Модели целевого и реального дисплеев

В некоторых вариантах осуществления алгоритмы искажения и компенсации зависят от степенной функции, используемой для описания целевого и эталонного дисплеев. Эта степенная функция или "гамма" может вычисляться автономно в целочисленном представлении. В некоторых вариантах осуществления это вычисление в реальном масштабе времени может использовать заранее вычисленные целые значения степенной функции гаммы. Примерный код, приведенный ниже в виде Функции 2, описывает примерный вариант осуществления.

Функция 2

В некоторых вариантах осуществления целевой и реальный дисплеи могут моделироваться с помощью двухпараметрической модели GoG-F, которая используется в масштабе реального времени для управления процессом выбора фоновой подсветки на основе искажения и алгоритмом компенсации фоновой подсветки. В некоторых вариантах осуществления целевой (эталонный) дисплей и реальная панель могут моделироваться как имеющие степенной закон с гаммой 2,2 с добавочным смещением. Добавочное смещение может определять коэффициент контрастности у дисплея.

Вычисление весовых коэффициентов искажения

В некоторых вариантах осуществления для каждого уровня фоновой подсветки и входного изображения может вычисляться искажение между требуемым выходным изображением и выходным изображением при заданном уровне фоновой подсветки. Результат является весовым коэффициентом для каждого столбца гистограммы и каждого уровня фоновой подсветки. С помощью вычисления весов искажения только для необходимых уровней фоновой подсветки размер используемой RAM сохраняется на минимальном или уменьшенном уровне. В этих вариантах осуществления оперативное вычисление позволяет алгоритму приспосабливаться к разным выборам эталонного или целевого дисплея. Это вычисление включает в себя два элемента, гистограмму изображения и набор весов искажения. В других вариантах осуществления веса искажения для всех возможных значений фоновой подсветки вычислялись автономно и сохранялись в ROM. Чтобы снизить требования к ROM, веса искажения могут вычисляться для каждого интересующего уровня фоновой подсветки для каждого кадра. Принимая во внимания нужную модель дисплея и модель дисплея панели и список уровней фоновой подсветки, веса искажения для этих уровней фоновой подсветки могут вычисляться для каждого кадра. Примерный код для примерного варианта осуществления показан ниже в виде Функции 3.

Функция 3

Поиск фоновой подсветки с подвыборками

В некоторых вариантах осуществления, алгоритм выбора фоновой подсветки может содержать процесс, который минимизирует искажение между целевым выходным сигналом дисплея и выходным сигналом панели на каждом уровне фоновой подсветки. Чтобы уменьшить и количество уровней фоновой подсветки, которое нужно оценить, и количество весов искажения, которое нужно вычислить и сохранить, в поиске может использоваться подмножество уровней фоновой подсветки.

В некоторых вариантах осуществления могут использоваться два примерных способа взятия подвыборок в поиске. В первом способе возможный диапазон уровней фоновой подсветки грубо квантуется, например, на 4 бита. Это подмножество квантованных уровней исследуется на минимальное искажение. В некоторых вариантах осуществления для полноты также могут использоваться абсолютные минимальные и максимальные значения. Во втором способе используется диапазон значений около найденного уровня фоновой подсветки для последнего кадра. Например, +-4, +-2, +-1 и +0 от уровня фоновой подсветки последнего кадра ищутся вместе с абсолютными минимальными и максимальными уровнями. В этом последнем способе ограничения в диапазоне поиска накладывают некоторое ограничение на изменение в выбранном уровне фоновой подсветки. В некоторых вариантах осуществления используется обнаружение смены плана для управления подвыборкой. В рамках плана поиск BL помещает в центре небольшой интервал поиска около фоновой подсветки последнего кадра. На границе смены плана поиск размещает небольшое количество точек по всему диапазону возможных значений BL. Последующие кадры в том же плане используют предшествующий способ уточнения поиска около BL предыдущего кадра, пока не обнаруживается другая смена плана.

Вычисление одной кривой компенсации BP

В некоторых вариантах осуществления, несколько разных уровней фоновой подсветки могут использоваться во время работы. В других вариантах осуществления компенсирующие кривые для полного множества уровней фоновой подсветки вычислялись автономно, затем сохранялись в ROM для компенсации изображения в реальном масштабе времени. Это требование к памяти может быть уменьшено, отмечая то, что в каждом кадре необходима только одна компенсирующая кривая. Таким образом, компенсирующая градационная кривая вычисляется и сохраняется в RAM каждого кадра. В некоторых вариантах осуществления исполнение компенсирующей кривой такое, как используется в автономном исполнении. Некоторые варианты осуществления могут содержать кривую с линейным увеличением вплоть до точки максимального соответствия (MFP) с последующим плавным спадом, как описано выше.

Временной фильтр

Одной проблемой в системе с модуляцией фоновой подсветки является мерцание. Оно может быть уменьшено посредством использования методик обработки изображений с компенсацией. Однако существует несколько ограничений для компенсации, которые могут привести к дефектам, если изменение фоновой подсветки быстрое. В некоторых ситуациях черные и белые точки сопровождают фоновую подсветку и не могут быть компенсированы во всех случаях. Также в некоторых вариантах осуществления выбор фоновой подсветки может основываться на данных от кадра с задержкой и поэтому может отличаться от данных текущего кадра. Чтобы регулировать мерцание на уровне черного/белого и позволять задерживать гистограмму в вычислении фоновой подсветки, временной фильтр может использоваться для сглаживания фактического значения фоновой подсветки, отправленного блоку управления фоновой подсветкой, и соответствующей компенсации.

Учет изменений яркости

По различным причинам пользователь может захотеть изменить яркость дисплея. Проблема в том, как сделать это в условиях модуляции фоновой подсветки. Соответственно, некоторые варианты осуществления могут предусматривать управление яркостью эталонного дисплея, оставляя составляющие модуляции фоновой подсветки и компенсации яркости без изменений. Код ниже, описанный в виде Функции 4, иллюстрирует примерный вариант осуществления, где индекс эталонной фоновой подсветки либо устанавливается в максимальный, либо устанавливается в значение, зависящее от средней яркости изображения (APL), если APL используется для изменения максимальной яркости дисплея.

Функция 4

Варианты осуществления с взвешенным вектором ошибки

Некоторые варианты осуществления настоящего изобретения содержат способы и системы, которые используют взвешенный вектор ошибки для выбора уровня яркости подсветки. В некоторых вариантах осуществления выбирается множество уровней яркости подсветки, из которого можно выполнить итоговый выбор для освещения целевого изображения. Затем может использоваться модель дисплея панели для вычисления выходного сигнала дисплея для каждого из уровней яркости подсветки. В некоторых вариантах осуществления модель эталонного дисплея или модель реального дисплея, которые описаны в отношении ранее описанных вариантов осуществления, могут использоваться для определения уровней выходного сигнала дисплея. Также может быть сформирована целевая кривая выходного сигнала. Затем могут определяться векторы ошибки для каждого уровня яркости подсветки путем сравнения выходных сигналов панели с целевой кривой выходного сигнала.

Гистограмма изображения или аналогичная структура, которая перечисляет значения изображения, также может быть сформирована для целевого изображения. Значения, соответствующие каждому кодовому значению изображения на гистограмме или структуре изображения, затем могут использоваться для взвешивания векторов ошибки для конкретного изображения. В некоторых вариантах осуществления количество попаданий в столбец гистограммы, соответствующий конкретному кодовому значению, может умножаться на значение вектора ошибки для этого кодового значения, посредством этого создавая взвешенное, характерное для изображения значение вектора ошибки. Взвешенный вектор ошибки может содержать значения вектора ошибки для каждого кодового значения в изображении. Этот характерный для изображения, характерный для уровня яркости подсветки вектор ошибки затем может использоваться в качестве указания ошибки, происходящей от использования заданного уровня яркости подсветки для определенного изображения.

Сравнение данных вектора ошибки для каждого уровня яркости подсветки может указывать, какой уровень яркости приведет к наименьшей ошибке для того конкретного изображения. В некоторых вариантах осуществления сумма кодовых значений взвешенных векторов ошибки может называться взвешенной ошибкой изображения. В некоторых вариантах осуществления уровень яркости источника света, соответствующий наименьшей ошибке или наименьшей взвешенной ошибке изображения для конкретного изображения, может выбираться для показа этого изображения. В видеопоследовательности этот процесс может следовать за каждым видеокадром, приводя к динамическому уровню яркости подсветки, который может меняться для каждого кадра.

Особенности некоторых примерных вариантов осуществления настоящего изобретения могут быть описаны в соответствии с фиг.79, которая иллюстрирует целевую кривую 2000 выходного сигнала и несколько кривых 2002 - 2008 выходного сигнала дисплея. Целевая кривая 2000 выходного сигнала представляет нужное соотношение между кодовыми значениями изображения (показанными на горизонтальной оси) и выходным сигналом дисплея (показанным на вертикальной оси). Кривые 2002-2008 выходного сигнала дисплея также показаны для уровней яркости подсветки от 25% до 100%. Кривая выходного сигнала дисплея для 25%-ной фоновой подсветки показана по ссылке 2002. Кривая выходного сигнала дисплея для 50%-ной фоновой подсветки показана по ссылке 2004. Кривая выходного сигнала дисплея для 75%-ной фоновой подсветки показана по ссылке 2006. Кривая выходного сигнала дисплея для 100%-ной фоновой подсветки показана по ссылке 2008. В некоторых вариантах осуществления вертикальная разность между кривыми 2002-2008 выходного сигнала дисплея и целевой кривой 2000 выходного сигнала может представлять или быть пропорциональной значению ошибки, соответствующему кодовому значению в том положении. В некоторых вариантах осуществления накопление этих значений ошибок для набора кодовых значений может называться вектором ошибки.

Особенности некоторых примерных вариантов осуществления настоящего изобретения могут быть описаны в соответствии с фиг.80, которая иллюстрирует графики векторов ошибки для определенных уровней яркости источника света дисплея. Графики векторов ошибки на этом чертеже соответствуют целевым кривым выходных сигналов и кривым 2000-2008 выходных сигналов дисплея из фиг.79. График вектора ошибки для 25%-ной фоновой подсветки показан по ссылке 2016. График вектора ошибки для 50%-ной фоновой подсветки показан по ссылке 2014. График вектора ошибки для 75%-ной фоновой подсветки показан по ссылке 2012. График вектора ошибки для 100%-ной фоновой подсветки показан по ссылке 2010. В этих примерных вариантах осуществления, показанных на фиг.80, используется квадрат значения ошибки, приводя все значения ошибки к положительным числам. В других вариантах осуществления значения ошибки могут определяться другими способами, и в некоторых случаях могут существовать отрицательные значения ошибки.

В некоторых вариантах осуществления настоящего изобретения вектор ошибки может объединяться с данными изображения для создания характерных для изображения значений ошибки. В некоторых вариантах осуществления гистограмма изображения может объединяться с одним или несколькими векторами ошибки для создания взвешенного по гистограмме значения ошибки. В некоторых вариантах осуществления число столбцов гистограммы для определенного кодового значения может умножаться на значение ошибки, соответствующее этому кодовому значению, посредством этого создавая значение взвешенной по гистограмме ошибки. Сумма всех взвешенных по гистограмме кодовых значений для изображения при заданном уровне яркости фоновой подсветки может называться взвешенной по гистограмме ошибкой. Взвешенная по гистограмме ошибка может определяться для каждого из множества уровней яркости фоновой подсветки. Выбор уровня яркости фоновой подсветки может основываться на взвешенных по гистограмме ошибках, соответствующих уровням яркости фоновой подсветки.

Особенности некоторых вариантов осуществления настоящего изобретения могут быть описаны в соответствии с фиг.81, которая содержит график взвешенных по гистограмме ошибок для различных уровней яркости фоновой подсветки. График 2020 взвешенной по гистограмме ошибки для первого изображения показывает равномерное уменьшение величины ошибки до минимального значения 2021 около 86%-ного уровня яркости, после которого график растет, когда увеличиваются значения фоновой подсветки. Для этого конкретного изображения уровень яркости около 86% обеспечивает наименьшую ошибку. Другой график 2022 для второго изображения уменьшается равномерно до второго минимального значения 2023 около 95%-ого уровня яркости, после которого график растет, когда увеличиваются значения фоновой подсветки. Для этого второго изображения уровень яркости около 95% обеспечивает наименьшую ошибку. Таким образом, уровень яркости фоновой подсветки может выбираться для конкретного изображения, как только определяются взвешенные по гистограмме ошибки для различных уровней яркости фоновой подсветки.

Особенности некоторых вариантов осуществления настоящего изобретения могут быть описаны в соответствии с фиг.82. В этих вариантах осуществления изображение 2030 вводится в процесс 2031 вычисления гистограммы, который формирует гистограмму 2032 изображения. Панель дисплея также анализируется для определения данных 2033 вектора ошибки для множества уровней яркости фоновой подсветки. Затем может быть сформирована 2034 взвешенная ошибка 2035 путем объединения данных 2032 гистограммы с данными 2033 взвешенного вектора ошибки. В некоторых вариантах осуществления это объединение может выполняться 2034 путем умножения значения вектора ошибки, соответствующего кодовому значению, на число элементов гистограммы, соответствующее этому кодовому значению, посредством этого создавая значение взвешенного по гистограмме вектора ошибки. Сумма всех взвешенных по гистограмме значений вектора ошибки для всех кодовых значений в изображении может называться взвешенной по гистограмме ошибкой 2035.

Взвешенная по гистограмме ошибка может определяться для каждого из множества уровней яркости фоновой подсветки путем объединения вектора ошибки для каждого уровня яркости фоновой подсветки с подходящими значениями числа элементов гистограммы. Этот процесс может привести к массиву взвешенных по гистограмме ошибок, который содержит значения взвешенных по гистограмме ошибок для множества уровней яркости фоновой подсветки. Значения в массиве взвешенных по гистограмме ошибок затем могут анализироваться для определения, какой уровень яркости фоновой подсветки является наиболее подходящим для показа изображения. В некоторых вариантах осуществления уровень яркости фоновой подсветки, соответствующий минимальной взвешенной по гистограмме ошибке 2036, может выбираться для показа изображения. В некоторых вариантах осуществления другие данные могут влиять на принятие решения по уровню яркости фоновой подсветки, например, в некоторых вариантах осуществления задачи экономии энергии могут влиять на принятие решение. В некоторых вариантах осуществления с тем же успехом может выбираться уровень яркости фоновой подсветки, который находится возле минимального значения взвешенной по гистограмме ошибки, но который удовлетворяет некоторым другим критериям. Как только выбирается уровень 2037 яркости фоновой подсветки, этот уровень может сигнализироваться дисплею.

Особенности некоторых вариантов осуществления настоящего изобретения могут быть описаны в соответствии с фиг.83. В этих вариантах осуществления формируется 2040 целевая кривая выходного сигнала для определенного устройства отображения или характеристики дисплея. Эта кривая или сопровождающие ее данные представляют нужный выходной сигнал дисплея. Также формируются 2041 кривые выходного сигнала дисплея для различных уровней яркости фоновой подсветки. Например, в некоторых вариантах осуществления кривая выходного сигнала дисплея может формироваться для уровней яркости фоновой подсветки в 10%-ных или 5%-ных приращениях от 0% до 100%.

На основе целевой кривой выходного сигнала и кривых выходных сигналов дисплея или панели могут вычисляться 2042 характерные для уровней яркости векторы ошибки. Эти векторы ошибки могут вычисляться путем определения разности между значением целевой кривой выходного сигнала и значением кривой выходного сигнала дисплея или панели в соответствующем кодовом значении изображения. Вектор ошибки может содержать значение ошибки для каждого кодового значения изображения или для каждого кодового значения в динамическом диапазоне целевого дисплея. Векторы ошибки могут вычисляться для множества уровней яркости подсветки. Например, векторы ошибки могут вычисляться для каждой кривой выходного сигнала дисплея, сформированной для дисплея. Множество векторов ошибки может вычисляться заранее и сохраняться для использования в вычислениях "в реальном масштабе времени" во время показа изображения, либо может использоваться в других вычислениях.

Чтобы адаптировать уровень яркости подсветки к определенному изображению или характеристике изображения, гистограмма изображения может формироваться 2043 и использоваться в процессе выбора уровня яркости. В некоторых вариантах осуществления другие структуры данных могут использоваться для установления частоты, с которой кодовые значения изображения возникают в определенном изображении. Эти другие структуры могут называться гистограммой в этом описании изобретения.

В некоторых вариантах осуществления векторы ошибки, соответствующие меняющимся уровням яркости подсветки, могут взвешиваться 2044 с помощью значений гистограммы, чтобы установить связь ошибки отображения с изображением. В этих вариантах осуществления значения вектора ошибки могут умножаться или иным образом связываться со значениями гистограммы для соответствующих кодовых значений. Другими словами, значение вектора ошибки, соответствующее данному кодовому значению изображения, может умножаться на значение числа столбцов гистограммы, соответствующее данному кодовому значению.

Как только определены значения взвешенного вектора ошибки, все значения взвешенного вектора ошибки для данного вектора ошибки могут складываться 2045 для создания значения взвешенной по гистограмме ошибки для уровня яркости, соответствующего вектору ошибки. Значение взвешенной по гистограмме ошибки может вычисляться для каждого уровня яркости, для которого вычислялся вектор ошибки.

В некоторых вариантах осуществления множество значений взвешенных по гистограмме ошибок может исследоваться 2046 для определения характеристики множества. В некоторых вариантах осуществления эта характеристика множества может быть минимальным значением. В некоторых вариантах осуществления эта характеристика множества может быть минимальным значением в некотором другом ограничении. В некоторых вариантах осуществления эта характеристика множества может быть минимальным значением, которое удовлетворяет ограничению по мощности. В некоторых вариантах осуществления линия, кривая или иная структура может подгоняться к множеству значений взвешенных по гистограмме ошибок и может использоваться для интерполяции между известными значениями ошибки или для иного представления множества значений взвешенных по гистограмме ошибок. На основе значений взвешенных по гистограмме ошибок и характеристики множества или другого ограничения может выбираться уровень яркости подсветки. В некоторых вариантах осуществления может выбираться уровень яркости подсветки, соответствующий минимальному значению взвешенной по гистограмме ошибки.

Как только выбран уровень яркости подсветки, выбор может сигнализироваться дисплею или записываться вместе с изображением для использования во время показа, чтобы дисплей мог использовать выбранный уровень яркости для показа целевого изображения.

Реагирующий на смену плана фильтр сигнала источника света

Модуляция подсветки может улучшить динамический контраст и уменьшить энергопотребление дисплея, однако модуляция подсветки может вызвать раздражающую флуктуацию яркости дисплея. Данные изображения могут изменяться, как объяснялось выше, чтобы компенсировать значительную часть изменений подсветки, но этот способ не может полностью компенсировать изменения подсветки по краям динамического диапазона. Эта раздражающая флуктуация также может быть уменьшена путем временной фильтрации нижних частот у сигнала подсветки, чтобы уменьшить резкие изменения уровня подсветки и последующую флуктуацию. Этот способ может быть эффективным в управлении колебанием уровня черного, и при достаточно длинном фильтре колебание уровня черного может быть практически незаметно.

Однако длинный фильтр, который может охватывать несколько кадров видеопоследовательности, может создавать проблемы при сменах плана. Например, смена с темного плана на яркий план требует быстрого повышения уровня подсветки, чтобы перейти от низкого уровня черного к высокой яркости. Простая временная фильтрация сигнала подсветки или фоновой подсветки ограничивает быстроту реагирования дисплея и приводит к раздражающему постепенному повышению яркости изображения вслед за сменой от темного плана к яркому плану. Использование достаточно длинного фильтра, чтобы сделать это повышение практически невидимым, приводит к уменьшенной яркости после смены.

Соответственно, некоторые варианты осуществления настоящего изобретения могут содержать обнаружение смены плана, а некоторые варианты осуществления могут содержать фильтр, который реагирует на наличие смен плана в видеопоследовательности.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.84. В этих вариантах осуществления изображение 2050 или данные изображения из него вводятся в детектор 2051 смены плана и/или буфер 2052. В некоторых вариантах осуществления один или оба этих модуля 2051 и 2052 с тем же успехом могут формировать гистограмму изображения, которая может передаваться другому модулю 2051 и 2052. Изображение 2050 и/или данные изображения затем могут передаваться модулю 2053 выбора уровня подсветки, где подходящий уровень подсветки может определяться или выбираться. Этот выбор или определение может выполняться рядом способов, которые обсуждались выше. Выбранный уровень подсветки затем сигнализируется модулю 2054 временного фильтра. Модуль 2051 детектора смены плана может использовать данные изображения или гистограмму изображения для определения, существует ли смена плана в видеопоследовательности рядом с текущим кадром или в некоторой близости к текущему кадру. Если обнаруживается смена плана, то ее наличие может сигнализироваться модулю 2054 временного фильтра. Модуль 2054 временного фильтра может содержать буфер сигнала подсветки, чтобы можно было фильтровать последовательность сигналов уровня подсветки. Модуль 2054 временного фильтра также может содержать множество фильтров или один или несколько перестраиваемых фильтров, чтобы фильтровать сигнал подсветки. В некоторых вариантах осуществления модуль 2054 временного фильтра может содержать фильтр с бесконечной импульсной характеристикой (IIR). В некоторых вариантах осуществления коэффициенты фильтра с IIR могут меняться для обеспечения разных характеристик и выходных сигналов фильтра.

Один или несколько фильтров в модуле 2054 временного фильтра могут быть зависимыми от смены плана, при помощи чего сигнал смены плана от детектора 2051 смены плана может оказывать влияние на характеристики фильтра. В некоторых вариантах осуществления фильтр может быть полностью игнорирован, когда обнаруживается смена плана рядом с текущим кадром. В других вариантах осуществления, характеристики фильтра могут просто изменяться в ответ на обнаружение смены плана. В других вариантах осуществления, разные фильтры могут применяться в ответ на обнаружение смены плана рядом с текущим кадром. После того как модуль 2054 временного фильтра выполнил любую необходимую фильтрацию, сигнал уровня подсветки может передаваться функциональному модулю 2055 подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.85. В этих вариантах осуществления, функции обнаружения смены плана и взаимодействующие функции временного фильтра могут быть соединены с помощью модуля компенсации изображения. В некоторых вариантах осуществления изображение 2060 или извлеченные из него данные изображения вводятся в модуль 2061 детектора смены плана, буфер 2062 и/или модуль 2066 компенсации изображения. В некоторых вариантах осуществления один или несколько этих модулей 2061 и 2062 могут формировать гистограмму изображения, которая может передаваться другому модулю 2061 и 2062. Изображение 2060 и/или данные изображения затем могут передаваться модулю 2063 выбора уровня подсветки, где подходящий уровень подсветки может определяться или выбираться. Этот выбор или определение может выполняться рядом способов, которые обсуждались выше. Выбранный уровень подсветки затем сигнализируется модулю 2064 временного фильтра. Модуль 2061 детектора смены плана может использовать данные изображения или гистограмму изображения для определения, существует ли смена плана в видеопоследовательности рядом с текущим кадром или в некоторой близости к текущему кадру. Если обнаруживается смена плана, то ее наличие может сигнализироваться модулю 2064 временного фильтра. Модуль 2064 временного фильтра может содержать буфер сигнала подсветки, чтобы можно было фильтровать последовательность сигналов уровня подсветки. Модуль 2064 временного фильтра также может содержать множество фильтров или один или несколько перестраиваемых фильтров, чтобы фильтровать сигнал подсветки. В некоторых вариантах осуществления модуль 2064 временного фильтра может содержать фильтр с бесконечной импульсной характеристикой (IIR). В некоторых вариантах осуществления коэффициенты фильтра с IIR могут меняться для обеспечения разных характеристик и выходных сигналов фильтра.

Один или несколько фильтров в модуле 2064 временного фильтра могут быть зависимыми от смены плана, при помощи чего сигнал смены плана от детектора 2061 смены плана может оказывать влияние на характеристики фильтра. В некоторых вариантах осуществления, фильтр может быть полностью игнорирован, когда обнаруживается смена плана рядом с текущим кадром. В других вариантах осуществления, характеристики фильтра могут просто изменяться в ответ на обнаружение смены плана. В других вариантах осуществления разные фильтры могут применяться в ответ на обнаружение смены плана рядом с текущим кадром. После того как модуль 2064 временного фильтра выполнил любую необходимую фильтрацию, сигнал уровня подсветки может передаваться функциональному модулю 2065 подсветки и модулю 2066 компенсации изображения. Модуль 2066 компенсации изображения может использовать сигнал уровня подсветки для определения подходящего алгоритма компенсации для изображения 2060. Эта компенсация может определяться различными способами, описанными выше. Как только определяется компенсация изображения, она может применяться к изображению 2060, и измененное изображение 2067 может быть показано с использованием уровня подсветки, отправленного функциональному модулю 2065 подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.86. В этих вариантах осуществления входное изображение 2070 может вводиться в модуль 2081 компенсации изображения и модуль 2071 обработки изображений. В модуле 2071 обработки изображений данные изображения могут извлекаться, понижаться в качестве или иным образом обрабатываться, чтобы задействовать функции других элементов этих вариантов осуществления. В некоторых вариантах осуществления модуль 2071 обработки изображений может формировать гистограмму, которая может отправляться модулю 2072 выбора фоновой подсветки (BLS), содержащему модуль 2073 буфера гистограммы и модуль 2084 детектора смены плана, а также модулю 2074 искажения и модулю 2075 временного фильтра.

Внутри модуля 2073 буфера гистограммы гистограммы от последовательности кадров изображения могут сравниваться и анализироваться. Модуль 2084 детектора смены плана также может сравнивать и анализировать гистограммы для определения наличия смены плана рядом с текущим кадром. Данные гистограммы могут передаваться модулю 2074 искажения, где характеристики искажения могут вычисляться 2077 для одного или нескольких уровней яркости фоновой подсветки. Определенный уровень яркости подсветки может определяться путем минимизации 2078 характеристик искажения.

Этот выбранный уровень яркости затем может отправляться модулю 2075 временного фильтра. Модуль временного фильтра также может принимать сигнал обнаружения смены плана от модуля 2084 детектора смены плана. На основе сигнала обнаружения смены плана временной фильтр 2079 может применяться к сигналу уровня яркости подсветки. В некоторых вариантах осуществления можно не применять никакого фильтра, когда обнаруживается смена плана рядом с текущим кадром. В других вариантах осуществления применяемый фильтр, когда присутствует смена плана, будет отличаться от применяемого фильтра, когда смена плана не является ближайшей.

Фильтрованный сигнал уровня яркости подсветки может быть отправлен функциональному модулю 2080 подсветки и модулю 2081 компенсации изображения. Модуль компенсации изображения может использовать фильтрованный сигнал уровня яркости подсветки для определения подходящей кривой поправок градационной шкалы или другого алгоритма исправления, чтобы компенсировать любое изменение в уровне яркости подсветки. В некоторых вариантах осуществления для этой цели может формироваться кривая поправок градационной шкалы или кривая 2082 гамма-коррекции. Эта кривая поправок затем может применяться к входному изображению 2070 для создания измененного изображения 2083. Измененное изображение 2083 затем может быть показано с уровнем яркости подсветки, который отправлялся функциональному модулю 2080 подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.87. В этих вариантах осуществления входное изображение 2090 или извлеченные из него данные вводятся в пространственный фильтр 2096 нижних частот, буфер/процессор 2092, модуль 2091 детектора смены плана и сумматор 2098. Пространственный фильтр 2096 нижних частот может создать низкочастотное изображение 2097, которое может передаваться модулю 2101 формирования градационной шкалы для сохранения яркости. Низкочастотное изображение 2097 также может отправляться сумматору 2098 для объединения с входным изображением 2090, чтобы создать высокочастотное изображение 2099.

Модуль 2091 детектора смены плана может использовать входное изображение или данные из него, например гистограмму, а также данные, сохраненные в буфере/процессоре 2092, чтобы определить, является ли смена плана ближайшей к текущему кадру. Если обнаруживается смена плана, то может быть отправлен сигнал модулю 2094 временного фильтра. Входное изображение 2090 или извлеченные из него данные отправляются в буфер/процессор 2092, где изображения, данные изображения и гистограмма могут сохраняться и сравниваться. Эти данные могут быть отправлены модулю 2093 выбора уровня подсветки для учета в вычислении подходящего уровня яркости подсветки. Уровень, вычисленным модулем 2093 выбора уровня подсветки, может отправляться модулю 2094 временного фильтра для фильтрации. Примерные фильтры, используемые для этого процесса, описываются в этом документе позже. Фильтрация сигнала уровня подсветки может быть адаптивной к наличию смены плана рядом с текущим кадром. Как обсуждается позже, модуль 2094 временного фильтра может фильтровать активнее, когда смена плана не является ближайшей.

После любой фильтрации, уровень подсветки может отправляться функциональному модулю 2095 подсветки для использования в отображении входного изображения или измененного изображения на его основе. Результат модуля 2094 временного фильтра также может быть отправлен модулю 2101 формирования градационной шкалы для сохранения яркости, который потом сформирует кривую поправок градационной шкалы и применит эту кривую поправок к низкочастотному изображению 2097. Это исправленное низкочастотное изображение затем может объединяться с высокочастотным изображением 2099, чтобы образовать улучшенное изображение 2102. В некоторых вариантах осуществления высокочастотное изображение 2099 также может обрабатываться с помощью кривой прироста перед объединением с исправленным низкочастотным изображением.

Особенности некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.88. В этих вариантах осуществления определяется 2110 уровень яркости подсветки для текущего кадра. Также определяется 2111 наличие смены плана рядом с текущим кадром. Если смена плана является ближайшей, то второй процесс временной фильтрации применяется 2112 к сигналу уровня яркости подсветки для текущего кадра. Если смена плана не является ближайшей к текущему кадру, то первый процесс временной фильтрации применяется 2113 к сигналу уровня яркости подсветки для текущего кадра. После того как выполняется любая фильтрация, сигнал уровня яркости подсветки отправляется дисплею для сообщения 2114 уровня яркости для текущего кадра. В некоторых вариантах осуществления второй процесс 2112 фильтрации может просто пренебрегать любой фильтрацией, когда смена плана является ближайшей.

Особенности некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг.89. В этих вариантах осуществления изображение анализируется 2120 для определения данных, существенных для выбора уровня подсветки. Этот процесс может содержать формирование и сравнение гистограммы. Подходящий уровень подсветки выбирается 2121 на основе данных изображения. Затем может определяться наличие смены плана путем сравнения 2122 данных изображения из одного или нескольких предыдущих кадров и данных изображения из текущего кадра. В некоторых вариантах осуществления это сравнение может содержать сравнение гистограмм. Если смена плана отсутствует 2123, то первый процесс фильтрации может применяться 2125 к уровню подсветки текущего кадра. Этот процесс может настроить значение уровня подсветки для текущего кадра на основе уровней, использованных для предыдущих кадров. Когда обнаруживается смена плана 2123, второй процесс 2124 фильтрации может применяться к уровню яркости подсветки. В некотором варианте осуществления этот второй процесс фильтрации может содержать пропуск первого процесса фильтрации или использование менее активного процесса фильтрации. После любой фильтрации уровень яркости подсветки может отправляться дисплею для использования в отображении текущего кадра.

Способы и системы из некоторых вариантов осуществления настоящего изобретения могут быть проиллюстрированы со ссылкой на примерный сценарий с тестовой видеопоследовательностью. Последовательность состоит из черного фона с белым объектом, который появляется и исчезает. И черное, и белое значения придерживаются фоновой подсветки независимо от компенсации изображения. Фоновая подсветка, выбранная для кадра, двигается от нуля на черных кадрах до верхнего значения, чтобы достичь белого, и возвращается к нулю. График уровня фоновой подсветки в сравнении с номером кадра показан на фиг.90. Результирующее изображение страдает от колебания уровня черного. Видеопоследовательность является черным фоном с появляющимся белым квадратом. Исходно фоновая подсветка слабая, и черный план очень темный. Когда появляется белый квадрат, фоновая подсветка повышается, и заметно увеличение уровня черного до слабого серого. Когда квадрат исчезает, фоновая подсветка уменьшается, и фон опять очень темный. Это колебание уровня черного может быть неприятным. Существует два способа устранения этого колебания уровня черного: искусственно повысить черный в темных планах либо управлять колебанием фоновой подсветки. Повышение уровня черного нежелательно, поэтому способы и системы из настоящего изобретения управляют колебанием фоновой подсветки, чтобы колебание не было таким резким или заметным.

Временная фильтрация

Решение этих вариантов осуществления состоит в управлении колебанием уровня черного путем управления колебанием сигнала фоновой подсветки. Зрительная система человека невосприимчива к низкочастотному колебанию яркости. Например, во время восхода солнца яркость неба постоянно изменяется, но изменение достаточно медленное, чтобы быть незаметным. Количественные измерения обобщаются во временной функции контрастной чувствительности (CSF), показанной на фиг.91. Этот принцип может использоваться в некоторых вариантах осуществления для разработки фильтра, который ограничивает колебание уровня черного.

В некоторых примерных вариантах осуществления однополюсный фильтр с IIR может использоваться для "сглаживания" сигнала фоновой подсветки. Фильтр может основываться на прежних значениях сигнала фоновой подсветки. Эти варианты осуществления хорошо работают, когда недоступны будущие значения.

Уравнение 51. Фильтр с IIR

где BL(i) - значение фоновой подсветки на основе содержания изображения, а S(i) - сглаженное значение фоновой подсветки на основе текущего значения и предыдущих. Этот фильтр является фильтром с IIR с полюсом в α. Передаточная функция этого фильтра может быть выражена в следующем виде.

Уравнение 52. Передаточная функция фильтра

Диаграмма Боде этой функции показана на следующей фиг.92. Диаграмма частотной характеристики показывает, что фильтр является фильтром нижних частот.

В некоторых вариантах осуществления настоящего изобретения фильтр может меняться на основе наличия смены плана рядом с текущим кадром. В некоторых из этих вариантов осуществления могут использоваться два значения для полюса альфа. Эти значения могут переключаться в зависимости от сигнала обнаружения смены плана. В примерном варианте осуществления, когда никакой смены плана не обнаруживается, рекомендованным значением является 1000/1024. В некоторых примерных вариантах осуществления рекомендуются значения между 1 и ½. Однако, когда обнаруживается смена плана, это значение может быть заменено на 128/1024. В некоторых вариантах осуществления для этого коэффициента могут использоваться значения между ½ и 0. Эти варианты осуществления обеспечивают более ограниченную величину сглаживания на сменах плана, которая признана удобной.

График на фиг.93 иллюстрирует реакцию примерной системы, которая применяет временную фильтрацию фоновой подсветки, на показанную на фиг.90 последовательность, которая включается в себя появление белой области на черном фоне между кадром 60 по ссылке 2141 и кадром 120 по ссылке 2143. Нефильтрованная фоновая подсветка увеличивается от нуля 2140а перед появлением белой области до стабильного высокого значения 2140b, когда появляется белый. Нефильтрованная фоновая подсветка затем незамедлительно снижается до нуля 2140c снова, когда белая область исчезает из последовательности в 2143. Это обладает эффектом увеличения яркости у яркой белой области, но также имеет побочный эффект в увеличении черного фона до слабого серого. Таким образом, фон меняется, когда появляется и исчезает белая область. Фильтрованная фоновая подсветка 2142а, b и c ограничивает колебание фоновой подсветки, чтобы ее изменение было незаметно. Фильтрованная фоновая подсветка начинается в нулевом значении 2142а перед появлением белой области в 2141, затем более медленно увеличивается 2142b со временем. Когда исчезает белая область, значению фоновой подсветки разрешается уменьшиться 2142c с контролируемой скоростью. Белая область фильтрованной системы немного тусклее, чем у нефильтрованной системы, но колебание фона гораздо менее ощутимо.

В некоторых вариантах осуществления реагирование временного фильтра может быть проблемой. Это особенно заметно в параллельном сравнении с системой без такого ограничения на реагирование фоновой подсветки. Например, при фильтрации на смене плана реакция фоновой подсветки ограничивается фильтром, используемым для управления флуктуацией уровня черного. Эта проблема иллюстрируется на фиг.94. График фиг.94 имитирует выходной сигнал системы после резкой смены с черного на белый по ссылке 2150. Нефильтрованная система 2151 реагирует немедленно путем подъема фоновой подсветки с нуля 2151а до повышенного уровня 2151b, чтобы получить яркий белый. Фильтрованная система медленно повышается от нуля 2152а по кривой 2152b после смены с черного на белый. В нефильтрованной системе изображение немедленно переходит к серому значению. В фильтрованной системе серый медленно повышается до белого, когда фоновая подсветка медленно увеличивается. Таким образом, сокращается реагирование фильтрованной системы на быстрые смены плана.

Обнаружение смены плана

Некоторые варианты осуществления настоящего изобретения содержат процесс обнаружения смены плана. Когда обнаруживаются смены плана, временная фильтрация может изменяться, чтобы сделать возможной быструю реакцию фоновой подсветки. В пределах плана колебание фоновой подсветки ограничивается с помощью фильтрации, чтобы управлять колебанием уровня черного. При смене плана кратковременные дефекты и колебание видеосигнала незаметны благодаря эффекту маскирования зрительной системы человека.

Смена плана имеет место, когда текущий кадр очень отличается от предыдущего кадра. Когда не происходит никакой смены плана, разница между последовательными кадрами небольшая. Чтобы помочь обнаружить смену плана, может быть определено измерение разницы между двумя изображениями, и может быть установлена пороговая величина, чтобы отличать наличие смены плана от отсутствия смены плана.

В некоторых вариантах осуществления способ обнаружения смены плана может основываться на сопоставлении отличия гистограммы. В частности, могут вычисляться гистограммы двух последовательных или ближайших кадров, H₁ и H₂. Разница между двумя изображениями может быть задана в виде расстояния гистограмм.

Уравнение 53. Примерный показатель расстояния гистограмм

где i и j - индексы столбцов, N - количество столбцов и H ₁ (i) - значение i-го столбца гистограммы. Гистограмма нормализуется так, чтобы общая сумма значений столбцов была равна 1. Вообще говоря, если различие каждого столбца большое, то расстояние D_cor является большим. a _ij - вес корреляции, который равен квадрату расстояния между индексами столбцов. Это указывает на то, что если два столбца расположены близко друг к другу, например i-й столбец и (i+1)-й столбец, то вклад их умножения очень мал; в противном случае, вклад большой. Интуитивно, для чистого черного и чистого белого изображений два больших различия столбцов находятся в первом столбце и последнем столбце, поскольку расстояние индекса столбца большое, итоговое расстояние гистограммы является большим. Но для незначительного изменения яркости к черному изображению, хотя различия столбцов также большие, они находятся близко друг к другу (i-й столбец и (i+1)-й столбец), и поэтому итоговое расстояние небольшое.

Чтобы классифицировать смену плана, нужно определить пороговую величину в дополнение к измерению расстояния изображения. В некоторых вариантах осуществления эта пороговая величина может определяться опытным путем и может устанавливаться в 0,001.

В некоторых вариантах осуществления в пределах плана может использоваться фильтрация, принятая выше для ограничения флуктуации уровня черного. Эти варианты осуществления просто будут применять систему неперестраиваемого фильтра, который не реагирует на смены плана. Видимая флуктуация уровня черного не возникает, тем не менее, ограничивается реакция.

В некоторых вариантах осуществления, когда обнаруживается смена плана, фильтр можно переключить на фильтр, имеющий более быструю реакцию. Это позволяет фоновой подсветке быстро увеличиваться после смены с черного на белый все же не так резко, как нефильтрованный сигнал. Как показано на фиг.95, нефильтрованный сигнал резко переходит с нуля на максимальное значение 2161 и остается в этом значении после того, как появляется белая область в 2160. Более активный фильтр, использованный в переходах планов 2163, слишком медленный для переходов со сменой плана, однако измененный фильтр 2162, использованный в местах смены плана, делает возможным быстрое повышение с последующим постепенным увеличением в направлении максимального значения.

Варианты осуществления настоящего изобретения, которые содержат обнаружение смены плана и адаптивную временную фильтрацию, предназначенные, чтобы сделать незаметными колебания уровня черного, могут активно применяться в пределах плана, в то же время сохраняя реагирование фоновой подсветки на смены плана с большими изменениями яркости при изменениях в адаптивном фильтре.

Термины и выражения, которые применены в предшествующем описании изобретения, используются там как термины описания, а не ограничения, и при использовании таких терминов и выражений отсутствует намерение исключения эквивалентности показанных и описанных признаков или их частей; признается, что объем изобретения задается и ограничивается только формулой изобретения, которая следует ниже.

Изобретение относится к средствам управления для визуальных индикаторов. Техническим результатом является фильтрация уровня яркости подсветки дисплея с помощью адаптивного фильтра на основе наличия смены плана рядом с текущим кадром. Результат достигается тем, что обнаруживают наличие смены плана в видеопоследовательности, определяют значение уровня яркости подсветки для текущего кадра в упомянутой видеопоследовательности на основе характеристик изображения в упомянутом текущем кадре, фильтруют упомянутое значение уровня яркости подсветки с помощью первого фильтра, когда смена плана определена как ближайшая к упомянутому текущему кадру, и фильтруют упомянутое значение уровня яркости подсветки с помощью второго фильтра, когда смена плана не определена как ближайшая к упомянутому текущему кадру. 3 н. и 17 з.п. ф-лы, 98 ил.

1. Способ для выборочной фильтрации сигнала уровня яркости подсветки на основе обнаружения смены плана, причем упомянутый способ содержит:
a) обнаружение наличия смены плана в видеопоследовательности;
b) определение значения уровня яркости подсветки для текущего кадра в упомянутой видеопоследовательности на основе характеристик изображения в упомянутом текущем кадре;
c) фильтрацию упомянутого значения уровня яркости подсветки с помощью первого фильтра, когда смена плана определена как ближайшая к упомянутому текущему кадру; и
d) фильтрацию упомянутого значения уровня яркости подсветки с помощью второго фильтра, когда смена плана не определена как ближайшая к упомянутому текущему кадру.

2. Способ по п.1, в котором упомянутое определение содержит сравнение гистограммы упомянутого текущего кадра с гистограммой кадра, ближайшего к упомянутому текущему кадру.

3. Способ по п.1, в котором упомянутое определение содержит измерение расстояния гистограммы между упомянутым текущим кадром и кадром, ближайшим к упомянутому текущему кадру.

4. Способ по п.3, в котором упомянутое расстояние гистограмм измеряют с помощью следующих уравнений:


a _ij=(i-j)²,
где i и j - индексы столбцов, N - количество столбцов и H₁(i) - значение i-го столбца гистограммы упомянутого кадра, ближайшего к упомянутому текущему кадру, и H₂(i) - i-й столбец гистограммы упомянутого текущего кадра, и a_ij - вес корреляции, который равен квадрату расстояния между индексами столбцов.

5. Способ по п.3, в котором упомянутое определение содержит сравнение упомянутого расстояния гистограмм с пороговым значением.

6. Способ по п.1, в котором упомянутый первый фильтр является менее активным, чем упомянутый второй фильтр.

7. Способ по п.1, в котором упомянутый первый фильтр и упомянутый второй фильтр являются фильтрами с бесконечной импульсной характеристикой и с разными полюсами.

8. Способ по п.1, где упомянутый первый фильтр и упомянутый второй фильтр описывают следующим уравнением:
S(i)=α·S(i-1)+(1-α)·BL(i), 0≤α≤1,
где BL(i) - значение фоновой подсветки на основе содержания изображения, S(i) - сглаженное значение фоновой подсветки на основе текущего значения и предыдущих, и α задает расположение полюса фильтра.

9. Способ по п.8, в котором упомянутое значение α находится приблизительно между 1/2 и 1 для упомянутого второго фильтра.

10. Способ по п.8, в котором упомянутое значение α находится приблизительно между 0 и 1/2 для упомянутого первого фильтра.

11. Способ для выборочной фильтрации сигнала уровня яркости подсветки на основе обнаружения смены плана, причем упомянутый способ содержит:
a) формирование гистограммы для предыдущего кадра;
b) формирование гистограммы для текущего кадра;
c) обнаружение наличия смены плана в видеопоследовательности путем сравнения упомянутой гистограммы предыдущего кадра с упомянутой гистограммой текущего кадра;
d) определение значения уровня яркости подсветки для упомянутого текущего кадра в упомянутой видеопоследовательности на основе характеристик изображения упомянутого текущего кадра;
e) фильтрацию упомянутого значения уровня яркости подсветки с помощью первого фильтра, когда смена плана определяется как ближайшая к упомянутому текущему кадру; и
f) фильтрацию упомянутого значения уровня яркости подсветки с помощью второго фильтра, когда смена плана не определяется как ближайшая к упомянутому текущему кадру.

12. Способ по п.11, в котором упомянутое определение содержит измерения расстояния гистограмм между упомянутым текущим кадром и упомянутым предыдущим кадром.

13. Способ по п.12, в котором упомянутое расстояние гистограмм измеряют с помощью следующих уравнений:


a _ij=(i-j)²,
где i и j - индексы столбцов, N - количество столбцов и H₁(i) - значение i-го столбца гистограммы упомянутого кадра, ближайшего к упомянутому текущему кадру, и H₂(i) - i-й столбец гистограммы упомянутого текущего кадра, и a_ij - вес корреляции, который равен квадрату расстояния между индексами столбцов.

14. Способ по п.12, в котором упомянутое определение содержит сравнения упомянутого расстояния гистограмм с пороговым значением.

15. Способ по п.11, в котором упомянутый первый фильтр является менее активным, чем упомянутый второй фильтр.

16. Способ по п.11, в котором упомянутый первый фильтр и упомянутый второй фильтр являются фильтрами с бесконечной импульсной характеристикой и с разными значениями полюсов.

17. Способ по п.11, где упомянутый первый фильтр и упомянутый второй фильтр описывают следующим уравнением:
S(i)=α·S(i-1)+(1-α)·BL(i), 0≤α≤1,
где BL(i) - значение фоновой подсветки на основе содержания изображения, S(i) - сглаженное значение фоновой подсветки на основе текущего значения и предыдущих, и α задает расположение полюса фильтра.

18. Способ по п.17, в котором упомянутое значение α приблизительно равно 1000/1024 для упомянутого второго фильтра.

19. Способ по п.17, в котором упомянутое значение α приблизительно равно 128/1024 для упомянутого первого фильтра.

20. Способ для выборочной фильтрации сигнала уровня яркости подсветки на основе обнаружения смены плана, причем упомянутый способ содержит:
a) формирование гистограммы для предыдущего кадра;
b) формирование гистограммы для текущего кадра;
c) измерение расстояния гистограмм между упомянутой гистограммой текущего кадра и гистограммой второго кадра;
d) обнаружение наличия смены плана в видеопоследовательности, содержащей упомянутый предыдущий кадр и упомянутый текущий кадр, путем сравнения упомянутого расстояния гистограмм с пороговым значением;
e) определение значения уровня яркости подсветки для упомянутого текущего кадра в упомянутой видеопоследовательности на основе характеристик изображения упомянутого текущего кадра;
f) фильтрацию упомянутого значения уровня яркости подсветки с помощью фильтра с бесконечной импульсной характеристикой (IIR) с первым значением полюса, когда смена плана определена как ближайшая к упомянутому текущему кадру; и
g) фильтруют упомянутое значение уровня яркости подсветки с помощью упомянутого фильтра с бесконечной импульсной характеристикой (IIR) со вторым значением полюса, когда смена плана не определена как ближайшая к упомянутому текущему кадру.