УСТРОЙСТВО ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЯ, СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ И ПРОГРАММА Российский патент 2013 года по МПК H04N9/73 

Область техники, к которой относится изобретение

Настоящее изобретение относится к коррекции баланса белого для изображения, захваченного посредством устройства для получения изображений.

Описание предшествующего уровня техники

Обычно, устройства для получения изображений, использующие датчик изображения, такие как цифровая камера и цифровая видеокамера, обеспечиваются вместе с функцией управления балансом белого для регулирования цветового тона изображения, захваченного посредством операции получения изображения. Это управление балансом белого включает в себя ручное управление балансом белого, которое осуществляет получение коэффициента баланса белого посредством получения изображения белого объекта заранее и осуществляет применение вычисленного коэффициента баланса белого ко всему экрану. Дополнительно, управление балансом белого включает в себя автоматическое управление балансом белого, которое осуществляет автоматическое обнаружение возможного белого участка из захваченного изображения, осуществляет вычисление коэффициента баланса белого из среднего значения каждого цветового компонента на всем экране, и осуществляет применение вычисленного коэффициента баланса белого ко всему экрану.

Далее будет описан стандартный способ автоматического управления балансом белого. Выход аналогового сигнала от датчика изображения преобразуется в цифровой сигнал посредством аналого-цифрового (A/D) преобразования и делится на множество блоков, как проиллюстрировано на фиг.3. Каждый из этих блоков является составленным посредством красного (R), зеленого (G) и синего (B) цветных пикселей, и для каждого блока вычисляется значение оценки цвета (Cx[i], Cy[i]) посредством, например, нижеследующего уравнения (1).

[УРАВНЕНИЕ 1]

Cx[i] = (R[i] - B[i])/Y[i] × 1024

Cy[i] = (R[i] + B[i] - 2G[i])/Y[i] × 1024

(В этом уравнении i представляет собой номер блока, R[i], G[i] и B [i] каждый представляют собой среднее значение пикселей RGB, включенных в блок i, а Y[i] = (R[i] + 2G[i] + B[i]) / 4.

Затем, если вычисленное значение оценки цвета (Cx[i], Cy[i]) попадает в пределы предварительно установленного диапазона обнаружения белого, этот блок определяется как белый блок. Затем, вычисляется значение суммирования (SumR, SumG, SumB) цветных пикселей, включенных в такие блоки, и вычисляется коэффициент баланса белого (WBCo_R, WBCo_G, WBCo_B) посредством нижеследующего уравнения (2).

[УРАВНЕНИЕ 2]

WBCo_R = SumY × 1024/sumR

WBCo_G = SumY × 1024/sumG

WBCo_B = SumY × 1024/sumB

(В этом уравнении, SumY = (sumR+2 × sumG + sumB)/4.)

Однако, такое автоматическое управление балансом белого имеет нижеследующую проблему; в сцене, когда в изображении существует множество различных источников света, устройство для получения изображений выполняет управление балансом белого посредством применения ко всему экрану коэффициента баланса белого, вычисленного, как упомянуто выше. Вследствие этого, является трудным выполнять управление балансом белого так, чтобы достигать подходящих цветовых оттенков для всех источников света. Например, в сцене, когда устройство для получения изображений излучает свет вспышки, представляющий собой источник света, имеющий высокую цветовую температуру, если окружающее освещение содержит источник света низкой цветовой температуры, такой как источник цвета лампы освещения, управление балансом белого на основе света вспышки приводит в результате к ненадлежащему балансу белого для источника света низкой цветовой температуры в окружающем освещении. С другой стороны, управление балансом белого на основе источника света низкой цветовой температуры в окружающем освещении приводит в результате к ненадлежащему балансу белого для света вспышки. Дополнительно, даже если устройство для получения изображений выполняет управление балансом белого посредством регулирования баланса белого до среднего между соответствующими источниками света, это в результате приводит к ненадлежащему балансу белого для обоих источников света, приводя к генерированию изображения, в котором области, облучаемой светом вспышки, придается оттенок синего, в то время как области, облучаемой источником света низкой цветовой температуры, придается оттенок красного.

Вследствие этого, в целях решения этой проблемы, например, метод, описанный в патенте Японии №3540485, вычисляет отношение данных посредством сравнения изображения, захваченного с включенной вспышкой, с изображением, захваченным с выключенной вспышкой, для каждой произвольной области объекта и определяет степень вклада света вспышки на основе вычисленного значения отношения. Затем, этот метод выполняет управление балансом белого посредством выбора значения управления балансом белого для каждой области, как для видеоданных, захваченных посредством выполнения экспозиции с включенным светом вспышки, в соответствии со степенью вклада.

Однако, стандартный метод, описанный в патенте Японии №3540485, предназначен для использования при управлении балансом белого для изображения, захваченного в то время, как осуществляется излучение света вспышки, и не может быть применен к изображению, захваченному в то время, как излучение света вспышки не осуществляется. Дополнительно, этот стандартный метод выполняет процесс усовершенствования после варьирования значения управления балансом белого для каждой области, посредством чего другое управление, такое как воспроизведение цвета, может становиться неподходящим для значения управления балансом белого. Как результат, стандартный метод не может полностью воспроизводить подходящий оттенок.

Сущность изобретения

Для решения вышеупомянутых проблем, настоящее изобретение, в одном аспекте, направлено на генерирование изображения, достигающего подходящего оттенка, даже когда в наличии имеется множество источников света.

В соответствии с одним аспектом настоящего изобретения, устройство для обработки изображения включает в себя средство коррекции, выполненное с возможностью генерирования, из данных изображения сцены, данных первого усовершенствованного изображения посредством коррекции данных изображения сцены с использованием первого значения коррекции баланса белого, соответствующего первому источнику света сцены, и генерирования данных второго усовершенствованного изображения посредством коррекции данных изображения сцены с использованием второго значения коррекции баланса белого, соответствующего второму источнику света сцены; средство деления, выполненное с возможностью деления данных изображения сцены на множество блоков; средство вычисления значения оценки цвета, выполненное с возможностью вычисления значения оценки цвета каждого из блоков посредством добавления и усреднения значений пикселей в данных изображения сцены для каждого из блоков, разделенных посредством средства деления; средство вычисления отношения объединения, выполненное с возможностью вычисления отношения объединения на основе разности между значением оценки цвета каждого блока, вычисляемым посредством средства вычисления значения оценки цвета, и значением оценки цвета белого при втором источнике света; и средство объединения, выполненное с возможностью объединения данных первого усовершенствованного изображения и данных второго усовершенствованного изображения, сгенерированных посредством средства коррекции в соответствии с отношением объединения.

Аспекты данного изобретения могут также обеспечивать компьютерную программу и компьютерный программный продукт для выполнения какого-либо любого из способов, описанных в настоящем документе, и/или для осуществления какого-либо любого из признаков устройства, описанных в настоящем документе, а также считываемый компьютером носитель, имеющий сохраненную на себе программу для выполнения какого-либо любого из способов, описанных в настоящем документе, и/или для осуществления какого-либо любого из признаков устройства, описанных в настоящем документе. Аспекты данного изобретения могут распространяться на способы, устройство и/или использование, по существу, как описано в настоящем документе со ссылкой на сопроводительные чертежи. Какой-либо любой признак в одном аспекте изобретения может быть применен к другим аспектам изобретения в какой-либо любой походящей комбинации. В частности, признаки аспектов способа могут быть применены к аспектам устройства и наоборот. Более того, признаки, осуществленные в виде аппаратного оборудования, могут обычно осуществляться в виде программного обеспечения и наоборот. Какая-либо любая ссылка на признаки программного обеспечения и аппаратного оборудования в настоящем документе должна рассматриваться соответствующим образом. Дополнительно, предпочтительные признаки и аспекты настоящего изобретения будут описаны далее путем примера со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

Сопроводительные чертежи, включенные в и составляющие часть спецификации, иллюстрируют примерные (иллюстративные) варианты осуществления, признаки и аспекты данного изобретения и, вместе с описанием, служат для объяснения принципов данного изобретения.

Фиг.1 представляет собой структурную диаграмму, иллюстрирующую пример конфигурации цифровой камеры в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Фиг.2 представляет собой блок-схему последовательности операций, иллюстрирующую пример процедуры обработки для объединения изображений.

Фиг.3 иллюстрирует блоки, каждый составленные посредством цветных пикселей R, G и B.

Фиг.4A и фиг.4B представляют собой графики зависимости, каждый иллюстрирующие пример отношения значения оценки цвета для обнаружения белого.

Фиг.5 представляет собой блок-схему последовательности операций, иллюстрирующую пример обработки для определения первого значения коррекции WB.

Фиг.6 иллюстрирует пример отношения значения оценки цвета для использования при вычислении отношения объединения.

Фиг.7 иллюстрирует один другой пример отношения значения оценки цвета для использования при вычислении отношения объединения.

Фиг.8 иллюстрирует пример отношения значения оценки цвета, когда осуществляется захват изображения с использованием источника света, имеющего низкую цветовую температуру.

Фиг.9 представляет собой график зависимости, иллюстрирующий отношение между входом и выходом в случае, когда источник света имеет низкую цветовую температуру.

Подробное описание вариантов осуществления

Различные иллюстративные варианты осуществления, признаки и аспекты данного изобретения будут детально описаны ниже со ссылкой на чертежи.

Далее в настоящем документе, полезный иллюстративный вариант осуществления настоящего изобретения будет детально описан со ссылкой на сопроводительные чертежи. Фиг.1 представляет собой структурную диаграмму, иллюстрирующую пример конфигурации цифровой камеры 100 в соответствии с настоящим иллюстративным вариантом осуществления. Касательно фиг.1, твердотельный датчик 101 изображения представляет собой датчик изображения, составленный посредством, например, прибора с зарядовой связью (CCD) или комплиментарного металло-оксидного полупроводника (CMOS). Поверхность твердотельного датчика 101 изображения покрыта, например, цветным фильтром RGB, таким как матрица Байера, с целью обеспечения возможности осуществления цветного фотографирования. Когда на твердотельном датчике 101 изображения формируется изображение объекта, твердотельный датчик 101 изображения генерирует данные изображения (сигнал изображения), которые затем сохраняются в памяти 102.

Блок 114 управления осуществляет вычисление такой скорости срабатывания затвора и значения диафрагмы, при которых освещается все изображение, и осуществляет вычисление рабочего размера фокусной линзы, так чтобы осуществлять фокусирование на объекте, расположенном в пределах области фокусирования. Затем, информация, вычисленная посредством блока 114 управления, то есть, значение экспозиции (скорость срабатывания затвора и значение диафрагмы), а также рабочий размер фокусной линзы передаются на схему 113 управления получением изображения, и в соответствии с соответствующими значениями осуществляется управление соответствующими блоками и частями. Блок 103 управления балансом белого (WB) осуществляет вычисление значения коррекции WB на основе сигнала изображения, сохраненного в памяти 102, и применяет коррекцию WB к сигналу изображения, сохраненному в памяти 102, с использованием вычисленного значения коррекции WB. Детали конфигурации блока 103 управления WB и способ для вычисления значения коррекции WB будут описаны позднее.

Схема 104 матрицы преобразования цвета осуществляет преобразование сигнала изображения, к которому блок 103 управления WB применил коррекцию WB, в цветоразностный сигнал R-Y/B-Y посредством умножения сигнала изображения на коэффициент усиления цвета, так чтобы сигнал изображения мог быть воспроизведен в оптимальном цвете. Схема 105 фильтра нижних частот (LPF) представляет собой схему для ограничения полосы цветоразностного сигнала R-Y/B-Y. Схема 106 подавления цветности (CSUP) представляет собой схему для удаления ложного цветового сигнала насыщенного участка сигналов изображения, в которых полоса является ограниченной посредством схемы 105 фильтра LPF.

С другой стороны, сигнал изображения, к которому блок 103 управления WB применил коррекцию WB, также выводится на схему 111 генерирования сигнала яркости. Данная схема 111 генерирования сигнала яркости осуществляет генерирование сигнала яркости Y из входного сигнала изображения. Схема 112 подчеркивания контуров осуществляет применение обработки подчеркивания контуров к сгенерированному сигналу яркости Y.

Схема 107 преобразования RGB осуществляет преобразование цветоразностного сигнала R-Y/B-Y, выданного от схемы 106 CSUP, и сигнала яркости Y, выданного от схемы 112 подчеркивания контуров, в сигнал RGB. Схема 108 гамма-коррекции осуществляет применение коррекции градаций к преобразованному сигналу RGB. После этого, схема 109 преобразования яркости цвета осуществляет преобразование сигнала RGB со скорректированной градацией в сигнал YUV. Дополнительно, схема 110 сжатия, разработанного объединенной экспертной группой по фотографии (JPEG), осуществляет сжатие преобразованного сигнала YUV посредством, например, способа JPEG, и сохраняет сжатые данные на внешнем или на внутреннем носителе 115 записи в качестве сигнала изображения.

Далее, будет детально описан способ, по которому блок 103 управления WB осуществляет вычисление значения коррекции WB. Фиг.5 представляет собой блок-схему последовательности операций, иллюстрирующую пример процедуры обработки, которую блок 103 управления WB выполняет с целью определения первого значения коррекции баланса белого (первого значения коррекции WB). Как будет описано в настоящем документе, данное первое значение коррекции WB относится к значению коррекции, вычисленному посредством обычного управления балансом белого для изображения, захваченного при первом источнике света.

Вначале, на этапе S501, блок 103 управления WB осуществляет считывание сигнала изображения, сохраненного в памяти 102, и осуществляет деление пространства изображения на произвольное количество m блоков. Затем, на этапе S502, для каждого из m блоков, блок 103 управления WB добавляет выводит среднюю величину значений пикселей для каждого цвета с целью вычисления среднего значения цвета (R[i], G[i], B[i]). Затем, блок 103 управления WB дополнительно осуществляет вычисление значения оценки цвета (Cx[i], Cy[i]) с использованием нижеследующего уравнения (3).

[УРАВНЕНИЕ 3]

Cx[i] = (R[i] - B[i]/Y[i] × 1024

Cy[i] = (R[i] + B[i] - 2G[i])/Y[i] × 1024

(В этом уравнении, Y[i] = (R[i]+2G[i] + B[i])/4.)

Следующим шагом, на этапе S503, блок 103 управления WB выполняет обнаружение белого с целью определения, находится ли значение оценки цвета в пределах диапазона обнаружения белого. Далее будет описан способ обнаружения белого.

Фиг.4A и фиг.4B представляют собой графики зависимости, каждый обозначающие отношение значения оценки цвета для использования при обнаружении белого. На фиг.4A, отрицательное направление оси x (Cx) представляет значение оценки цвета, когда изображается белый объект высокой цветовой температуры, в то время как положительное направление оси x представляет значение оценки цвета, когда изображается белый объект низкой цветовой температуры. Дополнительно, координата y (Cy) представляет степень компонента зеленого в источнике света. По мере того, как значение увеличивается в отрицательном направлении оси y, компонент зеленого увеличивается, что обозначает, что источником света является люминесцентная лампа. На этапе S503, блок 103 управления WB определяет, расположено ли значение оценки цвета (Cx[i], Cy[i]) i-ого блока, вычисленного на этапе S502, в пределах предварительно установленного диапазона 401 обнаружения белого, проиллюстрированного на фиг.4A.

Данный диапазон 401 обнаружения белого, проиллюстрированный на фиг.4A, определяется посредством съемки изображения белого при различных источниках света заранее и выстраивания кривой вычисленных значений оценки цвета относительно линии цветностей черного тела. Этот диапазон 402 обнаружения белого может устанавливаться так, чтобы иметь различный диапазон в зависимости от режима съемки. Если вычисленное значение оценки цвета (Cx[i], Cy[i]) является расположенным в пределах этого диапазона 401 обнаружения белого («ДА» на этапе S503), блок 103 управления WB определяет, что этот блок является белым. Затем, на этапе S504, блок 103 управления WB добавляет и осуществляет вычисление среднего значения цвета (R[i], G[i], B[i]) этого блока. С другой стороны, если вычисленное значение оценки цвета не является расположенным в пределах диапазона 401 обнаружения белого («НЕТ» на этапе S503), обработка переходит к этапу S505 без добавления среднего значения цвета этого блока. При осуществлении этого вычисления на этапе S504, блок 103 управления WB добавляет средние значения цвета (R[i], G[i], B[i]) с использованием нижеследующего уравнения (4).

[УРАВНЕНИЕ 4]

В этом уравнении (4), Sw[i] устанавливается на 1, если значение оценки цвета (Cx[i], Cy[i]) является расположенным в пределах диапазона 401 обнаружения белого, при этом Sw[i] устанавливается на 0, если значение оценки цвета (Cx[i], Cy[i]) не является расположенным в пределах диапазона 401 обнаружения белого. Установка Sw [i] таким способом обеспечивает блоку 103 управления WB возможность выполнять или пропускать процесс добавления среднего значения цвета (R[i], G[i], B[i]).

Следующим шагом, на этапе S505, блок 103 управления WB определяет, определил ли блок 103 управления WB то, является ли значение оценки цвета расположенным в пределах диапазона 401 обнаружения цвета, для всех блоков. В результате определения на этапе S505, если в наличии остался какой-либо любой блок, назначенный к обработке («НЕТ» на этапе S505), обработка возвращается на этап S502. Если все из блоков являются обработанными («ДА» на этапе S505), обработка переходит на следующий этап, этап S506. Таким образом, когда блок 103 управления WB закончил обработку для всех блоков, определяется значение суммирования (SumR1, SumG1, SumB1) в уравнении (4).

Следующим шагом, на этапе S506, блок 103 управления WB осуществляет вычисление первого значения коррекции WB (WBCol_R1, WBCol_G1, WBCol_B1) из определенного значения суммирования (SumR1, SumG1, SumB1) средних значений цвета с использованием нижеследующего уравнения (5).

(УРАВНЕНИЕ 5)

WBCol_R1 = sumY1 × 1024/sumR1

WBCol_G1 = sumY1 × 1024/sumG1

WBCol_B1 = sumY1 × 1024/sumB1

(В этом уравнении, sumY1 = (sumR1 + 2 × sumG1 + sumB1)/4.)

Дополнительно, когда осуществляется излучение света вспышки, блок 103 управления WB осуществляет вычисление первого значения коррекции WB с использованием диапазона 402 обнаружения белого, соответствующего свету вспышки, как проиллюстрировано на фиг.4B, способом, схожим с описанным выше способом вычисления значения коррекции WB. Это происходит постольку, поскольку свет вспышки представляет собой известный источник света, так что диапазон обнаружения белого может быть ограничен. В альтернативном варианте, когда осуществляется излучение света вспышки, в качестве первого значения коррекции WB заранее для света вспышки на значение коррекции WB может устанавливаться известное значение.

Далее, будет описан способ для определения второго значения коррекции баланса белого (второго значения коррекции WB) для второго источника света. Блок 103 управления WB осуществляет определение второго значения коррекции WB с использованием значения, предварительно определенного для каждого источника света. Это значение представляет собой значение, подготовленное посредством съемки изображения белого при каждом источнике света и посредством вычисления значения коррекции заранее. Вначале, с целью оценки источника света определяется сцена. Например, в качестве результата определения сцены, если источник света определяется как ртутная лампа, блок 103 управления WB в качестве второго значения коррекции WB использует значение коррекции WB, предварительно определенное для ртутной лампы. В случае, когда в наличии имеется множество типов источников света, второе значения коррекции WB может варьироваться в соответствии с типом источника света. Например, в случае, когда в наличии имеются два типа ртутных ламп, значение коррекции WB варьируется в зависимости от соответствующих типов ртутных ламп.

Дополнительно, если осуществляется облучение заднего плана источником света низкой цветовой температуры, таким как источник света цвета лампы освещения, когда осуществляется излучение света вспышки, второе значение коррекции WB может вычисляться так, чтобы поддерживать оттенок с целью сохранения настроения сцены. Например, отношение цветовых температур устанавливается так, чтобы входное изображение выводилось в качестве изображения, имеющего другую цветовую температуру, как продемонстрировано в отношении, проиллюстрированном на фиг.9. Таким образом, если управление балансом белого осуществляется с тем, чтобы поддерживать оттенок, когда цветовая температура второго значения коррекции WB является низкой, например, может генерироваться изображение, сохраняющее оттенок красного источника цвета лампы освещения.

Далее, со ссылкой на блок-схему последовательности операций, проиллюстрированную на фиг.2, будет описана обработка для объединения изображений. Фиг.2 представляет собой блок-схему последовательности операций, иллюстрирующую пример процедуры обработки, которую блок 103 управления WB выполняет с целью объединения изображений. Вначале, на этапе S201, блок 103 управления WB осуществляет анализ сцены из сигнала изображения, сохраненного в памяти 102, и определяет, может ли быть определен тип источника света. В результате этого определения, если тип источника света не может быть определен («НЕТ» на этапе S201), обработка переходит к этапу S208, на котором блок 103 управления WB выполняет обычное управление балансом белого с использованием первого значения коррекции WB, вычисленного посредством процедуры, проиллюстрированной на фиг.5, без выполнения обработки для объединения изображений. С другой стороны, в результате определения на этапе S201, если тип источника света может быть определен («ДА» на этапе S201), обработка переходит к этапу S202, на котором блок 103 управления WB выполняет обработку для объединения изображений.

Следующим шагом, на этапе S202, блок 103 управления WB осуществляет применение коррекции баланса белого, с использованием вышеописанного первого значения коррекции WB, к сигналу изображения, сохраненному в памяти 102, и осуществляет генерирование сигнала Yuv2 усовершенствованного изображения в качестве данных первого усовершенствованного изображения. Затем, на этапе S203, схожим образом, блок 103 управления WB осуществляет применение коррекции баланса белого с использованием вышеописанного второго значения коррекции WB к данным первого изображения, и осуществляет генерирование сигнала Yuv2 усовершенствованного изображения в качестве данных второго усовершенствованного изображения. Далее, на этапе S204, блок 103 управления WB осуществляет деление каждого сигнала изображения, сохраненного в памяти 102, сигнала Yuv2 усовершенствованного изображения, а также сигнала Yuv2 усовершенствованного изображения на n блоков.

Следующим шагом, на этапе S205, блок 103 управления WB добавляет и выводит среднюю величину значений пикселей для каждого цвета с целью вычисления среднего значения цвета (R2[i], G2[i], B2[i]) для каждого из блоков в сигнале изображения, сохраненном в памяти 102. Дополнительно, блок 103 управления WB осуществляет вычисление значения оценки цвета (Cx[i], Cy[i]) с использованием описанного выше уравнения (3). В альтернативном варианте, блок 103 управления WB может использовать значение оценки цвета (Cx[i], Cy[i]), вычисленное на этапе S501, без выполнения какой-либо любой дополнительной обработки. В это время, если в наличии имеется какой-либо любой насыщенный (переполненный) пиксель, блок 103 управления WB может исключать значение пикселя этого насыщенного пикселя и значение пикселя для пикселя другого цвета, соответствующего этому насыщенному пикселю, из обработки суммирования. Например, если пиксель R представляет собой насыщенный пиксель, блок 103 управления WB исключает значение пикселя этого пикселя R, а также значения пикселей пикселя G и пикселя B, соответствующие этому пикселю R, из обработки суммирования.

Следующим шагом, на этапе S206, блок 103 управления WB устанавливает оценочную рамку в соответствии с каждым источником света и осуществляет вычисление отношения объединения каждого блока на основе разности между описанным выше вторым значением коррекции WB и значением оценки цвета каждого блока. Например, в сцене, где в качестве источника света используется ртутная лампа, как проиллюстрировано на фиг.6, блок 103 управления WB устанавливает оценочную рамку 601 для ртутной лампы, в которой значение оценки цвета белого, полученное при свете ртутной лампы, предварительно определенное в качестве второго значения коррекции WB, помещается в центр. Затем, блок 103 управления WB осуществляет вычисление отношения объединения для каждого блока на основе различия между предварительно определенным значением оценки цвета белого, полученным при свете ртутной лампы, и значением оценки цвета каждого блока. Оценочная рамка 601 устанавливается на основе значения оценки цвета, подготовленного посредством съемки белого объекта при свете ртутной лампы и посредством вычисления его значения оценки цвета заранее.

Вначале, если значение оценки цвета блока имеет малое отличие от значения оценки цвета белого, полученного при свете ртутной лампы, и является расположенным внутри внутренней рамки 602, проиллюстрированной на фиг.6, блок 103 управления WB устанавливает 1 в качестве отношения объединения α[i] этого блока. С другой стороны, если значение оценки цвета блока является расположенным в области между внутренней рамкой 602 и оценочной рамкой 601, проиллюстрированной на фиг.6, блок 103 управления WB осуществляет вычисление отношения объединения α[i] этого блока следующим образом; блок 103 управления WB осуществляет вычисление отношения объединения α[i] этого блока посредством линейного уменьшения отношения объединения от внутренней рамки 602 в направлении оценочной рамки 601 так, что внутренняя рамка 602 демонстрирует отношение объединения α[i]=1, а оценочная рамка 601 демонстрирует отношение объединения α[i]=O. Дополнительно, если значение оценки цвета блока является расположенным снаружи оценочной рамки 601, блок 103 управления WB устанавливает 0 в качестве отношения объединения α[i] этого блока.

Оценочная рамка 601 и внутренняя рамка 602 могут иметь какую-либо любую произвольную форму, вместо четырехугольной формы. Например, как проиллюстрировано на фиг.7, оценочная рамка 601 может быть установлена как имеющая овальную (круглую) форму. Дополнительно, например, для сцены с использованием источника света низкой цветовой температуры, такого как источник света цвета лампы освещения, этот способ может также применяться посредством установки оценочной рамки 601 и внутренней рамки 602 так, как проиллюстрировано на фиг.8. В этом случае, отношение объединения может вычисляться посредством такой же самой обработки, как и способ вычисления отношения объединения для сцены с использованием ртутной лампы в качестве источника света.

Следующим шагом, на этапе S207, блок 103 управления WB осуществляет объединение сигнала Yuv1 усовершенствованного изображения и сигнала Yuv2 усовершенствованного изображения с использованием отношения объединения α[i] каждого блока c целью генерирования объединенного сигнала Yuv3 изображения. Вычисление значения оценки цвета (Y3[i], u3[i], v3[i]) сигнала Yuv3 объединенного изображения осуществляется с использованием значения оценки цвета (Y1[i], u1[i], v1[i]) сигнала Yuv1 усовершенствованного изображения и значения оценки цвета (Y2[i], u2[i], v2[i]) сигнала Yuv2 усовершенствованного изображения. Более конкретно, вычисление значения оценки цвета (Y3[i], u3[i], v3[i]) сигнала Yuv3 объединенного изображения осуществляется посредством нижеследующего уравнения (6).

(УРАВНЕНИЕ 6)

Y3[i] = Y1[i] × (1- α[i]) + Y2[i] × α[i]

u3[i] = u1[i] × (1- α[i]) + u2[i] × α[i]

v3[i] = v1[i] × (1- α[i]) + v2[i] × α[i]

В это время, блок 103 управления WB может дополнительно выполнять обработку интерполяции пикселей на этапе S207 с целью вычисления отношения объединения α'[j] каждого пикселя из отношения объединения α[i] каждого блока с тем, чтобы уменьшить вариацию оттенков, которая может генерироваться на границе между блоками. Например, блок 103 управления WB осуществляет вычисление отношения объединения α'[j] каждого пикселя из отношения объединения α[i] каждого блока с использованием билинейной интерполяции в качестве обработки интерполяции пикселей. В это время, на этапе S207, осуществляется генерирование сигнала Yuv3 объединенного изображения посредством объединения сигнала Yuv1 усовершенствованного изображения и сигнала Yuv2 усовершенствованного изображения с использованием отношения объединения α'[j] каждого пикселя. Вычисление значения оценки цвета (Y3[j], u3[j], v3[j]) сигнала Yuv3 объединенного изображения осуществляется с использованием значения оценки цвета (Y1[j], u1[j], v1[j]) сигнала Yuv1 усовершенствованного изображения и значения оценки цвета (Y2[j], u2[j], v2[j]) сигнала Yuv2 усовершенствованного изображения. Более конкретно, вычисление значения оценки цвета (Y3[j], u3[j], v3[j]) сигнала Yuv3 объединенного изображения осуществляется посредством нижеследующего уравнения (7).

(УРАВНЕНИЕ 7)

Y3[j] = Y1[j] × (1 - α'[j]) + Y2[j] × α'[j]

u3[j] = u1[j] × (1 - α'[j]) + u2[j] × α'[j]

v3[j] = v1[j] × (1 - α'[j]) + v2[j] × α'[j]

Дополнительно, блок 103 управления WB может осуществлять объединение только компонента u и компонента v, являющихся компонентами цвета, с целью уменьшения объема вычислений схемы. Например, при осуществлении обработки для объединения изображений, вычисление значения оценки цвета (Y3[i], u3[i], v3[i]) сигнала Yuv3 объединенного изображения осуществляется посредством нижеследующего уравнения (8).

(УРАВНЕНИЕ 8)

Y3[i] = Y1[i]

u3[i] = u1[i] × (1 - α[i]) + u2[i] × α[i]

v3[i] = v1[i] × (1 - α[i]) + v2[i] × α[i]

Дополнительно, в то время как описанная выше обработка для объединения изображений использует для сигнала усовершенствованного изображения формат Yuv, в качестве формата изображения может быть использован, например, формат RGB. В этом случае, блок 103 управления WB, вместо уравнения (6), используемого на этапе S207, использует нижеследующее уравнение (9). Более конкретно, блок 103 управления WB вначале осуществляет вычисление значения оценки цвета (R1[i], G1[i], B1[i]) сигнала усовершенствованного изображения RGB1, усовершенствованного с использованием первого значения коррекции WB, и значение оценки цвета (R2[i], G2[i], B2[i]) сигнала усовершенствованного изображения RGB2, усовершенствованного с использованием второго значения коррекции WB. Затем, блок 103 управления WB осуществляет вычисление значения оценки цвета (R3[i], G3[i], B3[i]) сигнала объединенного изображения RGB3 посредством нижеследующего уравнения (9).

(УРАВНЕНИЕ 9)

R3[i] = R1[i] × (1 - α[i]) + R2[i] × α[i]

G3[i] = G1[i] × (1 - α[i]) + G2[i] × α[i]

B3[i] = B1[i] × (1 - α[i]) + B2[i] × α[i]

Дополнительно, при осуществлении описанной выше обработки для объединения изображений, если в наличии имеются два или более источника света, блок 103 управления WB может осуществлять генерирование двух или более усовершенствованных изображений с целью их объединения. Например, если в сцене с использованием ртутной лампы осуществляется излучение света вспышки, блок 103 управления WB определяет третье значение коррекции WB, соответствующее свету вспышки, таким же самым способом, что и описанный выше способ для определения второго значения коррекции WB, в дополнение к описанным выше первому и второму значениям коррекции WB. Затем, блок 103 управления WB выполняет обработку для объединения изображений посредством усовершенствования трех изображений с использованием трех значений коррекции WB, соответственно. Отношение объединения для каждого из трех значений коррекции WB определяется посредством отношения между количествами света от трех источников света.

Таким образом, в соответствии с обработкой изображения согласно настоящему иллюстративному варианту осуществления, является возможным генерировать изображение с основным объектом и задним планом, оба имеющими оттенки подходящих цветов, с целью тем самым обеспечения пользователя предпочтительным изображением, даже в сцене, когда в наличии имеется множество различных типов источников света.

Другие варианты осуществления

Аспекты настоящего изобретения могут также быть реализованы посредством компьютера системы или устройства (или устройств, таких как CPU или MPU), который(ое) считывает и выполняет программу, записанную на устройстве памяти, с целью выполнения функций описанного(ых) выше варианта(ов) осуществления, а также посредством способа, этапы которого выполняются компьютером системы или устройством посредством, например, считывания и выполнения программы, записанной на устройстве памяти, с целью выполнения функций описанного(ых) выше варианта(ов) осуществления. С этой целью, на компьютер, например, через посредство сети, или от записывающего носителя различных типов, служащей в качестве устройства памяти (например, считываемого компьютером носителя), обеспечивается программа.

В то время как настоящее изобретение было описано со ссылкой на иллюстративные варианты осуществления, необходимо понимать, что данное изобретение не ограничивается до раскрытых иллюстративных вариантов осуществления. Каждый признак, раскрытый в описании, а также (где это уместно) формула изобретения и чертежи, могут обеспечиваться независимо или в какой-либо любой подходящей комбинации.

Изобретение относится к устройствам обработки изображений. Техническим результатом является коррекция баланса белого с подбором подходящего оттенка даже при наличии множества источников света. Результат достигается тем, что устройство генерирует данные первого усовершенствованного изображения посредством коррекции данных изображения с использованием первого значения коррекции баланса белого, соответствующего первому источнику света, генерирует данные второго усовершенствованного изображения посредством коррекции данных изображения с использованием второго значения коррекции баланса белого, соответствующего второму источнику света, вычисляет значение оценки цвета каждого из блоков посредством добавления и усреднения значений оценки цвета пикселей в данных изображения для каждого из разделенных блоков, вычисляет отношение объединения на основе разности между вычисленным значением оценки цвета каждого из блоков и значением оценки цвета белого при втором источнике света и объединяет данные первого усовершенствованного изображения и данные второго усовершенствованного изображения в соответствии с вычисленным отношением объединения. 3 н. и 11 з.п. ф-лы, 9 ил.

1. Устройство обработки изображения, содержащее
средство коррекции, выполненное с возможностью генерировать, из данных изображения сцены, данные первого усовершенствованного изображения посредством коррекции данных изображения сцены с использованием первого значения коррекции баланса белого, соответствующего первому источнику света сцены, и генерировать данные второго усовершенствованного изображения посредством коррекции данных изображения сцены с использованием второго значения коррекции баланса белого, соответствующего второму источнику света сцены;
средство деления, выполненное с возможностью разделения данных изображения сцены на множество блоков;
средство вычисления значения оценки цвета, выполненное с возможностью вычисления значения оценки цвета каждого из блоков посредством добавления и усреднения значений пикселей в данных изображения сцены для каждого из блоков, полученных средством деления посредством упомянутого разделения;
средство вычисления отношения объединения, выполненное с возможностью вычисления отношения объединения на основе разности между значением оценки цвета каждого блока, вычисленным средством вычисления значения оценки цвета, и значением оценки цвета, белого при втором источнике света; и
средство объединения, выполненное с возможностью объединения данных первого усовершенствованного изображения и данных второго усовершенствованного изображения, сгенерированных средством коррекции, в соответствии с отношением объединения.

2. Устройство обработки изображений по п.1, дополнительно содержащее
первое средство определения, выполненное с возможностью определения первого значения коррекции баланса белого, соответствующего первому источнику света, из данных изображения сцены; и
второе средство определения, выполненное с возможностью определения второго значения коррекции баланса белого, соответствующего второму источнику света, из данных изображения сцены.

3. Устройство обработки изображений по п.2, в котором первое средство определения определяет первое значение коррекции баланса белого на основе управления балансом белого с использованием линии цветностей черного тела.

4. Устройство обработки изображений по п.2 или 3, в котором второе средство определения определяет второе значение коррекции баланса белого с использованием значения, предварительно определенного для каждого источника света.

5. Устройство обработки изображений по п.2, в котором средство объединения не выполняет объединение в случае, когда источник света для данных изображения сцены не может быть определен.

6. Устройство обработки изображений по п.1, в котором средство вычисления отношения объединения вычисляет отношение объединения каждого пикселя посредством обработки по интерполяции.

7. Устройство обработки изображений по п.1, в котором в случае, когда есть насыщенный пиксель, средство вычисления значения оценки цвета исключает значение пикселя насыщенного пикселя и значение пикселя для пикселя другого цвета, соответствующего насыщенному пикселю, из вычисления среднего значения цвета.

8. Устройство обработки изображений по п.4, в котором второе средство определения определяет второе значение коррекции баланса белого с целью сохранения оттенка источника света.

9. Устройство обработки изображений по п.1, в котором средство объединения осуществляет объединение только компонентов цвета данных первого усовершенствованного изображения и данных второго усовершенствованного изображения.

10. Устройство обработки изображений по п.1, в котором средство коррекции выполнено с возможностью генерирования третьего усовершенствованного изображения посредством коррекции данных изображения сцены с использованием третьего значения коррекции баланса белого, соответствующего третьему источнику света сцены, при этом средство объединения выполнено с возможностью объединения данных первого, второго и третьего усовершенствованных изображений.

11. Устройство обработки изображений по п.10, включающее в себя второе средство определения, выполненное с возможностью определять из данных изображения сцены второе и третье значения коррекции баланса белого, соответствующих второму и третьему источникам света, с использованием значения, предварительно определенного для каждого источника света.

12. Способ обработки изображения, содержащий этапы, на которых
генерируют из данных изображения сцены данные первого усовершенствованного изображения посредством коррекции данных изображения сцены с использованием первого значения коррекции баланса белого, соответствующего первому источнику света сцены, и генерируют данные второго усовершенствованного изображения посредством коррекции данных изображения с использованием второго значения коррекции баланса белого, соответствующего второму источнику света сцены;
разделяют данные изображения сцены на множество блоков;
вычисляют значение оценки цвета каждого из блоков посредством добавления и усреднения значений пикселей в данных изображения сцены для каждого из блоков, полученных посредством упомянутого разделения;
вычисляют отношение объединения на основе разности между вычисленным значением оценки цвета каждого блока и значением оценки цвета белого при втором источнике света; и
объединяют данные первого усовершенствованного изображения и данные второго усовершенствованного изображения, сгенерированные посредством коррекции, согласно вычисленному отношению объединения.

13. Способ обработки изображения по п.12, дополнительно содержащий этапы, на которых
определяют первое значение коррекции баланса белого, соответствующее первому источнику света, из данных изображения сцены; и
определяют второе значение коррекции баланса белого, соответствующее второму источнику света, из данных изображения сцены.

14. Запоминающее устройство, на котором записана программа, содержащая команды, которые при их исполнении компьютером предписывают компьютеру выполнять способ по п.12 или 13.