УСТРОЙСТВО ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЯ, СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ И НОСИТЕЛЬ ЗАПИСИ Российский патент 2014 года по МПК H04N9/73 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к коррекции баланса белого для изображения, захваченного посредством устройства для получения изображений.

Предшествующий уровень техники

[0002] Обычно, устройства для получения изображений, использующие датчик изображения, такие как цифровая камера и цифровая видеокамера, предусматриваются вместе с функцией управления балансом белого для регулирования цветового тона изображения, захваченного посредством операции получения изображения. Это управление балансом белого включает в себя ручное управление балансом белого, которое получает коэффициент баланса белого посредством получения изображения белого объекта заранее и применяет вычисленный коэффициент баланса белого ко всему экрану. Дополнительно, управление балансом белого включает в себя автоматическое управление балансом белого, которое автоматически обнаруживает возможный белый участок из захваченного изображения, вычисляет коэффициент баланса белого из среднего значения каждого цветового компонента на всем экране и осуществляет применение вычисленного коэффициента баланса белого ко всему экрану.

[0003] Далее будет описан стандартный способ автоматического управления балансом белого. Выход аналогового сигнала от датчика изображения преобразуется в цифровой сигнал посредством аналого-цифрового (A/D) преобразования и делится на множество блоков, как проиллюстрировано на фиг.3. Каждый из блоков является составленным посредством красного (R), зеленого (G) и синего (B) цветных пикселей, и для каждого блока вычисляется значение оценки цвета (Cx[i], Cy[i]) посредством, например, нижеследующего уравнения (1).

УРАВНЕНИЕ 1

Cx[i]=(R[i]-B[i])/Y[i]×1024

Cy[i]=(R[i]+B[i]-2G[i])/Y[i]×1024

(В этом уравнении, i представляет собой номер блока, R[i], G[i] и B[i], каждый, представляют собой среднее значение пикселей RGB, включенных в блок i, а Y[i]=(R[i]+2G[i]+B[i])/4.)

[0004] Затем, если вычисленное значение оценки цвета (Cx[i], Cy[i]) попадает в пределы предварительно установленного диапазона обнаружения белого, этот блок определяется как белый блок. Затем, вычисляется значение суммирования (SumR, SumG, SumB) цветных пикселей, включенных в такие блоки, и вычисляется коэффициент (WBCo_R, WBCo_G, WBCo_B) баланса белого посредством нижеследующего уравнения (2).

УРАВНЕНИЕ 2

WBCo_R=SumY×1024/sumR

WBCo_G=SumY×1024/sumG

WBCo_B=SumY×1024/sumB

(В этом уравнении, SumY=(sumR+2×sumG+sumB)/4.)

[0005] Однако такое автоматическое управление балансом белого имеет нижеследующую проблему; в сцене, когда устройство для получения изображений захватывает изображение, в то же самое время излучая свет вспышки, даже когда на изображении имеется в наличии источник света, отличный от света вспышки, устройство для получения изображений выполняет управление балансом белого посредством применения коэффициента баланса белого, вычисленного как упомянуто выше, ко всему экрану. Вследствие этого, является трудным выполнять управление балансом белого так, чтобы достигать подходящих цветовых оттенков для обоих источников света. Например, в сцене, когда устройство для получения изображений излучает свет вспышки, представляющий собой источник света, имеющий высокую цветовую температуру, если окружающее освещение содержит источник света низкой цветовой температуры, такой как источник цвета лампы освещения, управление балансом белого на основе света вспышки приводит в результате к непригодному балансу белого для источника света низкой цветовой температуры в окружающем освещении. С другой стороны, управление балансом белого на основе источника света низкой цветовой температуры в окружающем освещении приводит в результате к непригодному балансу белого для света вспышки. Дополнительно, даже если устройство для получения изображений выполняет управление балансом белого посредством регулирования баланса белого до среднего между соответствующими источниками света, это в результате приводит к непригодному балансу белого для обоих источников света, приводя к формированию изображения, в котором области, облучаемой светом вспышки, придается оттенок синего, в то время как области, облучаемой источником света низкой цветовой температуры, придается оттенок красного.

[0006] Вследствие этого, для решения этой проблемы, например, метод, описанный в патенте Японии № 3540485, вычисляет отношение данных посредством сравнения изображения, захваченного с включенной вспышкой, с изображением, захваченным с выключенной вспышкой, для каждой произвольной области объекта и определяет степень вклада света вспышки на основе вычисленного значения отношения. Этот метод выполняет управление балансом белого посредством выбора значения управления балансом белого для каждой области видеоданных, захваченных при экспозиции со светом вспышки, в соответствии со степенью вклада.

[0007] Однако, стандартный метод, описанный в патенте Японии № 3540485, выполняет процесс усовершенствования после варьирования значения управления балансом белого для каждой области, посредством чего другое управление, такое как воспроизведение цветов, может становиться непригодным для значения управления балансом белого. Как результат, стандартный метод не может полностью воспроизводить подходящий оттенок.

Сущность изобретения

[0008] Настоящее изобретение направлено на формирование изображения, достигающего подходящего оттенка даже в такой сцене, когда излучается свет вспышки.

[0009] В соответствии с одним аспектом настоящего изобретения устройство для обработки изображения включает в себя средство коррекции, сконфигурированное для формирования из первых данных изображения, захваченных в то время, как излучается свет вспышки, первых усовершенствованных данных изображения посредством коррекции с использованием первого значения коррекции баланса белого, соответствующего свету вспышки, и вторых усовершенствованных данных изображения посредством коррекции с использованием второго значения коррекции баланса белого, соответствующего внешнему свету; средство деления, сконфигурированное для деления первых данных изображения на множество блоков; средство вычисления составного коэффициента, сконфигурированное для вычисления компонента вспышки и компонента внешнего света каждого из блоков, разделенных посредством средства деления, из значения яркости первых данных изображения и значения яркости вторых данных изображения, захваченных в то время, как излучение света вспышки не осуществляется, и вычисления составного коэффициента для каждого из блоков на основе вычисленных компонента вспышки и компонента внешнего света каждого из блоков; и средство объединения, сконфигурированное для объединения первых усовершенствованных данных изображения и вторых усовершенствованных данных изображения, сформированных посредством данного средства коррекции в соответствии с указанным составным коэффициентом.

[0010] Аспекты изобретения могут также предусматривать компьютерную программу и компьютерный программный продукт для выполнения какого-либо любого из способов, описанных в настоящем документе, и/или для осуществления какого-либо любого из признаков устройства, описанных в настоящем документе, а также считываемую компьютером среду (носитель), сохранившую на себе программу для выполнения какого-либо любого из способов, описанных в настоящем документе, и/или для осуществления какого-либо любого из признаков устройства, описанных в настоящем документе. Аспекты данного изобретения могут распространяться на способы, устройство и/или использование, по существу, как описано в настоящем документе со ссылкой на сопроводительные чертежи. Какой-либо любой признак в одном аспекте изобретения может быть применен к другим аспектам изобретения в какой-либо любой походящей комбинации. В частности, признаки аспектов способа могут быть применены к аспектам устройства и наоборот. Более того, признаки, осуществленные в виде аппаратного оборудования, могут обычно осуществляться в виде программного обеспечения и наоборот. Какая-либо любая ссылка на признаки программного обеспечения и аппаратного оборудования в настоящем документе должна рассматриваться соответствующим образом. Дополнительно, предпочтительные признаки и аспекты настоящего изобретения будут описаны далее путем примера со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

[0011] Сопроводительные чертежи, включенные в и составляющие часть описания, иллюстрируют примерные (иллюстративные) варианты осуществления, признаки и аспекты данного изобретения и, вместе с описанием, служат для объяснения принципов данного изобретения, на чертежах:

[0012] фиг.1 изображает структурную диаграмму, иллюстрирующую пример конфигурации цифровой камеры в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

[0013] фиг.2 изображает блок-схему, иллюстрирующую пример обработки для объединения двух изображений;

[0014] фиг.3 изображает блоки, каждый составленный посредством цветных пикселей R, G и B;

[0015] фиг.4A и фиг.4B изображают диаграммы зависимости, каждая иллюстрирующая пример отношения значения оценки цвета для использования при обнаружении белого;

[0016] фиг.5 изображает блок-схему, иллюстрирующую пример обработки для определения первого значения коррекции WB;

[0017] фиг.6 изображает управление захватом изображения, выполненное в хронологическом порядке;

[0018] фиг.7 изображает диаграмму зависимости, иллюстрирующую отношение значения оценки цвета, когда в зависимости от режима работы формируется спектральное различие;

[0019] фиг.8 изображает пример различия между яркостью до излучения света вспышки и яркостью после излучения света вспышки;

[0020] фиг.9 изображает диаграмму зависимости, иллюстрирующую отношение между входом и выходом в случае, когда источник света имеет низкую цветовую температуру.

Подробное описание вариантов осуществления изобретения

[0021] Различные иллюстративные варианты осуществления, признаки и аспекты данного изобретения будут детально описаны ниже со ссылкой на чертежи.

[0022] Далее в настоящем документе, иллюстративный вариант осуществления полезного устройства для обработки изображения по настоящему изобретению будет детально описан со ссылкой на сопроводительные чертежи. Фиг.1 изображает структурную диаграмму, иллюстрирующую пример конфигурации цифровой камеры 100 в соответствии с настоящим примерным вариантом осуществления. Касательно фиг.1, твердотельный датчик 101 изображения представляет собой датчик изображения, составленный посредством, например, прибора с зарядовой связью (CCD) или комплиментарного металло-оксидного полупроводника (CMOS). Поверхность твердотельного датчика 101 изображения покрыта, например, цветным фильтром RGB, таким как матрица Байера, так, чтобы быть сконфигурированной с возможностью осуществления цветного фотографирования. Когда на твердотельном датчике 101 изображения формируется изображение объекта, твердотельный датчик 101 изображения формирует данные изображения (сигнал изображения), которые затем сохраняются в памяти 102.

[0023] Блок 114 управления вычисляет такую скорость срабатывания затвора и значение диафрагмы, при которых освещается все изображение, и вычисляет рабочий размер фокусной линзы так, чтобы осуществлять фокусирование на объекте, расположенном в пределах области фокусирования. Затем, информация, вычисленная посредством блока 114 управления, то есть значение экспозиции (скорость срабатывания затвора и значение диафрагмы), а также рабочий размер фокусной линзы передаются на схему 113 управления получением изображения, и в соответствии с соответствующими значениями осуществляется управление соответствующими блоками и частями. Блок 103 управления балансом белого (WB) вычисляет значение коррекции WB на основе сигнала изображения, сохраненного в памяти 102, и применяет коррекцию WB к сигналу изображения, сохраненному в памяти 102, с использованием вычисленного значения коррекции WB. Детали конфигурации блока 103 управления WB и способ для вычисления значения коррекции WB будут описаны позднее.

[0024] Схема 104 матрицы преобразования цвета преобразовывает сигнал изображения, к которому блок 103 управления WB применил коррекцию WB, в цветоразностный сигнал R-Y/B-Y посредством умножения сигнала изображения на коэффициент усиления цвета так, чтобы сигнал изображения мог быть воспроизведен посредством оптимального цвета. Схема 105 фильтра нижних частот (LPF) представляет собой схему для ограничения полосы цветоразностного сигнала R-Y/B-Y. Схема 106 подавления цветности (CSUP) представляет собой схему для удаления ложного цветового сигнала насыщенного участка сигналов изображения полосы, ограниченной посредством схемы 105 фильтра LPF.

[0025] С другой стороны, сигнал изображения, к которому блок 103 управления WB применил коррекцию WB, также выводится на схему 111 формирования сигнала яркости. Данная схема 111 формирования сигнала яркости формирует сигнал яркости Y из входного сигнала изображения. Схема 112 выделения края применяет обработку выделения края к сформированному сигналу яркости Y.

[0026] Схема 107 преобразования RGB осуществляет преобразование цветоразностного сигнала R-Y/B-Y, выведенного из схемы 106 CSUP, и сигнала яркости Y, выданного от схемы 112 выделения края, в сигнал RGB. Схема 108 гамма-коррекции применяет коррекцию градаций к преобразованному сигналу RGB. После этого схема 109 преобразования яркости цвета преобразует сигнал RGB со скорректированной градацией в сигнал YUV. Дополнительно, схема 110 сжатия, разработанного объединенной экспертной группой по фотографии (JPEG), осуществляет сжатие преобразованного сигнала YUV посредством, например, способа JPEG и сохраняет сжатые данные на внешнем или на внутреннем носителе 115 записи в качестве сигнала изображения.

[0027] Далее, будет детально описан способ, по которому блок 103 управления WB вычисляет значения коррекции WB. Фиг.5 представляет собой блок-схему, иллюстрирующую пример процедуры обработки, которую блок 103 управления WB выполняет для вычисления первого значения коррекции баланса белого (первого значения коррекции WB) для изображения, захваченного в то время, как осуществляется излучение света вспышки. Как будет описано в настоящем документе, данное первое значение коррекции WB относится к значению коррекции, вычисленному посредством управления балансом белого, соответствующего свету вспышки.

[0028] Вначале, на этапе S501 блок 103 управления WB считывает сигнал изображения (первых данных изображения), сохраненный в памяти 102, и делит экран изображения на произвольное количество m блоков. Затем, на этапе S502 для каждого из m блоков, блок 103 управления WB выводит среднюю величину значений пикселей для каждого цвета для вычисления среднего значения цвета (R[i], G[i], B[i]). Затем, блок 103 управления WB дополнительно вычисляет значение оценки цвета (Cx[i], Cy[i]) с использованием нижеследующего уравнения (3).

УРАВНЕНИЕ 3

Cx[i]=(R[i]-B[i])/Y[i]×1024

Cy[i]=(R[i]+B[i]-2G[i])/Y[i]×1024

(В этом уравнении, Y[i]=(R[i]+2G[i]+B[i])/4.)

[0029] Затем, на этапе S503 блок 103 управления WB выполняет обнаружение белого для определения, находится ли значение оценки цвета в пределах диапазона обнаружения белого. Далее будет описан способ обнаружения белого.

[0030] Фиг.4A и фиг.4B представляют собой диаграммы зависимости, каждая обозначающая отношение значения оценки цвета для использования при обнаружении белого. На фиг.4A отрицательное направление оси x (Cx) представляет значение оценки цвета, когда изображается белый объекта высокой цветовой температуры, в то время как положительное направление оси x представляет значение оценки цвета, когда изображается белый объекта низкой цветовой температуры. Дополнительно, координата y (Cy) представляет степень компонента зеленого в источнике света. По мере того, как значение увеличивается в отрицательном направлении оси y, компонент зеленого увеличивается, что обозначает, что источником света является флуоресцентная лампа. На этапе S503 блок 103 управления WB определяет, расположено ли значение оценки цвета (Cx[i], Cy[i]) i-ого блока, вычисленного на этапе S502, в пределах предварительно установленного диапазона 401 обнаружения белого, проиллюстрированного на фиг.4A.

[0031] Диапазон 401 обнаружения белого, проиллюстрированный на фиг.4A, представляет собой ограниченный диапазон обнаружения, поскольку это предназначено обнаруживать белый при источнике света от света вспышки. Если вычисленное значение оценки цвета (Cx[i], Cy[i]) является расположенным в пределах этого диапазона 401 обнаружения белого («ДА» на этапе S503), блок 103 управления WB определяет, что этот блок является белым. Затем, на этапе S504 блок 103 управления WB добавляет среднее значение цвета (R[i], G[i], B[i]) этого блока. С другой стороны, если вычисленное значение оценки цвета не является расположенным в пределах диапазона 401 обнаружения белого («НЕТ» на этапе S503), обработка переходит к этапу S505 без добавления среднего значения цвета этого блока. При осуществлении этого вычисления на этапе S504 блок 103 управления WB добавляет средние значения цвета (R[i], G[i], B[i]) с использованием нижеследующего уравнения (4).

УРАВНЕНИЕ 4

[0032] В этом уравнении (4) Sw[i] устанавливается на 1, если значение оценки цвета (Cx[i], Cy[i]) является расположенным в пределах диапазона 401 обнаружения белого, при этом Sw[i] устанавливается на 0, если значение оценки цвета (Cx[i], Cy[i]) не является расположенным в пределах диапазона 401 обнаружения белого. Установка Sw[i] таким способом обеспечивает блоку 103 управления WB возможность выполнять или пропускать добавление среднего значения цвета (R[i], G[i], B[i]).

[0033] Затем, на этапе S505 блок 103 управления WB определяет, определил ли блок 103 управления WB то, является ли значение оценки цвета расположенным в пределах диапазона 401 обнаружения цвета для всех блоков. В результате определения на этапе S505, если в наличии остался какой-либо любой блок, предназначенный для обработки («НЕТ» на этапе S505), обработка возвращается на этап S502. Если все из блоков являются обработанными («ДА» на этапе S505), обработка переходит на следующий этап, этап S506. Таким образом, когда блок 103 управления WB закончил обработку для всех блоков, определяется значение суммирования (SumR1, SumG1, SumB1) в уравнении (4).

[0034] Затем, на этапе S506 блок 103 управления WB вычисляет первое значение коррекции WB (WBCol_R1, WBCol_G1, WBCol_B1) из определенного значения суммирования (SumR1, SumG1, SumB1) средних значений цвета с использованием нижеследующего уравнения (5).

УРАВНЕНИЕ 5

WBCol_R1=sumY1×1024/sumR1

WBCol_G1=sumY1×1024/sumG1

WBCol_B1=sumY1×1024/sumB1

(В этом уравнении, sumY1=(sumR1+2×sumG1+sumB1)/4.)

[0035] В альтернативном варианте первое значение коррекции WB для света вспышки может быть установлено заранее в качестве известного значения.

[0036] Далее, будет описан способ для вычисления второго значения коррекции баланса белого (второго значения коррекции WB). Данное второе значение коррекции WB вычисляется из данных изображения (вторых данных изображения), захваченных в то время, как излучение света вспышки не осуществляется. Фиг.6 иллюстрирует управление захватом изображения, выполненное в хронологическом порядке. Касательно фиг.6, цифровая камера 100 периодически захватывает изображение визирования по экрану (предпросмотра в реальном времени) до того, как осуществляется нажатие кнопки затвора наполовину (это состояние далее в настоящем документе именуется как «SW1»). Когда цифровая камера 100 устанавливается в состояние SW1, цифровая камера 100 начинает блокировку автоматической фокусировки (AF) и блокировку автоматической экспозиции (AE). Дополнительно, когда кнопка затвора является нажатой полностью (это состояние далее в настоящем документе именуется как «SW2»), цифровая камера 100 излучает свет вспышки в качестве пробной вспышки и затем переходит к основной экспозиции. В настоящем иллюстративном варианте осуществления данные изображения, захваченные в то время, как излучение света вспышки не осуществляется, соответствуют данным изображения, освещаемым во время периода, обозначенного позицией «Внешний свет» на фиг.6, которые являются захваченными до пробной вспышки. В альтернативном варианте данные изображения, захваченные в то время, как излучение света вспышки не осуществляется, могут представлять собой данные изображения, освещаемые и захвачиваемые после основной вспышки.

[0037] Способ вычисления второго значения коррекции WB выполняется посредством блока 103 управления WB таким же способом, как и вышеописанный способ вычисления первого значения коррекции WB. Отличием от вычисления первого значения коррекции WB является использование диапазона обнаружения белого для внешнего света, как обозначено посредством диапазона 402 обнаружения белого, проиллюстрированного на фиг.4B. Это происходит постольку, поскольку свет вспышки представляет собой известный источник света, в то время как внешний свет представляет собой неизвестный источник света, вследствие чего является невозможным установить ограничение для диапазона обнаружения белого, соответствующего внешнему свету, такое как установка ограничения для диапазона обнаружения белого 401, соответствующего излучению света вспышки.

[0038] Диапазон обнаружения белого 402, проиллюстрированный на фиг.4B, определяется посредством съемки белого при различных источниках света заранее и выстраивания кривой вычисленных значений оценки цвета относительно линии цветностей черного тела. Этот диапазон 402 обнаружения белого может устанавливаться так, чтобы иметь различный диапазон в зависимости от режима съемки. Второе значение коррекции WB может применяться даже к другому режиму работы для получения изображения. Например, в качестве второго значения коррекции WB может быть использовано вычисленное в прошлом значение коррекции WB для электронного видоискателя (EVF). Однако, в случае, когда в зависимости от режима работы формируется спектральное различие, Cx и Cy корректируются посредством ∆Cx и ∆Cy, как проиллюстрировано на фиг.7, а затем вычисляется второе значение коррекции WB.

[0039] Дополнительно, если задний план облучается с помощью источника света низкой цветовой температуры, такого как источник цвета лампы освещения, второе значение коррекции WB может вычисляться так, чтобы поддерживать оттенок для сохранения настроения сцены. Например, отношение цветовых температур устанавливается так, чтобы входное изображение выводилось в качестве изображения, имеющего другую цветовую температуру, как отношение, проиллюстрированное на фиг.9. Таким образом, если управление балансом белого осуществляется с тем, чтобы поддерживать оттенок, когда цветовая температура второго значения коррекции WB является низкой, например, может формироваться изображение, сохраняющее оттенок красного источника цвета лампы освещения.

[0040] Далее, со ссылкой на блок-схему, проиллюстрированную на фиг.2, будет описана обработка для объединения изображений. Фиг.2 представляет собой блок-схему, иллюстрирующую пример обработки, которую блок 103 управления WB выполняет для объединения изображений. Вначале, на этапе S201 блок 103 управления WB определяет, является ли разность между первым значением коррекции WB и вторым значением коррекции WB, вычисленными посредством процедуры, проиллюстрированной на фиг.5, равной или меньшей, чем предварительно определенное значение. В результате этого определения, если разность является равной или меньшей, чем предварительно определенное значение («ДА» на этапе S201), блок 103 управления WB не выполняет обработку для объединения изображений. Затем, на этапе S211 блок 103 управления WB выполняет обычное управление балансом белого. Данное обычное управление балансом белого будет описано позднее.

[0041] С другой стороны, в результате определения на этапе S201, если разность превышает предварительно определенное значение («НЕТ» на этапе S201), обработка переходит к этапу S202, на котором блок 103 управления WB определяет, является ли объект движущимся. В это время блок 103 управления WB осуществляет обнаружение объекта посредством известного метода и определяет, является ли объект движущимся, посредством сравнения данных изображения, захваченных в то время, как осуществляется излучение света вспышки, с данными изображения, захваченными в то время, как излучение света вспышки не осуществляется, и вычисления того, является ли разность между ними равной или большей, чем предварительно определенное количество. В результате этого определения, если объект является движущимся («ДА» на этапе S202), обработка переходит к этапу S211.

[0042] С другой стороны, в результате определения на этапе S202, если объект не является движущимся («НЕТ» на этапе S202), обработка переходит к этапу S203, на котором блок 103 управления WB определяет, превышает ли расстояние между цифровой камерой 100 и объектом предварительно определенное значение. В это время, в качестве расстояния до объекта блок 103 управления WB может использовать фокусное расстояние или может использовать значение, предварительно введенное в качестве расстояния до объекта, как есть. В результате этого определения, если расстояние превышает предварительно определенное значение («ДА» на этапе S203), обработка переходит к этапу S211. С другой стороны, в результате определения на этапе S203, если расстояние является равным или меньшим, чем предварительно определенное значение («НЕТ» на этапе S203), обработка переходит к этапу S204 для выполнения обработки для объединения изображений.

[0043] Затем, на этапе S204 блок 103 управления WB применяет коррекцию баланса белого с использованием вышеописанного первого значения коррекции WB к сигналу изображения (первым данным изображения), сохраненному в памяти 102, и формирует усовершенствованный сигнал Yuv1 изображения в качестве первых усовершенствованных данных изображения. Затем, на этапе S205, схожим образом, блок 103 управления WB применяет коррекцию баланса белого, с использованием вышеописанного второго значения коррекции WB, к первым данным изображения и формирует усовершенствованный сигнал Yuv2 изображения в качестве вторых усовершенствованных данных изображения. Далее, на этапе S206 блок 103 управления WB делит каждый из сигналов изображения (изображения, захваченного в то время, как осуществляется излучение света вспышки, и изображения, захваченного в то время, как излучение света вспышки не осуществляется), сохраненных в памяти 102, усовершенствованного сигнала Yuv1 изображения, а также усовершенствованного сигнала Yuv2 изображения, на n блоков.

[0044] Затем, на этапе S207 блок 103 управления WB выводит среднюю величину значений пикселей для каждого цвета для вычисления среднего значения цвета (R2[i], G2[i], B2[i]) для каждого из блоков в изображении, захваченном в то время, как излучение света вспышки не осуществляется, которое является сохраненным в памяти 102. Затем, блок 103 управления WB вычисляет значение a[i] яркости каждого блока с использованием нижеследующего уравнения (6). В это время значение a[i] яркости каждого блока, вычисленного таким образом, устанавливается в качестве компонента внешнего света каждого блока.

УРАВНЕНИЕ 6

a[i]=0,3×R2[i]+0,6×G2[i]+0,1×B2[i]

[0045] Затем, на этапе S208 блок 103 управления WB выводит среднюю величину значений пикселей для каждого цвета для вычисления среднего значения цвета (R1[i], G1[i], B1[i]) для каждого из блоков в изображении, захваченном в то время, как осуществляется излучение света вспышки во время основной экспозиции, схожим с вычислением значения a[i] яркости образом. Затем, блок 103 управления WB осуществляет вычисление значения b[i] яркости каждого блока с использованием нижеследующего уравнения (7).

УРАВНЕНИЕ 7

b[i]=0,3×R1[i]+0,6×G1[i]+0,1×B1[i]

[0046] Затем, блок 103 управления WB дополнительно вычисляет компонент c[i] вспышки каждого блока посредством вычитания из вычисленного значения b[i] яркости каждого блока значения a[i] яркости соответствующего блока в изображении, захваченном в то время, как излучение света вспышки не осуществляется.

[0047] Затем, на этапе S209 блок 103 управления WB вычисляет отношение компонента c[i] вспышки к компоненту a[i] внешнего света для каждого блока посредством сравнения компонента c[i] вспышки и компонента a[i] внешнего света, соответствующих друг другу. Затем, блок 103 управления WB вычисляет составной коэффициент α[i] для каждого блока, используемого при объединении усовершенствованного сигнала Yuv1 изображения и усовершенствованного сигнала Yuv2 изображения, с использованием нижеследующего уравнения (8).

УРАВНЕНИЕ 8

[0048] Затем, на этапе S210 блок 103 управления WB объединяет усовершенствованный сигнал Yuv1 изображения и усовершенствованный сигнал Yuv2 изображения в соответствии с составным коэффициентом α[i] каждого блока для формирования объединенного сигнала Yuv3 изображения. Вычисление значения (Y3[i], u3[i], v3[i]) оценки цвета объединенного сигнала Yuv3 изображения осуществляется с использованием значения (Y1[i], u1[i], v1[i]) оценки цвета усовершенствованного сигнала Yuv1 изображения и значения (Y2[i], u2[i], v2[i]) оценки цвета усовершенствованного сигнала Yuv2 изображения. Более конкретно, вычисление значения (Y3[i], u3[i], v3[i]) оценки цвета объединенного сигнала Yuv3 изображения осуществляется посредством нижеследующего уравнения (9).

УРАВНЕНИЕ 9

Y3[i]=Y1[i]×α[i]+Y2[i]×(1-α[i])

u3[i]=u1[i]×α[i]+u2[i]×(1-α[i])

v3[i]=v1[i]×α[i]+v2[i]×(1-α[i])

[0049] В это время блок 103 управления WB может дополнительно выполнять обработку интерполяции пикселей на этапе S209 для вычисления составного коэффициента α'[j] каждого пикселя из составного коэффициента α[i] каждого блока с тем, чтобы уменьшить вариацию оттенков, которая может формироваться на границе между блоками. Например, блок 103 управления WB вычисляет составные коэффициенты α'[j] каждого пикселя из составного коэффициента α[i] каждого блока с использованием билинейной интерполяции в качестве обработки интерполяции пикселей. В это время на этапе S210 формируют объединенный сигнал Yuv3 изображения посредством объединения усовершенствованного сигнала Yuv1 изображения и усовершенствованного сигнала Yuv2 изображения с использованием составного коэффициента α'[j] каждого пикселя. Вычисление значения (Y3[j], u3[j], v3[j]) оценки цвета объединенного сигнала Yuv3 изображения осуществляется с использованием значения (Y1[j], u1[j], v1[j]) оценки цвета усовершенствованного сигнала Yuv1 изображения и значения (Y2[j], u2[j], v2[j]) оценки цвета усовершенствованного сигнала Yuv2 изображения. Более конкретно, вычисление (Y3[j], u3[j], v3[j]) значения оценки цвета объединенного сигнала Yuv3 изображения осуществляется посредством нижеследующего уравнения (10).

УРАВНЕНИЕ 10

Y3[j]=Y1[j]×α'[j]+Y2[j]×(1-α'[j])

u3[j]=u1[j]×α'[j]+u2[j]×(1-α'[j])

v3[j]=v1[j]×α'[j]+v2[j]×(1-α'[j])

[0050] Дополнительно, на этапе S210 блок 103 управления WB может менять обработку для каждого блока посредством определения того, выполнять ли обработку для объединения изображений для каждого блока в соответствии со значением яркости каждого блока в изображении, захваченном в то время, как осуществляется излучение света вспышки во время основной экспозиции. В этом случае, если блок, обработка которого осуществляется в текущий момент, имеет низкое значение яркости или высокое значение яркости, блок 103 управления WB не применяет обработку для объединения изображений к этому блоку, а вместо этого выполняет обработку усовершенствования с использованием значения коррекции WB, вычисленного посредством обычного управления балансом белого, которое будет описано позднее. С другой стороны, если блок, обработка которого осуществляется в текущий момент, имеет значение яркости, отличное от вышеуказанных значений, блок 103 управления WB применяет к этому блоку такую же самую обработку, что и описанная выше обработка для объединения изображений.

[0051] Далее, будет детально описано обычное управление балансом белого, выполняемое на этапе S211. Вначале блок 103 управления WB вычисляет первое значение управления WB и второе значение управления WB таким же самым способом, что и вычисление значения коррекции WB, проиллюстрированное на фиг.5. Затем, блок 103 управления WB выполняет взвешенное суммирование первого значения коррекции WB и второго значения коррекции WB. Это взвешенное суммирование выполняется на основе отношения проекции внешнего света к свету вспышки, проецируемому на объект.

[0052] Далее, будет описан способ вычисления отношения проекции. Вначале, как проиллюстрировано на фиг.8, блок 103 управления WB получает данные изображения до того, как осуществляется излучение света вспышки в качестве пробной вспышки, и вычисляет блок a яркости, составленный посредством матрицы (m×n) из данных изображения, захваченных до пробной вспышки. После этого осуществляется излучение света вспышки в качестве пробной вспышки во временной промежуток, обозначенный на фиг.6, и блок 103 управления WB получает данные изображения, сформированные во время этой пробной вспышки. Затем, блок 103 управления WB также вычисляет блок b яркости, составленный посредством матрицы (m×n), при том же самом условии, что и условие для изображения, захваченного до пробной вспышки. Эти блоки яркости a и b временно сохраняются, например, в памяти 102 цифровой камеры 100.

[0053] Дополнительно, предполагается, что задний план объекта остается по существу неизменным между данными изображения до пробной вспышки и данными изображения во время пробной вспышки. Вследствие этого, разность данных между блоком a яркости и блоком b яркости обозначает свет, отражающийся на области объекта, когда осуществляется излучение света вспышки в качестве пробной вспышки, и тем самым из этой разности данных может быть получена информация о местоположении объекта.

[0054] Блок 103 управления WB получает блок, соответствующий местоположению объекта, из вычисленной таким образом информации c о местоположении объекта и на полученном блоке осуществляет вычисление яркости Y1 во время основной экспозиции и яркости Y2 в то время, как излучение света вспышки не осуществляется. В это время, если условие экспозиции во время основной экспозиции является отличным от условия экспозиции, когда излучение света вспышки не осуществляется, блок 103 управления WB вычисляет яркость Y1 и яркость Y2 после выравнивания условий экспозиции. Блок 103 управления WB устанавливает отношение вычисленной таким образом яркости Y1 к яркости Y2 в качестве отношения количеств света (отношения смешения), проецируемого на объект, и вычисляет третье значение коррекции баланса белого посредством выполнения взвешенного суммирования первого значения коррекции WB и второго значения коррекции WB в соответствии с этим отношением смешения. Блок 103 управления WB определяет третье значение коррекции WB, полученное таким же путем, что и значение коррекции WB, которое блок 103 управления WB использует при обработке WB, а также производит усовершенствование и формирует окончательные усовершенствованные данные изображения (третьи усовершенствованные данные изображения).

[0055] Дополнительно, для усовершенствованного сигнала изображения описанная выше обработка для объединения изображений использует формат Yuv, но может, в качестве формата изображения, использовать, например, формат RGB. В этом случае уравнение (9), используемое на этапе S210, вместо значения (Y[i], u[i], v[i]) оценки цвета содержит значение (R[i], G[i], B[i]) оценки цвета, а блок 103 управления WB вычисляет значение (R3[i], G3[i], B3[i]) оценки цвета объединенного сигнала RGB3 изображения.

[0056] Таким образом, в соответствии с настоящим примерным вариантом осуществления, блок 103 управления WB объединяет изображение, подвергающееся обработке WB, соответствующей свету вспышки, и изображение, подвергающееся обработке WB, соответствующей внешнему свету, на основе составного коэффициента каждого блока. В качестве результата, является возможным формировать изображение с основным объектом и задним планом, оба имеющие оттенки подходящих цветов, чтобы тем самым обеспечить пользователя предпочтительным изображением, даже в сцене, когда осуществляется излучение света вспышки.

Другие варианты осуществления

[0057] Аспекты настоящего изобретения могут также быть реализованы посредством компьютера системы или устройства (или устройств, таких как CPU или MPU), который(ое) считывает и выполняет программу, записанную на устройстве памяти, для выполнения функций вышеописанного(ых) варианта(ов) осуществления, а также посредством способа, этапы которого выполняются компьютером системы или устройством посредством, например, считывания и выполнения программы, записанной на устройстве памяти, для выполнения функций вышеописанного(ых) варианта(ов) осуществления. Для этого на компьютер, например, через посредство сети, или от записывающей среды (носителя записи) различных типов, служащей в качестве устройства памяти (например, считываемой компьютером среды (носителя записи)), обеспечивается программа.

[0058] В то время как настоящее изобретение было описано со ссылкой на иллюстративные варианты осуществления, необходимо понимать, что данное изобретение не ограничивается раскрытыми примерными вариантами осуществления. Объем нижеследующей формулы изобретения должен соответствовать наиболее широкой интерпретации так, чтобы охватывать все модификации, эквивалентные структуры и функции.

Изобретение относится к устройствам обработки изображений. Техническим результатом является формирование изображения, достигающего подходящего оттенка, даже когда излучается свет вспышки. Результат достигается тем, что формируют первые усовершенствованные данные изображения посредством коррекции первых данных изображения с использованием значения коррекции баланса белого, соответствующего свету вспышки, формируют вторые усовершенствованные данные изображения посредством коррекции первых данных изображения с использованием второго значения коррекции баланса белого, соответствующего внешнему свету, вычисляют составной коэффициент каждого блока на основе компонента вспышки и компонента внешнего света каждого из блоков, на которые разделены первые данные изображения, и объединяют первые усовершенствованные данные изображения и вторые усовершенствованные данные изображения в соответствии с вычисленным составным коэффициентом. 3 н. и 9 з.п. ф-лы, 9 ил.

1. Устройство обработки изображения, содержащее:
средство коррекции, сконфигурированное для формирования из первых данных изображения, захваченных в то время, когда свет вспышки излучается, первых усовершенствованных данных изображения посредством коррекции с использованием первого значения коррекции баланса белого, соответствующего свету вспышки, и вторых усовершенствованных данных изображения посредством коррекции с использованием второго значения коррекции баланса белого, соответствующего внешнему свету;
средство деления, сконфигурированное для деления первых данных изображения на множество блоков; средство вычисления составного коэффициента, сконфигурированное для вычисления компоненты вспышки и компоненты внешнего света каждого из блоков, разделенных средством деления, из значения яркости первых данных изображения и значения яркости вторых данных изображения, захваченных в то время, когда свет вспышки не излучается, и вычисления составного коэффициента для каждого из блоков на основе вычисленных компонент вспышки и компоненты внешнего света каждого из блоков; и
средство объединения, сконфигурированное для объединения первых усовершенствованных данных изображения и вторых усовершенствованных данных изображения, сформированных посредством средства коррекции в соответствии с составным коэффициентом.

2. Устройство обработки изображения по п.1, дополнительно содержащее:
первое средство вычисления, сконфигурированное с возможностью вычисления первого значения коррекции баланса белого, соответствующего свету вспышки, из первых данных изображения, захваченных в то время, когда свет вспышки излучается;
второе средство вычисления, сконфигурированное с возможностью вычисления второго значения коррекции баланса белого, соответствующего внешнему свету, из вторых данных изображения, захваченных в то время, когда свет вспышки не излучается.

3. Устройство обработки изображения по п.1, в котором средство вычисления составного коэффициента выполнено с возможностью вычисления составного коэффициента каждого пикселя посредством обработки интерполяции.

4. Устройство обработки изображения по п.1, в котором средство объединения выполнено с возможностью селективного объединения первых усовершенствованных данных изображения и вторых усовершенствованных данных изображения в блоке на основе значения яркости, удовлетворяющего предварительно определенному условию.

5. Устройство обработки изображения по п.2, в котором второе средство вычисления осуществляет вычисление второго значения коррекции баланса белого с тем, чтобы поддерживать оттенок источника света.

6. Устройство обработки изображения по п.2, в котором второе средство вычисления выполнено с возможностью коррекции второго значения коррекции баланса белого в соответствии с режимом работы при получении изображения.

7. Устройство обработки изображения по п.2, дополнительно содержащее третье средство вычисления, сконфигурированное с возможностью вычисления отношения смешения первого и второго значений коррекции баланса белого из отношения света вспышки к внешнему свету, проецируемому на объект, содержащийся в первых данных изображения, в случае, когда разность между первым значением коррекции баланса белого и вторым значением коррекции баланса белого равна или меньше, чем предварительно определенное значение, и для вычисления третьего значения коррекции баланса белого из первого значения коррекции баланса белого и второго значения коррекции баланса белого на основе данного вычисленного отношения смешения,
причем средство коррекции выполнено с возможностью формирования третьих усовершенствованных данных изображения с использованием третьего значения коррекции баланса белого, вычисленного посредством данного третьего средства вычисления.

8. Устройство обработки изображения по п.2, дополнительно содержащее третье средство вычисления, сконфигурированное для вычисления отношения смешения значений коррекции баланса белого из отношения света вспышки к внешнему свету, проецируемому на объект, в случае, когда объект в первых данных изображения является движущимся, и вычисления третьего значения коррекции баланса белого из первого значения коррекции баланса белого и второго значения коррекции баланса белого на основе вычисленного отношения смешения,
причем средство коррекции выполнено с возможностью формирования третьих усовершенствованных данных изображения с использованием третьего значения коррекции баланса белого, вычисленного посредством третьего средства вычисления.

9. Устройство обработки изображения по п.2, дополнительно содержащее третье средство вычисления, сконфигурированное с возможностью вычисления отношения смешения значений коррекции баланса белого из отношения света вспышки к внешнему свету, проецируемому на объект, в случае, когда расстояние до объекта в первых данных изображения является большим, чем предварительно определенное количество, и вычисления третьего значения коррекции баланса белого из первого значения коррекции баланса белого и второго значения коррекции баланса белого на основе вычисленного отношения смешения,
причем средство коррекции формирует третьи усовершенствованные данные изображения с использованием третьего значения коррекции баланса белого, вычисленного посредством третьего средства вычисления.

10. Способ обработки изображения, содержащий этапы, на которых:
осуществляют первое вычисление для вычисления значения коррекции баланса белого, соответствующего свету вспышки, из первых данных изображения, захваченных в то время, когда свет вспышки излучается;
осуществляют второе вычисление для вычисления значения коррекции баланса белого, соответствующего внешнему свету, из вторых данных изображения, захваченных в то время, когда свет вспышки не излучается;
формируют из первых данных изображения, захваченных в то время, когда свет вспышки излучается, первые усовершенствованные данные изображения посредством коррекции с использованием первого значения коррекции баланса белого, соответствующего свету вспышки, и вторые усовершенствованные данные изображения посредством коррекции с использованием второго значения коррекции баланса белого, соответствующего внешнему свету;
осуществляют деление первых данных изображения на множество блоков;
вычисляют компонент вспышки и компонент внешнего света каждого из разделенных блоков из значения яркости первых данных изображения и значения яркости вторых данных изображения, захваченных в то время, когда свет вспышки не излучается, и
вычисляют составной коэффициент для каждого из блоков на основе вычисленных компонента вспышки и компонента внешнего света каждого из блоков; и
объединяют первые усовершенствованные данные изображения и вторые усовершенствованные данные изображения, сформированные посредством коррекции в соответствии с вычисленным составным коэффициентом.

11. Способ обработки изображения по п.10, дополнительно содержащий этапы, на которых:
вычисляют первое значение коррекции баланса белого, соответствующего свету вспышки, из первых данных изображения, захваченных в то время, когда свет вспышки излучается; и
вычисляют второе значение коррекции баланса белого, соответствующего внешнему свету, из вторых данных изображения, захваченных в то время, когда свет вспышки не излучается.

12. Машиночитаемый носитель, содержащий программу, которая, при выполнении посредством компьютера, побуждает компьютер выполнять способ по п.10.