УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ И УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 2015 года по МПК H04N9/07 

Область техники, к которой относится изобретение

Изобретение относится к устройству обработки изображений, способу и устройству формирования изображения, в частности к техническому приему устранения влияния смешанных цветов и т.п. между каждым из пикселей мозаичного изображения, соответствующего матрице цветных фильтров, расположенной на элементе формирования изображения одной пластины.

Уровень техники

Как правило, в элементе формирования изображения, имеющем мозаичную матрицу цветных фильтров, причиной смешанных цветов является утечка света от смежного пикселя.

Если изображение формируется путем применения цифровой обработки сигнала к цветовым сигналам RGB с множеством смешанных цветов, цветопередача (качество изображения) ухудшается. Кроме того, существует проблема, когда невозможно точно вычислить усиление WB для коррекции баланса белого (WB) из цветовых сигналов RGB со множеством смешанных цветов.

Традиционные технические приемы устранения компонента смешанных цветов из цветового сигнала, включающего в себя компонент смешанных цветов, описаны в PTL 1 и PTL 2.

Сигнальный процессор, описанный в PTL 1, сконфигурирован применять обработку для коррекции смешанных цветов к сигналу подвергающегося коррекции целевого пикселя, основанную на сигнале каждого из четырех периферийных пикселей, являющихся смежными по краям с подвергающимся коррекции целевым пикселем, путем использования параметров коррекции Ka, Kb, Kc и Kd. Можно независимо определить каждый из четырех параметров коррекции Ka, Kb, Kc и Kd. Соответственно, даже если есть направленность в смешанных цветах, вызванных периферийными пикселями относительно интересующего пикселя, обеспечивается коррекция смешанных цветов, соответствующая направленности.

Устройство формирования изображения, описанное в PTL 2, включает в себя таблицу коэффициентов, в которой коэффициент коррекции, относящийся к компоненту сигнала, примешанному к каждому из пикселей от их периферийных пикселей, сохраняется путем ассоциации с каждым из местоположений пикселей в пиксельной матрице, в которой множество пикселей расположены в направлении строк и направлении столбцов. Устройство формирования изображения, описанное в PTL 2, считывает соответствующий коэффициент коррекции из таблицы коэффициентов в соответствии с местоположением подвергающегося коррекции целевого пикселя для исправления сигнала подвергающегося коррекции целевого пикселя путем использования сигналов его периферийных пикселей и коэффициента коррекции.

Список цитирования

Патентная литература

PTL 1 Выложенная заявка на патент Японии №2007-142697.

PTL 2 Выложенная заявка на патент Японии №2010-130583.

Сущность изобретения

Техническая проблема

Изобретение, описанное в PTL 1, имеет особенность конфигурации, когда можно независимо определить каждый из параметров коррекции Ka, Кb, Kc и Kd относительно каждого из четырех периферийных пикселей, являющихся смежными по краям с подвергающимся коррекции целевым пикселем. В изобретении, если смешанные цвета изотропны (если направленность отсутствует), параметры коррекции Ka, Кb, Kc и Kd определяются при одном и том же значении, а если имеется направленность, можно определить параметры при значениях, соответствующих направлению. Параметрами коррекции Ka, Кb, Kc и Kd можно управлять извне (блок управления камерой) в режиме реального времени. В PTL 1, однако, отсутствует описание, как управлять параметрами коррекции Ka, Кb, Kc и Kd относительно местоположения отдельного подвергающегося коррекции целевого пикселя.

Изобретение, описанное в PTL 2, сконфигурировано обеспечивать таблицу коэффициентов, в которой коэффициент коррекции, относящийся к компоненту сигнала, примешанному к каждому из пикселей от их периферийных пикселей, сохраняется путем ассоциации с каждым из местоположений пикселей на поверхности датчика, поэтому можно использовать надлежащий коэффициент коррекции для каждого из местоположений пикселей на поверхности датчика. К сожалению, в этом случае имеется проблема, что количество данных для коэффициентов коррекции огромно. PTL 2 описывает выражение сравнения, которое сохраняется вместо таблицы коэффициентов для уменьшения количества данных. Однако имеется проблема, что если изменение коэффициентов коррекции на поверхности датчика не соответствует конкретному выражению сравнения, то невозможно вычислить правильный коэффициент коррекции.

Настоящее изобретение сделано в свете вышеупомянутых обстоятельств, и задачей настоящего изобретения является обеспечение устройства обработки изображений, способа и устройства формирования изображения, способных минимизировать количество данных для отношений смешения цветов, которые должны сохраняться заранее независимо от типа мозаичного изображения (матрицы цветных фильтров), и удовлетворительно выполняющих коррекцию смешанных цветов.

Решение проблемы

Для решения задачи настоящего изобретения устройство обработки изображений в соответствии с одним аспектом настоящего изобретения включает в себя: средство получения изображений, сконфигурированное получать мозаичное изображение, включающее в себя пиксели множества цветов; средство хранения, сконфигурированное хранить отношение смешения цветов, вызванное каждым периферийным пикселем, смежным с целевым пикселем, для коррекции смешанных цветов в мозаичном изображении, причем средство хранения хранит отношение смешения цветов, соответствующее комбинации первого параметра, указывающего азимутальное направление каждого из периферийных пикселей, и второго параметра, указывающего цвета периферийных пикселей; средство коррекции смешанных цветов, сконфигурированное устранять из цветового сигнала каждого из пикселей в мозаичном изображении, полученном средством получения изображений, компоненты смешанных цветов, вызванных периферийными пикселями, содержащиеся в цветовом сигнале. Когда коррекция смешанных цветов применяется к любому целевому пикселю, средство коррекции смешанных цветов сконфигурировано выполнять этапы, на которых: получают цветовой сигнал целевого пикселя и цветовые сигналы каждого из его периферийных пикселей; считывают соответствующие отношения смешения цветов из средства хранения на основании азимутальных направлений и цветов периферийных пикселей и устраняют компоненты смешанных цветов, содержащиеся в целевом пикселе, на основании цветового сигнала целевого пикселя для коррекции смешанных цветов, цветового сигнала каждого периферийного пикселя, смежного с целевым пикселем, и считываемого отношения смешения цветов каждого из периферийных пикселей.

В соответствии с одним аспектом настоящего изобретения компоненты смешанных цветов, вызванные периферийными пикселями, которые содержатся в любом целевом пикселе, устраняются на основании цветовых сигналов множества периферийных пикселей, смежных с целевым пикселем для коррекции смешанных цветов, и влияния (отношения смешения цветов) смешанных цветов, вызванных цветовыми сигналами. Отношение смешения цветов каждого из периферийных пикселей определено в зависимости от азимутального направления (например, направлений вверх-вниз и из стороны в сторону) периферийного пикселя относительно целевого пикселя и цвета периферийного пикселя, потому что влияние смешанных цветов зависит от азимутальных направлений и цветов периферийных пикселей. Средство хранения хранит отношение смешения цветов, соответствующее комбинации первого параметра, указывающего азимутальные направления периферийных пикселей, и второго параметра, указывающего цвета периферийных пикселей. Когда коррекция смешанных цветов применяется к любому целевому пикселю, происходит считывание соответствующего отношения смешения цветов из средства хранения для каждого из периферийных пикселей целевого пикселя на основании азимутальных направлений и цветов периферийных пикселей.

Средство хранения сконфигурировано хранить отношения смешения цветов только в количестве, равном числу комбинаций числа азимутальных направлений периферийных пикселей и числа цветов периферийных пикселей независимо от типа мозаичного изображения (матрицы цветных фильтров), посредством чего можно минимизировать количество данных отношений смешения цветов, которые должны быть заранее сохранены.

В устройстве обработки изображений в соответствии с другим аспектом настоящего изобретения является предпочтительным, чтобы мозаичное изображение включало в себя группу пикселей базовой матричной структуры, состоящей из M×N («M» и «N» являются целыми числами, равными 2 или более, по меньшей мере одно из целых чисел равно 3 или более) пикселей, и чтобы группа пикселей базовой матричной структуры располагалась с повторением в горизонтальном направлении и вертикальном направлении.

Как было описано выше, так как отношение смешения цветов, которое будут заранее сохранено в средстве хранения, не зависит от типа мозаичного изображения, может быть получен большой эффект сокращения количества отношений смешения цветов по мере того, как пиксельный размер базовой матричной структуры мозаичного изображения становится большим и мозаичное изображение становится сложным.

В устройстве обработки изображений в соответствии с еще одним аспектом настоящего изобретения средство коррекции смешанных цветов включает в себя средство получения параметров, сконфигурированное получать первый параметр и второй параметр каждого из периферийных пикселей, соответствующих любому целевому пикселю, на основании местоположения целевого пикселя в мозаичном изображении, и средство коррекции смешанных цветов сконфигурировано считывать соответствующее отношение смешения цветов из средства хранения на основании полученного первого параметра и полученного второго параметра, то есть если местоположение целевого пикселя указано, могут быть получены первый и второй параметры, относящиеся к периферийным пикселям целевого пикселя, посредством чего можно считать отношение смешения цветов, соответствующее первому параметру и второму параметру из средства хранения.

В устройстве обработки изображений в соответствии с еще одним аспектом настоящего изобретения мозаичное изображение выводится из элемента формирования изображения, имеющего элементную структуру, в которой усилитель совместно используется каждой заранее заданной группой пикселей. Когда третий параметр является информацией о местоположении, показывающей местоположение целевого пикселя для коррекции смешанных цветов в группе пикселей, совместно использующих усилитель, средство хранения хранит отношение смешения цветов, соответствующее комбинации первого параметра, второго параметра и третьего параметра. Средство получения параметров получает первый параметр, второй параметр и третий параметр для каждого из периферийных пикселей на основании местоположения любого целевого пикселя в мозаичном изображении. Средство коррекции смешанных цветов считывает соответствующее отношение смешения цветов для каждого из периферийных пикселей из средства хранения на основании полученного первого параметра, полученного второго параметра и полученного третьего параметра.

В элементе формирования изображения, имеющем элементную структуру, в которой усилитель совместно используется каждой заранее заданной группой пикселей, имеется разница в выходных характеристиках в соответствии с относительным местоположением усилителя и каждого из пикселей. Средство хранения хранит отношение смешения цветов с учетом этой разницы. То есть средство хранения хранит отношение смешения цветов, соответствующее комбинации первого, второго и третьего параметров, в которых третий параметр является информацией о местоположении, показывающем местоположение (местоположение собственного пикселя) целевого пикселя в группе пикселей, совместно использующих усилитель. Средство коррекции смешанных цветов считывает соответствующее отношение смешения цветов из средства хранения для каждого из периферийных пикселей целевого пикселя на основании полученных первого, второго и третьего параметров, относящихся к целевому пикселю, для применения отношения смешения цветов в коррекции смешанных цветов для целевого пикселя.

В устройстве обработки изображений в соответствии с еще одним аспектом настоящего изобретения является предпочтительным, чтобы когда целая область мозаичного изображения разделена на множество участков, средство хранения хранило отношение смешения цветов для каждого из участков и средство коррекции смешанных цветов считывало соответствующее отношение смешения цветов из средства хранения в зависимости от участка из множества участков, в котором расположен целевой пиксель. Углы падения света объекта относительно каждого из пикселей элемента формирования изображения в центральной части и в периферийной части мозаичного изображения отличаются, так что отношение смешения цветов каждой из частей отличается. Поэтому вся область мозаичного изображения делится на множество участков, так что отношение смешения цветов может быть изменено для каждого из участков.

В устройстве обработки изображений в соответствии с еще одним аспектом настоящего изобретения средство коррекции смешанных цветов сконфигурировано применять вычисление произведения-суммы к цветовому сигналу каждого периферийного пикселя, смежного с целевым пикселем для коррекции смешанных цветов, и отношение смешения цветов, определенное для каждого из местоположений периферийных пикселей, отношение смешения цветов, считанное из средства хранения, для вычисления компонента смешанных цветов, так что вычисленный компонент смешанных цветов устраняется из цветового сигнала целевого пикселя.

Устройство обработки изображений в соответствии с еще одним аспектом настоящего изобретения предпочтительно дополнительно включает в себя: средство вычисления усиления баланса белого, сконфигурированное вычислять усиление баланса белого на основании цветового сигнала каждого из пикселей в мозаичном изображении, из которого устранен компонент смешанных цветов с помощью средства коррекции смешанных цветов; и средство коррекции баланса белого, сконфигурированное применять коррекцию баланса белого к цветовому сигналу каждого из пикселей в мозаичном изображении, из которого устранен компонент смешанных цветов с помощью средства коррекции смешанных цветов, на основании усиления баланса белого, вычисленного с помощью средства вычисления усиления баланса белого. Так как усиление WB для коррекции баланса белого (WB) вычисляется на основании мозаичного изображения после коррекции смешанных цветов, можно вычислить правильное усиление WB, в котором устранено влияние смешанных цветов и т.п. Соответственно, можно выполнить правильную коррекцию баланса белого.

Способ обработки изображений в соответствии с еще одним аспектом настоящего изобретения включает в себя: этап получения изображения, на котором получают мозаичное изображение, включающее в себя пиксели множества цветов; этап подготовки средства хранения, сконфигурированного хранить отношение смешения цветов, вызванное каждым периферийным пикселем, смежным с целевым пикселем для коррекции смешанных цветов в мозаичном изображении, средства хранения, хранящего отношение смешения цветов, соответствующее комбинации первого параметра, указывающего азимутальные направления периферийных пикселей, и второго параметра, указывающего цвета периферийных пикселей; и этап устранения смешанных цветов, на котором из цветового сигнала каждого из пикселей в мозаичном изображении, полученном на этапе получения изображения, устраняют компоненты смешанных цветов, которые вызваны периферийными пикселями и содержатся в цветовом сигнале. На этапе устранения смешанных цветов, когда коррекция смешанных цветов применяется к любому целевому пикселю, получают цветовой сигнал целевого пикселя и цветовые сигналы его периферийных пикселей, считывают соответствующее отношение смешения цветов из средства хранения на основании азимутальных направлений и цветов периферийных пикселей и устраняют компоненты смешанных цветов, содержащиеся в целевом пикселе, на основании цветового сигнала целевого пикселя для коррекции смешанных цветов, цветового сигнала каждого периферийного пикселя, смежного с целевым пикселем, и считанного отношения смешения цветов каждого из периферийных пикселей.

Устройство формирования изображения в соответствии с еще одним аспектом настоящего изобретения включает в себя: средство формирования изображения, имеющее фотографическую оптическую систему, и элемент формирования изображения, на котором формируется изображение объекта через фотографическую оптическую систему; средство получения изображения, сконфигурированное получать мозаичное изображение, выводимое из средства формирования изображения; и устройство обработки изображений, описанное выше.

В устройстве формирования изображения в соответствии с еще одним аспектом настоящего изобретения является предпочтительным, чтобы элемент формирования изображения был сконфигурирован так, что цветовой фильтр с заранее заданной матрицей цветных фильтров располагался на множестве пикселей, состоящих из фотоэлектрических преобразующих элементов, расположенных в горизонтальном направлении и вертикальном направлении, матрица цветных фильтров включала в себя заранее заданную базовую матричную структуру, в которой расположен первый фильтр, соответствующий первому цвету, состоящему из одного или нескольких цветов, и второй фильтр, соответствующий второму цвету, состоящему из двух или более цветов, причем второй цвет имеет размер вклада в получение сигнала яркости, при этом размер вклада меньше, чем у первого цвета, и в котором базовая матричная структура расположена с повторением в горизонтальном направлении и вертикальном направлении и базовая матричная структура является матричной структурой, соответствующей M×N («M» и «N» являются целыми числами, равными 2 или более, по меньшей мере одно из целых чисел равно 3 или более) пикселям. Хотя мозаичное изображение, выводимое из элемента формирования изображения, имеющего описанную выше матрицу цветных фильтров, имеет сложную комбинацию цветов, нет никаких проблем, даже если пиксельный размер базовой матричной структуры является большим, потому что отношения смешения цветов, которые заранее сохраняются в средстве хранения, не зависят от типа мозаичного изображения.

В устройстве формирования изображения в соответствии с еще одним аспектом настоящего изобретения является предпочтительным, чтобы один или более первых фильтров располагались в каждой из линий в горизонтальном направлении, вертикальном направлении, наклонном верхнем правом направлении и наклонном нижнем правом направлении в матрице цветных фильтров, один или более вторых фильтров, соответствующих каждому из цветов второго цвета, располагались в каждой из линий в горизонтальном направлении и вертикальном направлении в матрице цветных фильтров в базовой матричной структуре и отношение числа пикселей первого цвета, соответствующего первому фильтру, было больше, чем отношение числа пикселей каждого цвета второго цвета, соответствующего второму фильтру.

В элементе формирования изображения выше, матрица цветных фильтров сформирована так, что первый фильтр, соответствующий первому цвету, дающему наибольший вклад в получение сигнала яркости, расположен в каждой из линий в горизонтальном, вертикальном, наклонном верхнем правом и наклонном нижнем правом направлениях в матрице цветных фильтров, поэтому можно улучшить воспроизводимость синхронизационной обработки в высокочастотной области. Кроме того, второй фильтр, соответствующий второму цвету, состоящему из двух или более цветов, отличающихся от первого цвета, сконфигурирован так, что один или более вторых фильтров расположены в каждой из линий в горизонтальном и вертикальном направлениях в матрице цветных фильтров в базовой матричной структуре, поэтому можно уменьшить возникновение цветовых комбинационных искажений (ложных цветов) для обеспечения высокого разрешения. В матрице цветных фильтров, так как заранее заданная базовая матричная структура расположена с повторением в горизонтальном и вертикальном направлениях, можно выполнять синхронизационную обработку в соответствии с повторяющейся последовательностью, когда выполняется синхронизационная обработка на последующей стадии. Кроме того, отношение числа пикселей первого цвета, соответствующего первому фильтру, к числу пикселей второго цвета, соответствующего второму фильтру, изменено так, чтобы особенно отношение числа пикселей первого цвета, дающих наибольший вклад в получение сигнала яркости, было больше, чем отношение числа пикселей каждого из цветов второго цвета, соответствующего второму фильтру, посредством чего возможно предотвратить наложение спектров, а также добиться превосходной воспроизводимости на высоких частотах.

В устройстве формирования изображения в соответствии с еще одним аспектом настоящего изобретения предпочтительно, чтобы базовая матричная структура была квадратной матричной структурой, соответствующей 3×3 пикселей, и чтобы первый фильтр располагался в центре и четырех углах.

В устройстве формирования изображения в соответствии с еще одним аспектом настоящего изобретения является предпочтительным, чтобы первый цвет был зеленым (G), а вторые цвета были красным (R) и синим (B), заранее заданная базовая матричная структура была квадратной матричной структурой, соответствующей 6×6 пикселей, а матрица фильтров включала в себя: первую матрицу, соответствующую 3×3 пикселей, причем первая матрица включает в себя G-фильтры, расположенные в центре и ее четырех углах, В-фильтры, расположенные сверху и снизу от G-фильтра, расположенного в центре, и R-фильтры, расположенные справа и слева от G-фильтра, расположенного в центре; и вторую матрицу, соответствующую 3×3 пикселей, причем вторая матрица включает в себя G-фильтры, расположенные в центре и ее четырех углах, R-фильтры, расположенные сверху и снизу от G-фильтра, расположенного в центре, и В-фильтры, расположенные справа и слева от G-фильтра, расположенного в центре; при этом первая матрица и вторая матрица поочередно расположены в горизонтальном направлении и вертикальном направлении.

В устройстве формирования изображения в соответствии с еще одним аспектом настоящего изобретения является предпочтительным, чтобы элемент формирования изображения имел элементную структуру, в которой усилитель совместно используется каждой заранее заданной группой пикселей, и заранее заданная группа пикселей имела размер K×L (К≤М, L≤N, К и L являются натуральными числами) пикселей.

Полезные эффекты изобретения

В соответствии с настоящим изобретением в средстве хранения заранее сохраняется отношение смешения цветов, соответствующее комбинации множества параметров, влияющих на размер компонента смешанных цветов, содержащегося в цветовом сигнале целевого пикселя для коррекции смешанных цветов, в результате чего когда применяется коррекция смешанных цветов к любому целевому пикселю, отношение смешения цветов каждого периферийного пикселя, смежного с целевым пикселем, считывается из средства хранения, которое будет применено при коррекции смешанных цветов. Соответственно, можно минимизировать количество данных для отношений смешения цветов, которые будут заранее сохранены, не зависящее от типа мозаичного изображения (матрицы цветных фильтров), для обеспечения высококачественной коррекции смешанных цветов.

Краткое описание чертежей

Фиг. 1 является блок-схемой, изображающей вариант воплощения устройства формирования изображения в соответствии с настоящим изобретением.

Фиг. 2 изображает новую мозаичную матрицу цветных фильтров, расположенную на элементе формирования изображения.

Фиг. 3 изображает состояние, в котором базовая матричная структура, изображенная на фиг. 2, разделена на четыре участка 3×3 пикселя.

Фиг. 4 является блок-схемой основной части, изображающей внутреннюю конфигурацию блока обработки изображений, изображенного на фиг. 1.

Фиг. 5 является схемой, используемой для объяснения коррекции смешанных цветов.

Фиг. 6 изображает пример элемента формирования изображения, в котором 4 пикселя 2×2 совместно используют один усилитель.

Фиг. 7 является графиком, изображающим пример таблицы поправок, которая показывает отношения смешения цветов.

Фиг. 8 изображает участок 8×8 в мозаичном изображении.

Фиг. 9 является блок-схемой, изображающей вариант воплощения внутренней конфигурации секции коррекции смешанных цветов, изображенной на фиг. 4.

Фиг. 10 является схемой последовательности операций, изображающей вариант воплощения способа обработки изображений в соответствии с настоящим изобретением.

Фиг. 11 является графиком, изображающим характеристики спектральной чувствительности элемента формирования изображения, включающего в себя R-фильтр (красный фильтр), G1-фильтр (первый зеленый фильтр), G2-фильтр (второй зеленый фильтр) и В-фильтр (синий фильтр).

Фиг. 12 является графиком, изображающим характеристики спектральной чувствительности элемента формирования изображения, включающего в себя R-фильтр, G-фильтр, В-фильтр и W-фильтр (прозрачный фильтр).

Фиг. 13 является графиком, изображающим характеристики спектральной чувствительности элемента формирования изображения, включающего в себя R-фильтр, G-фильтр, В-фильтр и E-фильтр (изумрудный фильтр).

Описание вариантов воплощения

Со ссылкой на прилагаемые чертежи будут подробно описаны варианты воплощения устройства обработки изображений, способа и устройства формирования изображения в соответствии с настоящим изобретением.

Варианты воплощения устройства формирования изображения

Фиг. 1 является блок-схемой, изображающей вариант воплощения устройства формирования изображения в соответствии с настоящим изобретением.

Устройство 10 формирования изображения является цифровой камерой, в которой сфотографированное изображение сохраняется во внутренней памяти (блок 26 памяти) или на внешнем носителе данных (не изображен), а работа всего устройства централизованно управляется с помощью центрального процессора (CPU) 12.

Устройство 10 формирования изображения включает в себя операционный блок 14, снабженный: кнопкой спуска затвора (переключателем спуска затвора), переключателем режимов, кнопкой воспроизведения, кнопкой МЕНЮ/OK, крестообразной кнопкой, кнопкой изменения масштаба, кнопкой ОБРАТНО и т.п. Сигнал от операционного блока 14 поступает в CPU 12, а CPU 12 управляет каждой электрической схемой в устройстве 10 формирования изображения на основании входного сигнала, например, управляет блоком 18 объектива, затвором 20 и элементом 22 формирования изображения, который функционирует как средство получения изображений, через блок 16 управления устройством, а также выполняет управление операцией фотографирования, управление обработкой изображений, хранением данных изображения и управление воспроизведением, управление дисплеем блока 25 отображения и т.п.

Блок 18 объектива включает в себя фокусную линзу, трансфокатор, диафрагму и т.п. Световой поток, прошедший через блок 18 объектива и затвор 20, формирует изображение на приемной поверхности элемента 22 формирования изображения.

Элемент 22 формирования изображения является датчиком цветного изображения типа CMOS (комплементарная структура металл-оксид-полупроводник), XY-адресного типа или типа CCD (прибор с зарядовой связью). На приемной поверхности элемента 22 формирования изображения большое количество фотодетекторов (фотодиодов) выстроены так, чтобы сформировать двухмерную матрицу. Изображение объекта, сформированное на приемной поверхности каждого из фотодиодов, преобразуется в величину напряжения сигнала (или электрический заряд), соответствующую количеству падающего света в изображении объекта.

Варианты воплощения элемента формирования изображения

Фиг. 2 изображает вариант воплощения вышеприведенного элемента 22 формирования изображения, в частности изображает новую матрицу цветных фильтров, расположенную на приемной поверхности элемента 22 формирования изображения.

Матрица цветных фильтров элемента 22 формирования изображения включает в себя базовую матричную структуру P (структура, окруженная толстыми линиями), состоящую из квадратной матричной структуры, соответствующей MЧN (6×6) пикселей, причем базовая матричная структура P расположена с повторением в горизонтальном и вертикальном направлениях. То есть в матрице цветных фильтров фильтр (R-фильтр, G-фильтр или В-фильтр) каждого из цветов: красного (R), зеленого (G) и синего (B), расположен с заданной периодичностью. Как было указано выше, так как R-фильтр, G-фильтр и В-фильтр расположены с заданной периодичностью, можно выполнять обработку и т.п. исходных (RAW) данных (мозаичное изображение) в виде RGB данных от элемента 22 формирования изображения в соответствии с повторяемой структурой.

В матрице цветных фильтров, изображенной на фиг. 2, один или более G-фильтров, соответствующих цвету, дающему наибольший вклад при получении сигнала яркости (зеленый (G) цвет в варианте воплощения), расположены в каждой из линий в горизонтальном, вертикальном, наклонном верхнем правом (NE («северо-восточном»)) и наклонном верхнем левом (NW («северо-западном»)) направлениях.

NE представляет собой наклонное верхнее правое направление, а NW представляет собой наклонное нижнее правое направление. В квадратной пиксельной матрице, например, каждое наклонное верхнее правое направление и наклонное нижнее правое направление наклонено на 45° относительно горизонтального направления. В прямоугольной пиксельной матрице NE и NW являются диагональными направлениями прямоугольника, поэтому угол направлений относительно горизонтального направления может меняться в зависимости от длины длинной и короткой сторон.

G-фильтр, соответствующий яркостному типу пикселя, расположен в каждой из линий в горизонтальном, вертикальном и наклонном (NE и NW) направлениях в матрице цветных фильтров, в результате чего можно улучшить воспроизводимость синхронизационной обработки в высокочастотной области независимо от направления, являющегося высокочастотным.

В матрице цветных фильтров, изображенной на фиг. 2, один или более из каждого R-фильтра и B-фильтра, соответствующих двум или более цветам, отличающихся от вышеуказанного зеленого (G) цвета (цвета R и В в варианте воплощения), расположены в каждой из линий в горизонтальном и вертикальном направлениях в базовой матричной структуре.

R-фильтр и В-фильтр расположены в каждой из линий в горизонтальном и вертикальном направлениях в матрице цветных фильтров, в результате чего можно уменьшить случаи неправильного цвета (цветовые комбинационные искажения). Соответственно, может быть убран оптический низкочастотный фильтр для уменьшения (предотвращения) случаев неправильного цвета. Даже если оптический низкочастотный фильтр применяется, можно применить фильтр с небольшой функцией удаления высокочастотной составляющей для предотвращения случаев неправильного цвета, таким образом, позволяя не уменьшать разрешение.

Кроме того, в базовой матричной структуре P в матрице цветных фильтров, изображенной на фиг. 2, число R-пикселей, G-пикселей и В-пикселей, соответствующих R-фильтру, G-фильтру и B-фильтру, в базовой матричной структуре равно, соответственно, 8 пикселям, 20 пикселям и 8 пикселям, то есть отношение числа пикселей RGB равно 2:5:2, в результате чего отношение числа G-пикселей, дающих наибольший вклад при получении сигнала яркости, больше, чем отношение числа пикселей других цветов: R-пикселей и В-пикселей.

Как было описано выше, отношение числа G-пикселей и отношение числа R- и В-пикселей отличаются, в частности, отношение числа G-пикселей, дающих наибольший вклад при получении сигнала яркости, сделано большим, чем отношения числа R- и В-пикселей. В результате можно предотвратить наложение спектров при выполнении синхронизационной обработки, а также достичь превосходной воспроизводимости на высоких частотах.

Фиг. 3 изображает состояние, в котором базовая матричная структура P, изображенная на фиг. 1, разделена на четыре участка 3×3 пикселя.

Как изображено на фиг. 3, можно считать, что базовая матричная структура P является матрицей, в которой А-матрица 3×3 пикселей, окруженная сплошными линиями, и В-матрица 3×3 пикселей, окруженная пунктирными линиями, поочередно расположены в горизонтальном и вертикальном направлениях.

А-матрица и В-матрица обеспечены G-фильтрами, которые расположены в их четырех углах и центре и которые выровнены по обеим диагоналям. В A-матрице R-фильтры расположены в горизонтальном направлении с G-фильтром в центре, а В-фильтры расположены в вертикальном направлении с G-фильтром в центре. С другой стороны, в В-матрице В-фильтры расположены в горизонтальном направлении с G-фильтром в центре, а R-фильтры расположены в вертикальном направлении с G-фильтром в центре. Таким образом, А-матрица и В-матрица имеют позиционные отношения между R-фильтром и B-фильтром, которые противоположны друг другу, однако имеют одинаковую матрицу, за исключением R-фильтра и B-фильтра.

G-фильтры в четырех углах А-матрицы и В-матрицы формируют квадратную матричную структуру из G-фильтров, соответствующую 2×2 пикселей, при поочередном расположении A-матриц и В-матриц в горизонтальном и вертикальном направлениях.

Информационные заряды, накопленные в элементе 22 формирования изображения с вышеуказанным строением, считываются на основании сигнала считывания, подаваемого от блока 16 управления устройством как сигналы напряжения, соответствующие информационным зарядам. Считанные сигналы напряжения от элемента 22 формирования изображения подаются к аналого-цифровому (A/D) преобразователю 24, а затем последовательно преобразуются в R, G и В цифровые сигналы, соответствующие матрице цветных фильтров, которые будут временно сохранены в блоке 26 памяти.

Блок 26 памяти включает в себя SDRAM (синхронную динамическую оперативную память), служащую в качестве энергозависимой памяти, EEPROМ (электрически стираемая программируемая постоянная память; средство хранения), служащую в качестве перезаписываемой энергонезависимой памяти, и т.п. SDRAM используется в качестве рабочей области, когда CPU 12 выполняет программу, и в качестве области хранения, в которой временно хранятся сфотографированные и полученные цифровые сигналы изображения. С другой стороны, EEPROM хранит управляющую программу камеры, в том числе программу обработки изображений, информацию о дефектах на пикселях элемента 22 формирования изображения и различные параметры, таблицы и т.п. для использования при обработке изображений, в том числе коррекции смешанных цветов и т.п.

Блок 28 обработки изображений применяет заранее заданную обработку сигналов, такую как коррекция смешанных цветов, коррекция баланса белого, гамма-коррекция, синхронизационная обработка (антимозаичная обработка) и преобразование RGB/YC, относительно цифрового сигнала изображения, временно сохраненного в блоке 26 памяти. Здесь синхронизационная обработка является обработкой, в которой вычисляется вся информация о цвете для каждого пикселя из мозаичного изображения, соответствующего матрице цветных фильтров однопластинного типа элемента формирования цветного изображения, и синхронизационная обработка также называется обработкой цветовой интерполяции или антимозаичной обработкой. В случае элемента формирования изображения, состоящего, например, из цветовых фильтров трех цветов RGB, синхронизационная обработка является обработкой путем вычисления информации о цвете для всех цветов RGB для каждого пикселя из мозаичного изображения, состоящего из цветов RGB. Детали устройства обработки изображений (блока 28 обработки изображений) в соответствии с настоящим изобретением будут описаны позже.

Данные изображения, обработанные блоком 28 обработки изображений, кодируются в данные для отображения изображения кодером 30 и выводятся на блок 25 отображения, обеспеченный на задней стороне камеры, через формирователь 32, посредством чего изображение объекта непрерывно отображается на экране дисплея блока 25 отображения.

При нажатии кнопки спуска затвора операционного блока 14 до первого уровня (полунажатие), CPU 12 управляет операцией AF (автоматической фокусировки) и операцией AE (автоматической регулировки экспозиции), в результате чего операции начинают перемещать фокусную линзу блока 18 объектива в направлении оптической оси с помощью блока 16 управления устройством, чтобы позволить фокусной линзе достичь местоположения «в фокусе».

При полунажатии кнопки спуска затвора CPU 12 вычисляет яркость (значение Ev фотосъемки) объекта на основании данных изображения, выводимых из аналого-цифрового (A/D) преобразователя 24 для определения условий экспозиции (значения F и скорости затвора) в соответствии со значением Ev фотосъемки.

При нажатии кнопки спуска затвора до второго уровня (полное нажатие) после завершения операции AE и операции AF, выполняется фактическая фотосъемка путем управления диафрагмой, затвором 20 и временем накопления электрического заряда в элементе 22 формирования изображения при определенных условиях экспозиции. Данные изображения на мозаичном изображении, состоящем из RGB (изображение, соответствующее матрице цветных фильтров, изображенной на фиг. 2), которые считываются из элемента 22 формирования изображения во время фактической фотосъемки и затем преобразуются для аналого-цифрового (A/D) преобразования аналого-цифровым (A/D) преобразователем 24, временно сохраняются в блоке 26 памяти.

Данные изображения, временно сохраненные в блоке 26 памяти, соответственно считываются блоком 28 обработки изображений, а затем к данным изображения применяется заранее заданная обработка сигналов, в том числе коррекция смешанных цветов, коррекция баланса белого, гамма-коррекция, синхронизационная обработка (обработка цветовой интерполяции), преобразование RGB/YC и т.п. Данные изображения (данные YC), к которым применено преобразование RGB/YC, сжимаются в соответствии с заранее заданным форматом сжатия (например, методом JPEG (Совместная экспертная группа по фотографии)). Сжатые данные изображения сохраняются во внутренней памяти и внешней памяти в форме заранее заданного файла изображения (например, файла Exif (Обменный формат файла изображения)).

Обработка изображений

Фиг. 4 является блок-схемой основной части, изображающей внутреннюю конфигурацию блока 28 обработки изображений, изображенного на фиг. 1.

Как изображено на фиг. 4, блок 28 обработки изображений включает в себя: секцию 100 коррекции смешанных цветов (средство коррекции смешанных цветов); секцию 200 коррекции баланса белого (WB) (средство коррекции баланса белого); секцию 300 обработки сигналов, выполняющую обработку сигналов, такую как гамма-коррекция, синхронизационная обработка, преобразование RGB/YC; секцию 400 интеграции RGB; и секцию 500 вычисления усиления баланса белого (WB) (средство вычисления усиления баланса белого).

Как было описано выше, исходные (RAW) данные (мозаичное изображение) в соответствии с матрицей цветных фильтров, выводимые из элемента 22 формирования изображения во время фотосъемки, временно сохраняются в блоке 26 памяти. Блок 28 обработки изображений получает мозаичное изображение (цветовые сигналы RGB) из блока 26 памяти.

Полученные цветовые сигналы RGB подаются в секцию 100 коррекции смешанных цветов в точечной последовательности. Секция 100 коррекции смешанных цветов устраняет компонент смешанных цветов от периферийных пикселей, содержащийся в цветовых сигналах целевых пикселей для коррекции смешанных цветов, принятых в точечной последовательности. Детали секции 100 коррекции смешанных цветов будут описаны позже.

Цветовой сигнал каждого из пикселей в мозаичном изображении, в котором компонент смешанных цветов устранен с помощью секции 100 коррекции смешанных цветов, подается в секцию 200 коррекции WB, а также в секцию 400 интеграции RGB.

Секция 400 интеграции RGB вычисляет среднее интеграционное значение каждого из цветовых сигналов RGB для каждого из участков 8×8 или 16×16, на которые делится экран, для вычисления информации о цвете, состоящей из отношений (R/G и B/G) среднего интеграционного значения для каждого RGB. В случае когда один экран делится, например, на 64 участка 8×8, вычисляются 64 порции информации о цвете (R/G и B/G).

Секция 500 вычисления усиления WB вычисляет усиление WB на основании информации о цвете (R/G и B/G) для каждого из участков, принятой из секции 400 интеграции RGB. В частности, вычисляется центр тяжести распределения 64 порций информации о цвете для каждого из участков в цветовом пространстве с координатными осями R/G и B/G, и цветовая температура окружающего света оценивается по информации о цвете, указанной с помощью центра тяжести. Кроме того, вместо цветовой температуры приемлемым является поиск типа источника света, имеющего информацию о цвете, указанную с помощью центра тяжести, такого как голубое небо, тень, солнечный свет, флуоресцентный свет (цвет дневного света, цвет белого дневного света, белый цвет и теплый белый цвет), лампа накаливания и темная лампа накаливания, для оценки типа источника света во время фотосъемки (см. выложенную заявку на патент Японии №2007-053499). Кроме того, цветовая температура может быть оценена по оцененному типу источника света.

В секции 500 вычисления усиления WB усиление WB для каждого RGB или для каждого RB подготавливается заранее для выполнения надлежащей коррекции баланса белого в соответствии с цветовой температурой окружающего света или типа источника света. Секция 500 вычисления усиления WB считывает соответствующие усиления WB для каждого RGB или для каждого RB на основании оцененной цветовой температуры окружающего света или типа источника света и выводит считанные усиления WB в секцию 200 коррекции WB.

Секция 200 коррекции WB выполняет коррекцию баланса белого путем умножения каждого из цветовых сигналов R, G и В, принятых из секции 100 коррекции смешанных цветов, на усиление WB для каждого цвета, принятое из секции 500 вычисления усиления WB.

Цветовые сигналы R, G и В, выводимые из секции 200 коррекции WB, подаются в секцию 300 обработки сигналов, а затем выполняется обработка сигналов, такая как гамма-коррекция, синхронизационная обработка для преобразования цветовых сигналов R, G и В в синхронную систему путем интерполяции пространственного отклонения цветовых сигналов R, G и В в соответствии с матрицей цветных фильтров элемента 22 формирования изображения, преобразование RGB/YC для преобразования синхронизированных цветовых сигналов R, G и В в сигнал Y яркости и цветоразностные сигналы Cr и Cb. Секция 300 обработки сигналов выводит сигнал Y яркости и цветоразностные сигналы Cr и Cb, к которым применяется обработка сигналов.

Данные Y яркости и цветоразностные данные Cr и Cb, которые выводятся блоком 28 обработки изображений, сжимаются, а затем сохраняются во внутренней и внешней памяти.

Коррекция смешанных цветов

Фиг. 5 изображает G-пиксель (целевой пиксель для коррекции смешанных цветов), соответствующий верхнему правому G фильтру из четырех G фильтров 2×2 в матрице цветных фильтров, изображенной на фиг. 2 и 3, и периферийные пиксели, являющиеся смежными с целевым пикселем (собственный пиксель) сверху и снизу, справа и слева (верхний пиксель (В-пиксель), нижний пиксель (G-пиксель), левый пиксель (G-пиксель) и правый пиксель (R-пиксель)).

В случае целевого пикселя, изображенного на фиг. 5, смежные пиксели в каждом из азимутальных направлений вверх и вниз, вправо и влево относительно целевого пикселя имеют цвета B, G, G и R, соответственно.

Как изображено на фиг. 3, независимо от того, какой из 9 пикселей А-матрицы в 6×6 пикселей и 9 пикселей В-матрицы задан как целевой пиксель, комбинации цветов 4 пикселей, являющихся смежными с целевым пикселем сверху и снизу, справа и слева, отличаются.

Влияние смешанных цветов, вызванных периферийными пикселями относительно собственного пикселя, зависит от азимутальных направлений (вверх и вниз, вправо и влево) и цвета периферийных пикселей (RGB).

Так как каждый из цветов 4 периферийных пикселей целевого пикселя может быть любым из трех цветов RGB, существует 81 (3⁴=81) комбинация (повторных перестановок) цветов 4 периферийных пикселей. В матрице цветных фильтров варианта воплощения существует 18 комбинаций 4 периферийных пикселей, соответствующих 18 пикселям A-матрицы и B-матрицы.

Если пиксельный размер базовой матричной структуры увеличивается, чтобы увеличить степени свободы матрицы пикселей трех цветов RGB, то число комбинаций расположения цветов смежных периферийных пикселей увеличивается. Кроме того, если имеется изумрудный или желтый пиксель, помимо трех цветов RGB, число комбинаций расположения цветов увеличивается еще больше.

В случае когда отношения смешения цветов сохраняются для каждой из комбинаций цветов периферийных пикселей, рассматривая соответствующие отношения смешения цветов четырех периферийных пикселей как один набор, количество данных отношений смешения цветов становится большим. При рассмотрении периферийных пикселей наклонных направлений (верхнее левое, верхнее правое, нижнее левое и нижнее правое), а также четырех направлений вверх и вниз, вправо и влево, число комбинаций расположения цветов дополнительно увеличивается, и увеличивается количество данных отношений смешения цветов.

Элемент 22 формирования изображения варианта воплощения является элементом формирования изображения типа CMOS. Усилитель A, совместно используемый пикселями, встроен в подложку CMOS, и K×L (2×2) пикселей совместно используют один усилитель A, как изображено на фиг. 6. Элементная структура элемента 22 формирования изображения вызывает различия в выходном уровне пикселя (собственного пикселя) в зависимости от местоположений 1-4 (верхнее левое, верхнее правое, нижнее левое и нижнее правое местоположения относительно усилителя A) относительно усилителя A.

Блок 26 памяти хранит таблицу поправок, изображенную на фиг. 7. В таблице поправок первый параметр P₁ обозначает четыре азимутальных направления (вверх и вниз, вправо и влево) периферийных пикселей относительно целевого пикселя (собственного пикселя), второй параметр P₂ обозначает три цвета (RGB) периферийных пикселей, а третий параметр Р₃ обозначает местоположение (местоположения 1-4 на фиг. 6) собственного пикселя из 2×2 пикселей, совместно использующих усилитель A, в общей сложности сохранено 48 отношений смешения цветов A₁-A₁₂, B₁-B₁₂, C₁-C₁₂ и D₁-D₁₂, соответствующих комбинациям параметров P₁-P₃ путем ассоциации с параметрами P₁-Р₃. Когда таблица поправок сохраняется в блоке 26 памяти, предпочтительно определить отношения смешения цветов, соответствующие вышеуказанным комбинациям параметров, заранее во время контроля перед отправкой продукции и сохранить отношения смешения цветов для каждого из продуктов.

Угол падения света от объекта относительно каждого из пикселей элемента 22 формирования изображения в центральной части и на периферийной части мозаичного изображения отличается, так что отношения смешения цветов каждой из частей отличаются. Таким образом, вся область мозаичного изображения делится на участки 8×8, например, как изображено на фиг. 8, а таблица поправок, изображенная на фиг. 7, сохраняется в блоке 26 памяти для каждого из участков [0][0]-[7][7]. В дальнейшем параметр, указывающий любой из 64 (=8×8) участков, упоминается как четвертый параметр P₄.

Фиг. 9 является блок-схемой, изображающей вариант воплощения внутренней конфигурации секции 100 коррекции смешанных цветов, изображенной на фиг. 4.

Секция 100 коррекции смешанных цветов включает в себя часть 110 обработки задержки, вычитатель 112, умножители 114-120, сумматор 122, часть 130 получения параметров (средство получения параметров) и часть 140 задания отношения смешения цветов.

На фиг. 9 мозаичное изображение (цветовые сигналы RGB), полученное с помощью элемента 22 формирования изображения, подается в часть 110 обработки задержки в точечной последовательности. Часть 110 обработки задержки включает в себя блоки памяти 110a-110c линий линии 1H (горизонтальная линия). Цветовые сигналы RGB, поступающие в точечной последовательности, последовательно смещаются в блоках памяти 110a-110c линий с интервалом, равным обработке одного пикселя. Если цветовой сигнал в местоположении, указанном наклонными линиями в памяти 110b линии, является цветовым сигналом целевого пикселя для коррекции смешанных цветов, цветовые сигналы в тех же самых местоположениях в блоках памяти 110a и 110c линий служат цветовыми сигналами верхнего пикселя и нижнего пикселя, соответственно, а цветовые сигналы справа и слева от местоположения, обозначенного с помощью наклонных линий в памяти 110b линии, являются цветовыми сигналами левого пикселя и правого пикселя, соответственно.

Как было описано выше, часть 110 обработки задержки соответственно задерживает цветовые сигналы RGB, введенные в точечной последовательности, и одновременно выводит целевой пиксель для коррекции смешанных цветов и периферийные пиксели сверху и снизу, справа и слева от целевого пикселя (верхний пиксель, нижний пиксель, левый пиксель и правый пиксель). Цветовой сигнал целевого пикселя, выведенный частью 110 обработки задержки, подается в вычитатель 112, а цветовые сигналы верхнего пикселя, нижнего пикселя, левого пикселя и правого пикселя подаются в умножители 114-120, соответственно.

Часть 130 получения параметров принимает информацию, указывающую местоположение (x, y) целевого пикселя в мозаичном изображении, выведенном из части 110 обработки задержки. Часть 130 получения параметров получает с первого по четвертый параметры P₁-P₄ на основании информации, указывающей местоположение (x, y) целевого пикселя. Можно получить информацию, указывающую местоположение (x, y) целевого пикселя, от CPU 12, дающего инструкции для обработки сигналов для каждого из пикселей в мозаичном изображении, или блока 28 обработки изображений.

Как только местоположение (x, y) целевого пикселя в мозаичном изображении было указано, можно определить третий параметр Р₃, указывающий местоположение (местоположения 1-4 на фиг. 6) целевого пикселя (собственного пикселя), и четвертый параметр P₄, указывающий участок, которому принадлежит собственный пиксель (см. фиг. 8). Кроме того, как только местоположение (x, y) целевого пикселя в мозаичном изображении было указано, можно определить цвета периферийных пикселей (верхнего пикселя, нижнего пикселя, левого пикселя и правого пикселя) целевого пикселя, то есть можно определить второй параметр P₂, указывающий цвета периферийных пикселей, соответствующих первому параметру P₁, указывающему азимутальные направления периферийных пикселей. Часть 130 получения параметров определяет с первого по четвертый параметры P₁-P₄ на основании информации о местоположении (x, y) целевого пикселя в мозаичном изображении, как было описано выше, и выводит параметры в часть 140 задания отношения смешения цветов. В это время выводятся четыре набора первого параметра P₁ и второго параметра P₂, соответствующие азимутальным направлениям периферийных пикселей.

Часть 140 задания отношения смешения цветов считывает соответствующие четыре отношения A-D смешения цветов из блока 26 памяти на основании параметров P₁-P₄ с первого по четвертый, принятых из части 130 получения параметров, и подает отношения A-D смешения цветов в умножители 114-120, соответственно, вместе с другими входными данными, то есть часть 140 задания отношения смешения цветов выбирает таблицу поправок, соответствующую участку, к которому принадлежит целевой пиксель, на основании четвертого параметра P₄ и считывает отношения A-D смешения цветов (см. фиг. 7) соответствующих азимутальных направлений периферийных пикселей из выбранной таблицы поправок на основании параметров P₁-Р₃ с первого по третий.

Умножители 114-120 умножают принятые цветовые сигналы верхнего пикселя, нижнего пикселя, левого пикселя и правого пикселя и принятые отношения A-D смешения цветов, соответственно, чтобы вывести значения умножения в сумматор 122. Сумматор 122 прибавляет принятые четыре значения умножения для подачи прибавленного значения в вычитатель 112 вместе с другими входными данными. Прибавленное значение соответствует компоненту смешанных цветов, содержащемуся в цветовом сигнале целевого пикселя для коррекции смешанных цветов.

Так как цветовой сигнал целевого пикселя для коррекции смешанных цветов добавляется к другому вводу, принятому вычитателем 112, вычитатель 112 вычитает прибавленное значение (компонент смешанных цветов), принятый от сумматора 122, из цветового сигнала целевого пикселя для вывода цветового сигнала целевого пикселя, из которого устранен компонент смешанных цветов (выполнена коррекция смешанных цветов).

Вычисление выше, выполняемое вычитателем 112, умножителями 114-120 и сумматором 122, может быть выражено с помощью следующего выражения.

Выражение 1

Цветовой сигнал после коррекции = цветовой сигнал до коррекции - (верхний пиксель × отношение смешения цветов A + нижний пиксель × отношение смешения цветов В + левый пиксель × отношение смешения цветов C + правый пиксель × отношение смешения цветов D).

Как было описано выше, цветовой сигнал, к которому применяется коррекция смешанных цветов секцией 100 коррекции смешанных цветов, выводится для последующих стадий секции 200 коррекции WB и секции 400 интеграции RGB (см. фиг. 4).

Способ обработки изображений

Фиг. 10 является схемой последовательности операций, изображающей вариант воплощения способа обработки изображений в соответствии с настоящим изобретением.

На фиг. 10 секция 100 коррекции смешанных цветов сначала задает местоположение (x, y) целевого пикселя для коррекции смешанных цветов перед началом коррекции смешанных цветов в качестве начального значения (0, 0) (этап S10).

Затем получают цветовой сигнал (пиксельное значение) целевого пикселя (x, y) и цветовые сигналы (пиксельные значения) периферийных пикселей сверху и снизу, справа и слева от целевого пикселя (x, y) (этап S12).

Часть 130 получения параметров получает с первого по четвертый параметры P₁-P₄ на основании местоположения (x, y) целевого пикселя, как было описано выше (этап S14).

Часть 140 задания отношения смешения цветов считывает соответствующие отношения A-D смешения цветов из блока 26 памяти на основании параметров P₁-P₄ с первого по четвертый, полученных частью 130 получения параметров (этап S16).

Затем выполняется вычисление, выраженное Выражением 1, на основании пиксельных значений целевого пикселя и периферийных пикселей, полученных на этапе S12, и отношений смешения цветов A-D, считанных на этапе S16, для выполнения коррекции смешанных цветов для устранения компонента смешанных цветов из пиксельного значения целевого пикселя (этап S18).

Затем определяется, завершена ли коррекция смешанных цветов для всех целевых пикселей (этап S20), если не завершена (в случае «Нет»), обработка переходит к этапу S22.

На этапе S22 местоположение (x, y) целевого пикселя смещается на один пиксель, и когда местоположение (x, y) целевого пикселя достигает левого конца в горизонтальном направлении, местоположение (x, y) целевого пикселя возвращается в правый конец в горизонтальном направлении, а также смещается на один пиксель в вертикальном направлении, чтобы передать обработку на этап S14, таким образом, многократно выполняя обработку от этапа S12 до этапа S20, указанных выше.

Между тем, если на этапе S20 определено, что коррекция смешанных цветов всех целевых пикселей завершена (в случае «Да»), коррекция смешанных цветов завершается.

Другие

Настоящее изобретение не ограничивается мозаичным изображением, состоящим из матрицы цветных фильтров, изображенной на фиг. 2, но применимо к мозаичным изображениям множества матриц цветных фильтров. Настоящее изобретение также применимо к мозаичному изображению, состоящему только из А-матрицы или В-матрицы, изображенных на фиг. 3. Размер N×M базовой матричной структуры, к которой применено настоящее изобретение, предпочтительно равен 5×5 или больше, а более предпочтительно 10×10 или меньше. Кроме того, настоящее изобретение применимо даже к мозаичному изображению, не имеющему базовой матричной структуры, в которой пиксели RGB расположены в произвольном порядке. В этом случае настоящее изобретение применимо без изменения аппаратных средств коррекции смешанных цветов.

Кроме того, третий параметр Р₃, указывающий местоположения собственного пикселя относительно усилителя, не требуется для мозаичного изображения, полученного от элемента формирования изображения, в который не встроен усилитель, совместно используемый пикселями. В случае когда есть небольшая разница в отношениях смешения цветов в центральной части и периферийной части в мозаичном изображении, нет необходимости иметь таблицу поправок для отношений смешения цветов для каждого участка.

Дополнительные варианты воплощения матриц цветных фильтров

В каждом из вариантов воплощения, описанных выше, описан пример, когда зеленый (G) цвет выступает в качестве первого цвета, а красный (R) и синий (B) цвета выступают вторыми цветами, однако цвета, применимые к цветовому фильтру, не ограничиваются цветами выше. Кроме того, в каждом из вариантов воплощения, описанных выше, применимы цветовые фильтры, соответствующие цветам, удовлетворяющие приведенным ниже условиям.

Условие для первого фильтра (первого цвета)

В каждом из вариантов воплощения, описанных выше, фильтр, удовлетворяющий любому из условий (1)-(4), описанных ниже, применим вместо G-фильтров или, например, путем замены части G-фильтров.

Условие (1)

Условие (1) определяет, что размер вклада в получение сигнала яркости составляет 50% или более. Размер вклада в 50% является значением, определенным для различения первого цвета (G цвета и т.п.) и второго цвета (R и В цвета и т.п.) в соответствии с каждым из вариантов воплощения, описанным выше, так что цвет с размером вклада в получении данных яркости, где размер вклада относительно больше, чем у R цвета, В цвета и т.п., относится к «первому цвету».

Например, G цвет имеет размер вклада в получение сигнала (данных яркости) яркости (Y), который больше, чем у R цвета и В цвета, то есть размер вклада R цвета и В цвета ниже, чем у G цвета. В частности, блок 28 обработки изображений, описанный выше, генерирует сигнал яркости (сигнал Y) из пиксельного сигнала RGB, имеющего информацию о цвете для всех RGB для каждого из пикселей, в соответствии с выражением (1) ниже. Выражение (1) ниже, как правило, используется для генерации сигнала Y в элементе 22 формирования цветного изображения. В выражении (1) размер вклада G цвета в сигнал яркости становится равным 60%, так что G цвет имеет размер вклада больше, чем размер вклада R цвета (размер вклада равен 30%) и В цвета (размер вклада равен 10%). Таким образом, G цвет дает наибольший вклад в сигнал яркости из этих трех основных цветов.

Y=0,3 R+0,6 G+0,1 В Выражение (1)

Размер вклада G цвета равен 60%, как показано в выражении (1) выше, так что G цвет удовлетворяет условию (1). Также можно получить размеры вкладов цветов помимо G цвета с помощью эксперимента или моделирования. Соответственно, фильтр, имеющий цвет, отличающийся от G цвета, цвет, имеющий размер вклада в 50% или более, применим в качестве первого фильтра в каждом из вариантов воплощения выше. Кроме того, цвет, имеющий размер вклада меньше 50%, служит вторым цветом (R цвет, В цвет и т.п.) в каждом из вариантов воплощения выше, так что фильтр, имеющий цвет, служит вторым фильтром в каждом из вариантов воплощения выше.

Условие (2)

Условие (2) определяет, что пик коэффициента пропускания фильтра имеет длину волны в пределах диапазона 480 нм или больше и 570 нм или меньше. Коэффициент пропускания фильтра является значением, измеряемым, например, с помощью спектрофотометра. Диапазон длин волн определяется для того, чтобы различать первый цвет (G цвет и т.п.) и второй цвет (R и В цвета и т.п.) в соответствии с каждым из вариантов воплощения выше так, чтобы пики длин волн R цвета, В цвета и т.п. с относительно более низким размером вклада, описанным выше, не были включены, а пики длин волн G цвета и т.п. с относительно более высоким размером вклада были включены. Соответственно, фильтр с пиком коэффициента пропускания на длине волны в пределах диапазона 480 нм или больше и 570 нм или меньше применим в качестве первого фильтра. Кроме того, фильтр с пиком коэффициента пропускания вне диапазона длин волны 480 нм или больше и 570 нм или меньше служит вторым фильтром (R-фильтр и B-фильтр) в соответствии с каждым из вариантов воплощения выше.

Условие (3)

Условие (3) определяет, что коэффициент пропускания на длине волны в пределах диапазона 500 нм или больше и 560 нм или меньше выше, чем коэффициент пропускания второго фильтра (R-фильтра и В-фильтра). Даже в условии (3) коэффициент пропускания фильтра является значением, измеряемым, например, спектрофотометром. Диапазон длин волн условия (3) также определяется для того, чтобы различать первый цвет (G цвет и т.п.) и второй цвет (R и В цвета и т.п.) в соответствии с каждым из вариантов воплощения выше так, чтобы коэффициент пропускания фильтра, имеющего цвет с размером вклада, описанным выше, относительно более высоким, чем размеры вклада R цвета, В цвета и т.п., был выше, чем коэффициент пропускания R-фильтра, В-фильтра и т.п. Соответственно, фильтр с относительно более высоким коэффициентом пропускания в пределах диапазона длин волны 500 нм или больше и 560 нм или меньше применим в качестве первого фильтра, а фильтр с относительно более низким коэффициентом пропускания применим в качестве второго фильтра.

Условие (4)

Условие (4) определяет, что фильтр двух или более цветов, включающий в себя цвет (G цвет в RGB, например), дающий наибольший вклад в сигнал яркости из этих трех основных цветов, и цвет, отличающийся от этих трех основных цветов, используется в качестве первого фильтра. В этом случае фильтр, соответствующий цвету, отличающемуся от каждого из цветов первого фильтра, служит вторым фильтром.

Множество типов первого фильтра (G-фильтра)

Таким образом, G-фильтр G цвета в качестве первого фильтра не ограничивается одним типом, например, множество типов G-фильтра применимо в качестве первого фильтра, то есть G-фильтр цветового фильтра (базовая матричная структура) в соответствии с каждым из вариантов воплощения, описанных выше, может быть соответственно заменен первым G-фильтром G1 или вторым G-фильтром G2. Первый G-фильтр G1 пропускает G свет с первым диапазоном длин волн, а второй G-фильтр G2 пропускает G свет со вторым диапазоном длин волн, имеющим высокую коррелированность с первым G-фильтром G1 (см. фиг. 11).

Существующий G-фильтр (например, G-фильтр G первого варианта воплощения) применим в качестве первого G-фильтра G1. Фильтр, имеющий высокую коррелированность с первым G-фильтром G1, применим в качестве второго G-фильтра G2. В этом случае желательно, чтобы пиковое значение кривой спектральной чувствительности фотодетектора, в котором расположен второй G-фильтр G2, имело длину волны, например, в пределах диапазона от 500 нм до 535 нм (близко к пиковому значению кривой спектральной чувствительности фотодетектора, в котором расположен существующий G-фильтр). Кроме того, способ, описанный в выложенной заявке на патент Японии №2003-284084, используется, например, в качестве способа определения цветовых фильтров с четырьмя цветами (R, G1, G2 и B).

Как было описано выше, позволяя элементу формирования цветного изображения получать изображение с помощью четырех цветов для увеличения полученной информации о цветах, можно добиться того, что изображение будет иметь более точные цвета по сравнению со случаем, когда получаются только три типа цветов (RGB), то есть можно воспроизвести цвета так, чтобы другой цвет, видимый глазами, был другим цветом, а тот же самый цвет, видимый глазами, был тем же самым цветом (улучшить «различение цветов»).

Так как коэффициент пропускания первого и второго G-фильтров G1 и G2 по сути такой же, как коэффициент пропускания G-фильтра G первого варианта воплощения, размер вклада в получение сигнала яркости больше чем 50%. Таким образом, первый и второй G-фильтры G1 и G2 удовлетворяют условию (1), описанному выше.

На фиг. 11, показывающей характеристики спектральной чувствительности матрицы цветных фильтров (фотодетектора), пиковый коэффициент пропускания каждого из G-фильтров G1 и G2 (пик чувствительности каждого из G-пикселей) имеет длину волны в пределах диапазона 480 нм или больше и 570 нм или меньше. Коэффициент пропускания каждого из G-фильтров G1 и G2 с длиной волны в пределах диапазона 500 нм или больше и 560 нм или меньше становится выше, чем прозрачность RB фильтров R и B. Таким образом, каждый из G-фильтров G1 и G2 также удовлетворяет условиям (2) и (3), описанным выше.

Расположение и число каждого из G-фильтров G1 и G2 может быть соответственно изменено. Кроме того, число типов G-фильтра G может быть увеличено до трех или более.

Прозрачный фильтр (W-фильтр)

Хотя в варианте воплощения, описанном выше, главным образом показан цветовой фильтр, состоящий из цветовых фильтров, соответствующих цветам RGB, прозрачный фильтр W (пиксель белого цвета) может быть частью цветовых фильтров. В частности, предпочтительно заменить часть первого фильтра (G-фильтра G) прозрачным фильтром W. Замена части G-пикселей пикселями белого цвета, как было описано выше, позволяет предотвратить ухудшение воспроизводимости цветов даже при уменьшении размера пикселей.

Прозрачный фильтр W имеет прозрачный цвет (первый цвет). Прозрачный фильтр W позволяет свету, соответствующему области длин волн видимого света, проходить через него, и он имеет коэффициент пропускания света для каждого из цветов RGB, например, 50% или больше. Коэффициент пропускания прозрачного фильтра W должен быть выше, чем у G-фильтра G, так что размер вклада для получения сигнала яркости становится выше, чем у G цвета (60%), таким образом, удовлетворяя условию (1), описанному выше.

На фиг. 12, показывающей характеристики спектральной чувствительности матрицы цветных фильтров (фотодетектора), пиковый коэффициент пропускания прозрачного фильтра W (пик чувствительности пикселя белого цвета) имеет длину волны в пределах диапазона 480 нм или больше и 570 нм или меньше. Кроме того, коэффициент пропускания прозрачного фильтра W с длиной волны в пределах диапазона 500 нм или больше и 560 нм или меньшего становится выше, чем коэффициент пропускания RB фильтров R и B, посредством чего прозрачный фильтр W удовлетворяет условиям (2) и (3), описанным выше. G-фильтр G удовлетворяет условиям (1)-(3), описанным выше, так же как и прозрачный фильтр W.

Как было описано выше, так как прозрачный фильтр W удовлетворяет условиям (1)-(3), описанным выше, прозрачный фильтр W применим в качестве первого фильтра в каждом из вариантов воплощения выше. В матрице цветных фильтров часть G-фильтра G, соответствующая G цвету, дающему наибольший вклад в сигнал яркости из трех основных цветов RGB, заменена прозрачным фильтром W, таким образом, также удовлетворяя условию (4), описанному выше.

Изумрудный фильтр (E-фильтр)

Хотя в варианте воплощения, описанном выше, главным образом показан цветовой фильтр, состоящий из цветовых фильтров, соответствующих цветам RGB, часть цветовых фильтров может быть заменена фильтром другого цвета, например может применяться E-фильтр (изумрудный пиксель), соответствующий изумрудному (E) цвету. В частности, предпочтительно заменить часть первого фильтра (G-фильтра G) изумрудным фильтром (E-фильтром). Можно улучшить воспроизведение компонентов области высокой яркости для уменьшения зубчатости и улучшения восприятия разрешения путем использования матрицы цветных фильтров с четырьмя цветами, в которой часть G-фильтра G заменена E-фильтром, как было описано выше.

На фиг. 13 показаны характеристики спектральной чувствительности матрицы цветных фильтров (фотодетектора), пиковый коэффициент пропускания изумрудного E фильтра (пик чувствительности E пикселя) имеет длину волны в пределах диапазона 480 нм или больше и 570 нм или меньше. Кроме того, коэффициент пропускания изумрудного E фильтра с длиной волны в пределах диапазона 500 нм или больше и 560 нм или меньше становится выше, чем коэффициент пропускания RB фильтров R и B, посредством чего изумрудный фильтр E удовлетворяет условиям (2) и (3), описанным выше. В матрице цветных фильтров часть G-фильтра G, соответствующая G цвету, дающему наибольший вклад в сигнал яркости из трех основных цветов RGB, заменена изумрудным E фильтром, таким образом, также удовлетворяя условию (4), описанному выше.

В спектральных характеристиках, изображенных на фиг.13, изумрудный E фильтр имеет пик на длине волны, меньшей, чем длина волны пика G-фильтра G, но иногда имеет большую пиковую длину волны, чем длина волны пика G-фильтра G (рассматриваемая как цвет немного близкий к желтому цвету). Как было описано выше, возможно выбрать изумрудный E фильтр, который удовлетворяет каждому из условий, описанных выше, так что также возможно выбрать изумрудный E фильтр, который удовлетворяет, например, условию (1).

Типы других цветов

В каждом из вариантов воплощения, описанных выше, описывается матрица цветных фильтров, состоящая из цветовых фильтров основных цветов RGB, однако настоящее изобретение применимо к матрице цветных фильтров, состоящей из цветовых фильтров четырех цветов, состоящих из дополнительных цветов к основным цветам RGB, в том числе, например, С (зелено-голубой), М (пурпурный), Y (желтый) и добавочный G. В этом случае цветовой фильтр, удовлетворяющий любому из условий (1)-(4), описанных выше, служит первым фильтром в соответствии с каждым из вариантов воплощения выше, а другие цветовые фильтры служат вторым фильтром.

Сотовое расположение

Каждая из матриц цветных фильтров каждого из вариантов воплощения выше включает в себя базовую матричную структуру, в которой цветовые фильтры каждого цвета выстроены в горизонтальном направлении (H) и вертикальном направлении (V) для формирования двухмерной матрицы, базовую матричную структуру, повторяющимся образом выстраиваемую в горизонтальном направлении (H) и вертикальном направлении (V), однако настоящее изобретение не ограничивается приведенными выше матрицами цветных фильтров.

Например, цветовой фильтр может состоять из матричной структуры, сформированной с использованием базовой матричной структуры так называемой сотовой матрицы, сформированной путем поворота базовой матричной структуры каждого из вариантов воплощения выше вокруг оптической оси на 45°, базовой матричной структуры, повторяющимся образом выстраиваемой в наклонном направлении (NE или NW).

Кроме того, настоящее изобретение не ограничивается вариантами воплощения, описанными выше, поэтому подразумевается, что возможны различные модификации в пределах объема изобретения, не отступая от сущности настоящего изобретения.

Список ссылочных позиций

10 … устройство формирования изображения, 12 … центральный процессор (CPU), 14 … операционный блок, 18 … блок объектива, 22 … элемент формирования изображения, 26 … блок памяти, 28 … блок обработки изображений, 100 … секция коррекции смешанных цветов, 110 … часть обработки задержки, 112 … вычитатель, 114-120 … умножители, 122 … сумматор, 130 … часть получения параметров, 140 … часть задания отношения смешения цветов, 200 … секция коррекции WB, 400 … секция интеграции RGB, 500 … секция вычисления усиления WB

Изобретение относится к устройствам обработки изображений. Техническим результатом является обеспечение устройства обработки изображений, способа и устройства формирования изображения, способных минимизировать количество данных для отношений смешения цветов, которые должны сохраняться заранее независимо от типа мозаичного изображения (матрицы цветных фильтров), и удовлетворительно выполняющих коррекцию смешанных цветов. Результат достигается тем, что подготавливают средство хранения, хранящее отношения смешения цветов, которые являются отношениями смешения цветов для каждого из периферийных пикселей, смежных с целевым пикселем, для коррекции смешанных цветов в мозаичном изображении, включающем в себя пиксели множества цветов, соответствующих каждой из комбинаций первых и вторых параметров, указывающих азимутальное направление и цвет каждого из периферийных пикселей соответственно; получают цветовые сигналы любого целевого пикселя и его периферийных пикселей; считывают соответствующее отношение смешения цветов из средства хранения на основании азимутального направления и цвета каждого из периферийных пикселей и устраняют компоненты смешанных цветов, содержащихся в целевом пикселе, на основании цветовых сигналов целевого пикселя и его периферийных пикселей и отношения смешения цветов периферийных пикселей. 3 н. и 9 з.п. ф-лы, 13 ил.

1. Устройство обработки изображений, содержащее:
средство получения изображений, сконфигурированное получать мозаичное изображение, включающее в себя пиксели множества цветов;
средство хранения, сконфигурированное хранить отношение смешения цветов, вызванное периферийными пикселями, смежными с целевым пикселем, для коррекции смешанных цветов в мозаичном изображении, причем средство хранения хранит отношение смешения цветов, соответствующее комбинации первого параметра, указывающего азимутальные направления периферийных пикселей, и второго параметра, указывающего цвета периферийных пикселей; и
средство коррекции смешанных цветов, сконфигурированное устранять из цветового сигнала каждого из пикселей в мозаичном изображении, полученном средством получения изображений, компоненты смешанных цветов, которые вызваны периферийными пикселями и содержатся в цветовом сигнале,
при этом, когда коррекция смешанных цветов применяется к любому целевому пикселю, средство коррекции смешанных цветов получает цветовой сигнал целевого пикселя и цветовые сигналы периферийных пикселей целевого пикселя, считывает соответствующее отношение смешения цветов из средства хранения на основании азимутальных направлений и цветов периферийных пикселей и устраняет компоненты смешанных цветов, содержащиеся в целевом пикселе на основании цветового сигнала целевого пикселя для коррекции смешанных цветов и цветовых сигналов периферийных пикселей, смежных с целевым пикселем, и считанного отношения смешения цветов каждого из периферийных пикселей, и
при этом средство коррекции смешанных цветов включает в себя средство получения параметров, сконфигурированное получать первый параметр и второй параметр каждого из периферийных пикселей, соответствующих любому целевому пикселю, на основании местоположения целевого пикселя в мозаичном изображении и считывать соответствующее отношение смешения цветов из средства хранения на основании полученного первого параметра и полученного второго параметра.

2. Устройство обработки изображений по п. 1,
в котором мозаичное изображение включает в себя группу пикселей базовой матричной структуры, состоящей из M×N («М» и «N» являются целыми числами, равными 2 или более, по меньшей мере одно из целых чисел равно 3 или более) пикселей, и служит в качестве изображения, в котором группа пикселей базовой матричной структуры расположена с повторением в горизонтальном направлении и вертикальном направлении.

3. Устройство обработки изображений по п. 1 или 2,
в котором мозаичное изображение выводится из элемента формирования изображения, имеющего элементную структуру, в которой усилитель совместно используется каждой заранее заданной группой пикселей,
когда третий параметр является информацией о местоположении, показывающей местоположение целевого пикселя для коррекции смешанных цветов в группе пикселей, совместно использующих усилитель, средство хранения хранит отношение смешения цветов, соответствующее комбинации первого параметра, второго параметра и третьего параметра,
средство получения параметров получает первый параметр, второй параметр и третий параметр для каждого из периферийных пикселей на основании местоположения любого целевого пикселя в мозаичном изображении, и
средство коррекции смешанных цветов считывает соответствующее отношение смешения цветов из средства хранения для каждого из периферийных пикселей на основании полученного первого параметра, полученного второго параметра и полученного третьего параметра.

4. Устройство обработки изображений по п. 1 или 2,
в котором средство хранения хранит отношение смешения цветов для каждого участка, когда вся область мозаичного изображения разделена на множество участков, и
средство коррекции смешанных цветов считывает соответствующее отношение смешения цветов из средства хранения в зависимости от участка из множества участков, в который включено местоположение целевого пикселя.

5. Устройство обработки изображений по п. 1 или 2,
в котором средство коррекции смешанных цветов применяет вычисление произведения-суммы к цветовому сигналу каждого периферийного пикселя, смежного с целевым пикселем, для коррекции смешанных цветов и отношение смешения цветов, определенное для каждого из местоположений периферийных пикселей, при этом отношение смешения цветов считано из средства хранения для вычисления компонента смешанных цветов, так что вычисленный компонент смешанных цветов вычитается из цветового сигнала целевого пикселя.

6. Устройство обработки изображений по п. 1 или 2, дополнительно содержащее:
средство вычисления усиления баланса белого, сконфигурированное вычислять усиление баланса белого на основании цветового сигнала каждого из пикселей в мозаичном изображении, из которого устранен компонент смешанных цветов с помощью средства коррекции смешанных цветов; и
средство коррекции баланса белого, сконфигурированное применять коррекцию баланса белого к цветовому сигналу каждого из пикселей в мозаичном изображении, из которого устранен компонент смешанных цветов с помощью средства коррекции смешанных цветов, на основании усиления баланса белого, вычисленного с помощью средства вычисления усиления баланса белого.

7. Устройство формирования изображения, содержащее:
средство формирования изображения, включающее в себя фотографическую оптическую систему и элемент формирования изображения, на котором формируется целевое изображение с помощью фотографической оптической системы; и
устройство обработки изображений, содержащее:
средство получения изображения, сконфигурированное получать мозаичное изображение, включающее в себя пиксели множества цветов;
средство хранения, сконфигурированное хранить отношение смешения цветов, вызванное периферийными пикселями, смежными с целевым пикселем для коррекции смешанных цветов в мозаичном изображении, причем средство хранения хранит отношение смешения цветов, соответствующее комбинации первого параметра, указывающего азимутальные направления периферийных пикселей, и второго параметра, указывающего цвета периферийных пикселей; и
средство коррекции смешанных цветов, сконфигурированное устранять из цветового сигнала каждого из пикселей в мозаичном изображении, полученном средством получения изображений, компоненты смешанных цветов, которые вызваны периферийными пикселями и содержатся в цветовом сигнале,
при этом, когда коррекция смешанных цветов применяется к любому целевому пикселю, средство коррекции смешанных цветов получает цветовой сигнал целевого пикселя и цветовые сигналы периферийных пикселей целевого пикселя, считывает соответствующее отношение смешения цветов из средства хранения на основании азимутальных направлений и цветов периферийных пикселей и устраняет компоненты смешанных цветов, содержащиеся в целевом пикселе, на основании цветового сигнала целевого пикселя для коррекции смешанных цветов и цветовых сигналов периферийных пикселей, смежных с целевым пикселем, и считанного отношения смешения цветов каждого из периферийных пикселей,
при этом средство получения изображения получает мозаичное изображение, выводимое из средства формирования изображения,
при этом на элементе формирования изображения цветовой фильтр с заранее заданной матрицей цветных фильтров расположен на множестве пикселей, состоящих из фотоэлектрических преобразующих элементов, расположенных в горизонтальном направлении и вертикальном направлении,
матрица цветных фильтров включает в себя заранее заданную базовую матричную структуру, в которой расположены первый фильтр, соответствующий первому цвету, состоящему из одного или более цветов, и второй фильтр, соответствующий второму цвету, состоящему из двух или более цветов, причем второй цвет имеет размер вклада в получение сигнала яркости, при этом размер вклада меньше, чем у первого цвета, и в котором базовая матричная структура расположена с повторением в горизонтальном направлении и вертикальном направлении,
базовая матричная структура является матричной структурой, соответствующей M×N («М» и «N» являются целыми числами, равными 2 или более, по меньшей мере одно из целых чисел равно 3 или более) пикселям, и
при этом базовая матричная структура является квадратной матричной структурой, соответствующей 3×3 пикселей, и первый фильтр расположен в центре и четырех углах.

8. Устройство формирования изображения по п. 7,
в котором один или более первых фильтров расположены в каждой из линий в горизонтальном направлении, вертикальном направлении, наклонном верхнем правом направлении и наклонном нижнем правом направлении в матрице цветных фильтров,
один или более вторых фильтров, соответствующих каждому из цветов второго цвета, расположены в каждой из линий в горизонтальном направлении и вертикальном направлении в матрице цветных фильтров в базовой матричной структуре, и
отношение числа пикселей первого цвета, соответствующего первому фильтру, больше, чем отношение числа пикселей каждого цвета второго цвета, соответствующего второму фильтру.

9. Устройство формирования изображения по п. 7,
в котором элемент формирования изображения имеет элементную структуру, в которой усилитель совместно используется для каждой заранее заданной группы пикселей, и
заранее заданная группа пикселей имеет размер K×L (К≤М, L≤N, К и L являются натуральными числами) пикселей.

10. Устройство формирования изображения, содержащее:
средство формирования изображения, включающее в себя фотографическую оптическую систему и элемент формирования изображения, на котором формируется целевое изображение с помощью фотографической оптической системы; и
устройство обработки изображений, содержащее:
средство получения изображения, сконфигурированное получать мозаичное изображение, включающее в себя пиксели множества цветов;
средство хранения, сконфигурированное хранить отношение смешения цветов, вызванное периферийными пикселями, смежными с целевым пикселем, для коррекции смешанных цветов в мозаичном изображении, причем средство хранения хранит отношение смешения цветов, соответствующее комбинации первого параметра, указывающего азимутальные направления периферийных пикселей, и второго параметра, указывающего цвета периферийных пикселей; и
средство коррекции смешанных цветов, сконфигурированное устранять из цветового сигнала каждого из пикселей в мозаичном изображении, полученном средством получения изображений, компоненты смешанных цветов, которые вызваны периферийными пикселями и содержатся в цветовом сигнале,
при этом, когда коррекция смешанных цветов применяется к любому целевому пикселю, средство коррекции смешанных цветов получает цветовой сигнал целевого пикселя и цветовые сигналы периферийных пикселей целевого пикселя, считывает соответствующее отношение смешения цветов из средства хранения на основании азимутальных направлений и цветов периферийных пикселей и устраняет компоненты смешанных цветов, содержащиеся в целевом пикселе, на основании цветового сигнала целевого пикселя для коррекции смешанных цветов и цветовых сигналов периферийных пикселей, смежных с целевым пикселем, и считанного отношения смешения цветов каждого из периферийных пикселей,
при этом средство получения изображения получает мозаичное изображение, выводимое из средства формирования изображения,
при этом на элементе формирования изображения цветовой фильтр с заранее заданной матрицей цветных фильтров расположен на множестве пикселей, состоящих из фотоэлектрических преобразующих элементов, расположенных в горизонтальном направлении и вертикальном направлении,
матрица цветных фильтров включает в себя заранее заданную базовую матричную структуру, в которой расположены первый фильтр, соответствующий первому цвету, состоящему из одного или более цветов, и второй фильтр, соответствующий второму цвету, состоящему из двух или более цветов, причем второй цвет имеет размер вклада в получение сигнала яркости, при этом размер вклада меньше, чем у первого цвета, и в котором базовая матричная структура расположена с повторением в горизонтальном направлении и вертикальном направлении,
базовая матричная структура является матричной структурой, соответствующей M×N («М» и «N» являются целыми числами, равными 2 или более, по меньшей мере одно из целых чисел равно 3 или более) пикселям, и
при этом первый цвет является зеленым (G), а вторые цвета являются красным (R) и синим (B),
заранее заданная базовая матричная структура является квадратной матричной структурой, соответствующей 6×6 пикселей, и
при этом матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселей, причем первая матрица включает в себя G-фильтры, расположенные в ее центре и четырех углах, B-фильтры, расположенные сверху и снизу от G-фильтра, расположенного в центре, и R-фильтры, расположенные справа и слева от G-фильтра, расположенного в центре; и вторую матрицу, соответствующую 3×3 пикселей, причем вторая матрица включает в себя G-фильтры, расположенные в ее центре и четырех углах, R-фильтры, расположенные сверху и снизу от G-фильтра, расположенного в центре, и B-фильтры, расположенные справа и слева от G-фильтра, расположенного в центре; при этом первая матрица и вторая матрица расположены поочередно в горизонтальном направлении и вертикальном направлении.

11. Устройство формирования изображения по п. 10,
в котором один или более первых фильтров расположены в каждой из линий в горизонтальном направлении, вертикальном направлении, наклонном верхнем правом направлении и наклонном нижнем правом направлении в матрице цветных фильтров,
один или более вторых фильтров, соответствующих каждому из цветов второго цвета, расположены в каждой из линий в горизонтальном направлении и вертикальном направлении в матрице цветных фильтров в базовой матричной структуре, и
отношение числа пикселей первого цвета, соответствующего первому фильтру, больше, чем отношение числа пикселей каждого цвета второго цвета, соответствующего второму фильтру.

12. Устройство формирования изображения по п. 10,
в котором элемент формирования изображения имеет элементную структуру, в которой усилитель совместно используется для каждой заранее заданной группы пикселей, и
заранее заданная группа пикселей имеет размер K×L (К≤М, L≤N, К и L являются натуральными числами) пикселей.