ТВЕРДОТЕЛЬНОЕ УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, СПОСОБ ОБРАБОТКИ СИГНАЛА ТВЕРДОТЕЛЬНОГО УСТРОЙСТВА ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ Российский патент 2014 года по МПК H04N5/335 

Область техники, к которой относится изобретение

Изобретение относится к твердотельному устройству формирования изображения, способу обработки сигнала твердотельного устройства формирования изображения и к устройству формирования изображения.

Уровень техники

Для повышения чувствительности твердотельных устройств формирования изображения было разработано множество технологий, направленных на массив цветного фильтра и обработку сигналов массива цветного фильтра (см., например, публикацию №2007-287891 находящейся на экспертизе заявки на японский патент). Один из массивов цветного фильтра представляет собой массив цветного фильтра, в котором используется цвет (например, белый (W) цвет, используемый как первичный компонент сигнала яркости). В качестве кодирования цветов, с использованием белого цвета, часто применяют кодирование цвета с использованием компоновки белого цвета в виде шахматной доски, в которой белый цвет расположен в виде структуры шахматной доски.

Выходное напряжение массива цветного фильтра, с использованием белого цвета выше, чем у массива фильтра цветов, имеющего байеровскую компоновку RGB (красный, зеленый, синий), которая получила широкое распространение. В соответствии с этим, чувствительность твердотельного устройства формирования изображения может быть повышена. Следует отметить, что в байеровской компоновке RGB, зеленый (G) расположен в виде шахматной структуры. Красный (R) и синий (В) также расположены в виде шахматной структуры в других областях структуры шахматной доски.

В твердотельных устройствах формирования изображения, в которых используется цветной фильтр с байеровской компоновкой RGB, для преобразования сигнала RGB в сигнал YUV (Y: сигнал яркости, U и V: цветоразностные сигналы), необходимо выполнить расчеты для генерирования сигнала Y. Во время расчетов, например, можно использовать следующее уравнение:

Y=0,29891×R+0,58661×G+0,11448×В.

Обычно такой расчет выполняют с помощью цифрового сигнального процессора (DSP, ЦСП), расположенного за пределами подложки (микросхемы датчика) твердотельного устройства формирования изображения. В соответствии с этим, даже в твердотельных устройствах формирования изображения, в которых используется массив цветного фильтра, включающий в себя белый цвет, расчет для генерирования сигнала Y яркости выполняют с помощью ЦСП, расположенного вне пределов микросхемы датчика.

Сущность изобретения

Однако при обработке сигналов, выполняемой твердотельным устройством формирования изображения, включающим в себя массив цветного фильтра, включающий в себя белый цвет, трудно использовать существующие ЦСП, разработанные для байеровской компоновки RGB. В соответствии с этим, необходимо, чтобы был разработан новый ЦСП при изменении кодирования цвета. Если ЦСП, разработанный для байеровской компоновки RGB, будет изменен на ЦСП для структуры белого в компоновке шахматной доски, потребуются значительные затраты на развитие. Поскольку такие затраты на развитие будут отражены в цене модуля камеры, включающем в себя ЦСП, будет трудно уменьшить стоимость модуля камеры. Следовательно, сдерживается широкое использование кодирования цветов с использованием белого цвета.

В соответствии с этим, в настоящем изобретении предложено твердотельное устройство формирования изображения, способ обработки сигнала твердотельного устройства формирования изображения и устройство формирования изображения, выполненное с возможностью использования существующих ЦСП с байеровской компоновкой RGB, когда используют кодирование цветов, в котором цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски.

Кроме того, путем использования фильтров белого цвета, которые составляют собой первичный компонент сигнала яркости, для массива цветного фильтра, может быть повышена чувствительность твердотельного устройства формирования изображения. Кроме того, благодаря улучшению компоновки цветов или способа обработки сигнала, может быть повышена чувствительность массива цветного фильтра, в котором используется белый фильтр, с минимальным снижением разрешения.

В соответствии с этим, настоящее изобретение обеспечивает твердотельное устройство формирования изображения, включающее в себя массив цветного фильтра с новой компоновкой цветов, которая позволяет повысить чувствительность с минимальным снижением разрешения, способ обработки сигнала твердотельного устройства формирования изображения и устройство формирования изображения, включающее в себя твердотельное устройство формирования изображения.

В соответствии с вариантом выполнения настоящего изобретения твердотельное устройство формирования изображения включает в себя модуль цветного фильтра, расположенный на модуле массива пикселей, включающем в себя пиксели, двумерно размещенные в виде матрицы, где модуль цветного фильтра имеет компоновку цветов, в которой цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски и множество цветов, используемых как компоненты информации цвета, расположены в другой области структуры шахматной доски. Твердотельное устройство формирования изображения имеет конфигурацию, в которой сигналы, выводимые из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, преобразуют в сигналы, которые соответствуют байеровской компоновке, на подложке, имеющей модуль массива пикселей.

В описанной выше конфигурации, поскольку цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски, сигналы других цветов пикселей, расположенных рядом с этим цветом в вертикальном направлении и в горизонтальном направлении, могут быть восстановлены с использованием сигнала цвета, используемого как первичный компонент сигнала яркости. Вследствие этого, эффективность преобразования из сигналов, соответствующих компоновке цветов модуля цветного фильтра, в сигналы, соответствующие байеровской компоновке, может быть повышена. Кроме того, путем вывода сигналов, соответствующих байеровской компоновке из подложки (микросхемы датчика), на которой расположен модуль массива пикселей, можно использовать существующий ЦСП для байеровской компоновки как модуль последующей обработки сигнала.

В соответствии с другим вариантом выполнения настоящего изобретения, твердотельное устройство формирования изображения включает в себя модуль цветного фильтра, расположенный в модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, где модуль цветного фильтра имеет компоновку цветов, в которой фильтры первого цвета, используемого как первичный компонент сигнала яркости, расположены в виде структуры шахматной доски, и фильтры второго цвета, используемые как первичный компонент сигнала яркости для последовательности из четырех пикселей, формируют группу, и группы расположены таким образом, что они формируют структуру полоски в одном из диагонального направления, вертикального направления и горизонтального направления. Твердотельное устройство формирования изображения имеет конфигурацию для приема сигналов, выводимых из пикселей модуля массива пикселей, и которая соответствует компоновке цветов модуля цветного фильтра и суммирует сигнал пикселя фильтра второго цвета, расположенного рядом с пикселем фильтра первого цвета, с сигналом пикселя фильтра первого цвета.

Фильтры первого и второго цветов, используемые как первичные компоненты сигнала яркости, имеют более высокую чувствительность, чем у других цветов. В соответствии с этим, при компоновке цветов, в которой фильтры первого цвета расположены в виде структуры шахматной доски, последовательность из четырех фильтров второго цвета формирует группу, и группы расположены так, что они формируют структуру полоски в одном из диагонального направления, вертикального направления и горизонтального направления, путем суммирования сигнала пикселя, имеющего фильтр второго цвета, расположенного рядом с пикселем, имеющим фильтр первого цвета, с сигналом пикселя, имеющего фильтр первого цвета, и использования суммы в качестве первичного компонента сигнала яркости, интенсивность сигнала яркости может быть повышена.

В соответствии с вариантами выполнения настоящего изобретения, даже когда меняется кодирование цветов, все еще можно использовать существующий ЦСП для байеровской компоновки RGB. В соответствии с этим, разработка новых ЦСП, которая требуют значительных затрат, не является необходимой.

Кроме того, в соответствии с вариантами выполнения настоящего изобретения, сигнал пикселя, который имеет фильтр второго цвета, расположенный рядом с пикселем, имеющим фильтр первого цвета, суммируют с сигналом пикселя, который имеет фильтр первого цвета, и эту сумму используют как первичный компонент сигнала яркости. Таким образом, интенсивность сигнала яркости может быть повышена. В результате, может быть повышена чувствительность с минимальным снижением разрешения.

Краткое описание чертежей

На фиг.1 показана схематическая иллюстрация примерной конфигурации системы датчика изображения CMOS в соответствии с первым и вторым примерными вариантами выполнения настоящего изобретения;

на фиг.2 показана принципиальная схема, иллюстрирующая примерную конфигурацию цепи модульного пикселя;

на фиг.3 показана принципиальная схема, иллюстрирующая примерную конфигурацию цепи, которая позволяет выполнять суммирование пикселей для четырех соседних пикселей среди пикселей;

на фиг.4 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с первым примером первого примерного варианта выполнения;

на фиг.5 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии со вторым примером первого примерного варианта выполнения;

на фиг.6 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с третьим примером первого примерного варианта выполнения;

на фиг.7 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с четвертым примером первого примерного варианта выполнения;

на фиг.8 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с пятым примером первого примерного варианта выполнения;

на фиг.9 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с шестым примером первого примерного варианта выполнения;

на фиг.10 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с седьмым примером первого примерного варианта выполнения;

на фиг.11 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с восьмым примером первого примерного варианта выполнения;

на фиг.12 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с девятым примером первого примерного варианта выполнения;

на фиг.13 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 1 преобразования цветов, выполняемой в режиме высокой яркости во время полного сканирования, в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения и первым примером второго примерного варианта выполнения;

на фиг.14А-14D представлены схематические иллюстрации обработки 1 преобразования цветов, выполняемой в режиме высокой яркости во время полного сканирования, в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения и первым примером второго примерного варианта выполнения;

на фиг.15 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 2 преобразования цветов, выполняемой в режиме низкой яркости во время полного сканирования, в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения и первым примером второго примерного варианта выполнения;

на фиг.16А-16D представлены схематические иллюстрации обработки 2 преобразования цветов, выполняемой в режиме низкой яркости во время полного сканирования, в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения и первым примером второго примерного варианта выполнения;

на фиг.17 представлена блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 1 суммирования пикселей, в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения;

на фиг.18А-18D показаны схематические иллюстрации обработки 1 суммирования пикселей в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения;

на фиг.19 иллюстрируется ПД суммирование и суммирование счетчика;

на фиг.20 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 2 суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения и первым примером второго примерного варианта выполнения;

на фиг.21А-21D показаны схематические иллюстрации обработки 2 суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии с первым примером первого примерного варианта выполнения и первым примером второго примерного варианта выполнения;

на фиг.22 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 3 суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения;

на фиг.23А-23С показаны схематические иллюстрации обработки 3 суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с первым примером первого примерного варианта выполнения;

на фиг.24А-24D показаны схематические иллюстрации обработки преобразования цветов, выполняемой во время полного сканирования, в случае кодирования цветов в соответствии со вторым примером первого примерного варианта выполнения;

на фиг.25А-25D показаны схематические иллюстрации обработки суммирования пикселей, выполняемой в случае кодирования цветов в соответствии со вторым примером первого примерного варианта выполнения;

на фиг.26А-26D показаны схематические иллюстрации обработки преобразования цветов, выполняемой во время полного сканирования в случае кодирования цветов в соответствии с третьим примером первого примерного варианта выполнения;

на фиг.27А-27Е показаны схематические иллюстрации обработки суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с третьим примером первого примерного варианта выполнения;

на фиг.28А-28D показаны схематические иллюстрации обработки преобразования цветов, выполняемой во время полного сканирования, в случае кодирования цветов в соответствии с четвертым примером первого примерного варианта выполнения;

на фиг.29А-29F показаны схематические иллюстрации первого типа обработки суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии с четвертым примером первого примерного варианта выполнения;

на фиг.30А-30D показаны схематические иллюстрации второго типа обработки суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с четвертым примером первого примерного варианта выполнения;

на фиг.31А-31С показаны схематические иллюстрации третьего типа обработки суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с четвертым примером первого примерного варианта выполнения;

на фиг.32А-32D показаны схематические иллюстрации четвертого типа обработки суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии с четвертым примером первого примерного варианта выполнения;

на фиг.33А-33D показаны схематические иллюстрации обработки преобразования цветов, выполняемой во время полного сканирования в случае кодирования цветов в соответствии с пятым примером первого примерного варианта выполнения;

на фиг.34А-34Е показаны схематические иллюстрации обработки суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с пятым примером первого примерного варианта выполнения;

на фиг.35А-35D показаны схематические иллюстрации обработки 1 преобразования цветов, выполняемой в случае кодирования цветов в соответствии с шестым примером первого примерного варианта выполнения;

на фиг.36А-36D показаны схематические иллюстрации обработки 2 преобразования цветов, выполняемой в случае кодирования цветов в соответствии с шестым примером первого примерного варианта выполнения;

на фиг.37А-37D показаны схематические иллюстрации обработки 1 суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с шестым примером первого примерного варианта выполнения;

на фиг.38А-38D показаны схематические иллюстрации обработки 2 суммирования пикселей, выполняемой в случае кодирования цветов в соответствии с шестым примером первого примерного варианта выполнения;

на фиг.39А-39D показаны схематические иллюстрации обработки преобразования цветов, выполняемой во время полного сканирования, в случае кодирования цветов в соответствии с седьмым примером первого примерного варианта выполнения;

на фиг.40А-40Е показаны схематические иллюстрации обработки суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии с седьмым примером первого примерного варианта выполнения;

на фиг.41А-41D показаны схематические иллюстрации обработки преобразования цветов, выполняемой во время полного сканирования, в случае кодирования цветов в соответствии с восьмым примером первого примерного варианта выполнения;

на фиг.42А-42D показаны схематические иллюстрации обработки суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии с восьмым примером первого примерного варианта выполнения;

на фиг.43А-43С показаны схематические иллюстрации обработки преобразования цветов, выполняемой во время полного сканирования, в случае кодирования цветов в соответствии с девятым примером первого примерного варианта выполнения;

на фиг.44А-44В показаны схематические иллюстрации обработки суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии с девятым примером первого примерного варианта выполнения;

на фиг.45 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с первым примером второго примерного варианта выполнения;

на фиг.46 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии со вторым примером второго примерного варианта выполнения;

на фиг.47 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 1 суммирования пикселей, в случае кодирования цветов в соответствии с первым примером второго примерного варианта выполнения;

на фиг.48A-48D показана схематическая иллюстрация обработки 1 преобразования цветов в случае кодирования цветов в соответствии с первым примером второго примерного варианта выполнения;

на фиг.49A-49D показана схематическая иллюстрация обработки 1 преобразования цветов в случае кодирования цветов в соответствии со вторым примером второго примерного варианта выполнения;

на фиг.50A-50D показана схематическая иллюстрация обработки 2 преобразования цветов в случае кодирования цветов в соответствии со вторым примером второго примерного варианта выполнения;

на фиг.51A-51D показана схематическая иллюстрация обработки 1 суммирования пикселей, в случае кодирования цветов в соответствии со вторым примером второго примерного варианта выполнения;

на фиг.52A-52D показана схематическая иллюстрация обработки 2 суммирования пикселей для кодирования цветов в соответствии со вторым примером второго примерного варианта выполнения;

на фиг.53 показана схематическая иллюстрация примерной конфигурации системы датчика изображения CMOS в соответствии с третьим примерным вариантом выполнения настоящего изобретения;

на фиг.54 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 1 преобразования цветов, выполняемой в режиме высокой яркости во время полного сканирования в случае кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.55А-55С показаны схематические иллюстрации обработки 1 преобразования цветов, выполняемой во время полного сканирования, в случае кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.56 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 2 преобразования цветов, выполняемой в режиме низкой яркости во время полного сканирования, в случае кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.57А-57С показаны схематические иллюстрации обработки 2 преобразования цветов, выполняемой во время полного сканирования, в случае кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.58 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки для обработки 1 суммирования пикселей, в случае кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.59А-59С показаны схематические иллюстрации обработки 1 суммирования пикселей, выполняемой в случае кодирования цвета в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.60 показана блок-схема последовательности операций, иллюстрирующая примерный поток обработки при обработке 2 суммирования пикселей, в случае кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.61А-61C показаны схематические иллюстрации обработки 2 суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии с первым примером третьего примерного варианта выполнения;

на фиг.62А и 62В показаны схематические иллюстрации обработки 1 преобразования цветов, выполняемой в случае кодирования цветов в соответствии со вторым примером третьего примерного варианта выполнения;

на фиг.63А-63С показаны схематические иллюстрации обработки 2 преобразования цвета, выполняемой в случае кодирования цветов, в соответствии со вторым примером третьего примерного варианта выполнения;

на фиг.64А и 64В показаны схематические иллюстрации обработки 1 суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии со вторым примером третьего примерного варианта выполнения;

на фиг.65А-65С показаны схематические иллюстрации обработки 2 суммирования пикселей, выполняемой в случае кодирования цветов, в соответствии со вторым примером третьего примерного варианта выполнения;

на фиг.66 показана схема компоновки цветов, иллюстрирующая кодирование цветов, в соответствии с модификацией первого примера;

на фиг.67 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с модификацией второго примера; и

на фиг.68 показана блок-схема примерной конфигурации устройства формирования изображения в соответствии с вариантом выполнения настоящего изобретения.

Подробное описание изобретения

Различные примерные варианты выполнения настоящего изобретения подробно описаны ниже со ссылкой на приложенные чертежи. Описание приведено в следующем порядке:

1. Примерный вариант выполнения

1-1. Конфигурация системы

1-2. Кодирование цвета массива цветного фильтра

1-3. Пример кодирования цвета

1-4. Соотношение чувствительности W:G:R:B

1-5. Обработка преобразования цвета

2. Пример применения (Устройство формирования изображения)

1. Первый примерный вариант выполнения

1-1. Конфигурация системы

На фиг.1 схематично показана иллюстрация примерной конфигурации системы твердотельного устройства формирования изображения (например, датчика изображения CMOS, который представляет собой пример твердотельного устройства формирования изображения с X-Y адресацией), в соответствии с первым примерным вариантом выполнения настоящего изобретения.

В соответствии с первым вариантом выполнения, датчик 10 изображения CMOS включает в себя полупроводниковую подложку (ниже также называется "микросхемой датчика") 11. Микросхема 11 датчика включает в себя модуль 12 массива пикселей, сформированный на ней, и модуль периферийных цепей, интегрированный в нее. Например, модуль периферийных цепей включает в себя модуль 13 вертикального управления, модуль 14 обработки столбцов, модуль 15 горизонтального управления, модуль 16 обработки преобразования и модуль 17 управления системой.

Модуль 12 массива пикселей включает в себя множество модульных пикселей (не показаны), каждый из которых включает в себя элемент фотоэлектрического преобразования, размещенных двумерно в виде массива. Модульный пиксель (ниже также просто называется "пикселем") выполняет фотоэлектрическое преобразование видимого света, падающего на него, в электрический заряд, в соответствии с интенсивностью видимого света. Массив 30 цветного фильтра предусмотрен на модуле 12 массива пикселей, на стороне поверхности приема света (поверхность падения света). Одной из главных особенностей данного примерного варианта выполнения является кодирование цветов массива 30 цветного фильтра. Кодирование цветов массива 30 цветного фильтра более подробно описано ниже.

Кроме того, в модуле 12 массива пикселей расположена линия 18 управления пикселями, продолжающаяся в направлении слева направо, как показано на фиг.1 (направление, в котором расположены пиксели в ряду пикселей, или горизонтальное направление), для каждого из рядов массива пикселей. Аналогично, вертикальная линия 19 сигнала расположена в направлении сверху вниз по фиг.1 (направление, в котором пиксели расположены в столбцах пикселей, или вертикальное направление) для каждого из столбцов массива пикселей. На фиг.1, хотя представлена только одна линия 18 управления пикселями, количество линий 18 управления пикселями не ограничивается одной линией. Один конец линии 18 управления пикселями соединен с выходным разъемом, соответствующим одному из рядов модуля 13 вертикального управления.

Например, модуль 13 вертикального управления включает в себя сдвиговый регистр и декодер адреса. Хотя подробная конфигурация его не показана на фиг.1, модуль 13 вертикального управления включает в себя систему сканирования считывания и систему сканирования очистки. Система сканирования считывания последовательно сканирует модульные пиксели модуля, сигналы которых считывают на основе от ряда к ряду.

В отличие от этого, перед операцией сканирования считывания для считывания ряда, выполняемого системой сканирования считывания, в момент времени, определенный скоростью затвора, система сканирования очистки выполняет сканирование очистки таким образом, что она очищает (выполняет сброс) ненужного электрического заряда из элементов фотоэлектрического преобразования модульных пикселей в считываемом ряду. Благодаря очистке (сбросу) ненужного электрического заряда, используя систему сканирования очистки, выполняют так называемую операцию электронного затвора. Таким образом, при выполнении операции электронного затвора сбрасывают фотозаряды элемента фотоэлектрического преобразования, и начинается новая операция экспозиции (накопление электрического заряда под действием света).

Сигнал, считываемый во время операции считывания, выполняемой системой сканирования считывания, соответствует количеству света, попавшему после выполнения непосредственно предшествующей операции считывания или операции электронного затвора. Кроме того, период времени от момента времени считывания непосредственно предшествующей операции считывания или точки времени очистки при выполнении операции электронного затвора до точки времени считывания текущей операции считывания соответствует времени накопления (времени экспонирования электрического заряда под действием света в модульном пикселе.

Сигнал, выводимый из каждого из модульных пикселей в ряду пикселей, выбранном и сканируемом с помощью модуля 13 вертикального управления, передают в модуль 14 обработки столбца через соответствующую одну из вертикальных линий 19 сигнала. Для каждого из столбцов пикселей модуля 12 массива пикселей модуль 14 обработки в столбце выполняет заданную обработку сигналов по аналоговому сигналу пикселя, выводимому из пикселя в выбранном ряду.

Пример обработки сигнала, выполняемой модулем 14 обработки в столбце, представляет собой обработку коррелированной двойной выборки (CDS, КДВ). При обработке КДВ получают уровень сброса и уровень сигнала, выводимого из каждого из пикселей в выбранном ряду, и рассчитывают разницу между уровнями. Таким образом, получают сигналы пикселей в одном из рядов. Кроме того, удаляют шумы фиксированной структуры пикселей. Модуль 14 обработки в столбце может иметь функцию аналого-цифрового (A/D, А/Ц) преобразования, выполняемую для преобразования аналогового сигнала пикселя в цифровой формат.

Например, модуль 15 горизонтального управления включает в себя сдвиговый регистр и декодер адреса. Модуль 15 горизонтального управления последовательно выбирает и сканирует участки цепей, соответствующие столбцу пикселей модуля 14 обработки столбца. Каждый из столбцов пикселей последовательно обрабатывают с помощью модуля 14 обработки в столбце, выполняя операцию сканирования выбора, которую выполняют с помощью модуля 15 горизонтального управления, и последовательно выводят.

Модуль 16 обработки преобразования выполняет расчет и преобразует сигналы, соответствующие компоновке цветов массива 30 цветного фильтра (модуль цветного фильтра), и выводит из пикселей модуля 12 массива пикселей сигналы, соответствующие байеровской компоновке. Другая из основных особенностей настоящего варианта выполнения состоит в том, что модуль 16 обработки преобразования установлен на подложке, на которой сформирован модуль 12 массива пикселей, то есть в микросхеме 11 датчика, при этом обработку преобразования цветов выполняют в микросхеме 11 датчика, и сигнал, соответствующий байеровской компоновке, выводят из микросхемы 11 датчика. Обработка преобразования цветов, выполняемая модулем 16 обработки преобразования, более подробно описана ниже.

Широко используемый термин "байеровская компоновка" представляет компоновку цветов, в которой цвет, используемый как информационный компонент первичного цвета сигнала яркости для высокого разрешения, расположен в виде структуры шахматной доски и другие два цвета, используемые как компоненты информации цветов сигнала яркости, которые не обеспечивают такое высокое разрешение, расположены в других областях структуры шахматной доски. В основной форме кодирования цвета, в соответствии с байеровской компоновкой, зеленый (G), который вносит большой вклад в сигнал яркости, расположен в виде структуры шахматной доски, и красный (R) и синий (В) расположены в другой области структуры шахматной доски.

Модуль 17 управления системой принимает тактовую частоту, предоставляемую извне микросхемы 11 датчика, и данные для обозначения режима работы. Кроме того, модуль 17 управления системой вводит данные, представляющие внутреннюю информацию датчика 10 изображения CMOS (КМОП, комплементарный металлооксидный полупроводник). Кроме того, модуль 17 управления системой включает в себя генератор тактовой частоты, который генерирует различные сигналы тактовой частоты. Модуль 17 управления системой управляет работой модуля 13 вертикального управления, модуля 14 обработки столбца, модуля 15 горизонтального управления и модуля 16 обработки преобразования, используя различные сигналы тактовой частоты, генерируемые генератором тактовой частоты.

Конфигурация цепи модульного пикселя

На фиг.2 показана примерная принципиальная схема модульного пикселя 20. Как показано на фиг.2, модульный пиксель 20, представленный на примерной принципиальной схеме, включает в себя элемент фотоэлектрического преобразования (например, фотодиод 21) и четыре транзистора (например, транзистор 22 передачи, транзистор 23 сброса, транзистор 24 усиления и транзистор 25 выбора).

В этом примере используют n-канальные MOS (МОП, металл-окисел-полупроводник) транзисторы для транзистора 22 передачи, транзистора 23 сброса, транзистора 24 усиления и транзистора 25 выбора. Однако комбинация типа проводимости при использовании транзистора 22 передачи, транзистора 23 сброса, транзистора 24 усиления и транзистора 25 выбора представляет собой только пример, и данная комбинация не ограничивается этим.

Например, в качестве линии 18 управления пикселем, три линии управления, то есть линия 181 передачи, линия 182 сброса и линия 183 выбора, предусмотрены для каждого из модульных пикселей 20 в одном ряду пикселей. Один конец линии 181 передачи, один конец линии 182 сброса и один конец линии 183 выбора соединен с выходным разъемом, соответствующим одному из рядов пикселей модуля 13 вертикального управления.

Электрод анода фотодиода 21 соединен с отрицательным выводом блока питания (например, заземлен). Фотодиод 21 выполняет фотоэлектрическое преобразование принятого света в фотоэлектрические заряды (фотоэлектроны в данном примерном варианте выполнения) в соответствии с количеством принятого света. Электрод катода фотодиода 21 соединен с электродом затвора транзистора 24 усиления через транзистор 22 передачи. Узел 26, электрически соединенный с электродом затвора транзистора 24 усиления, называется "модулем плавающей диффузии (FD, ПД) ".

Транзистор 22 передачи включен между электродом катода фотодиода 21 и модулем 26 ПД. Когда импульс ϕTRF передачи, имеющий активный высокий уровень (например, уровень Vdd) (ниже называется "высокий активный импульс передачи"), подают к электроду затвора транзистора 22 передачи через линию 181 передачи, транзистор 22 передачи включается. Таким образом, транзистор 22 передачи передает фотозаряды, фотоэлектрически преобразованные с помощью фотодиода 21, в модуль 26 ПД.

Электрод стока транзистора 23 сброса соединен с источником питания Vdd пикселя. Электрод истока транзистора 23 сброса соединен с модулем 26 ПД. Перед тем как заряд сигнала будет передан из фотодиода 21 в модуль 26 ПД, высокий активный импульс ϕ сброса подают к электроду затвора транзистора 23 сброса через линию 182 сброса. Когда импульс ϕ сброса подают в транзистор 23 сброса, транзистор 23 сброса включается. Таким образом, транзистор 23 сброса выполняет сброс модуля 26 ПД путем разряда электрического заряда модуля 26 ПД на напряжение Vdd блока питания пикселя.

Электрод затвора транзистора 24 усиления соединен с модулем 26 ПД. Электрод стока транзистора 24 усиления соединен с источником питания Vdd пикселя. После сброса модуля 26 ПД с помощью транзистора 23 сброса, транзистор 24 усиления выводит потенциал модуля 26 ПД в форме сигнала сброса (уровень сброса) Vreset. Кроме того, после передачи заряда сигнала, выполняемой транзистором 22 передачи, транзистор 24 усиления выводит потенциал модуля 26 ПД в форме сигнала накопления света (уровень сигнала) Vsig.

Например, электрод стока транзистора 25 выбора соединен с электродом истока транзистора 24 усиления. Электрод истока транзистора 25 выбора соединен с линией 17 вертикального сигнала. Когда высокий активный импульс ϕSЕL выбора передают в электрод затвора транзистора 25 выбора через линию 163 выбора, транзистор 25 выбора включается. Таким образом, транзистор 25 выбора обеспечивает перевод модульного пикселя 20 в выбранный режим таким образом, что сигнал, выводимый из транзистора 24 усиления, передают в линию 17 вертикального сигнала.

Следует отметить, что можно использовать конфигурацию цепи, в которой транзистор 25 выбора включен между модулем Vdd питания пикселя и стоком транзистора 24 усиления.

Следует отметить, что структура пикселя для модульного пикселя 20 не ограничивается описанной выше структурой пикселя из четырех транзисторов. Например, модульный пиксель 20 может иметь структуру пикселя из трех транзисторов, в которой функции транзистора 24 усиления и транзистора 25 выбора выполняются одним транзистором. Таким образом, может использоваться любая конфигурация цепей пикселя.

Обычно для повышения частоты кадров, когда снимают движущееся изображение, выполняют суммирование пикселей, при котором сигналы, выводимые из множества соседних пикселей, суммируют и считывают. Суммирование пикселей выполняют в пикселе, в сигнальных линиях, в модуле 14 обработки столбца или в расположенном далее модуле обработки сигнала. В настоящем варианте выполнения описана, например, структура пикселя, в которой четыре пикселя расположены рядом друг с другом в вертикальном направлении и горизонтальном направлении.

На фиг.3 показана принципиальная схема примерной конфигурации цепей, которая обеспечивает возможность суммирования пикселей для четырех соседних пикселей, выполняемого в пикселях. На фиг.3 используется та же нумерация, которая использовалась в приведенном выше описании фиг.2, в соответствующих случаях.

На фиг.3 фотодиоды 21 этих четырех пикселей, расположенных рядом друг с другом в вертикальном направлении и в горизонтальном направлении, обозначены как фотодиоды 21-1, 21-2, 21-3 и 21-4. Четыре транзистора 22-1, 22-2, 22-3 и 22-4 передачи предусмотрены для фотодиодов 21-1, 21-2, 21-3 и 21-4, соответственно. Кроме того, используют один транзистор 23 сброса, один транзистор 24 усиления и один транзистор 25 выбора.

Таким образом, один из электродов транзистора 22-1 передачи, один из электродов транзистора 22-2 передачи, один из электродов транзистора 22-3 передачи и один из электродов транзистора 22-4 передачи соединены с электродом катода фотодиода 21-1, электродом катода фотодиода 21-2, электродом катода фотодиода 21-3 и электродом катода фотодиода 21-4, соответственно. Другой электрод транзистора 22-1 передачи, другой электрод транзистора 22-2 передачи, другой электрод транзистора 22-3 передачи и другой электрод транзистора 22-4 передачи соединены вместе и подключены к электроду затвора транзистора 24 усиления. Кроме того, модуль 26 ПД, который совместно используется фотодиодами 21-1, 21-2, 21-3 и 21-4, электрически соединен с электродом затвора транзистора 24 усиления. Электрод стока транзистора 23 сброса подключен к источнику Vdd питания пикселя, и электрод истока транзистора 23 сброса соединен с модулем 26 ПД.

В описанной выше структуре пикселя, которая поддерживает суммирование пикселя для четырех соседних пикселей, благодаря подаче импульса ϕTRF передачи одновременно к четырем транзисторам 22-1, 22-2, 22-3 и 22-4 передачи, можно выполнять суммирование пикселя для четырех соседних пикселей. Таким образом, заряды, представляющие собой сигналы, передаваемые из фотодиодов 21-1, 21-2, 21-3 и 21-4 в модуль 26 ПД, через четыре транзистора 22-1, 22-2, 22-3 и 22-4 передачи, суммируют с помощью модуля 26 ПД.

В отличие от этого, при подаче импульса ϕTRF передачи к четырем транзисторам 22-1, 22-2, 22-3 и 22-4 передачи в разные моменты времени, можно выполнять вывод сигнала на основе от пикселя к пикселю. Таким образом, когда снимают движущееся изображение, частоту кадров можно повысить с помощью суммирования пикселей. В отличие от этого, когда снимают неподвижное изображение, можно повысить разрешение путем независимого считывания сигналов всех пикселей.

1-2. Кодирование цвета массива цветного фильтра

Кодирование цвета массива 30 цветного фильтра, которое представляет собой одну из особенностей настоящего примерного варианта выполнения, будет описано ниже.

В соответствии с настоящим примерным вариантом выполнения, в массиве 30 цветного фильтра используется кодирование цвета, при котором цвет, используемый как компонент информации о первичном цвете сигнала яркости, расположен в виде структуры шахматной доски и множество других цветов расположено в других областях структуры шахматной доски. В настоящем варианте выполнения первичный цвет сигнала яркости представляет собой, например, один из белого (W), зеленого (G) и другого спектрального компонента сигнала яркости.

Поскольку фильтр W имеет чувствительность, практически в два раза большую, чем у фильтра G (выходной уровень фильтра W выше, чем у из фильтра G), можно получить высокое отношение S/N (С/Ш, сигнал/шум). Однако поскольку фильтр W содержит информацию о различных цветах, проявляется тенденция возникновения фальшивого цвета, который отличается от исходного цвета субъекта. В отличие от этого, хотя фильтр G имеет более низкую чувствительность, чем фильтр W, фильтр G образует меньше фальшивых цветов. Таким образом, существует компромисс между чувствительностью и генерированием фальшивого цвета.

Когда фильтры W, используемые как фильтры компонента информации о первичном цвете, расположены в виде структуры шахматной доски, фильтры R, G и В расположены в других областях структуры шахматной доски, как фильтры компонентов информации других цветов. В отличие от этого, когда фильтры G, используемые как фильтры компонента информации первичного цвета, расположены в виде структуры шахматной доски, фильтры R и В расположены в других областях структуры шахматной доски, как фильтры компонентов информации других цветов.

Таким образом, путем использования для массива 30 цветного фильтра кодирования цвета, в котором фильтры W для первичного цвета сигнала яркости расположены в виде структуры шахматной доски, чувствительность датчика 10 изображения КМОП может быть повышена, поскольку фильтр W имеет боле высокую чувствительность, чем чувствительность фильтра другого цвета. В отличие от этого, путем использования для массива 30 цветного фильтра кодирования цвета, при котором фильтры G для основного цвета сигнала яркости расположены в виде структуры шахматной доски, можно улучшить воспроизводимость цвета датчиком 10 изображения КМОП, поскольку фильтр G формирует меньше фальшивых цветов.

Кроме того, когда используют массив 30 цветного фильтра, в котором применяют любой один из способов кодирования цвета, сигнал, соответствующий компоновке цветов, преобразуют в сигнал, соответствующий байеровской компоновке, с помощью микросхемы 11 датчика. В это время, поскольку цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски, сигналы других цветов пикселей, расположенных рядом с этим цветом в вертикальном направлении и горизонтальном направлении, могут быть восстановлены на основе сигнала цвета, используемого как первичный компонент сигнала яркости. Следовательно, может быть повышена эффективность преобразования цвета, выполняемая модулем 16 обработки преобразования.

Кроме того, путем вывода сигналов, соответствующих байеровской компоновке, из микросхемы 11 датчика, можно использовать существующий ЦСП для байеровской компоновки, в качестве модуля последующей обработки сигнала. В принципе, ЦСП для байеровской компоновки генерирует сигнал Y яркости и два цветоразностных сигнала U(В-Y) и V(R-Y), используя сигнал, выводимый из микросхемы 11 датчика, и соответствии с байеровской компоновкой.

Таким образом, поскольку можно использовать существующий ЦСП для байеровской компоновки, разработка нового ЦСП, которая является достаточно дорогостоящей, становится ненужной, даже когда меняют кодирование цвета массива 30 цветного фильтра. В соответствии с этим, модуль камеры, включающий в себя ЦСП, может быть получен с низкими затратами. В результате, можно ожидать широкого распространения использования массива 30 цветного фильтра, в частности фильтра W.

1-3. Примеры кодирования цветов массива цветного фильтра

Примеры кодирования цветов, которые способствуют преобразованию сигнала, соответствующего компоновке цветов, в которой фильтры цветов, используемых как первичный компонент сигнала яркости, расположены в виде структуры шахматной доски, в сигнал, соответствующий байеровской компоновке RGB, подробно описаны ниже.

Первый пример первого примерного варианта выполнения

На фиг.4 показана схема компоновки цветов, иллюстрирующая кодирование цвета в соответствии с первым примером первого примерного варианта выполнения. Как показано на фиг.4, при кодировании цветов в соответствии с первым примером первого примерного варианта выполнения, фильтры W, которые обеспечивают максимальный выходной уровень, расположены в виде структуры шахматной доски. Фильтры R расположены в виде структуры шахматной доски с шагом через два пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены в виде структуры шахматной доски с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Каждый из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель. Кроме того, фильтры G расположены в другой области структуры шахматной доски.

Более конкретно, в блоке 4×4 пикселя, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены во втором ряду и в первом столбце и в четвертом ряду и в третьем столбце. Фильтры В расположены в первом ряду и втором столбце и в третьем ряду и четвертом столбце. Такой массив представляет собой структуру шахматной доски с шагом два пикселя. Кроме того, фильтры G расположены в другой области структуры шахматной доски. В это время фильтры G формируют структуру диагональных полос.

Второй пример первого примерного варианта выполнения

На фиг.5 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии со вторым примером первого примерного варианта выполнения. Как показано на фиг.5, при кодировании цветов в соответствии со вторым примером первого примерного варианта выполнения, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены в виде структуры внутри квадрата с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены внутри структуры квадрата с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель. Кроме того, фильтры G расположены в другой области в структуре шахматной доски.

Более конкретно, в блоке 4×4 пикселя, фильтры W расположены в виде структуры шахматной доски. Фильтр R расположен во втором ряду и в третьем столбце. Фильтр В расположен в третьем ряду и во втором столбце. Такой массив представляет собой квадратный массив, имеющий шаг четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, фильтры G расположены в других областях структуры шахматной доски. В это время фильтры G формируют структуру диагональной полосы.

Третий пример первого примерного варианта выполнения

На фиг.6 показана схема компоновки цветов, иллюстрирующая кодирование цвета в соответствии с третьим примером первого примерного варианта выполнения. Как показано на фиг.6, при кодировании цветов в соответствии с третьим примером первого примерного варианта выполнения, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены по квадратам в виде структуры шахматной доски, с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены по квадратам, расположенным в виде структуры шахматной доски, с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на два пикселя. Кроме того, фильтры G расположены в другой области в виде структуры шахматной доски.

Более конкретно, в блоке 4×4 пикселя, фильтры W расположены в виде структуры шахматной доски. Фильтр R расположен во втором ряду и в первом столбце. Фильтр В расположен в четвертом ряду и в третьем столбце. Такой массив представляет собой квадратный массив, имеющий шаг четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, фильтры G расположены в другой области структуры шахматной доски. В это время фильтры G формируют структуру диагональной полосы.

Четвертый пример первого примерного варианта выполнения

На фиг.7 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с четвертым примером первого примерного варианта выполнения. Как показано на фиг.7, при кодировании цветов в соответствии с четвертым примером первого примерного варианта выполнения, фильтры W расположены в виде структуры шахматной доски. Фильтры каждого из цветов R и В расположены в виде структуры шахматной доски, с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель. Кроме того, фильтры G расположены в другой области в виде структуры шахматной доски.

Более конкретно, в блоке 4×4 пикселя, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены в первом ряду и втором столбце и в третьем ряду и в четвертом столбце. Фильтры В расположены в третьем ряду и во втором столбце и в первом ряду и в четвертом столбце. Такой массив представляет собой массив в виде шахматной доски, имеющий шаг два пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, фильтры G расположены в другой области в виде структуры шахматной доски.

Пятый пример первого примерного варианта выполнения

На фиг.8 показана схема компоновки цветов, иллюстрирующая кодирование цвета в соответствии с пятым примером первого примерного варианта выполнения. Как показано на фиг.8, при кодировании цветов в соответствии с пятым примером первого примерного варианта выполнения фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены по квадратам в структуре шахматной доски, с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены по квадратам в виде структуры шахматной доски с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель.

Более конкретно, в блоке 4×4 пикселя, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены во втором ряду и в первом столбце, втором ряду и третьем столбце, в четвертом ряду и в первом столбце и в четвертом ряду и третьем столбце. Фильтры В расположены в первом ряду и втором столбце, в первом ряду и четвертом столбце, третьем ряду и втором столбце и в третьем ряду и в четвертом столбце. Такой массив представляет собой квадратный массив, имеющий шаг два пикселя в вертикальном направлении и в горизонтальном направлении.

Шестой пример первого примерного варианта выполнения

На фиг.9 показана схема компоновки цветов, иллюстрирующая кодирование цвета в соответствии с шестым примером первого примерного варианта выполнения. Как показано на фиг.9, при кодировании цветов, в соответствии с шестым примером первого примерного варианта выполнения, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены по квадратам в виде структуры шахматной доски с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены по квадратам, размещенным в виде структуры шахматной доски, с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на два пикселя. Кроме того, фильтры G расположены в другой области структуры шахматной доски.

Более конкретно, в блоке размером 4×4 пикселя, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены в третьем ряду и четвертом столбце и в четвертом ряду и в третьем столбце. Фильтры В расположены в первом ряду и во втором столбце и во втором ряду и в первом столбце. Такой массив представляет собой квадратный массив, имеющий шаг четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, фильтры G расположены в другой области структуры шахматной доски. В это время фильтры G формируют структуру диагональной полосы.

В способах кодирования цветов в соответствии с описанными выше первым-шестым примерами первого примерного варианта выполнения используют компоновку цветов, в которой фильтры W, имеющие цвет, используемый как первичный компонент сигнала яркости, который обеспечивает максимальный выходной уровень, расположены в виде структуры шахматной доски. Поскольку фильтры белого цвета (W), который включает в себя компоненты цветов R, G и В, расположены в виде структуры шахматной доски, точность преобразования в сигналы, соответствующие байеровской компоновке RGB, может быть повышена.

Ключевое свойство этих способов кодирования цветов состоит в том, что, если фильтры W будет заменены фильтрами G во время описанной ниже обработки преобразования цвета, места расположения фильтров R и В совпадают с местами их расположения в байеровской компоновке. Кроме того, для мест расположения, в которых цвета не совпадают, можно использовать информацию, относящуюся к пикселям фильтров W. Таким образом, информация пикселей R и В может быть восстановлена. В результате, можно существенно повысить эффективность преобразования.

Другое из ключевых свойств способов кодирования цвета в соответствии с первым-третьим примерами и шестым примером первого примерного варианта выполнения состоит в том, что фильтры W расположены в виде структуры шахматной доски и сформирована последовательность из четырех фильтров, расположенных в диагональном направлении с повторениями, которая выглядит так, как структура диагональной полосы. В таких способах кодирования цвета, в результате суммирования сигналов пикселей фильтра G, расположенных рядом с пикселем фильтра W, с сигналом фильтра W, и при использовании этой суммы как первичного компонента сигнала яркости, интенсивность сигнала яркости может быть повышена. В соответствии с этим, может быть повышена чувствительность (отношение С/Ш).

В частности, в способе кодирования цвета, в соответствии с первым примером первого варианта выполнения, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель. В соответствии с этим, эффективность преобразования в сигнал, соответствующий байеровской компоновке, может быть повышена. Кроме того, в способе кодирования цветов в соответствии со вторым примером первого варианта выполнения фильтры R расположены так, что они формируют квадратный массив, имеющий шаг четыре пикселя в вертикальном направлении и в горизонтальном направлении, и фильтры В расположены так, что они формируют квадратный массив, имеющий шаг четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на два пикселя. В соответствии с этим, можно повысить эффективность преобразования. Также, кроме того, в способе кодирования цвета в соответствии со вторым примером первого варианта выполнения, количество фильтров G может быть большим. Таким образом, может быть повышена эффективность преобразования в цвет G.

В способах кодирования цвета в соответствии с первым и шестым примерами первого варианта выполнения последовательность из четырех фильтров G расположена в диагональном направлении с повторениями таким образом, что формируется структура диагональной полосы. В соответствии с этим, в таких способах кодирования цвета, путем суммирования сигнала пикселя G или сигналов двух пикселей G, расположенных рядом с пикселем W, с сигналом пикселя W, и используя суммарный сигнал как первичный компонент сигнала яркости, можно обеспечить высокую чувствительность (высокое отношение С/Ш) без ухудшения разрешения. Это преимущество может быть обеспечено, не только когда последовательность из четырех фильтров G, расположенных в диагональном направлении с повторениями, образована так, что формируется структура диагональной полосы, но также и когда последовательность из четырех фильтров G, расположенных в вертикальном направлении или в горизонтальном направлении, последовательно образована так, что формируется структура полосы.

Седьмой пример первого примерного варианта выполнения

На фиг.10 показана схема компоновки цветов, иллюстрирующая кодирование цвета в соответствии с седьмым примером первого примерного варианта выполнения. Как показано на фиг.10, при кодировании цвета в соответствии с седьмым примером первого примерного варианта выполнения, фильтры G, используемые как цветные фильтры первичного компонента сигнала яркости, расположены в виде структуры шахматной доски. Фильтры R и фильтры В расположены в виде структуры шахматной доски с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Каждый из фильтров R сдвинут по диагонали от одного из фильтров В на два пикселя. Кроме того, фильтры W расположены в другой области структуры шахматной доски.

Более конкретно, в массиве, включающем в себя четыре пикселя в каждом из вертикального направления и горизонтального направления, фильтры G расположены в виде структуры шахматной доски. Фильтры R расположены в первом ряду и в первом столбце и в третьем ряду и в третьем столбце. Фильтры В расположены в первом ряду и в третьем столбце и в третьем ряду и в первом столбце. Такой массив представляет собой структуру шахматной доски, имеющую шаг два пикселя в каждом из вертикального направления и горизонтального направления. Кроме того, фильтры W расположены в другой области структуры шахматной доски.

В способах кодирования цвета, в соответствии с первым-седьмым примерами первого варианта выполнения, фильтры W или G, используемые как цветные фильтры первичного компонента сигнала яркости, расположены в виде структуры шахматной доски. Однако для облегчения преобразования сигнала, соответствующего байеровской компоновке RGB, используя модуль 16 обработки преобразования в микросхеме 11 датчика, кодирование цветов не ограничивается кодированием цветов, в котором фильтры W или фильтры G расположены в виде структуры шахматной доски. Кодирование цветов, в котором фильтры W и G не расположены в виде структуры шахматной доски, описано ниже со ссылкой на восьмой и девятый примеры первого примерного варианта выполнения.

Восьмой пример первого примерного варианта выполнения

На фиг.11 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с восьмым примером первого примерного варианта выполнения. Как показано на фиг.11, при кодировании цветов в соответствии с восьмым примером первого примерного варианта выполнения, каждый из блоков 2×2 пикселя включает в себя фильтры W, R, G и В, и сформирована структура, имеющая шаг два пикселя в вертикальном направлении и в горизонтальном направлении. Более конкретно, каждый из фильтров W расположен в четном ряду и в четном столбце, каждый из фильтров R расположен в четном ряду и в нечетном столбце, каждый из фильтров G расположен в нечетном ряду и в нечетном столбце, и каждый из фильтров В расположен в нечетном ряду и в четном столбце.

Девятый пример первого примерного варианта выполнения

На фиг.12 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с девятым примером первого примерного варианта выполнения. Как показано на фиг.12, при кодировании цветов в соответствии с девятым примером первого примерного варианта выполнения, каждый из блоков размером 2×2 пикселя включает в себя фильтры R, G или В, и эти блоки пикселей формируют байеровскую компоновку. Более конкретно, фильтры G расположены в первом и втором рядах и в первом и втором столбцах и в третьем и в четвертом рядах и третьем и четвертом столбцах, фильтры В расположены в первом и втором рядах и третьем и четвертом столбцах, и фильтры R расположены в третьем и в четвертом рядах и в первом и втором столбцах.

1-4. Отношение W:G:R:B чувствительности

Отношение W:G:R:B чувствительности описано ниже. При кодировании цветов, включающем в себя фильтры W, пиксели фильтра W, которые имеют высокой уровень выходного сигнала, насыщаются раньше, чем пиксели фильтров других цветов. В соответствии с этим, необходимо, чтобы поддерживался баланс чувствительности между пикселями W, G, R и В, то есть отношение W:G:R:B чувствительности можно было бы регулировать путем уменьшения чувствительности пикселя с фильтром W и повышения чувствительности пикселей фильтра других цветов относительно чувствительности пикселя фильтра W.

Для регулирования отношения чувствительности, можно использовать широко применяемые технологии управления экспозицией. Более конкретно, путем регулирования размера микролинз на микросхеме, предусмотренных снаружи массива 30 цветного фильтра для каждого из пикселей массива 30 цветного фильтра, можно поддерживать баланс между количеством света, падающего на пиксели отдельных цветов (см., например, публикацию №9-116127 находящейся на экспертизе заявки на японский патент). Используя такую технологию и путем уменьшения размера микролинз на микросхеме для цвета W до размера, меньшего, чем размер каждого из других цветов, можно понизить чувствительность пикселя фильтра W. Таким образом, чувствительность пикселей фильтра одного из других цветов можно, соответственно, повысить.

В качестве альтернативы, в технологии управления светом экспозиции при кодировании цвета, включающем в себя фильтр W, разность между чувствительностью можно уменьшить, путем удаления микролинз на микросхеме для пикселя W, и С/Ш цвета можно улучшить, путем повышения чувствительности цвета (см., например, публикацию №2007-287891 находящейся на экспертизе заявки на японский патент). Благодаря использованию такой технологии, может быть понижена чувствительность пикселя фильтра W. Таким образом, чувствительность одного из пикселей фильтра другого цвета может быть, соответственно, повышена.

Также, в качестве альтернативы, можно использовать технологию управления экспозицией с помощью затвора, в которой время экспозиции пикселя фильтра G уменьшают по сравнению с пикселями фильтра R или В (см., например, публикацию №2003-60992 находящейся на экспертизе заявки на японский патент). Путем комбинирования такой технологии управления экспозицией с помощью затвора, с управлением площади приема света, чувствительность пикселя фильтра W может быть понижена. Таким образом, чувствительность одного из пикселей фильтра другого цвета может быть, соответственно, повышена. Кроме того, в частности, может быть устранено возникновение цветной кромки у движущегося субъекта. В результате, нет необходимости выполнять обработку ахроматизации с помощью внешнего модуля обработки сигнала (ЦСП).

Следует отметить, что описанные выше три технологии управления экспозицией, используемые для регулирования отношения чувствительности, представляют собой только примеры. Технология управления экспозицией не ограничивается этим.

Например, размер микролинз на микросхеме для пикселя W устанавливают таким образом, чтобы выходные уровни пикселей W, G, В и R, по существу, составляли пропорцию 2:1:0,5:0,5.

Для пикселей размером 1,1 мкм, когда размер микролинз на микросхеме для пикселя W изменяют на±0,1 мкм, площадь удваивается или уменьшается наполовину. Поэтому чувствительность удваивается или уменьшается наполовину. В соответствии с этим, выходные уровни пикселя W, имеющего такую же площадь, как и у пикселя G, и имеющие в два раза больший выходной уровень, чем у пикселя G, можно регулировать таким образом, чтобы выходные уровни были одинаковыми. Даже когда размер микролинз на микросхеме изменяют на ±0,05 мкм, площадь изменяется на ±1,42 от исходной площади, и поэтому чувствительность пикселя W можно уменьшить в 1,42 раза по сравнению с пикселем G. В таком случае дополнительная регулировка чувствительности может быть выполнена путем управления экспозицией с помощью затвора.

1-5. Обработка преобразования цвета

Обработка преобразования сигнала в сигнал, соответствующий байеровской компоновке RGB (то есть обработка преобразования цвета), выполняемая модулем 16 обработки преобразования, будет более подробно описана ниже.

Далее представлены два типа обработки преобразования цвета: обработка преобразования цвета, выполняемая при съемке неподвижного изображения (во время полного сканирования, при котором сканируют все пиксели), и обработка преобразования цвета, выполняемая, когда снимают движущееся изображение (во время суммирования пикселей, при котором сигналы из множества пикселей, соседних с данным пикселем, суммируют с сигналом данного пикселя). В случае кодирования цвета в соответствии с первым и шестым примерами первого примерного варианта выполнения, может быть выполнена обработка преобразования цвета с высокой чувствительностью. В соответствии с этим, можно использовать режим с низкой яркостью, и поэтому обработка преобразования цвета, выполняемая во время полного сканирования, может быть разделена на две обработки преобразования цвета.

Одну из двух обработок преобразования цвета выполняют, когда яркость падающего света выше, чем заданное опорное значение яркости. Такая обработка преобразования цвета называется "обработкой 1 преобразования цвета". Другую обработку преобразования цвета выполняют, когда яркость падающего света ниже чем или равна заданной опорной яркости. Такую обработку преобразования цвета называют "обработкой 2 преобразования цвета". Кроме того, обработка преобразования цвета, выполняемая во время суммирования пикселей, может быть разделена на множество обработок преобразования цвета в соответствии с комбинациями суммируемых пикселей.

Следует отметить, что в случае кодирования цвета во время полного сканирования в соответствии с другими примерами, кроме первого и шестого примеров, трудно использовать режим низкой яркости. В соответствии с этим, используют только режим высокой яркости. Таким образом, в случае кодирования цвета во время полного сканирования в соответствии со вторым-пятым примерами и седьмым-девятым примерами, используют обработку 1 преобразования цвета, используемую в первом и шестом примерах для высокой яркости.

Кодирование цвета в соответствии с первым примером первого примерного варианта выполнения

Ниже описана обработка преобразования цвета, выполняемая для кодирования цвета в соответствии с первым примером первого примерного варианта выполнения. Первой будет описана обработка 1 преобразования цвета, выполняемая в режиме высокой яркости, во время полного сканирования, со ссылкой на блок-схему последовательности операций, показанную на фиг.13, и схематические иллюстрации, представленные на фиг.14А-14D.

Как представлено блок-схемой последовательности операций, показанной на фиг.13, обработка 1 преобразования цвета в режиме высокой яркости реализуется путем последовательного выполнения обработки на этапах 811, 812 и 813. На фиг.14А показаны компоновки цветов размером 4×4 пикселя при кодировании цвета в соответствии с первым примером.

На этапе S11, как показано на фиг.14В, компоненты белых (W) пикселей, расположенных в виде структуры шахматной доски, расширяют на пиксели всех цветов, путем определения направления разрешения. Используемый здесь термин "направление разрешения" относится к направлению, в котором присутствуют сигналы пикселя. На фиг.14В "W", окруженный квадратной рамкой, представляет компонент пикселя W после расширения компонента пикселя W на каждый из всех цветов.

Для расширения компонента пикселя W на пиксели других цветов, может применяться обработка сигналов на основе широко используемой корреляции по направлению. Например, при обработке сигналов, основанной на корреляции по направлению, получают множество сигналов цветов, соответствующих данному пикселю, и получают значение корреляции в вертикальном направлении и/или в горизонтальном направлении (см., например, японский патент №2931520).

На этапе S12, как показано на фиг.14С, пиксель W заменяют пикселем G, используя корреляцию между пикселем W и пикселем G. Как можно видеть из описанных выше компоновок цветов для различного кодирования цветов, пиксель W расположен рядом с пикселем G. Что касается корреляции между пикселем W и пикселем G в определенной области, пиксель W и пиксель G имеют сильную корреляцию, поскольку любой из пикселя W и пикселя G имеет цвет, используемый как первичный компонент сигнала яркости. Таким образом, значение корреляции (коэффициент корреляции) будет близким к 1. Путем определения направления разрешения, используя корреляцию цветов и изменяя выходной уровень пикселя W до уровня, эквивалентного входному уровню пикселя G, пиксель W заменяют пикселем G.

На этапе S13, пиксель R и пиксель В генерируют для байеровской компоновки, показанной на фиг.14D, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В. Поскольку пиксель W включает в себя компоненты цветов R, G и В, корреляция между пикселем W и пикселем R и корреляция между пикселем W и пикселем В могут быть получены. Для обработки сигналов можно использовать существующую технологию, в которой сигнал яркости, заменяемый на G при компоновке из четырех цветов, генерируют для каждого пикселя путем интерполяции (см., например, публикацию №2005-160044 находящейся на экспертизе заявки на японский патент).

Далее будет описана обработка 2 преобразования цветов, выполняемая в режиме низкой яркости, во время полного сканирования, со ссылкой на блок-схему последовательности операций, показанную на фиг.15, и схематические иллюстрации, представленные на фиг.16А-16D.

Вначале, как показано на фиг.16А, исследуют направление разрешения, используя обработку сигналов на основе описанной выше широко используемой технологии (этап S21). После этого определяют, можно ли определить направление разрешения (этап S22). Если направление разрешения может быть определено, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов (этап S23).

Затем, как показано на фиг.16В, пиксели R и пиксели В генерируют, используя описанную выше широко используемую технологию корреляции между пикселем W и пикселем R и корреляции между пикселем W и пикселем В (этап S24). Затем, как показано на фиг.16С, сигналы двух пикселей R, расположенные рядом с пикселем W, суммируют с сигналами пикселя W таким образом, что сигнал пикселя W аппроксимируют по G (=W+2 G). Таким образом, как показано на фиг.16D, каждый из пикселей G генерируют для байеровской компоновки (этап S25).

Однако если на этапе S22 направление разрешения не будет определено, каждый из пикселей R и В генерируют для байеровской компоновки, используя простую интерполяцию усреднения по четырем пикселям, используя четыре пикселя, расположенные рядом с пикселем W в вертикальном направлении и в горизонтальном направлении (этап S26).

Как описано выше, используя обработку 1 преобразования цветов и обработку 2 преобразования цветов в соответствии с яркостью падающего света, сигналы, соответствующие компоновке цветов, в которой фильтры W расположены в виде структуры шахматной доски, могут быть преобразованы в сигналы, соответствующие байеровской компоновке RGB в микросхеме 11 датчика, и эти сигналы могут быть выведены.

Две обработки преобразования цветов, выполняемые во время суммирования пикселей для съемки движущегося изображения, описаны ниже. Далее одна из двух обработок преобразования цветов называется "обработкой 1 суммирования пикселей", и другая обработка преобразования цветов называется "обработкой 2 суммирования пикселей".

Вначале будет описана обработка 1 суммирования пикселей со ссылкой на блок-схему последовательности операций, показанную на фиг.17, и схематические иллюстрации, показанные на фиг.18А-18D.

Суммирование выполняют по двум пикселям W, расположенным рядом друг с другом по диагонали (этап S31). Более конкретно, как показано на фиг.18А, суммирование выполняют по пикселю, представляющему интерес, и пикселю, расположенному ниже и справа от пикселя, представляющего интерес (то есть пикселя, расположенного справа на один столбец и ниже на один ряд). Такое суммирование может быть выполнено в структуре пикселей, показанной на фиг.3, путем подачи импульса ϕТРР передачи одновременно в транзисторы 22 передачи двух пикселей, которые представляют собой цели суммирования (транзисторы 22-1 и 22-4 передачи в данном примере). Таким образом, может быть выполнено суммирование двух пикселей в модуле 26 ПД. Ниже такое суммирование пикселей называется "суммированием ПД".

Затем для каждого из пикселей R, G и В выполняют суммирование по двум пикселям, скомпонованным так, что один пиксель остается между ними в противоположном диагональном направлении (этап S32). Более конкретно, как показано на фиг.18В, суммирование выполняют для пикселя, представляющего интерес, и пикселя, расположенного снизу и слева от пикселя, представляющего интерес, так, что один пиксель остается между ними (то есть пиксель, находящийся справа на два столбца и ниже на два ряда). Для каждого из пикселей R, G и В, когда модуль 14 обработки столбца, показанный на фиг.1, имеет функцию А/Ц преобразования, такое суммирование может быть выполнено во время А/Ц преобразования.

Более конкретно, в компоновке цветов, показанной на фиг.19, сигналы пикселей

81 и G1 считывают независимо. После А/Ц преобразования сигналов, сигналы пикселей 82 и G3 постоянно считывают и подвергают А/Ц преобразованию. Таким образом, может быть выполнено суммирование двух пикселей. Для выполнения суммирования пикселей во время А/Ц преобразования, выполняемого модулем 14 обработки в столбце, можно использовать существующую технологию для преобразования аналогового сигнала пикселя в цифровой сигнал пикселя, используя счетчик (см., например, публикацию №2006-033454 находящейся на экспертизе заявки на японский патент).

Ниже такое суммирование пикселей, выполняемое с использованием счетчика А/Ц преобразователя, называется "суммированием счетчиком". Когда выполняют суммирование счетчиком, и если в разных линиях будет разный коэффициент усиления, соотношение при суммировании может изменяться. Аналогично, суммирование счетчиком может быть выполнено по пикселям R. Следует отметить, что при описанном выше суммировании двух пикселей для пикселей W, выполняют суммирование ПД между пикселями W1 и W2 и между пикселями W3 и W4.

Ниже, как показано на фиг.18С, компоненты пикселя W устанавливают в пиксели R, G и В (этап S33). После этого, как показано на фиг.18D, генерируют четыре пикселя для байеровской компоновки RGB (этап S34).

Далее описана обработка 2 суммирования пикселей со ссылкой на блок-схему последовательности операций, показанную на фиг.20, и схематические иллюстрации, показанные на фиг.21А-21D.

Вначале для пикселей W и пикселей G выполняют суммирование ПД между двумя пикселями в верхних левых - нижних правых диагональных направлениях и в верхних правых - нижних левых диагональных направлениях, соответственно. Таким образом, генерируют пиксели W, R, G и В (этап S41). Более конкретно, для пикселей W, как показано на фиг.21А, выполняют суммирование ПД между пикселем, представляющим интерес, и пикселем, расположенным снизу справа от пикселя, представляющего интерес (то есть пикселя, расположенного справа на один столбец и ниже на один ряд). Для пикселей G, как показано на фиг.21В, выполняют суммирование ПД между пикселем, представляющим интерес, и пикселем, расположенным снизу слева от пикселя, представляющего интерес (то есть пикселя, расположенного слева на один столбец и ниже на один ряд).

Следует отметить, что, среди восьми пикселей в блоке пикселей 4×4, пара сигналов из R и В не используется. Таким образом, пиксели R и пиксели В считывают на основе прореживания, без выполнения суммирования пикселей. В соответствии с этим, чувствительность R и В понижается по сравнению с обработкой 1 суммирования пикселей. Следовательно, отношение С/Ш цветов будет низким.

Ниже, как показано на фиг.21C, в компоненты пикселя W устанавливают в пиксели R, G и В (этап S42). Затем, как показано на фиг.21D, генерируют четыре пикселя для байеровской компоновки RGB (этап S43). В случае обработки 2 суммирования пикселей, местоположение центроида байеровской компоновки несколько сдвинуто по сравнению с обработкой 1 суммирования пикселей.

Далее будет описана обработка 3 суммирования пикселей со ссылкой на блок-схему последовательности операций, показанную на фиг.22, и схематические иллюстрации, показанные на фиг.23А-23D.

Вначале для каждого из пикселей W, R, G и В выполняют суммирование между двумя пикселями, расположенными в диагональном направлении, с пикселем, расположенным между ними (этап S51). Таким образом, как показано на фиг.23 В, получают компоновку цветов, включающую в себя ряд из R, W, G, W... и следующий ряд из W, G, W, R... после суммирования. После этого, как показано на фиг.23С, так же, как и при обработке во время полного сканирования, генерируют пиксели R и В для байеровской компоновки, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем R (этап S52).

Как описано выше, используя одну из обработки 1 суммирования пикселей, обработки 2 суммирования пикселей и обработки 3 суммирования пикселей, при съемке движущегося изображения, сигналы, соответствующие компоновке цветов, в которой фильтры W расположены в виде структуры шахматной доски, могут быть преобразованы в сигналы, соответствующие байеровской компоновке RGB на микросхеме 11 датчика, и эти сигналы могут быть выведены.

Обработки преобразования цветов для кодирования цветов в соответствии со вторым-девятым примерами описаны ниже. Во многих случаях последовательность обработки аналогична первому примеру.

Кодирование цветов в соответствии со вторым примером первого примерного варианта выполнения

Обработка преобразования цветов во время полного сканирования описана со ссылкой на схематические иллюстрации, показанные на фиг.24А-24D. В компоновке цветов блока 4×4 пикселей в соответствии со вторым примером первого примерного варианта выполнения, показанного на фиг.24А, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.24В. Затем, как показано на фиг.24С, пиксели W заменяют пикселями G, используя корреляцию между пикселем W и пикселем G. После этого, как показано на фиг.24D, пиксели R и пиксели В генерируют для байеровской компоновки RGB, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В.

Обработка суммирования пикселей описана ниже со ссылкой на схематические иллюстрации, показанные на фиг.25А-25D. Как показано на фиг.25А и 25В, для пикселя W и пикселя G, выполняют ПД суммирование между двумя пикселями, расположенными в нижних правых - верхних левых диагональных направлениях и в нижних левых - верхних правых диагональных направлениях, соответственно. Таким образом, генерируют пиксели W, R, G и В. После этого, как показано на фиг.25С, компоненты пикселей W устанавливают в пиксели R, G и В. Таким образом, как показано на фиг.25D, генерируют четыре пикселя для байеровской компоновки RGB.

Кодирование цветов в соответствии с третьим примером первого примерного варианта выполнения

Обработка преобразования цвета во время полного сканирования описана со ссылкой на схематические иллюстрации, показанные на фиг.26А-26D. При компоновке цветов блока пикселя размером 4×4 в соответствии с третьим примером первого примерного варианта выполнения, показанным на фиг.26А, компоненты пикселей W, расположенные в структуре шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.26 В. Затем, как показано на фиг.26С, пиксели W заменяют пикселями G, используя корреляцию между пикселем W и пикселем G. После этого, как показано на фиг.26D, пиксели R и В генерируют для байеровской компоновки RGB, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В.

Обработка суммирования пикселей описана ниже со ссылкой на схематические иллюстрации, показанные на фиг.27А-27Е. Как показано на фиг.27А и 27В, для пикселей W, R, G и В, выполняют ПД суммирование по диагонали влево-вверх и вправо-вверх. Таким образом, генерируют цвета W, Су (голубой), G и Ye (желтый). После этого, как показано на фиг.27С, генерируют байеровскую компоновку путем расчета В=W-Ye и R=W-Су. В это время, хотя отношение С/Ш для цветов В и R деградировало из-за операции вычитания, повышается воспроизводимость цветов. Далее, как показано на фиг.27D, компоненты пикселей W устанавливают в пиксели R, G и В. Таким образом, как показано на фиг.27Е, генерируют четыре пикселя для байеровской компоновки RGB.

Кодирование цветов в соответствии с четвертым примером первого примерного варианта выполнения

Обработка преобразования цветов во время полного сканирования описана вначале со ссылкой на схематические иллюстрации, показанные на фиг.28А-28D. В компоновке цветов блока пикселя 4×4 в соответствии с четвертым примером первого примерного варианта выполнения, показанного на фиг.28А, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.28В. Затем, как показано на фиг.28С, пиксели W заменяют пикселями G, используя корреляцию между пикселем W и пикселем G. После этого, как показано на фиг.28D, пиксели R и В генерируют для байеровской компоновки RGB, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В.

Можно использовать четыре типа суммирования пикселей. Первый тип суммирования пикселей описан ниже со ссылкой на схематические иллюстрации, показанные на фиг.29А-29F. Как показано на фиг.29А и 29В, для пикселей R и В, выполняют суммирование по чередующимся пикселям, расположенным в верхнем левом - нижнем правом диагональных направлениях и верхних правых - нижних левых диагональных направлениях. Таким образом, генерируют такие цвета, как W, Су и Ye. После этого, как показано на фиг.29С, каждый из компонентов Су и Ye расширяют на все пиксели. Далее, как показано на фиг.29D, рассчитывают следующие уравнения G=Су+Ye-W, В=W-Ye и R=W-Су. Как показано на фиг.29Е, компоненты пикселей W затем устанавливают в пиксели R, G и В. Таким образом, как показано на фиг.29F, генерируют четыре пикселя для байеровской компоновки RGB.

Второй тип суммирования пикселей будет описан ниже со ссылкой на схематические иллюстрации, показанные на фиг.30А-30D. Как показано на фиг.30А, для пикселей R и пикселей В суммирование выполняют между двумя чередующимися пикселями, расположенными в верхних левых - нижних правых диагональных направлениях и в верхних правых - нижних левых диагональных направлениях, соответственно. Для пикселей G рассчитывают среднее значение для пикселя G, расположенного в центре, и четырех пикселей, расположенных выше и ниже центрального пикселя и слева и справа от центрального пикселя. Для пикселей W, как показано на фиг.30В, выполняют диагональное ПД суммирование. Как показано на фиг.30С, компоненты пикселей W затем устанавливают в пиксели R, G и В. Таким образом, как показано на фиг.30D, генерируют четыре пикселя для байеровской компоновки RGB.

Третий тип суммирования пикселей описан ниже со ссылкой на схематические иллюстрации, показанные на фиг.31А-31С. Как показано на фиг.31А, для пикселей W, суммирование выполняют между двумя диагонально соседними пикселями. Для каждого из пикселей R, G и В, выполняют суммирование между двумя чередующимися пикселями, расположенными в диагональном направлении. В соответствии с этим, получают компоновку цветов, такую как показано на фиг.31В. Затем компоненты пикселей W устанавливают в пиксели R, G и В. Таким образом, как показано на фиг.31С, генерируют четыре пикселя для байеровской компоновки RGB.

Четвертый тип суммирования пикселей описан ниже со ссылкой на схематические иллюстрации, показанные на фиг.32А-32D. Как показано на фиг.32А, для каждого из пикселей W, R, G и В, выполняют диагональное ПД суммирование по двум пикселям с одним пикселем между ними. Затем, путем комбинирования сигналов пикселей W, расположенных в виде двухрядной компоновки на основе структуры шахматной доски, может быть получена компоновка цветов, включающая в себя пиксели W в виде структуры шахматной доски, как показано на фиг.32В. Затем, как и при обработке, выполняемой во время полного сканирования, пиксели W заменяют пикселями G, используя корреляцию между пикселем W и пикселем G, как показано на фиг.32С. Затем, как показано на фиг.32D, пиксели R и В генерируют для байеровской компоновки RGB, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В.

Кодирование цветов В соответствии с пятым примером первого примерного варианта выполнения

Обработка преобразования цветов во время полного сканирования описана вначале со ссылкой на схематические иллюстрации, показанные на фиг.33А-33D. В компоновке цветов блока пикселей размером 4×4 в соответствии с пятым примером первого примерного варианта выполнения, показанного на фиг.33А, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.33В. Затем, как показано на фиг.33С, компоненты каждого из пикселей R и В расширяют на все пиксели, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В. Затем рассчитывают следующее уравнение: G=W-R-В. Компоненты пикселей W устанавливают во все пиксели. Таким образом, как показано на фиг.33D, генерируют четыре пикселя для байеровской компоновки RGB.

Суммирование пикселей описано ниже со ссылкой на схематические иллюстрации, показанные на фиг.34А-34Е. Как показано на фиг.34А, выравнивают места расположения центроида для пикселей R, G и В. Сигналы пикселей R суммируют. Сигналы пикселей G суммируют и сигналы пикселей В суммируют. Затем, как показано на фиг.34 В, сигналы G генерируют путем расчета следующего уравнения: G=W-R-В. После этого, как показано на фиг.34С, выполняют суммирование четырех пикселей в диагональном направлении для пикселей В и суммирование вверх и вниз, влево и вправо для пяти пикселей выполняют для пикселей R. Таким образом, генерируют пиксели R и пиксели В. В конечном итоге, как показано на фиг.34D, генерируют четыре пикселя для байеровской компоновки RGB.

Кодирование цветов в соответствии с шестым примером первого примерного варианта выполнения

Обработка 1 преобразования цветов во время полного сканирования будет описана вначале со ссылкой на схематические иллюстрации, показанные на фиг.35А-35D. В компоновке цветов блока пикселя 4×4 в соответствии с шестым примером первого примерного варианта выполнения, показанным на фиг.35А, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.35В. Затем, как показано на фиг.35С, пиксели W заменяют пикселями G, используя корреляцию между пикселем W и пикселем G. После этого, как показано на фиг.35D, пиксели R и В генерируют для байеровской компоновки RGB, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В.

Обработка 2 преобразования цветов во время полного сканирования описана ниже со ссылкой на схематические иллюстрации, показанные на фиг.36А-36D. Как и при обработке 1 преобразования цветов, в компоновке цветов блока пикселей 4×4 в соответствии с шестым примером первого примерного варианта выполнения, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.36А. Затем, как показано на фиг.36В, пиксели R и В генерируют, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В. Ниже, как показано на фиг.36С, сигналы двух пикселей, расположенные рядом с пикселем W, суммируют с сигналом пикселя W так, чтобы аппроксимировать к G(=W+2G). Таким образом, как показано на фиг.36D, каждый из пикселей R и В генерируют для байеровской компоновки. В это время, если будет найдено направление, отношение суммирования можно динамически изменять.

Обработка 1 суммирования пикселей описана ниже со ссылкой на фиг.37А-37D. Как показано на фиг.37А и 37В, диагональное суммирование ПД в направлениях влево-вверх и вправо-вверх выполняют для пикселя В и каждого из пикселей R, G и В. Таким образом, генерируют пиксели В, R, G и В. Ниже, как показано на фиг.37С, компоненты пикселя W устанавливают в каждый из пикселей. Таким образом, как показано на фиг.37D, генерируют четыре пикселя для байеровской компоновки RGB.

Обработка 2 суммирования пикселей описана ниже со ссылкой на фиг.38А-38D. Как показано на фиг.38А и 38 В, выполняют диагональное ПД суммирование по диагонали влево-вверх и вправо-вверх для пикселя W и каждого из пикселей R, G и В. Таким образом, генерируют пиксели W, R, G и В. Ниже, как показано на фиг.38С, компоненты пикселя W устанавливают в каждый из пикселей В и R. Таким образом, как показано на фиг.38D, генерируют четыре пикселя для байеровской компоновки RGB.

Кодирование цветов в соответствии с седьмым примером первого примерного варианта выполнения

Обработка преобразования цветов во время полного сканирования будет описана вначале со ссылкой на схематические иллюстрации, показанные на фиг.39А-39D. В компоновке цветов блока 4×4 пикселя в соответствии с седьмым примером первого примерного варианта выполнения, показанного на фиг.39А, компоненты пикселей G, расположенные в виде структуры шахматной доски, расширяют на пиксели R и В, используя направление разрешения, как показано на фиг.39В. Затем, как показано на фиг.39С, пиксели W заменяют пикселями R и В, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В. Таким образом, как показано на фиг.39D, генерируют четыре пикселя для байеровской компоновки RGB.

Обработка суммирования пикселей описана ниже со ссылкой на схематические иллюстрации, показанные на фиг.40А-40Е. Как показано на фиг.40А, для пикселей R и пикселей В выполняют суммирование между двумя чередующимися пикселями, расположенными в верхнем левом - нижнем правом диагональных направлениях и в верхнем правом - нижнем левом диагональных направлениях, соответственно. Таким образом, как показано на фиг.40В, генерируют пиксели 2R и 2В. Затем, как показано на фиг.40С, выполняют диагональное суммирование в форме ромба по пикселям G. Таким образом, как показано на фиг.40D, генерируют 4 пикселя G. Затем Gw, Rw и Bw добавляют к пикселям W, используя корреляцию между пикселем W и пикселем R, корреляцию между пикселем W и пикселем В и корреляцию между пикселем W и пикселем В. Таким образом, как показано на фиг.40Е, генерируют четыре пикселя для байеровской компоновки RGB.

Кодирование цветов в соответствии с восьмым примером первого примерного варианта выполнения

Обработка преобразования цветов во время полного сканирования описана со ссылкой на схематические иллюстрации, показанные на фиг.41А-41D. В компоновке цветов блока пикселей 4×4 в соответствии с восьмым примером первого примерного варианта выполнения, показанного на фиг.41А, компонент пикселей W расширяют на пиксели G и W так, что их располагают в виде структуры шахматной доски, используя направление разрешения, как показано на фиг.41В. Затем, как показано на фиг.41С, компоненты пикселей W устанавливают в пиксели G. Таким образом, как показано на фиг.41D, генерируют четыре пикселя для байеровской компоновки RGB.

Обработка суммирования пикселей описана ниже со ссылкой на схематические иллюстрации, показанные на фиг.42А-42D. Как показано на фиг.42А, места расположения центроида пикселей G и W выравнивают. Сигналы пикселей G суммируют и сигналы пикселей W суммируют. Затем, как показано на фиг.42 В, компоненты пикселей W устанавливают в пиксели G. Таким образом, генерируют G=G+Gw. Далее, как показано на фиг.42С, выполняют суммирование четырех пикселей в диагональном направлении для пикселей В и выполняют суммирование в направлениях вверх и вниз, влево и вправо пяти пикселей для пикселей R. Таким образом, как показано на фиг.42D, генерируют четыре пикселя для байеровской компоновки RGB.

Кодирование цветов в соответствии с девятым примером первого примерного варианта выполнения

Обработка преобразования цветов во время полного сканирования будет описана со ссылкой на схематические иллюстрации, показанные на фиг.43А-43С. В компоновке цветов блока пикселей 4×4 в соответствии с девятым примером первого примерного варианта выполнения, показанного на фиг.43А, компоненты пикселей G расширяют на пиксели R и В, используя направление разрешения, как показано на фиг.43В. Затем, как показано на фиг.43С, генерируют четыре пикселя для байеровской компоновки RGB, используя корреляцию между пикселем G и пикселем R и корреляцию между пикселем G и пикселем В.

Обработка суммирования пикселей будет описана ниже со ссылкой на схематические иллюстрации, показанные на фиг.44А и 44В. Как показано на фиг.44А, ПД суммирование выполняют на сигналах четырех пикселей в блоке 2×2 пикселя одного и того же цвета. В конечном итоге, как показано на фиг.44В, генерируют четыре пикселя для байеровской компоновки RGB.

2. Второй примерный вариант выполнения

Второй примерный вариант выполнения описан ниже со ссылкой на прилагаемые чертежи.

Конфигурация системы

На фиг.1 показана схематическая иллюстрация примерной конфигурации системы датчика формирования изображения КМОП, которая представляет собой пример твердотельного устройства формирования изображения (твердотельное устройство формирования изображения с X-Y адресацией) в соответствии со вторым примерным вариантом выполнения, на основе первого примерного варианта выполнения.

Как показано на фиг.1, каждый из датчиков 10, 10А, 10В… формирования изображения КМОП включает в себя полупроводниковую подложку (ниже также называется "микросхемой датчика") 11, модуль 12 массива пикселей, модуль 13 вертикального управления, модуль 14 обработки в столбце, модуль 15 горизонтального управления, модуль 16 обработки преобразования, модуль 17 управления системой и массив 30 цветного фильтра (модуль цветного фильтра). Как показано на фиг.2, модульный пиксель 20 включает в себя фотодиод 21, транзистор 22 передачи, транзистор 23 сброса, транзистор 24 усиления и транзистор 25 выбора и модуль 26 плавающей диффузии (ПД). Номером "40" ссылочной позиции обозначена схема ЦСП.

В соответствии с настоящим вариантом выполнения, в датчике 10А формирования изображения КМОП, модуль 12 массива пикселей сформирован на полупроводниковой подложке (микросхеме датчика) 11. Кроме того, модуль периферийной цепи интегрирован в полупроводниковую подложку 11, имеющую модуль 12 массива пикселей, сформированный на ней. Например, периферийный модуль включает в себя модуль 13 вертикального управления, модуль 14 обработки в столбце, модуль 15 горизонтального управления, модуль 16 обработки преобразования и модуль 17 управления системой.

Модуль 12 массива пикселей включает в себя множество модульных пикселей (не показаны), каждый из которых включает в себя элемент фотоэлектрического преобразования, расположенный двумерно в виде массива. Модульный пиксель (ниже также просто называется "пикселем") преобразуют на основе фотоэлектрического преобразования в видимый свет, падающий на него, в электрический заряд, в соответствии с интенсивностью видимого света. В массиве 30 цветного фильтра предусмотрен модуль 12 массива пикселей на стороне поверхности приема света (сторона падения света). Одно из ключевых свойств настоящего примерного варианта выполнения состоит в кодировании цветов массива 30 цветного фильтра. Кодирование цветов в массиве 30 цветного фильтра более подробно описано ниже.

Кроме того, в модуле 12 массива пикселей, линия 18 управления пикселем расположена в направлении влево - вправо по фиг.1 (направление, в котором пиксели расположены в ряду пикселей, или горизонтальное направление) для каждого из рядов массива пикселей. Аналогично, вертикальная линия 19 сигнала расположена в направлении вверх - вниз на фиг.1 (направление, в котором расположены пиксели в столбце пикселей, или вертикальное направление) для каждого из столбцов массива пикселей. На фиг.1, хотя показана только одна линия 18 управления пикселем, количество линий 18 управления пикселем не ограничено 1. Один конец линии 18 управления пикселем подключен к выходному разъему, соответствующему одному из рядов модуля 13 вертикального управления.

Например, модуль 13 вертикального управления включает в себя сдвиговый регистр и декодер адреса. Хотя подробная его конфигурация не показана на фиг.1, модуль 13 вертикального управления включает в себя систему сканирования считывания и систему сканирования очистки. Система сканирования считывания последовательно сканирует единичные пиксели, из которых выполняют считывание сигналов на основе ряд за рядом.

В отличие от этого, перед выполнением операции сканирования считывания для ряда считывания, выполняемой системой сканирования считывания в течение времени, определенного скоростью затвора, система сканирования очистки выполняет сканирование очистки таким образом, что ненужный электрический заряд очищают (выполняют сброс) из элементов фотоэлектрического преобразования для модульных пикселей в ряду считывания. В результате очистки (сброса) ненужного электрического заряда, используя систему сканирования очистки, выполняют так называемую операцию электронного затвора. Таким образом, при выполнении операции электронного затвора электрический заряд, сформированный под действием света элемента фотоэлектрического преобразования, сбрасывают и начинают новую операцию экспозиции (накопление электрического заряда под действием света).

Сигнал, считываемый во время операции считывания, выполняемой системой сканирования считывания, соответствует количеству света, падающего непосредственно после выполнения предыдущей операции считывания или операции электронного затвора. Кроме того, период времени от момента считывания непосредственно предыдущей операции считывания или момента времени очистки при выполнении операции электронного затвора до момента считывания текущей операции считывания соответствует времени накопления (времени экспозиции) электрического заряда, получаемого под действием света в отдельном пикселе.

Сигнал, выводимый из каждого из модульных пикселей в ряду пикселей, выбранный и сканированный с помощью модуля 13 вертикального управления, передают в модуль 14 обработки в столбце через соответствующую одну из линий 19 вертикального сигнала. Для каждого из столбцов пикселей модуля 12 массива пикселей, модуль 14 обработки столбца выполняет заданную обработку сигналов для аналогового сигнала пикселей, выводимого из пикселя в выбранном ряду.

Пример обработки сигналов, выполняемой модулем 14 обработки в столбце, представляет собой обработку коррелированной двойной выборки (КДВ). При обработке КДВ получают уровень сброса и уровень сигнала, выводимый из каждого из пикселей в выбранном ряду, и рассчитывают разность между этими уровнями. Таким образом, получают сигнал пикселей в выбранном ряду. Кроме того, удаляют фиксированную структуру шумов пикселей. Модуль 14 обработки в столбце может иметь функцию аналого-цифрового (А/Ц) преобразования, предназначенного для преобразования аналогового сигнала пикселя в цифровой формат.

Например, модуль 15 горизонтального управления включает в себя сдвиговый регистр и декодер адреса. Модуль 15 горизонтального управления последовательно выбирает и сканирует участок схемы, соответствующий столбцу пикселей, в модуле 14 обработки столбца. Каждый из столбцов пикселей последовательно обрабатывают с помощью модуля 14 обработки в столбце, используя операцию сканирования выбора, выполняемую модулем 15 горизонтального управления, и последовательно выводят.

Модуль 16 обработки преобразования выполняет расчет и преобразует сигналы, соответствующие компоновке цветов для массива 30 цветного фильтра (модуль цветного фильтра), и выводит их из пикселей модуля 12 массива пикселей через модуль 14 обработки в столбце в сигналы, соответствующие байеровской компоновке. Другие ключевые особенности настоящего варианта выполнения состоят в том, что модуль 16 обработки преобразования установлен на подложке, на которой сформирован модуль 12 массива пикселей, то есть в микросхеме 11 датчика, обработку преобразования цвета выполняют в микросхеме 11 датчика и сигнал, соответствующий байеровской компоновке, выводят из микросхемы 11 датчика. Обработка преобразования цветов, выполняемая модулем 16 обработки преобразования, более подробно описана ниже.

Широко используемый термин "байеровская компоновка" представляет компоновку цветов, в которой цвет, используемый как компонент информации первичного цвета сигнала яркости для высокого разрешения, расположен в виде структуры шахматной доски и другие два цвета, используемые как компоненты информации цвета сигнала яркости с не таким высоким разрешением, расположены в другой области структуры шахматной доски. В основной форме кодирования цветов в соответствии с байеровской компоновкой, зеленый (G), который вносит большой вклад в сигнал яркости, расположен в виде структуры шахматной доски, и красный (R) и синий (В) расположены в другой области структуры шахматной доски.

Модуль 17 управления системой принимает тактовую частоту, подаваемую снаружи микросхемы 11 датчика, и данные для обозначения режима работы. Кроме того, модуль 17 управления системой выводит данные, представляющие внутреннюю информацию датчика 10 изображения КМОП. Кроме того, модуль 17 управления системой включает в себя генератор тактовой частоты, который генерирует различные сигналы тактовой частоты. Модуль 17 управления системой управляет работой модуля 13 вертикального управления, модуля 14 обработки в столбце, модуля 15 горизонтального управления и модуля 16 обработки преобразования, используя различные сигналы тактовой частоты, генерируемые генератором тактовой частоты.

Конфигурация цепей модульного пикселя

На фиг.2 показана примерная принципиальная схема модульного пикселя 20. Как показано на фиг.2, модульный пиксель 20, показанный в примерной принципиальной схеме, включает в себя элемент фотоэлектрического преобразования (например, фотодиод 21) и четыре транзистора (например, транзистор 22 передачи, транзистор 23 сброса, транзистор 24 усиления и транзистор 25 выбора).

В этом примере используют n-канальные МОП транзисторы для транзистора 22 передачи, транзистора 23 сброса, транзистора 24 усиления и транзистора 25 выбора. Однако комбинация типа проводимости, используемая в транзисторе 22 передачи, транзисторе 23 сброса, транзисторе 24 усиления и транзисторе 25 выбора, представляет собой только пример и не ограничивается этим.

Например, в качестве линии 18 управления пикселем предусмотрены три линии управления, то есть линия 181 передачи, линия 182 сброса и линия 183 выбора для каждого из модульных пикселей 20, находящихся в одном и том же ряду пикселей. Один конец линии 181 передачи, один конец линии 182 сброса и один конец линии 183 выбора соединены с выходным разъемом, соответствующим одному из рядов пикселей модуля 13 вертикального управления.

Электрод анода фотодиода 21 соединен с отрицательным выводом источника питания (например, заземлен). Фотодиод 21 выполняет фотоэлектрическое преобразование принятого света в фотозаряды (фотоэлектроны в данном примерном варианте выполнения), в соответствии с количеством принятого света. Электрод катода фотодиода 21 соединен с электродом затвора транзистора 24 усиления через транзистор 22 передачи. Узел 26, электрически соединенный с электродом затвора транзистора 24 усиления, называется "модулем плавающей диффузии (ПД)".

Транзистор 22 передачи включен между электродом катода фотодиода 21 и модулем 26 ПД. Когда импульс ϕTRF передачи, имеющий активный высокий уровень (например, уровень Vdd) (ниже называется "высоким активным импульсом передачи"), подают к электроду затвора транзистора 22 передачи через линию 181 передачи, транзистор 22 передачи включается. Таким образом, транзистор 22 передачи передает фотозаряды, полученные в результате фотоэлектрического преобразования с помощью фотодиода 21, в модуль 26 ПД.

Электрод стока транзистора 23 сброса соединен с источником Vdd питания пикселя. Электрод истока транзистора 23 сброса соединен с модулем 26 ПД. Перед тем как заряд сигнала будет передан из фотодиода 21 в модуль 26 ПД, высокий активный импульс ϕ сброса будет передан на электрод затвора транзистора 23 сброса через линию 182 сброса. Когда импульс ϕ сброса будет передан в транзистор 23 сброса, транзистор 23 сброса включается. Таким образом, транзистор 23 сброса выполняет сброс модуля 26 ПД, путем разряда электрического заряда модуля 26 ПД через источник Vdd питания пикселя.

Электрод затвора транзистора 24 усиления соединен с модулем 26 ПД. Электрод стока транзистора 24 усиления соединен с источником Vdd питания пикселя. После сброса модуля 26 ПД с использованием транзистора 23 сброса, транзистор 24 усиления выводит потенциал модуля 26 ПД в форме сигнала Vreset сброса в исходное положение (уровень сброса). Кроме того, после того как заряд сигнала будет передан транзистором 22 передачи, транзистор 24 усиления выводит потенциал модуля 26 ПД в форме сигнала Vsig накопления света (уровень сигнала).

Например, электрод стока транзистора 25 выбора соединен с электродом истока транзистора 24 усиления. Электрод истока транзистора 25 выбора соединен с вертикальной линией 17 сигнала. Когда высокий активный импульс ϕSEL выбора подают к электроду затвора транзистора 25 выбора через линию 163 выбора, транзистор 25 выбора включается. Таким, образом, транзистор 25 выбора обеспечивает перевод модульного пикселя 20 в выбранный режим таким образом, что сигнал, выводимый из транзистора 24 усиления, будет передан в вертикальную линию 17 сигнала.

Следует отметить, что может использоваться конфигурация цепи, в которой транзистор 25 выбора соединен между источником Vdd питания пикселя и стоком транзистора 24 усиления.

Следует отметить, что структура пикселей одиночного пикселя 20 не ограничена описанной выше структурой пикселя с четырьмя транзисторами. Например, модульный пиксель 20 может иметь структуру пикселя с тремя транзисторами, в которой функции транзистора 24 усиления и транзистора 25 выбора выполняет один транзистор. Таким образом, можно использовать любую конфигурацию схемы пикселя.

Обычно для повышения частоты кадров, когда снимают движущееся изображение, выполняют суммирование пикселей, при котором сигналы, выводимые из множества соседних пикселей, суммируют и считывают. Суммирование пикселей выполняют в пикселе, в линиях сигналов, в модуле 14 обработки столбца или в модуле дальнейшей обработки сигнала. В настоящем варианте выполнения описана, например, структура пикселя, в которой четыре пикселя расположены рядом друг с другом в вертикальном направлении и горизонтальном направлении.

На фиг.3 показана принципиальная схема примерной конфигурации цепей, которая позволяет выполнять в пикселях суммирование пикселей для четырех соседних пикселей. При описании фиг.3 используется та же нумерация, которая использовалась выше при описании фиг.2, в соответствующих случаях.

На фиг.3 фотодиоды 21 четырех пикселей, расположенных рядом друг с другом в вертикальном направлении и в горизонтальном направлении, обозначены как фотодиоды 21-1, 21-2, 21-3 и 21-4. Четыре транзистора 22-1, 22-2, 22-3 и 22-4 передачи предусмотрены для фотодиодов 21-1, 21-2, 21-3 и 21-4, соответственно. Кроме того, используются один транзистор 23 сброса, один транзистор 24 усиления и один транзистор 25 выбора.

Таким образом, один из электродов транзистора 22-1 передачи, один из электродов транзистора 22-2 передачи, один из электродов транзистора 22-3 передачи и один из электродов транзистора 22-4 передачи соединены с электродом катода фотодиода 21-1, электродом катода фотодиода 21-2, электродом катода фотодиода 21-3 и электродом катода фотодиода 21-4, соответственно. Другой электрод транзистора 22-1 передачи, другой электрод транзистора 22-2 передачи, другой электрод транзистора 22-3 передачи и другой электрод транзистора 22-4 передачи совместно соединены с электродом затвора транзистора 24 усиления. Кроме того, модуль 26 ПД, который совместно используется фотодиодами 21-1, 21-2, 21-3 и 21-4, электрически соединен с электродом затвора транзистора 24 усиления. Электрод стока транзистора 23 сброса соединен с источником Vdd питания пикселя, и электрод истока транзистора 23 сброса соединен с модулем 26 ПД.

В описанной выше структуре пикселя, которая поддерживает суммирование пикселя для четырех соседних пикселей, путем подачи импульса (ϕ)TRF передачи одновременно к четырем транзисторам 22-1, 22-2, 22-3 и 22-4 передачи, можно выполнять суммирование пикселей для четырех соседних пикселей. Таким образом, заряды сигнала, передаваемые из фотодиодов 21-1, 21-2, 21-3 и 21-4 в модуль 26 ПД с помощью четырех транзисторов 22-1, 22-2, 22-3 и 22-4 передачи, суммируют с помощью модуля 26 ПД.

В отличие от этого, при подаче импульса ϕTRF передачи в четыре транзистора 22-1, 22-2, 22-3 и 22-4 передачи в разные моменты времени, сигналы могут быть выведены на основе от пикселя к пикселю. Таким образом, когда снимают движущееся изображение, частоту кадров можно повысить, выполняя суммирование пикселей. В отличие от этого, когда снимают неподвижное изображение, можно повысить разрешение путем независимого считывания сигналов всех пикселей.

Кодирование цветов в массиве цветного фильтра

Ниже описано кодирование цветов в массиве 30 цветного фильтра, которое представляет собой одну из особенностей настоящего примерного варианта выполнения.

В соответствии с настоящим примерным вариантом выполнения, в массиве 30 цветного фильтра используют кодирование цветов, в котором фильтры первого цвета, используемого как компоненты информации первичного цвета сигнала яркости, расположены в виде структуры шахматной доски. Кроме того, фильтры второго цвета - компоненты информации первичного цвета для последовательности из четырех пикселей формируют группу, и эти группы располагают так, что формируется структура полосок в одном из диагонального направления, вертикального направления и горизонтального направления. В настоящем варианте выполнения фильтры первого цвета и фильтры второго цвета из первичных цветов сигнала яркости представляют собой, например, фильтр W и фильтр G.

Фильтры цветов W и G, которые представляют собой первичные компоненты сигнала яркости, имеют более высокие значения чувствительности, чем у фильтров других цветов (более конкретно, фильтров R и В). В частности, фильтр W имеет чувствительность приблизительно в два раза выше, чем фильтр G. В соответствии с этим, с помощью компоновки фильтров W и G (в частности, фильтров W) в виде структуры шахматной доски, может быть повышена чувствительность (отношение С/Ш). Однако, поскольку фильтр W содержит информацию о разных цветах, фальшивый цвет, который отличается от исходного цвета субъекта, проявляет тенденцию появления. В отличие от этого, хотя фильтр G имеет более низкую чувствительность, чем фильтр W, фильтр G формирует меньше фальшивых цветов. Таким образом, существует компромисс между чувствительностью и генерированием фальшивого цвета.

Когда фильтры W расположены в виде структуры шахматной доски для первичного цвета, фильтры R, G и В расположены в других областях структуры шахматной доски для компонентов информации других цветов. В отличие от этого, когда фильтры G расположены в виде структуры шахматной доски для первичного цвета, фильтры R и В располагают в других областях структуры шахматной доски для компонентов информации других цветов.

Таким образом, используя для массива 30 цветного фильтра кодирование цвета, при котором фильтры W для первичного цвета сигнала яркости расположены в виде структуры шахматной доски, можно повысить чувствительность датчика 10 формирования изображения КМОП, поскольку фильтр W имеет более высокую чувствительность, чем фильтр другого цвета. В отличие от этого, используя для массива 30 цветного фильтра кодирование цветов, в котором фильтры G в качестве первичного цвета сигнала яркости расположены в виде структуры шахматной доски, можно повысить воспроизводимость цветов датчика 10 изображения КМОП, поскольку фильтр G формирует меньше фальшивых цветов.

Кроме того, в датчике 10А изображения КМОП, в соответствии с настоящим вариантом выполнения, когда используют массив 30 цветного фильтра, в котором используется один из способов кодирования цвета, сигнал, соответствующий этой компоновке цветов, преобразуют в сигнал, соответствующий байеровской компоновке, с помощью микросхемы 11 датчика. В это время, поскольку цвет, используемый как основной компонент сигнала яркости, располагают в виде структуры шахматной доски, сигналы других цветов пикселей, расположенных рядом с этим цветом в вертикальном направлении и в горизонтальном направлении, могут быть восстановлены, используя сигнал цвета, используемый как основной компонент сигнала яркости. Вследствие этого, может быть повышена эффективность преобразования цветов, выполняемая в модуле 16 обработки преобразования.

Кроме того, путем вывода сигнала, соответствующего байеровской компоновке, из микросхемы 11 датчика, можно использовать существующий ЦСП для байеровской компоновки как модуль последующей обработки сигнала. В принципе, ЦСП для байеровской компоновки генерирует сигнал Y яркости и два цветоразностных сигнала U(В-Y) и V(R-Y), используя сигнал, выводимый из микросхемы 11 датчика и соответствующий байеровской компоновке.

Таким образом, поскольку можно использовать существующий ЦСП для байеровской компоновки, нет необходимости разрабатывать новый ЦСП, который существенно дороже, даже когда изменяют кодирование цветов массива 30 цветного фильтра. В соответствии с этим, модуль камеры, включающий в себя ЦСП, может быть произведен с низкими затратами. В результате, можно ожидать широкое распространение и использование массива 30 цветного фильтра, в частности фильтра W.

Примеры кодирования цветов в массиве цветного фильтра

Примеры кодирования цветов, которые способствуют преобразованию из сигнала, соответствующего компоновке цветов, в которой фильтры цвета, используемого как первичный компонент сигнала яркости, расположены в виде структуры шахматной доски, в сигнал, соответствующий байеровской компоновке RGB, подробно описаны ниже.

Первый пример второго примерного варианта выполнения

На фиг.45 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии с первым примером второго примерного варианта выполнения. Как показано на фиг.45, при кодировании цветов, в соответствии с первым примером второго примерного варианта выполнения, фильтры W расположены в виде структуры шахматной доски. Кроме того, фильтры R расположены в виде структуры шахматной доски с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены в виде структуры шахматной доски с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, один из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель. Кроме того, фильтры G расположены в других областях структуры шахматной доски.

Более конкретно, в массиве, включающем в себя четыре пикселя в каждом из вертикального направления и горизонтального направления, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены во втором ряду и в первом столбце и в четвертом ряду и в третьем столбце. Фильтры В расположены в первом ряду и во втором столбце и в третьем ряду и в четвертом столбце. Такой массив имеет структуру шахматной доски, имеющую шаг два пикселя. Кроме того, фильтры G расположены в другой области структуры шахматной доски. В это время фильтры G формируют структуру диагональной полосы.

Второй пример второго примерного варианта выполнения

На фиг.46 показана схема компоновки цветов, иллюстрирующая кодирование цветов в соответствии со вторым примером второго примерного варианта выполнения. Как показано на фиг.46, при кодировании цветов в соответствии со вторым примером второго примерного варианта выполнения, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены в виде квадрата в структуре шахматной доски, с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены в виде квадрата в структуре шахматной доски, с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, фильтры R и фильтры В сдвинуты по диагонали друг от друга на два пикселя. Кроме того, фильтры G расположены в другой области в структуре шахматной доски.

Более конкретно, в массиве, включающем в себя четыре пикселя в каждом из вертикального направления и горизонтального направления, фильтры W расположены в структуре шахматной доски. Фильтры R расположены в третьем ряду и в четвертом столбце. Фильтры В расположены в первом ряду и втором столбце и во втором ряду и в первом столбце. Такой массив представляет собой квадратный массив, имеющий шаг четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, фильтры G расположены в другой области структуры шахматной доски. В это время фильтры G формируют структуру диагональной полосы.

В способах кодирования цветов в соответствии с описанными выше первым и вторым примерами используют компоновку цветов, в которой фильтры W, имеющие цвет, используемый как первичный компонент сигнала яркости, который обеспечивает максимальный выходной уровень, расположены в виде структуры шахматной доски. Поскольку фильтры W, которые включают в себя компоненты цветов R, G и В, расположены в виде структуры шахматной доски, повышается точность преобразования сигнала, соответствующего байеровской компоновке RGB.

Ключевое свойство таких способов кодирования цветов состоит в том, что, если фильтры W заменить фильтрами G во время обработки преобразования цветов, описанной ниже, места расположения фильтров R и В частично совпадают с местами расположения фильтров R и В байеровской компоновки. Кроме того, для мест расположения, в которых цвета не совпадают, можно использовать информацию в отношении пикселей для фильтров W. Таким образом, информация пикселей R и В может быть восстановлена. В результате, может быть существенно повышена эффективность преобразования.

Кроме того, ключевое свойство способов кодирования цветов в соответствии с первым и вторым примерами второго примерного варианта выполнения состоит в том, что фильтры W располагают в виде структуры шахматной доски и последовательность из четырех фильтров, расположенных в диагональном направлении, повторяется так, что формируется структура диагональной полосы. В таких способах кодирования цветов, путем суммирования сигнала пикселя фильтра G, расположенного рядом с пикселем фильтра W, с сигналом фильтра W, и используя эту сумму как первичный компонент сигнала яркости, можно повысить интенсивность сигнала яркости. В соответствии с этим, можно повысить чувствительность (отношение С/Ш). В частности, в способе кодирования цветов соответствии с первым примером, фильтры R расположены в виде структуры шахматной доски, с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель. В соответствии с этим, можно повысить эффективность преобразования в сигнал, соответствующий байеровской компоновке.

В способах кодирования цветов в соответствии с первым и вторым примерами второго варианта выполнения, последовательность из четырех фильтров G, расположенных в диагональном направлении, повторяется таким образом, что формируется структура диагональной полосы. В соответствии с этим, в таких способах кодирования цветов, путем суммирования сигнала пикселя G или сигналов пикселей G, расположенных рядом с пикселем W, с сигналом пикселя W, и используя суммарный сигнал как первичный компонент сигнала яркости, можно обеспечить высокую чувствительность (высокое отношение С/Ш) без снижения разрешения. Это преимущество может быть обеспечено, не только когда последовательность из четырех фильтров G, расположенных в диагональном направлении, появляется так, что формируется структура диагональной полосы, но также и когда последовательность из четырех фильтров G, расположенных в вертикальном направлении или в горизонтальном направлении, появляется так, что формируется структура полосы.

Отношение W:G:R:B чувствительности

Ниже будет описано отношение W:G:R:B чувствительности. При кодировании цветов, включающем в себя фильтры W, пиксель фильтра W, который имеет высокий уровень входного сигнала, переходит в насыщенное состояние раньше, чем пиксели фильтров других цветов. В соответствии с этим, необходимо, чтобы поддерживался баланс чувствительности между пикселями W, G, R и В, то есть отношение W:G:R:B чувствительности требуется регулировать путем уменьшения чувствительности пикселя фильтра W и повышения чувствительности пикселей фильтра других цветов относительно чувствительности пикселя фильтра W.

Для регулирования отношения чувствительности, можно использовать широко используемые технологии управления экспозицией. Более конкретно, путем регулирования размера микролинз на микросхеме, предусмотренных снаружи массива 30 цветного фильтра для каждого из пикселей массива 30 цветного фильтра, можно поддерживать баланс между количеством света, падающим на отдельные цвета (см., например, публикацию №9-116127 находящейся на экспертизе заявки на японский патент). Благодаря использованию такой технологии и уменьшению размера микролинз на микросхеме для цвета W, по сравнению с другими цветами, можно снизить чувствительность пикселя фильтра W. Таким образом, можно повысить относительную чувствительность одного из другого пикселя цветного фильтра.

В качестве альтернативы, можно использовать технологию управления светом экспозиции, при которой во время кодирования цветов, включающем в себя фильтр W, различие между чувствительностью можно уменьшить путем удаления микролинз на микросхеме для пикселя W, и С/Ш цвета может быть улучшено, путем увеличения чувствительности цвета (см., например, публикацию №2007-287891 находящейся на экспертизе заявки на японский патент). Благодаря использованию такой технологии, можно понизить чувствительность пикселя фильтра W. Таким образом, можно относительно повысить чувствительность одного из других пикселей цветного фильтра.

Также, в качестве альтернативы, можно использовать технологию для предотвращения неправильного баланса цветов путем выполнения управления экспозицией затвора, при которой время экспозиции пикселя фильтра G уменьшают по сравнению со временем экспозиции пикселя фильтра R или В (см., например, публикацию №2003-60992 находящейся на экспертизе заявки на японский патент). Путем комбинирования такой технологии управления экспозицией затвора с управлением площадью приема света, можно снизить чувствительность пикселя фильтра W. Таким образом, чувствительность одного или другого пикселя цветного фильтра можно относительно повысить. Кроме того, в частности, возникновение цветной кромки на движущемся субъекте может быть устранено. В результате, нет необходимости выполнять обработку ахроматизации с помощью внешнего модуля обработки сигнала (ЦСП).

Следует отметить, что описанные выше три технологии управления экспозициями, используемые для регулирования отношения чувствительности, представляют собой только примеры. Технология управления экспозицией не ограничивается ими.

Например, размер микролинз на микросхеме для пикселя W устанавливают таким образом, чтобы выходные уровни для пикселей W, G, В и R, по существу, находились в пропорции 2:1:0,5:0,5.

Для пикселей размером 1,1 мкм, когда размер микролинз на микросхеме для пикселя W изменяется на ±0,1 мкм, площадь удваивается или уменьшается наполовину. Поэтому чувствительность удваивается или уменьшается наполовину. В соответствии с этим, выходной уровень пикселя W, имеющего такую же площадь, как и у пикселя G, и имеющего удвоенный выходной уровень по сравнению с пикселем G, можно регулировать таким образом, что выходные уровни будут одинаковыми. Даже когда размер микролинзы на микросхеме изменяется на ±0,05 мкм, площадь изменяется в ±1,42 раза относительно исходной площади, и поэтому чувствительность пикселя W можно уменьшить в 1,42 раза по сравнению с пикселем G. В таком случае дополнительная регулировка чувствительности может быть выполнена с помощью управления экспозицией затвора.

Обработка преобразования цветов

Обработка преобразования сигналов в сигналы, соответствующие байеровской компоновке RGB (то есть обработка преобразования цветов), выполняемая модулем 16 обработки преобразования, будет более подробно описана ниже.

Предусмотрены следующие два типа обработки преобразования цветов: обработка преобразования цветов, выполняемая, когда снимают неподвижное изображение (во время полного сканирования, при котором сканируют все пиксели), и обработка преобразования цветов, выполняемая, когда снимают движущееся изображение (во время суммирования пикселей, в котором сигналы множества пикселей, соседних с этим пикселем, суммируют с сигналами этого пикселя). В случае кодирования цветов в соответствии с первым и вторым примерами, можно выполнять обработку преобразования цветов с высокой чувствительностью. В соответствии с этим, можно использовать режим низкой яркости, и поэтому обработка преобразования цветов, выполняемая во время полного сканирования, может быть разделена на две обработки преобразования цвета.

Одну из двух обработок преобразования цвета выполняют, когда яркость падающего света выше, чем заданная опорная яркость. Такая обработка преобразования цвета называется "обработкой 1 преобразования цвета". Другую обработку преобразования цвета выполняют, когда яркость падающего света меньше чем или равна заданной опорной яркости. Такая обработка преобразования цвета называется "обработкой 2 преобразования цвета". Кроме того, обработка преобразования цвета, выполняемая во время суммирования пикселей, может быть разделена на множество обработок преобразования цвета в соответствии с комбинациями пикселей, предназначенных для суммирования.

Кодирование цветов в соответствии с первым примером второго примерного варианта выполнения

Обработка преобразования цветов, выполняемая для кодирования цветов в соответствии с первым примером второго примерного варианта выполнения, будет описана далее. Вначале выполняют обработку 1 преобразования цвета в режиме высокой яркости при времени полного сканирования, которая описана со ссылкой на блок-схему последовательности операций, показанную на фиг.13, и схематические иллюстрации, показанные на фиг.14А-14D.

Как представлено блок-схемой последовательности операций, показанной на фиг.13, обработка 1 преобразования цвета в режиме высокой яркости реализуется путем последовательного выполнения обработки на этапах S11, S12 и S13. На фиг.14А иллюстрируется компоновка цветов 4×4 для кодирования цвета в соответствии с первым примером.

На этапе S11, как показано на фиг.14В, компоненты пикселей белого (W) цвета, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, путем определения направления разрешения. Используемый здесь термин "направление разрешения" относится к направлению, в котором присутствуют сигналы пикселя. На фиг.14В "W", окруженные прозрачным квадратом, представляют компонент пикселя W после того, как компонент пикселя W будет расширен на каждый из всех цветов.

Для расширения компонента пикселя W на пиксели других цветов, можно использовать обработку сигналов, основанную на широко используемой корреляции направления. Например, при обработке сигналов цветов на основе корреляции направления, получают множество сигналов цветов, соответствующих заданному пикселю, и получают величину корреляции в вертикальном направлении и/или в горизонтальном направлении (см., например, японский патент №2931520).

На этапе S12, как показано на фиг.14С, пиксель W заменяют пикселем G, используя корреляцию между пикселем W и пикселем G. Как можно видеть из описанных выше компоновок цветов с различным кодированием цветов, пиксель W расположен рядом с пикселем G. Что касается корреляции между пикселем W и пикселем G в определенной области, пиксель W и пиксель G имеют строгую корреляцию, поскольку любой из пикселя W и пикселя G имеет цвет, используемый как первичный компонент сигнала яркости. Таким образом, значение корреляции (коэффициент корреляции) приблизительно равно 1. Путем определения направления разрешения, используя корреляцию цвета и изменяя выходной уровень пикселя W на уровень, эквивалентный выходному уровню пикселя G, пиксель W заменяют пикселем G.

На этапе S13, пиксель R и пиксель В генерируют для байеровской компоновки, показанной на фиг.14D, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В. Поскольку пиксель W включает в себя компоненты цветов R, G и В, корреляция между пикселем W и пикселем R и корреляция между пикселем W и пикселем В могут быть получены. Для обработки сигналов может использоваться существующая технология, в которой сигнал яркости, заменяемый на G в компоновке с четырех цветов, генерируют для каждого пикселя путем интерполяции (см., например, публикацию №2005-160044 находящейся на экспертизе заявки на японский патент).

Затем будет описана обработка 2 преобразования цветов, выполняемая в режиме низкой яркости, во время полного сканирования, со ссылкой на блок-схему последовательности операций, показанную на фиг.15, и схематические иллюстрации, показанные на фиг.16А-16D.

Вначале, как показано на фиг.16А, направление разрешения исследуют, используя обработку сигналов на основе описанной выше направленной корреляции (этап S21). После этого определяют, может ли быть определено направление разрешения (этап S22). Если направление разрешения может быть определено, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов (этап S23).

Затем, как показано на фиг.16В, пиксели R и пиксели В генерируют, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В (этап S24). Затем, как показано на фиг.16С, сигналы двух пикселей R, расположенных рядом с пикселем W, суммируют с сигналами пикселя W таким образом, чтобы приблизиться к G(=W+2G). Таким образом, как показано на фиг.16D, каждый из пикселей R и В генерируют для байеровской компоновки (этап S25).

Однако если, на этапе S22, направление разрешения не будет определено, каждый из пикселей R и В генерируют для байеровской компоновки, используя простую интерполяцию с усреднением по четырем пикселям, используя четыре пикселя, расположенные рядом с пикселем W в вертикальном направлении и в горизонтальном направлении (этап S26).

Как описано выше, используя обработку 1 преобразования цветов и обработку 2 преобразования цветов в соответствии с яркостью падающего света, сигналы, соответствующие компоновке цветов, в которой фильтры W расположены в виде структуры шахматной доски, могут быть преобразованы в сигналы, соответствующие байеровской компоновке RGB, в микросхеме 11 датчика, и эти сигналы могут быть выведены.

Две обработки преобразования цветов, выполняемые во время суммирования пикселей для съемки движущегося изображения, будут описаны ниже. Ниже, одна из двух обработок преобразования цветов называется "обработкой 1 суммирования пикселей", и другая обработка преобразования цветов называется "обработкой 2 суммирования пикселей".

Вначале будет описана обработка 1 суммирования пикселей со ссылкой на блок-схему последовательности операций, показанную на фиг.47, и схематические иллюстрации, показанные на фиг.48А-48D.

Суммирование выполняют по двум пикселям W, расположенным диагонально рядом друг с другом (этап S31). Более конкретно, как показано на фиг.48А, суммирование выполняют по пикселю, представляющему интерес, и пикселю, расположенному снизу справа от пикселя, представляющего интерес (то есть пикселю, расположенному справа на один столбец и ниже на один ряд). Такое суммирование может быть выполнено в структуре пикселя, показанной на фиг.3, путем подачи импульса αTRF передачи одновременно в транзисторы 22 передачи двух пикселей, которые представляют собой цели суммирования (транзисторы 22-1 и 22-4 передачи в данном примере). Таким образом, может быть выполнено суммирование двух пикселей в модуле 26 ПД. Ниже такое суммирование пикселя называется "ПД суммированием".

Затем, для каждого из пикселей R, G, и В, выполняют суммирование двух пикселей, расположенных в противоположном диагональном направлении и имеющих один пиксель между ними (этап S32). Более конкретно, как показано на фиг.48В, суммирование выполняют для пикселя, представляющего интерес, и пикселя, расположенного снизу и слева от пикселя, представляющего интерес, с одним пикселем между ними (то есть пиксель расположен правее на два столбца и ниже на два ряда). Для каждого из пикселей R, G и В, когда модуль 14 обработки в столбце, показанном на фиг.1, имеет функцию А/Ц преобразования, такое суммирование может быть выполнено во время А/Ц преобразования.

Более конкретно, в компоновке цветов, показанной на фиг.19, сигналы пикселей 81 и G1 считывают независимо. После А/Ц преобразования сигналов, сигналы пикселей 82 и G3 последовательно считывают и подвергают А/Ц преобразованию. Таким образом, может быть выполнено суммирование двух пикселей. Для выполнения суммирования пикселей во время А/Ц преобразования, выполняемого модулем 14 обработки в столбце, можно использовать существующую технологию преобразования аналогового сигнала пикселя в цифровой сигнал пикселя, используя счетчик (см., например, публикацию №2006-033454 находящейся на экспертизе заявки на японский патент).

Ниже такое суммирование пикселей, выполняемое с использованием счетчика А/Ц преобразователя, называется "суммирование счетчиком". Когда суммирование счетчиком выполняют, и если в каждой лини изменяется коэффициент усиления, соотношение при суммировании может изменяться. Аналогично, суммирование счетчиком может быть выполнено по пикселям R. Следует отметить, что при описанном выше суммировании двух пикселей для пикселей W, выполняют суммирование ПД между пикселями W1 и W2 и между пикселями W3 и W4.

Ниже, как показано на фиг.48С, компоненты пикселя W устанавливают в пиксели R, G и В (этап S33). Затем, как показано на фиг.48D, генерируют четыре пикселя для байеровской компоновки RGB (этап S34).

Далее описана обработка 2 суммирования пикселей со ссылкой на блок-схему последовательности операций, показанную на фиг.20, и схематические иллюстрации, показанные на фиг.21А-21D.

Вначале для пикселей W и пикселей G выполняют суммирование ПД между двумя пикселями, расположенными в верхних левых - нижних правых диагональных направлениях и в верхнем правом - нижнем левом диагональных направлениях, соответственно. Таким образом, генерируют пиксели W, R, G и В (этап S41). Более конкретно, для пикселей W, как показано на фиг.21А, выполняют суммирование ПД между пикселем, представляющим интерес, и пикселем, расположенным снизу и справа от пикселя, представляющего интерес (то есть пикселем, находящимся справа на один столбец и ниже на один ряд). Для пикселей G, как показано на фиг.21В, выполняют суммирование ПД между пикселем, представляющим интерес, и пикселем, расположенным снизу и слева от пикселя, представляющего интерес (то есть пикселя, находящегося слева на один столбец и ниже на один ряд).

Следует отметить, что в восьми пикселях в блоке 4×4, пара из сигналов R и В не используется. Таким образом, пиксели R и пиксели В считывают с прореживанием, без выполнения суммирования пикселей. В соответствии с этим, чувствительность R и В понижается, по сравнению с обработкой 1 суммирования пикселей. Следовательно, получают низкое отношение С/Ш для цветов.

После этого, как показано на фиг.21C, компоненты пикселя W устанавливают в пиксели R, G и В (этап S42). Затем, как показано на фиг.21D, четыре пикселя для байеровской компоновки RGB генерируют (этап S43). В случае обработки 2 суммирования пикселей, положение центроида байеровской компоновки слегка сдвигают по сравнению с его положением при обработке 1 суммирования пикселей.

Как описано выше, используя одну из обработки 1 суммирования пикселей и обработки 2 суммирования пикселей, при съемке движущегося изображения, сигналы, соответствующие компоновке цветов, в которой фильтры W расположены в виде структуры шахматной доски, могут быть преобразованы в сигналы, соответствующие байеровской компоновке RGB на микросхеме 11 датчика, и эти сигналы могут быть выведены.

Кодирование цветов в соответствии со вторым примером второго примерного варианта выполнения

Обработка преобразования цветов для кодирования цвета в соответствии со вторым примером второго примерного варианта выполнения описана ниже. Последовательность обработки для кодирования цветов в соответствии со вторым примером второго примерного варианта выполнения основана на кодировании цветов в соответствии с первым примером второго примерного варианта выполнения.

Обработка 1 преобразования цвета во время полного сканирования описана со ссылкой на схематические иллюстрации, показанные на фиг.49А-49D. В компоновке цветов блока пикселя размером 4×4 в соответствии со вторым примером, показанным на фиг.49А, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.49В. Затем, как показано на фиг.49С, пиксели W заменяют пикселями G, используя корреляцию между пикселем W и пикселем G. После этого, как показано на фиг.49D, пиксели R и В генерируют для байеровской компоновки RGB, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В.

Далее со ссылкой на схематические иллюстрации, показанные на фиг.50А-50D будет описана обработка 2 преобразования цветов во время полного сканирования. Как и при обработке 1 преобразования цветов в компоновке цветов блока пикселя 4×4 в соответствии со вторым примером, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения, как показано на фиг.50А. Затем, как показано на фиг.50В, пиксели R и пиксели В генерируют, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В. После этого, как показано на фиг.50С, сигналы двух пикселей G, расположенных рядом с пикселем W, суммируют с сигналом пикселя W приблизительно в соответствии с G(=W+2G). Таким образом, как показано на фиг.50D, каждый из пикселей R и В генерируют для байеровской компоновки. В это время, если будет найдено направление, соотношение суммирования может быть динамически изменено.

Далее со ссылкой на фиг.51А-51D будет описана обработка 1 суммирования пикселей. Как показано на фиг.51А и 51В, выполняют диагональное ПД суммирование слева вверх и справа вверх для пикселя W и каждого из пикселей R, G и В. Таким образом, генерируют пиксели W, R, G и В. После этого, как показано на фиг.51C, компоненты пикселя W устанавливают в каждый из пикселей. Таким образом, как показано на фиг.51D, генерируют четыре пикселя для байеровской компоновки RGB.

Обработка 2 преобразования цветов будет описана ниже со ссылкой на фиг.52А-52D. Как показано на фиг.52А и 52В, выполняют диагональное ПД суммирование влево вверх и вправо вверх для пикселя W и каждого из пикселей R, G и В. Таким образом, генерируют пиксели W, R, G и В. После этого, как показано на фиг.51C, компоненты пикселей W устанавливают в каждый из пикселей R и В. Таким образом, как показано на фиг.52D, генерируют четыре пикселя для байеровской компоновки RGB.

Как описано выше, путем выполнения описанной выше обработки сигналов для кодирования цветов в соответствии с первым и вторым примерами, в которых фильтры W, имеющие цвет, используемый как первичный компонент сигнала яркости, располагают в виде структуры шахматной доски и фильтры G расположены по диагонали так, что формируется структура полосы, может быть обеспечено следующее преимущество. Таким образом, путем суммирования сигнала пикселя G, расположенного рядом с пикселем W, с сигналом пикселя W и выполнения обработки сигналов, используя сумму в качестве первичного компонента сигнала яркости, можно повысить интенсивность сигнала яркости. В соответствии с этим, также можно увеличить чувствительность с минимальным понижением разрешения.

3. Третий примерный вариант выполнения

Конфигурация системы

На фиг.53 схематично показана иллюстрация примерной конфигурации системы датчика изображения КМОП, который представляет собой пример твердотельного устройства формирования изображения (твердотельного устройства формирования изображения с X-Y адресацией) в соответствии с третьим примерным вариантом выполнения. При описании фиг.53 будет использоваться та же нумерация, которая использовалась выше при описании фиг.1, в соответствующих случаях.

В описанном выше датчике 10А формирования изображения КМОП в соответствии со вторым примерным вариантом выполнения модуль 16 обработки преобразования, расположенный на микросхеме 11 датчика преобразует сигналы, соответствующие компоновке цветов массива 30 цветного фильтра, в сигналы, соответствующие байеровской компоновке RGB. В отличие от этого, в датчике 10В формирования изображения КМОП в соответствии с настоящим вариантом выполнения, сигналы W, R, G и В, соответствующие компоновке цветов массива 30 цветного фильтра, непосредственно выводят из микросхемы 11 датчика в форме необработанных данных.

Кроме того, в соответствии с настоящим вариантом выполнения, датчик 10В формирования изображения КМОП обеспечивает возможность для схемы 40 ЦСП, которая представляет собой внешнюю схему для микросхемы 11 датчика, выполнять обработку преобразования цветов для обработанных данных, выводимых из микросхемы 11 датчика. Схема 40 ЦСП преобразует сигналы W, R, G и В, выводимые из микросхемы 11 датчика, в сигналы, соответствующие байеровской компоновке RGB. После этого схема 40 ЦСП выполняет широко используемую обработку устранения мозаики. При обработке устранения мозаики информацию цветов суммируют с каждым из сигналов каждого из пикселей, которые имеют только монохромную информацию, путем подачи недостающей информации цветов, используя сигналы пикселей, окружающих этот пиксель, и генерируют полноцветное изображение.

Таким образом, ключевая особенность датчика 10В формирования изображения КМОП в соответствии с настоящим вариантом выполнения состоит в том, что сигналы W, R, G и В, соответствующие компоновке цветов массива 30 цветного фильтра, непосредственно выводят из микросхемы 11 датчика и преобразуют в сигналы, соответствующие байеровской компоновке RGB, с помощью схемы 40 ЦСП. В соответствии с этим, поскольку конфигурации и операции модуля 12 массива пикселей, модуля 13 вертикального управления, модуля 14 обработки в столбце, модуля 15 горизонтального управления 15 и модуля 17 управления системой аналогичны второму примерному варианту выполнения, их описания здесь не повторяются.

Кодирование цветов для массива цветного фильтра

Так же как и датчик 10А формирования изображения КМОП в соответствии со вторым примерным вариантом выполнения, датчик 10В формирования изображения КМОП в соответствии с настоящим вариантом выполнения имеет кодирование цветов массива 30 цветного фильтра, который способствует преобразованию в сигналы, соответствующие байеровской компоновке RGB.

Таким образом, в массиве 30 цветного фильтра используется кодирование цветов, при котором фильтры первого цвета (W или G), используемые как компоненты информации одного из первичных цветов сигнала яркости, располагают в виде структуры шахматной доски. Кроме того, фильтры второго цвета (G или W) компонентов информации основного цвета для последовательности из четырех пикселей формируют группу, и эти группы располагают так, что формируется структура полосы в одном из диагонального направления, вертикального направления и горизонтального направления. Преимущества использования массива 30 цветного фильтра, имеющего такое кодирование цветов, такие же, как и во втором примерном варианте выполнения.

Примеры кодирования цветов массива цветного фильтра

Так же как и во втором примерном варианте выполнения, в соответствии с третьим примерным вариантом выполнения, будут предоставлены первый и второй примеры кодирования цветов. Первый и второй примеры способствуют преобразованию из сигнала, соответствующего компоновке цветов, в которой фильтры цветов, используемые как первичные компоненты сигнала яркости, расположены в виде структуры шахматной доски, в сигнал, соответствующий байеровской компоновке RGB.

Таким образом, при кодировании цветов в соответствии с первым примером третьего примерного варианта выполнения, фильтры W располагают в виде структуры шахматной доски. Кроме того, фильтры R располагают в виде структуры шахматной доски с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В располагают в виде структуры шахматной доски, с шагом два пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, каждый из фильтров R сдвинут по диагонали от одного из фильтров В на один пиксель. Кроме того, фильтры G расположены в другой области структуры шахматной доски (см. фиг.45). Также, кроме этого, при кодировании цветов в соответствии со вторым примером третьего примерного варианта выполнения, фильтры W расположены в виде структуры шахматной доски. Фильтры R расположены по квадрату с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Аналогично, фильтры В расположены по квадрату с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении. Кроме того, два из фильтров R и два из фильтров В расположены с чередованием в диагональном направлении. Кроме того, фильтры G расположены в других областях структуры шахматной доски (см. фиг.46).

Обработка преобразования цвета

Обработка, выполняемая схемой 40 ЦСП для преобразования сигналов, которые соответствуют компоновке цветов массива 30 цветного фильтра и которые выводят из микросхемы 11 датчика в форме необработанных данных, в сигналы, соответствующие байеровской компоновке RGB, будет подробно описана ниже.

Так же как и во втором примерном варианте выполнения, когда выполняют обработку преобразования цветов, регулируют отношение W:G:R:B чувствительности пикселей. Кроме того, так же как и во втором примерном варианте выполнения, предусматривают следующие два типа обработки преобразования цветов: обработку преобразования цветов, выполняемую во время полного сканирования, и обработку преобразования цветов, выполняемую во время суммирования пикселей. Кроме того, предусматривают следующие два типа обработки преобразования цветов: обработку 1 преобразования цветов, выполняемую в режиме высокой яркости, при которой яркость падающего света выше, чем заданное опорное значение яркости, и обработку 2 преобразования цветов, выполняемую в режиме низкой яркости, при которой яркость падающего света ниже чем или равна опорной яркости.

Кодирование цветов в соответствии с первым примером третьего примерного варианта выполнения

Обработка преобразования цветов, выполняемая в случае кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения, будет описана ниже. Вначале обработка 1 преобразования цветов, выполняемая в режиме высокой яркости во время полного сканирования, будет описана со ссылкой на блок-схему последовательности операций, показанную на фиг.54, и схематические иллюстрации, показанные на фиг.55А-55С.

На фиг.55А иллюстрируется компоновка цветов размером 4×4 пикселя для кодирования цветов в соответствии с первым примером третьего примерного варианта выполнения. При кодировании цветов в соответствии с первым примером, как показано на фиг.55В, компоненты пикселей W расширяют на пиксели всех цветов, используя описанную выше существующую обработку сигнала, используя направленную корреляцию и определяя направление разрешения (этап S51). После этого, как показано на фиг.55С, используя описанную выше существующую технологию и корреляцию между пикселем W и пикселем R, корреляцию между пикселем W и пикселем G и корреляцию между пикселем W и пикселем В, компоненты R, G и В расширяют на все пиксели (этап S52).

Затем обработка 2 преобразования цветов, выполняемая в режиме низкой яркости во время полного сканирования, будет описана со ссылкой на блок-схему последовательности операций, показанную на фиг.56, и схематические иллюстрации, показанные на фиг.57А и 57В.

Вначале, как показано на фиг.57А, направление разрешения исследуют, используя обработку сигналов на основе описанной выше направленной корреляции (этап S61). После этого определяют, возможно ли определить направление разрешения (этап S62). Если направление разрешения может быть определено, компоненты пикселей W, располагаемые в виде структуры шахматной доски, расширяют на пиксели всех цветов (этап S63).

Затем, как показано на фиг.57В, пиксели R и пиксели В генерируют, используя описанную выше существующую технологию и корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В (этап S64). Однако если на этапе S62 направление разрешения не будет определено, каждый из пикселей R и В генерируют, используя простую интерполяцию с усреднением по четырем пикселям, используя четыре пикселя, расположенные рядом с пикселем W в вертикальном направлении и в горизонтальном направлении (этап S67).

Затем, как показано на фиг.57С, сигналы двух пикселей G, расположенных рядом с пикселем W, суммируют с сигналом пикселя W (W+2 G), при динамическом изменении соотношения. Таким образом, формируют структуру шахматной доски (этап S65). После этого компоненты расширяют на все пиксели, определяя направление. Таким образом, генерируют сигнал яркости (этап S66).

Как описано выше, используя одну из обработки 1 преобразования цветов и обработки 2 преобразования цветов в соответствии с яркостью падающего света, сигналы, соответствующие компоновке цветов, в которых фильтры W расположены в виде структуры шахматной доски, могут быть преобразованы в сигналы, соответствующие байеровской компоновке RGB, используя обработку сигналов, выполняемую схемой 40 ЦСП, расположенной вне пределов микросхемы 11 датчика.

Обработки 1 и 2 преобразования цветов, выполняемые во время суммирования пикселей для съемки движущегося изображения, будут описаны ниже. Первой будет описана обработка 1 суммирования пикселей со ссылкой на блок-схему последовательности операций, показанную на фиг.58, и схематические иллюстрации, показанные на фиг.59А-59С.

Как показано на фиг.59А, суммирование выполняют по двум пикселям W, расположенным по диагонали рядом друг с другом. Кроме того, для пикселей каждого из цветов R, G и В выполняют суммирование счетчиком по двум пикселям, расположенным в диагональном направлении (этап S71). Затем, как показано на фиг.59В, компоненты R, компоненты G и компоненты В расширяют на все пиксели, используя корреляцию между пикселем W и пикселем R, корреляцию между пикселем W и пикселем G и корреляцию между пикселем W и пикселем В (этап S72). Затем, как показано на фиг.59С, сигналы пикселя W и сигнал G суммируют в пропорции 1:2 и генерируют сигнал (W+2G). Сигналы (W+2G) используются как сигналы яркости (этап S73).

Обработка 2 суммирования пикселей будет описана ниже со ссылкой на блок-схему последовательности операций, показанную на фиг.60, и схематические иллюстрации, показанные на фиг.61А-61C.

Вначале, как показано на фиг.61А, для пикселей W и пикселей G выполняют ПД суммирование между двумя пикселями, расположенными в диагональных направлениях влево вверх - вправо вниз и в диагональном направлении вправо вверх и влево вниз, соответственно. Таким образом, генерируют пиксели W и G (этап S81). Более конкретно, для пикселей G, выполняют ПД суммирование между пикселем, представляющим интерес, и пикселем, расположенным ниже и слева от пикселя, представляющего интерес (то есть пикселя, расположенного слева на один столбец и ниже на один ряд). Для пикселей W ПД суммирование выполняют между пикселем, представляющим интерес, и пикселем, расположенным снизу и справа от пикселя, представляющего интерес (то есть пикселя, расположенного справа на один столбец и ниже на один ряд). Пиксели R и В остаются без изменения.

Затем, как показано на фиг.61В, компоненты R, G и В расширяют на все пиксели, используя корреляцию между пикселем W и пикселем R, корреляцию между пикселем W и пикселем G и корреляцию между пикселем W и пикселем В (этап S82). Затем, как показано на фиг.61C, сигналы пикселя W и сигнал пикселя G суммируют в пропорции 1:2 и генерируют сигнал (W+2G). Сигналы (W+2G) используются как сигналы яркости (этап S83).

Как описано выше, используя одну из обработки 1 суммирования пикселей и обработки 2 суммирования пикселей, когда снимают движущееся изображение, сигналы, соответствующие компоновке цветов, в которой фильтры W расположены в виде структуры шахматной доски, могут быть преобразованы в сигналы, соответствующие байеровской компоновке RGB, в ходе обработки сигналов, выполняемой схемой 40 ЦСП, расположенной снаружи от микросхемы 11 датчика.

Кодирование цветов в соответствии со вторым примером третьего примерного варианта выполнения

Обработка преобразования цветов для кодирования цветов в соответствии со вторым примером третьего примерного варианта выполнения будет описана ниже. Последовательность обработки для кодирования цветов в соответствии со вторым примером третьего примерного варианта выполнения, в общем, основана на кодировании цветов в соответствии с первым примером третьего примерного варианта выполнения.

Обработка 1 преобразования цветов, выполняемая во время полного сканирования, будет описана со ссылкой на схематические иллюстрации, показанные на фиг.62А и 62В. На фиг.62А показана компоновка цветов для кодирования цветов блока пикселя 4×4 в соответствии со вторым примером третьего примерного варианта выполнения. При кодировании цветов в соответствии со вторым примером третьего примерного варианта выполнения, как показано на фиг.62В, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения. Затем, как показано на фиг.62С, компоненты R, G и В расширяют на все пиксели, используя корреляцию между пикселем W и пикселем R, корреляцию между пикселем W и пикселем G и корреляцию между пикселем W и пикселем В.

Обработка 2 преобразования цветов, выполняемая во время полного сканирования, будет описана ниже со ссылкой на схематические иллюстрации, показанные на фиг.63А- 63С. Как и при обработке 1 преобразования цветов в компоновке цветов для кодирования цветов в блоке 4×4 пикселя в соответствии со вторым примером, как показано на фиг.63А, компоненты пикселей W, расположенные в виде структуры шахматной доски, расширяют на пиксели всех цветов, используя направление разрешения.

Затем, как показано на фиг.63В, компоненты R и В расширяют на все пиксели, используя корреляцию между пикселем W и пикселем R и корреляцию между пикселем W и пикселем В. Затем, как показано на фиг.63С, путем определения направления, используя пиксели W, сигналы двух пикселей G, расположенных рядом с пикселем W, суммируют с сигналом пикселя W, при динамическом изменении соотношения (W+2G). Таким образом, формируют структуру шахматной доски. После этого компоненты пикселей G расширяют на все пиксели путем дополнительного определения направления. Таким образом, генерируют сигнал яркости.

Обработка 1 суммирования пикселей будет описана ниже со ссылкой на фиг.64А и 64В. Как показано на фиг.64А, для пикселей W и пикселей G выполняют ПД суммирование между двумя пикселями, расположенными в диагональных направлениях влево вверх - вправо вниз и в диагональном направлении вправо вверх - влево вниз, соответственно. Таким образом, генерируют сигналы пикселей W, R, G и В. После этого, как показано на фиг.64 В, компоненты R, G и В расширяют на все пиксели. Затем, для улучшения отношения С/Ш компоненты пикселей W устанавливают во все пиксели. Таким образом, генерируют сигналы R, G и В.

Обработка 2 суммирования пикселей будет описана ниже со ссылкой на фиг.65А-65С. Как показано на фиг.65А, для пикселей W и пикселей G выполняют ПД суммирование между двумя пикселями, расположенными в диагональных направлениях влево вверх и вправо вниз и в диагональных направлениях вправо вверх и влево вниз, соответственно. Таким образом, генерируют сигналы пикселей W, R, G и В. После этого, как показано на фиг.65В, компоненты R, G и В расширяют на все пиксели, используя корреляцию между пикселем W и пикселем R, корреляцию между пикселем W и пикселем G и корреляцию между пикселем W и пикселем В. Сигналы пикселя W и сигнал G затем суммируют в пропорции 1:2 и генерируют сигнал (W+2G). Сигналы (W+2G) используются как сигналы яркости.

Как описано выше, в соответствии с первым и вторым примерами, при кодировании цветов, имеющих компоновку цветов, в которой фильтры W белого, используемого как первичный цвет сигнала яркости, располагают в виде структуры шахматной доски и фильтры G располагают так, что формируется структура в виде полосы в диагональном направлении, может быть получено следующее преимущество, в результате выполнения описанной выше обработки сигналов. Таким образом, в схеме 40 ЦСП, расположенной снаружи от микросхемы 11 датчика, в результате суммирования сигнала пикселя G, расположенного рядом с пикселем W с сигналом пикселя W, и выполнения обработки сигналов, используя эту сумму как первичный компонент сигнала яркости, можно повысить интенсивность сигнала яркости. В соответствии с этим, можно увеличить чувствительность с минимальным снижением разрешения.

3. Модификации

Хотя описанные выше примерные варианты выполнения были описаны со ссылкой на способ, в котором сигналы двух пикселей G, расположенных рядом с пикселем W, просто суммируют с сигналом пикселя W, и эту сумму используют как первичный компонент сигнала яркости, количество пикселей G, используемых для суммирования, не ограничивается двумя. Количество пикселей G может быть равно одному. Следует отметить, что суммирование 2 пикселей, в котором сигнал пикселя G, расположенного рядом с пикселем W, суммируют с сигналом пикселя W, имеет преимущество по сравнению с суммированием 3 пикселей, при котором сигналы двух пикселей G, расположенных рядом с пикселем W, суммируют с сигналом пикселя W, при котором в меньшей степени понижается разрешение.

Кроме того, хотя приведенные выше примерные варианты выполнения были описаны со ссылкой на обработку сигналов в случае структуры в виде диагональной полосы последовательности из четырех пикселей фильтров G, те же преимущества могут быть предусмотрены даже в случае, в котором последовательность из четырех пикселей фильтров G располагается с повторением в вертикальном направлении или в горизонтальном направлении, так что формируется структура полосы. Кроме того, соотношение суммирования сигнала фильтра первого цвета с фильтром второго цвета не ограничивается 1:1. Можно использовать любое соотношение суммирования, которое балансирует разрешение с чувствительностью.

Также, кроме того, хотя описанные выше примерные варианты выполнения были описаны со ссылкой на кодирование цветов, в котором первый цвет, используемый как первичный цвет сигнала яркости, представляет собой белый цвет (W) и второй цвет представляет собой зеленый (G), то же преимущество может быть обеспечено даже для кодирования цветов, при котором первый цвет представляет собой зеленый и второй цвет представляет собой белый. Такое кодирование цветов в соответствии с первым примером и вторым примером показано на фиг.66 и 67, соответственно.

Пример применения

Устройство формирования изображения

На фиг.68 показана блок-схема примерной конфигурации устройства формирования изображения в соответствии с вариантом выполнения настоящего изобретения.

Как показано на фиг.68, в соответствии с вариантом выполнения настоящего изобретения, устройство 100 формирования изображения включает в себя оптическую систему, включающую в себя модуль 101 объектива, устройство 102 съемки изображения, схему 103 ЦСП, используемую как схема обработки сигналов камеры, запоминающее устройство 104 кадра, модуль 105 дисплея, модуль 106 записи, модуль 107 операций и модуль 108 источника питания. Схема 103 ЦСП, запоминающее устройство 104 кадра, модуль 105 дисплея, модуль 106 записи, модуль 107 операций и модуль 108 источника питания соединены друг с другом через линию 109 шины.

Модуль 101 объектива принимает падающий свет (свет, формирующий изображение), поступающий от субъекта, и формирует изображение на поверхности формирования изображения устройства 102 съемки изображения. Устройство 102 съемки изображения преобразует интенсивность падающего света, принимаемого модулем 101 объектива, которая формирует изображение на поверхности формирования изображения в электрический сигнал для каждого пикселя. Электрические сигналы выводят в форме сигналов пикселя. Датчики 10А и 10В формирования изображения КМОП в соответствии с первым и вторым примерными вариантами выполнения можно использовать как устройство 102 съемки изображения. Кроме того, датчик 10 формирования изображения КМОП в соответствии со всеми описанными выше примерными вариантами выполнения (включая в себя третий примерный вариант выполнения) можно использовать как устройство 102 съемки изображения.

В датчиках 10А, 10В и 10 формирования изображения КМОП, в массиве цветного фильтра используется кодирование цветов, имеющее компоновку цветов, в которой цвет, используемый как первичный цвет сигнала яркости, расположен в виде структуры шахматной доски и множество цветов, используемых как компоненты информации цветов, расположены в другой области структуры шахматной доски. В частности, датчики 10А и 10 формирования изображения КМОП преобразуют сигналы, соответствующие компоновке цветов массива цветного фильтра, в сигналы, соответствующие байеровской компоновке, используя расчет, выполняемый в микросхеме 11 датчика.

В соответствии с этим, хотя датчики 10А и 10 формирования изображения КМОП имеют массив цветного фильтра, в котором используется кодирование цветов, при котором цвет, используемый как первичный цвет сигнала яркости, располагают в виде структуры шахматной доски, датчики 10А и 10 формирования изображения КМОП выводят сигналы, соответствующие байеровской компоновке. Вследствие этого, существующий ЦСП для байеровской компоновки, который генерирует сигнал Y яркости и два цветоразностных сигнала U(B-Y) и V(R-Y), используя сигналы, соответствующие байеровской компоновке, можно использовать как схему 103 ЦСП.

Поскольку, как описано выше, можно использовать существующий ЦСП для байеровской компоновки, разработка нового ЦСП, которая была бы связана с существенными затратами, при этом не требуется, даже когда изменяется кодирование цветов массива цветного фильтра, используемого в устройстве 102 съемки изображения. Использование существующего ЦСП может способствовать снижению стоимости при производстве устройства 100 формирования изображения, включающего в себя схему 103 ЦСП, и, в частности, широкому распространению массива цветного фильтра, имеющего кодирование цветов с использованием фильтра W.

В отличие от этого, в случае датчика 10В формирования изображения КМОП, сигналы, соответствующие компоновке цветов, в которой цвет, используемый как первичный цвет сигнала яркости, расположен в виде структуры шахматной доски, выводят наружу из микросхемы, и схема 103 ЦСП (соответствующая схеме 40 ЦСП, показанной на фиг.52) преобразует сигналы в сигналы, соответствующие байеровской компоновке. В соответствии с этим, когда кодирование цветов массива цветного фильтра изменяется, необходимо разрабатывать новые схемы 103 ЦСП, и поэтому необходимы затраты на разработку. Однако так же как и в датчике 10А формирования изображения КМОП, датчик 10В формирования изображения КМОП позволяет увеличить чувствительность при минимальном снижении разрешения. В соответствии с этим, датчик 10В формирования изображения КМОП имеет преимущество, состоящее в том, что он позволяет повысить отношение С/Ш сигнала формирования изображения при поддержании высокого разрешения.

Модуль 105 дисплея представляет собой модуль панели дисплея, такой как жидкокристаллический дисплей или дисплей органической электролюминесценции (EL, ЭЛ). Модуль 105 дисплея отображает движущееся изображение или неподвижное изображение, снятое устройством 102 съемки изображения. Модуль 106 записи записывает движущееся изображение или неподвижное изображение, снятое устройством 102 съемки изображения, на носителе записи, таком как видеолента или цифровой универсальный диск (DVD).

Под управлением пользователя, модуль 107 операций передает различные команды операций, которые управляют различными функциями устройства формирования изображения. Модуль 108 источника питания передает электрическую энергию в схему 103 ЦСП, запоминающее устройство 104 кадра, модуль 105 дисплея, модуль 106 записи и модуль 107 операций, когда это необходимо.

Настоящая заявка содержит предмет изобретения, относящийся к тому, что раскрыто в Приоритетной заявке №JP 2008-311694 на японский патент, поданной в японское патентное ведомство 8 декабря 2008 г., и №JP 2008-311695, поданной в японское патентное ведомство 8 декабря 2008 г., полное содержание которых приведено здесь в качестве ссылочного материала.

Для специалистов в данной области техники должно быть понятно, что различные модификации, комбинации, подкомбинации и изменения могут возникать в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.

Изобретение относится к твердотельным устройствам формирования изображения. Техническим результатом является повышение чувствительности твердотельного устройства формирования изображения. Результат достигается тем, что твердотельное устройство формирования изображения включает в себя модуль цветного фильтра, расположенный на модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, и модуль обработки преобразования, расположенный на подложке, на которой расположен модуль массива пикселей. Модуль цветного фильтра имеет компоновку цветов, в которой цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски и множество цветов, используемых как компоненты информации цветов, расположены в другой области структуры шахматной доски. Модуль обработки преобразования преобразует сигналы, выводимые из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, в сигналы, которые соответствуют байеровской компоновке, и выводит эти преобразованные сигналы. 6 н. и 5 з.п. ф-лы, 175 ил.

1. Твердотельное устройство формирования изображения, содержащее:
модуль цветного фильтра, расположенный на модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, модуль цветного фильтра имеет компоновку цветов, в которой цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски и множество цветов, используемых как компоненты информации цветов, расположены в другой области структуры шахматной доски; и
модуль обработки преобразования, расположенный на подложке, на которой размещен модуль массива пикселей, модуль обработки преобразования преобразует сигналы, выводимые из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, в сигналы, которые соответствуют байеровской компоновке, и выводит эти преобразованные сигналы,
в котором цвет, используемый как первичный компонент сигнала яркости, представляет собой один из белого и зеленого,
модуль цветного фильтра имеет кодирование цветов, при котором белые фильтры расположены в виде структуры шахматной доски, при этом фильтры каждого из красного и синего цветов расположены в виде структуры шахматной доски, с шагом два пикселя в вертикальном направлении и в горизонтальном направлении, и каждый из красных фильтров сдвинут по диагонали от одного из синих фильтров на один пиксель, или при этом фильтры каждого из красного и синего цветов расположены в квадрате с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении, и два из красных фильтров и два из синих фильтров расположены с чередованием в диагональном направлении, а зеленые фильтры расположены в другой области структуры шахматной доски,
в котором при кодировании цветов модуля цветного фильтра, зеленые фильтры для последовательности из четырех пикселей формируют группу и эти группы расположены так, что формируют структуру полосок в одном из диагонального направления, вертикального направления и горизонтального направления, и в котором модуль обработки преобразования суммирует сигнал одного зеленого пикселя или сигналы двух зеленых пикселей, расположенных рядом с пикселем белого фильтра, с сигналом пикселя белого фильтра и использует эту сумму как первичный компонент сигнала яркости.

2. Способ обработки сигнала, предназначенный для использования в твердотельном устройстве формирования изображения, включающем в себя модуль цветного фильтра, расположенный на модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, причем модуль цветного фильтра имеет компоновку цветов, в которой цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски и множества цветов, используемых как компоненты информации цветов, расположены в другой области структуры шахматной доски, содержащий следующий этап:
преобразуют на подложке, на которой расположен модуль массива пикселей, сигналы, выводимые из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, в сигналы, которые соответствуют байеровской компоновке,
в котором цвет, используемый как первичный компонент сигнала яркости, представляет собой один из белого и зеленого,
модуль цветного фильтра имеет кодирование цветов, при котором белые фильтры расположены в виде структуры шахматной доски, при этом фильтры каждого из красного и синего цветов расположены в виде структуры шахматной доски, с шагом два пикселя в вертикальном направлении и в горизонтальном направлении, и каждый из красных фильтров сдвинут по диагонали от одного из синих фильтров на один пиксель, или при этом фильтры каждого из красного и синего цветов расположены в квадрате с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении, и два из красных фильтров и два из синих фильтров расположены с чередованием в диагональном направлении, а зеленые фильтры расположены в другой области структуры шахматной доски,
в котором при кодировании цветов модуля цветного фильтра, зеленые фильтры для последовательности из четырех пикселей формируют группу и эти группы расположены так, что формируют структуру полосок в одном из диагонального направления, вертикального направления и горизонтального направления, и в котором модуль обработки преобразования суммирует сигнал одного зеленого пикселя или сигналы двух зеленых пикселей, расположенных рядом с пикселем белого фильтра, с сигналом пикселя белого фильтра и использует эту сумму как первичный компонент сигнала яркости.

3. Устройство формирования изображения, содержащее:
твердотельное устройство формирования изображения, включающее в себя модуль цветного фильтра и модуль обработки преобразования, модуль цветного фильтра расположен на модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, причем модуль цветного фильтра имеет компоновку цветов, в которой цвет, используемый как первичный компонент сигнала яркости, расположен в виде структуры шахматной доски и множество цветов, используемых как компоненты информации цвета, расположены в другой области структуры шахматной доски, модуль обработки преобразования размещен на подложке, на которой размещен модуль массива пикселей, модуль обработки преобразования преобразует сигналы, выводимые из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, в сигналы, которые соответствуют байеровской компоновке, и выводит эти преобразованные сигналы; и
модуль обработки сигнала, выполненный с возможностью генерировать сигналы яркости и цветоразностный сигнал, используя сигналы, выводимые из модуля обработки преобразования, и которые соответствуют байеровской компоновке.

4. Твердотельное устройство формирования изображения, содержащее:
модуль цветного фильтра, расположенный на модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, модуль цветного фильтра имеет компоновку цветов, в которой фильтры первого цвета, используемого как первичный компонент сигнала яркости, расположены в виде структуры шахматной доски, и фильтры второго цвета, используемого как первичный компонент сигнала яркости для последовательности из четырех пикселей, формируют группу, и эта группа расположена так, что формирует структуру полосы в одном из диагонального направления, вертикального направления и горизонтального направления; и
модуль обработки сигнала, выполненный с возможностью приема сигналов, выводимых из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, и суммирующий сигнал пикселя фильтра второго цвета расположенного рядом с пикселем фильтра первого цвета с сигналом пикселя фильтра первого цвета.

5. Твердотельное устройство формирования изображения по п.4, в котором фильтр первого цвета представляет собой один из белого фильтра и зеленого фильтра, фильтр второго цвета представляет собой зеленый фильтр, когда фильтр первого цвета представляет собой белый фильтр, и фильтр второго цвета представляет собой белый фильтр, когда фильтр первого цвета представляет собой зеленый фильтр.

6. Твердотельное устройство формирования изображения по п.5, в котором модуль цветного фильтра имеет компоновку цветов, в которой фильтры первого цвета расположены в виде структуры шахматной доски, фильтры каждого из красного и синего цветов расположены в виде структуры шахматной доски с шагом два пикселя в вертикальном направлении и в горизонтальном направлении, и каждый из красного фильтров сдвинут по диагонали от одного из синих фильтров на один пиксель, и фильтры второго цвета расположены в другой области структуры шахматной доски.

7. Твердотельное устройство формирования изображения по п.5, в котором модуль цветного фильтра имеет компоновку цветов, в которой фильтры первого цвета расположены в виде структуры шахматной доски, фильтры каждого из красного и синего цветов расположены в квадратах с шагом четыре пикселя в вертикальном направлении и в горизонтальном направлении, и два из красных фильтров и два из синих фильтров расположены с чередованием в диагональном направлении, и в котором фильтры второго цвета расположены в другой области структуры шахматной доски.

8. Твердотельное устройство формирования изображения по п.6, в котором среди пикселей фильтров второго цвета, расположенных рядом с пикселем фильтра первого цвета, модуль обработки сигнала выбирает один пиксель или два пикселя и суммирует сигнал выбранного пикселя или сигналы выбранных пикселей с сигналом пикселя фильтра первого цвета.

9. Твердотельное устройство формирования изображения по п.7, в котором среди пикселей фильтров второго цвета, расположенных рядом с пикселем фильтра первого цвета, модуль обработки сигнала выбирает один пиксель или два пикселя и суммирует сигнал выбранного пикселя или сигналы выбранных пикселей с сигналом пикселя фильтра первого цвета.

10. Способ обработки сигнала, предназначенный для использования в твердотельном устройстве формирования изображения, включающем в себя модуль цветного фильтра, расположенный на модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, причем модуль цветного фильтра имеет компоновку цветов, в которой фильтры первого цвета, используемого как первичный компонент сигнала яркости, расположены в виде структуры шахматной доски, и фильтры второго цвета, используемого как первичный компонент сигнала яркости для последовательности из четырех пикселей, формируют группу, и эти группы размещены таким образом, что формируют структуру полосы в одном из диагонального направления, вертикального направления и горизонтального направления, содержащий следующий этап:
принимают сигналы, выводимые из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, и суммируют сигнал пикселя фильтра второго цвета, расположенного рядом с пикселем фильтра первого цвета, с сигналом пикселя фильтра первого цвета.

11. Устройство формирования изображения, содержащее;
твердотельное устройство формирования изображения, включающее в себя модуль цветного фильтра и модуль обработки сигнала, модуль цветного фильтра расположен на модуле массива пикселей, включающем в себя пиксели, размещенные двумерно в виде матрицы, причем модуль цветного фильтра имеет компоновку цветов, в которой фильтры первого цвета, используемого как первичный компонент сигнала яркости, расположены в виде структуры шахматной доски, и фильтры второго цвета, используемого как первичный компонент сигнала яркости для последовательности четырех пикселей, формируют группу, и эти группы расположены так, что формируют структуру полосы в одном из диагонального направления, вертикального направления и горизонтального направления, модуль обработки сигнала принимает сигналы, выводимые из пикселей модуля массива пикселей, и которые соответствуют компоновке цветов модуля цветного фильтра, и суммируют сигналы пикселя фильтра второго цвета, расположенного рядом с пикселем фильтра первого цвета, с сигналом пикселя фильтра первого цвета.