МОДУЛЬ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ И УПРАВЛЯЮЩАЯ ПРОГРАММА ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N5/355 

УРОВЕНЬ ТЕХНИКИ

1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к модулю формирования изображений, к устройству формирования изображений и к машиночитаемому носителю, хранящему управляющую программу для формирования изображений.

2. ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Известен модуль формирования изображений, в котором кристалл для формирования изображений на основе обратной эмиссии и кристалл обработки сигналов соединяются через микро столбиковые выводы, предусмотренные для каждой ячейки, содержащей группу пикселов.

Патентный документ 1. Публикация заявки на патент Японии № 2006-49361

[0003] Когда коэффициент усиления является низким в случае, если падающий свет является сильным, и имеется большая величина заряда, сигнал, извлеченный из областей, в которых падающий свет является слабым, также является слабым. С другой стороны, когда коэффициент усиления является высоким в областях, в которых падающий свет является слабым, сигнал, извлеченный из областей, в которых падающий свет является сильным, становится насыщенным. Следовательно, динамический диапазон модуля формирования изображений ограничивается узким диапазоном.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Согласно первому аспекту настоящего изобретения, предусмотрен модуль формирования изображений, содержащий узел формирования изображений, который включает в себя первую группу, имеющую один или более пикселов, и вторую группу, имеющую один или более пикселов, которые отличаются от одного или более пикселов первой группы; и узел управления, который в то время, когда накопление единичного заряда выполняется в первой группе, заставляет соответствующие пиксельные сигналы выводиться посредством выполнения накопления заряда во второй группе число раз, отличающееся от числа раз, когда накопление заряда выполняется в первой группе.

[0005] Согласно второму аспекту настоящего изобретения, предусмотрено устройство формирования изображений, включающее в себя модуль формирования изображений, описанный выше.

[0006] Согласно третьему аспекту настоящего изобретения, предусмотрена управляющая программа для формирования изображений, которая при выполнении инструктирует компьютеру выполнять первое инициирование начала накопления заряда в первой группе, включающей в себя один или более пикселов; второе инициирование начала накопления заряда во второй группе, включающей в себя один или более пикселов, которые отличаются от пикселов первой группы; второй вывод, до или в момент, когда завершается накопление заряда в первой группе, с завершением накопления заряда во второй группе и выводом пиксельного сигнала; и первый вывод, после многократного повторения второго инициирования и второго вывода, с завершением накопления заряда в первой группе и выводом пиксельного сигнала.

[0007] Согласно четвертому аспекту настоящего изобретения, предусмотрено устройство формирования изображений, содержащее узел формирования изображений, включающий в себя первую группу, имеющую один или более пикселов, и вторую группу, имеющую один или более пикселов, которые отличаются от одного или более пикселов первой группы; узел управления, который в то время, когда множество накоплений заряда выполняются в первой группе, заставляет соответствующие пиксельные сигналы выводиться посредством выполнения множества накоплений заряда во второй группе; и узел вычисления, который выполняет вычисление таким образом, что процесс, применяемый к пиксельным сигналам, выводимым из первой группы, отличается от процесса, применяемого к пиксельным сигналам, выводимым из второй группы.

[0008] Раздел "Сущность изобретения" не обязательно описывает все требуемые признаки вариантов осуществления настоящего изобретения. Настоящее изобретение также может представлять собой субкомбинацию признаков, описанных выше.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 является видом в поперечном сечении MOS-элемента захвата изображений на основе обратной эмиссии согласно варианту осуществления настоящего изобретения.

Фиг. 2 является видом для описания единичной группы и пиксельной компоновки кристалла формирования изображений.

Фиг. 3 является принципиальной схемой, соответствующей единичной группе кристалла формирования изображений.

Фиг. 4 является блок-схемой, показывающей функциональную конфигурацию элемента формирования изображений.

Фиг. 5 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления.

Фиг. 6A и 6B является видом для описания примерного выделения сцен и областей.

Фиг. 7 используется для того, чтобы описывать накопление заряда в каждой разделенной области.

Фиг. 8 показывает взаимосвязь между числом интегрирований и динамическим диапазоном.

Фиг. 9 является блок-схемой последовательности операций, показывающей обработку операций захвата изображений.

Фиг. 10 является блок-схемой, показывающей подробную конфигурацию в качестве примера кристалла обработки сигналов.

Фиг. 11 является видом, описывающим поток пиксельных сигналов из кристалла формирования изображений в кристалл обработки сигналов.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] В дальнейшем в этом документе описываются некоторые варианты осуществления настоящего изобретения. Варианты осуществления не ограничивают изобретение согласно формуле изобретения, и все комбинации признаков, описанных в вариантах осуществления, не обязательно являются существенными для средств, предоставленных посредством аспектов изобретения.

[0011] Фиг. 1 является видом в поперечном сечении элемента 100 формирования изображений на основе обратной эмиссии согласно варианту осуществления настоящего изобретения. Элемент 100 формирования изображений включает в себя кристалл 113 формирования изображений, который выводит пиксельный сигнал, соответствующий падающему свету, кристалл 111 обработки сигналов, который обрабатывает пиксельный сигнал и кристалл 112 запоминающего устройства, который записывает пиксельные сигналы. Кристалл 113 формирования изображений, кристалл 111 обработки сигналов и кристалл 112 запоминающего устройства располагаются слоями и электрически соединены друг с другом, например, посредством проводящих столбиковых выводов 109, изготовленных из Cu.

[0012] Как показано на чертежах, падающий свет главным образом падает в положительном направлении по оси Z, как показано посредством полой белой стрелки. В настоящем варианте осуществления, поверхность кристалла 113 формирования изображений, на которую падает падающий свет, упоминается в качестве задней поверхности. Кроме того, как показано посредством осей, направление влево в плоскости чертежа и ортогональное к оси Z представляет собой положительное направление по оси X, а направление вперед от плоскости чертежа и ортогональное к оси X и оси Z представляет собой положительное направление по оси Y. На множестве нижеприведенных чертежей, оси координат по фиг. 1 используются в качестве базы отсчета, и эти оси координат включаются на чертежи для того, чтобы указывать ориентацию.

[0013] Кристалл 113 формирования изображений представляет собой, например, MOS-датчик изображений на основе обратной эмиссии. PD-слой 106 размещается на стороне задней поверхности слоя 108 межсоединений. PD-слой 106 включает в себя множество PD (фотодиодов) 104, размещенных двумерно, и транзисторы 105, предоставляемые согласно PD 104.

[0014] Цветные светофильтры 102 предоставляются на стороне падающего света PD-слоев 106 с пассивирующей пленкой 103, размещенной между ними. Цветные светофильтры 102 включают в себя множество типов, которые пропускают различные области длины волны и имеют предписанную компоновку, надлежащим образом соответствующую PD 104. Ниже подробнее описывается компоновка цветных светофильтров 102. Каждый набор из цветного светофильтра 102, PD 104 и транзистора 105 формирует один пиксел.

[0015] Микролинзы 101 размещаются на стороне падающего света цветного светофильтра 102, надлежащим образом соответствующего пикселам. Микролинзы 101 собирают падающий свет в направлении соответствующего PD 104.

[0016] Слой 108 межсоединений включает в себя проводники 107, которые передают пиксельные сигналы из PD-слоя 106 в кристалл 111 обработки сигналов. Проводник 107 может быть многослойным и может включать в себя активные элементы и пассивные элементы.

[0017] Множество столбиковых выводов 109 размещается на передней поверхности слоя 108 межсоединений. Эти столбиковые выводы 109 совмещаются с множеством столбиковых выводов 109 на поверхности, обращенной к кристаллу 111 обработки сигналов, и совмещенные столбиковые выводы 109 соединяются между собой таким образом, что они формируют электрический контакт, например, посредством прижатия кристалла 113 формирования изображений и кристалла 111 обработки сигналов друг к другу.

[0018] Таким же образом, множество столбиковых выводов 109 размещаются на поверхностях кристалла 111 обработки сигналов и кристалла 112 запоминающего устройства, обращенных друг к другу. Эти столбиковые выводы 109 совмещаются между собой, и совмещенные столбиковые выводы 109 соединяются между собой таким образом, что они формируют электрический контакт, например, посредством прижатия кристалла 131 обработки сигналов и кристалла 112 запоминающего устройства друг к другу.

[0019] Соединение между столбиковыми выводами 109 не ограничивается соединением на основе столбиковых выводов из Cu через диффузию из твердой фазы, и вместо этого может приспосабливаться соединение на основе микро столбиковых выводов с помощью пайки оплавлением припоя. Кроме того, приблизительно 1 столбиковый вывод 109 должен предоставляться для каждой группы пикселов, например, как дополнительно описано ниже. Соответственно, столбиковые выводы 109 могут превышать шаг PD 104. Кроме того, в периферийной области за пределами пиксельных областей, в которых размещаются пикселы, могут предоставляться столбиковые выводы, которые превышают столбиковые выводы 109, соответствующие пиксельным областям.

[0020] Кристалл 111 обработки сигналов включает в себя TSV 110 (переходное отверстие в кремнии), которое соединяет каждую из схем, предоставленных на передней и задней поверхностях. TSV 110 предпочтительно предоставляется в периферийной области. Кроме того, TSV 110 может предоставляться как в периферийной области кристалла 113 формирования изображений, так и в кристалле 112 запоминающего устройства.

[0021] Фиг. 2 является видом для описания единичной группы 131 и пиксельной компоновки кристалла 113 формирования изображений, в частности, кристалл 113 формирования изображений показан как видимый со стороны задней поверхности, двадцать миллионов или более пикселов размещаются в пиксельной области в матричной структуре. В настоящем варианте осуществления, 16 пикселов в компоновке 4×4 смежных пикселов формируют одну группу. Линии сетки координат на чертеже указывают единичные группы 131, сформированные посредством группировки смежных пикселов.

[0022] Как показано в укрупненном виде части пиксельной области, единичная группа 131 имеет так называемую байеровскую компоновку, в которой пикселы Gb и Gr зеленого цвета, пиксел B синего цвета и пиксел R красного цвета размещаются в соответствующих углах. Пикселы зеленого цвета являются пикселами, которые имеют зеленые светофильтры в качестве цветных светофильтров 102 и принимают свет в диапазоне длин волн зеленого цвета в падающем свете. Аналогично, пиксел синего цвета является пикселом, который имеет синий светофильтр в качестве цветного светофильтра 102 и принимает свет в диапазоне длин волн синего цвета, и пиксел красного цвета является пикселом, который имеет красный светофильтр в качестве цветного светофильтра 102 и принимает свет в диапазоне длин волн красного цвета.

[0023] Фиг. 3 является принципиальной схемой, соответствующей единичной группе 131 кристалла 113 формирования изображений. На чертеже прямоугольник, обведенный посредством пунктирной линии, представляет схему, соответствующую одному пикселу. По меньшей мере, некоторые транзисторы в нижеприведенном описании соответствуют транзистору 105, показанному на фиг. 1.

[0024] Как описано выше, единичная группа 131 формируется из 16 пикселов. 16 PD 104, надлежащим образом соответствующих пикселам, соединяются с транзистором 302 переноса, и TX-проводник 307, который подает импульс переноса, соединяется с каждым затвором каждого транзистора 302 переноса. В настоящем варианте осуществления, TX-проводник 307 соединяется таким образом, что он совместно используется посредством 16 транзисторов 302 переноса.

[0025] Сток каждого транзистора 302 переноса соединяется с истоком соответствующего транзистора 303 сброса, и так называемая плавающая диффузионная область FD между стоком каждого транзистора 302 переноса и истоком соответствующего транзистора 303 сброса соединяется с затвором соответствующего усиливающего транзистора 304. Сток транзистора 303 сброса соединяется с Vdd-проводником 310, в который подается напряжение питания, и затвор транзистора 303 сброса соединяется с проводником 306 сброса, в который подается импульс сброса. В настоящем варианте осуществления, проводник 306 сброса соединяется таким образом, что он совместно используется посредством 16 транзисторов 303 сброса.

[0026] Сток каждого усиливающего транзистора 304 соединяется с Vdd-проводником 310, в который подается напряжение питания. Исток каждого усиливающего транзистора 304 соединяется со стоком соответствующего транзистора 305 выбора. Каждый затвор транзистора выбора соединяется с проводником 308 декодера, в который подается импульс соединения. В настоящем варианте осуществления, проводник 308 декодера предоставляется независимо для каждого набора из 16 транзисторов 305 выбора. Исток каждого транзистора 305 выбора соединяется с общим выходным проводником 309. Источник 311 отрицательного тока подает ток в выходной проводник 309. Другими словами, выходной проводник 309 для транзистора 305 выбора формируется посредством истокового повторителя. Источник 311 отрицательного тока может предоставляться на стороне кристалла 113 формирования изображений или на стороне кристалла 111 обработки сигналов.

[0027] Далее описывается последовательность операций от начала накопления заряда до вывода пикселов после завершения накопления. Импульс сброса прикладывается к транзистору 303 сброса через проводник 306 сброса, и одновременно импульс переноса прикладывается к транзистору 302 переноса через TX-проводник 307, за счет этого сбрасывая потенциалы PD 104 и плавающей диффузионной области FD.

[0028] Когда завершается приложение импульса переноса, PD 104 преобразует принимаемый падающий свет в заряд и накапливает этот заряд. После этого, когда импульс переноса снова прикладывается в состоянии, в котором импульс сброса не прикладывается, накопленный заряд переносится в плавающую диффузионную область FD, и изменяется потенциал плавающей диффузионной области FD с потенциала сброса на потенциал сигнала после накопления заряда. Когда импульс выбора прикладывается к транзистору 305 выбора через проводник 308 декодера, изменение потенциала сигнала плавающей диффузионной области FD передается в выходной проводник 309 через усиливающий транзистор 304 и транзистор 305 выбора. Таким образом, пиксельный сигнал, соответствующий потенциалу сброса и потенциалу сигнала, выводится в выходной проводник 309 из одного пиксела.

[0029] Как показано на чертежах, в настоящем варианте осуществления, проводник 306 сброса и TX-проводник 307 совместно используются посредством 16 пикселов, формирующих единичную группу 131. Другими словами, каждый импульс сброса и импульс переноса прикладываются одновременно ко всем 16 пикселам. Соответственно, все пикселы, формирующие единичную группу 131, начинают накопление заряда при одинаковом тактировании и заканчивают накопление заряда при одинаковом тактировании. Тем не менее, пиксельные сигналы, соответствующие накопленным зарядам, избирательно выводятся в выходной проводник 309 в результате последовательного приложения импульсов выбора посредством соответствующих транзисторов 305 выбора.

[0030] Таким образом, посредством конфигурирования схемы с единичными группами 131 в качестве стандарта, может управляться время накопления заряда каждой единичной группы 131. Другими словами, смежные единичные группы 131 могут выводить соответствующие пиксельные сигналы с различными временами накопления заряда. Перефразируя еще раз, в то время как одна единичная группа 131 выполняет накопление единичного заряда, другая единичная группа 131 может многократно выполнять любое число накоплений заряда и выводить соответствующий пиксельный сигнал. Ниже описывается конкретное управление выводом.

[0031] Фиг. 4 является блок-схемой, показывающей функциональную конфигурацию элемента 100 формирования изображений. Аналоговый мультиплексор 411 последовательно выбирает PD 104 из 16 PD 104, формирующих единичную группу 131, и инструктирует каждому PD 104 выводить пиксельный сигнал в выходной проводник 309. Мультиплексор формируется в кристалле 113 формирования изображений вместе с PD 104.

[0032] Пиксельный сигнал, выводимый через мультиплексор, подвергается CDS (двойной коррелированной дискретизации) и A/D-(аналого-цифровому) преобразованию посредством схемы 412 обработки сигналов, которая выполняет CDS и аналогово-цифровые преобразования, сформированной в кристалле 111 обработки сигналов. Пиксельный сигнал, получающийся в результате аналогово-цифрового преобразования, пересылается в демультиплексор 413 и сохраняется в пиксельном запоминающем устройстве 414, соответствующем пикселу. Каждое пиксельное запоминающее устройство 414 имеет емкость, которая обеспечивает хранение числа пиксельных сигналов, соответствующих максимальному числу интегрирований, которое подробнее описывается ниже. Демультиплексор 413 и пиксельные запоминающие устройства 414 формируются в кристалле 112 запоминающего устройства.

[0033] Аналогово-цифровое преобразование включает в себя преобразование входного аналогового пиксельного сигнала в 12-битовый цифровой пиксельный сигнал. Одновременно, схема 412 обработки сигналов присоединяет 3-битовый числовой индекс, соответствующий числу интегрирований, которое подробнее описывается ниже, и пересылает цифровой пиксельный сигнал, имеющий полный размер в 15 битов, в демультиплексор 413. Соответственно, пиксельное запоминающее устройство 414 сохраняет 15-битовый цифровой пиксельный сигнал, соответствующий одному накоплению заряда.

[0034] Схема 415 вычисления обрабатывает пиксельный сигнал, сохраненный в пиксельном запоминающем устройстве 414, и пересылает результирующий сигнал в процессор изображений, предоставленный на последующей стадии. Схема 415 вычисления может предоставляться в кристалле 111 обработки сигналов или может предоставляться в кристалле 112 запоминающего устройства. Чертежи показывают соединение с одной группой, но схема 415 вычисления фактически предоставляется для каждой группы, и схемы 415 вычисления работают параллельно. Следует отметить, что схема 415 вычисления не должна предоставляться для каждой группы, и вместо этого, например, одна схема 415 вычисления может выполнять последовательную обработку при последовательном обращении к значениям в пиксельных запоминающих устройствах 414, соответствующих надлежащим группам.

[0035] Фиг. 5 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления. Устройство 500 формирования изображений включает в себя линзу 520 формирования изображений, служащую в качестве оптической системы формирования изображений, и линза 520 формирования изображений направляет основной свет, который падает вдоль оптической оси OA, в элемент 100 формирования изображений. Линза 520 формирования изображений может быть сменной линзой, которая может присоединяться и отсоединяться от устройства 500 формирования изображений. Устройство 500 формирования изображений главным образом включает в себя элемент 100 формирования изображений, узел 501 управления системой, узел 502 возбуждения, фотометрический узел 503, оперативное запоминающее устройство 504, узел 505 хранения и узел 506 отображения.

[0036] Линза 520 формирования изображений формируется посредством множества групп оптических линз и фокусирует основной свет из сцены около фокальной плоскости. На фиг. 1, линза 520 формирования изображений представляется посредством одной виртуальной линзы, размещенной около зрачка. Узел 502 возбуждения представляет собой схему управления, которая выполняет управление накоплением заряда, к примеру, управление областями и управление тактированием для элемента 100 формирования изображений, согласно инструкциям из узла 501 управления системой. В этом смысле, можно сказать, что узел 502 возбуждения имеет функцию узла управления элемента формирования изображений, который инструктирует пиксельным сигналам выводиться посредством выполнения накопления заряда для элемента 100 формирования изображений. Узел 502 возбуждения формирует модуль формирования изображений при комбинировании с элементом 100 формирования изображений. Схема управления, формирующая узел 502 возбуждения, может формироваться в качестве кристалла и наслаиваться на элемент 100 формирования изображений.

[0037] Элемент 100 формирования изображений пересылает пиксельный сигнал в процессор 511 изображений узла 501 управления системой. Процессор 511 изображений применяет различные типы обработки изображений, с помощью оперативного запоминающего устройства 504 в качестве рабочего пространства, для того чтобы формировать данные изображений. Например, при формировании данных изображений в JPEG-формате файла, процессор 511 изображений выполняет процесс регулировки баланса белого, процесс гамма-коррекции и т.п., а затем выполняет процесс сжатия. Сформированные данные изображений записываются в узел 505 хранения и преобразуются в сигнал для отображения, который должен отображаться на модуле 506 отображения в течение предварительно определенного времени.

[0038] Фотометрический узел 503 определяет распределение яркости сцены перед последовательностью формирования изображений для формирования данных изображений. Фотометрический узел 503 включает в себя, например, AE-датчик приблизительно с 1 миллионом пикселов. Узел 512 вычисления узла 501 управления системой принимает вывод фотометрического узла 503 и вычисляет яркость каждой области узла 501 управления системой. Узел 512 вычисления определяет скорость срабатывания затвора, значение раскрытия диафрагмы и ISO-чувствительность согласно вычисленному распределению яркости. В настоящем варианте осуществления, узел 512 вычисления дополнительно определяет то, сколько раз накопление заряда повторяется в каждой области группы пикселов кристалла 113 формирования изображений, до тех пор, пока не будет достигнута определенная скорость срабатывания затвора. Узел 512 вычисления выполняет множество вычислений для управления устройством 500 формирования изображений.

[0039] Фиг. 6A и 6B являются видами для описания примерного выделения сцен и областей. Фиг. 6A показывает сцену, захваченную посредством пиксельных областей кристалла 113 формирования изображений. В частности, сцена включает в себя промежуточный объект 602 и затененный объект 601, включенные в помещении, и яркий объект 603 на улице, видимый в оконной раме 604. Таким образом, при захвате изображения сцены, в которой имеется большое различие в яркости от яркой части до затененной части, если используется традиционный элемент формирования изображений, недоэкспонирование возникает в затененной части, если накопление заряда выполняется с яркой частью в качестве стандарта, и переэкспонирование возникает в яркой части, если накопление заряда выполняется с затененной частью в качестве стандарта. Другими словами, динамический диапазон фотодиодов для сцены с большим различием в яркости является недостаточным, чтобы выводить сигнал изображения, в котором накопление заряда является однородным как для яркой части, так и для затененной части. Следовательно, в настоящем изобретении, динамический диапазон существенно расширяется посредством разделения сцены на частичные области яркой части и затененной части и создания разностей в числе накоплений заряда фотодиодов, соответствующих надлежащим частям.

[0040] Фиг. 6B показывает разделение на области для пиксельной области кристалла 113 формирования изображений. Узел 512 вычисления анализирует сцену по фиг. 6A, захваченную посредством фотометрического узла 503, и разделяет пиксельную область с использованием яркости в качестве базы отсчета. Например, узел 501 управления системой многократно выполняет получение сцены при изменении времени экспонирования для фотометрического узла 503, и узел 512 вычисления определяет разделительные линии пиксельных областей посредством обращения к изменению распределения области переэкспонирования и области недоэкспонирования. В примере по фиг. 6B, узел 512 вычисления разделяет сцену на три области, которые представляют собой затененную область 611, промежуточную область 612 и яркую область 613.

[0041] Разделительные линии задаются вдоль границ единичных групп 131. Другими словами, каждая из разделенных областей включает в себя целое число групп. Кроме того, пикселы каждой группы, содержащейся в одной и той же области, выводят одно и то же число пиксельных сигналов и выполняют накопление заряда одно и то же число раз в пределах периода, соответствующего скорости срабатывания затвора, определенной посредством узла 512 вычисления. Если отличаются ассоциированные области, отличается число выводимых пиксельных сигналов и число раз, когда выполняется накопление заряда.

[0042] Фиг. 7 используется для того, чтобы описывать накопление заряда в каждой области, разделенной так, как показано на фиг. 6A и 6B. После приема инструкций подготовки к захвату изображений от пользователя, узел 512 вычисления определяет скорость срабатывания затвора (время T0 экспонирования) из вывода фотометрического узла 503. Кроме того, затененная область 611, промежуточная область 612 и яркая область 613 разделяются так, как описано выше, и число накоплений заряда определяется из информации яркости каждой области. Число накоплений заряда определяется таким образом, что пиксельное насыщение не возникает из одного накопления заряда. Например, число накоплений заряда может быть определено с использованием базы отсчета, которая составляет 80-90% заряда, который может быть накоплен в операции накопления единичного заряда.

[0043] Здесь, накопление заряда выполняется один раз для затененной области 611. Другими словами, время накопления заряда совпадает с определенным временем T0 экспонирования. Кроме того, накопление заряда выполняется два раза для промежуточной области 612. Другими словами, накопление заряда выполняется два раза в течение времени T0 экспонирования, при этом каждое время накопления заряда составляет T0/2. Кроме того, накопление заряда выполняется четыре раза для яркой области 613. Другими словами, накопление заряда выполняется четыре раза в течение времени T0 экспонирования, при этом каждое время накопления заряда составляет T0/4.

[0044] После приема инструкций захвата изображений от пользователя во время t=0, узел 502 возбуждения прикладывает импульс сброса и импульс переноса к пикселам групп, ассоциированных с одной из областей. Приложение этих импульсов инициирует начало накопления заряда для одного из пикселов.

[0045] Во время t=T0/4, узел 502 возбуждения прикладывает импульс переноса к пикселам группы, ассоциированной с яркой областью 613. Узел 502 возбуждения последовательно прикладывает импульсы выбора к пикселам в каждой группе, с тем чтобы инструктировать каждому из пиксельных сигналов выводиться в выходной проводник 309. Когда выведены пиксельные сигналы всех пикселов в группе, узел 502 возбуждения снова прикладывает импульс сброса и импульс переноса к пикселам группы, ассоциированной с яркой областью 613, чтобы начинать второе накопление заряда.

[0046] Поскольку требуется время для вывода выбора пиксельного сигнала, имеется разность времен между завершением первого накопления заряда и началом второго накопления заряда. Если эта разность времен является достаточно небольшой, так что она по существу игнорируется, время, полученное посредством деления времени T0 экспонирования на число накоплений заряда, должно задаваться в качестве времени первого накопления заряда. С другой стороны, если эта разность времен не может игнорироваться, то время T0 экспонирования должно регулироваться с учетом этой разности времен, так что время первого накопления заряда меньше времени, полученного посредством деления времени T0 экспонирования на число накоплений заряда.

[0047] Во время t=T0/2, узел 502 возбуждения прикладывает импульс переноса к пикселам групп, ассоциированных с промежуточной областью 612 и яркой областью 613. Узел 502 возбуждения затем последовательно прикладывает импульсы выбора к пикселам в каждой из этих групп, чтобы инструктировать соответствующим пиксельным сигналам выводиться посредством выходного проводника 309. Когда выведены пиксельные сигналы всех пикселов в этих группах, узел 502 возбуждения снова прикладывает импульс сброса и импульс переноса к пикселам в группах, ассоциированных с промежуточной областью 612 и яркой областью 613, чтобы начинать второе накопление заряда для промежуточной области 612 и третье накопление заряда для яркой области 613.

[0048] Во время t=3T0/4, узел 502 возбуждения прикладывает импульс переноса к пикселам группы, ассоциированной с яркой областью 613. Узел 502 возбуждения последовательно прикладывает импульсы выбора к пикселам в каждой группе, с тем чтобы инструктировать каждому из пиксельных сигналов выводиться в выходной проводник 309. Когда выведены пиксельные сигналы всех пикселов в группе, узел 502 возбуждения снова прикладывает импульс сброса и импульс переноса к пикселам группы, ассоциированной с яркой областью 633, чтобы начинать четвертое накопление заряда.

[0049] Во время t=T0, узел 502 возбуждения прикладывает импульс переноса к пикселам во всех областях. Узел 502 возбуждения последовательно прикладывает импульсы выбора к пикселам в каждой группе, с тем чтобы инструктировать каждому пиксельному сигналу выводиться в выходной проводник 309. При управлении, описанном выше, пиксельные сигналы из одного накопления заряда сохраняются в пиксельных запоминающих устройствах 414, соответствующих затененной области 611, пиксельные сигналы из двух накоплений заряда сохраняются в пиксельных запоминающих устройствах 414, соответствующих промежуточной области 612, и пиксельные сигналы из четырех накоплений заряда сохраняются в пиксельных запоминающих устройствах 414, соответствующих яркой области 613.

[0050] Эти пиксельные сигналы последовательно передаются в процессор 511 изображений. Процессор 511 изображений формирует данные изображений с расширенным динамическим диапазоном из этих пиксельных сигналов. Ниже дополнительно описывается подробная обработка.

[0051] Фиг. 8 показывает взаимосвязь между числом интегрирований и динамическим диапазоном. Пиксельные сигналы из множества накоплений заряда, выполняемых многократно, подвергаются вычислительной обработке посредством процессора 511 изображений для того, чтобы формировать часть данных изображений с расширенным динамическим диапазоном.

[0052] Когда число интегрирований равно 1, т.е. когда динамический диапазон области, для которой накопление заряда выполняется один раз, используется в качестве базы отсчета, расширение динамического диапазона области, в которой число интегрирований равно 2, т.е. области, в которой два раза выполняется накопление заряда, и интегрируются выходные сигналы, представляет собой одну стадию. Аналогично, расширение представляет собой две стадии, когда число интегрирований равно 4, и представляет собой 7 стадий, когда число интегрирований равно 128. Другими словами, чтобы расширять динамический диапазон в n стадиях, выходные сигналы должны интегрироваться 2n раз.

[0053] Здесь, чтобы идентифицировать число раз, когда, процессор 511 изображений выполняет накопление заряда в каждой из разделенных областей, сигналы изображений содержат 3-битовый числовой индекс, указывающий число интегрирований. Как показано на чертежах, числовые индексы выделяются способом 000 для одного интегрирования, 001 для двух интегрирований, …, и 111 для 128 интегрирований.

[0054] Процессор 511 изображений обращается к числовому индексу каждого пиксельного сигнала, принимаемого из схемы 415 вычисления, и если результат этого обращения заключается в том, что число интеграций составляет две или более, выполняет процесс интегрирования для пиксельного сигнала. Например, когда число интегрирований равно двум (одна стадия) для двух пиксельных сигналов, процессор 511 изображений суммирует старшие 11 битов 12-битового пиксельного сигнала, соответствующего накоплению заряда, за счет этого формируя один 12-битовый сигнал. Таким же образом, когда число интегрирований равно 128 (семь стадий) для 128 пиксельных сигналов, процессор 511 изображений суммирует старшие 5 битов 12-битового пиксельного сигнала, соответствующего накоплению заряда, за счет этого формируя один 12-битовый сигнал. Другими словами, число старших битов, равное числу стадий, соответствующих числу интегрирований, вычитаемому из 12, суммируются таким образом, что формируется один 12-битовый пиксельный сигнал. Младшие биты, которые не используются в суммировании, стираются.

[0055] При этом типе обработки, можно сдвигать диапазон яркости, имеющий последовательность градации, к стороне с высокой яркостью, в соответствии с числом интегрирований. Другими словами, 12 битов выделяются для ограниченного диапазона на стороне с высокой яркостью. Соответственно, области изображения, которые традиционно подвергаются переэкспозиции, могут содержать последовательность градации.

[0056] Тем не менее, поскольку 12 битов выделяются различным диапазонам яркости в других разделенных областях, данные изображений не могут формироваться просто посредством соединения всех областей. Следовательно, чтобы поддерживать достигаемую последовательность градации в максимально возможной степени при формировании 12-битовых данных изображений для всех областей, процессор 511 изображений выполняет процесс повторного квантования с использованием пиксела с наибольшей яркостью и пиксела с наименьшей яркостью в качестве базы отсчета. В частности, процессор 511 изображений выполняет квантование посредством применения гамма-преобразования таким способом, чтобы сглаживать последовательность градации. Посредством выполнения этого процесса могут быть получены данные изображений с расширенным динамическим диапазоном.

[0057] Число интегрирований не ограничивается случаем, в котором пиксельные сигналы содержат 3-битовые числовые индексы, как описано выше, и могут записываться в ассоциированную информацию, отличную от пиксельных сигналов. Кроме того, посредством опускания числовых индексов из пиксельных сигналов и вместо этого подсчета числа пиксельных сигналов, сохраненных в пиксельном запоминающем устройстве 414, число интегрирований может быть получено при выполнении процесса добавления.

[0058] В обработке изображений, описанной выше, выполняется процесс повторного квантования, так что все области попадают в 12-битовые данные изображений, но число выходных битов может быть увеличено согласно максимальному числу интегрирований для числа битов пиксельных сигналов. Например, если максимальное число интегрирований задается равным 16 (четыре стадии), 16-битовые данные изображений для всех областей могут быть использованы для 12-битовых пиксельных сигналов. При этой обработке, данные изображений могут формироваться без потери разрядов.

[0059] Далее описывается последовательность операций захвата изображений. Фиг. 9 является блок-схемой последовательности операций, показывающей обработку операций захвата изображений. Эта последовательность операций начинается посредством включения питания устройства 500 формирования изображений.

[0060] На этапе S101, узел 501 управления системой находится в состоянии ожидания до тех пор, пока не будет нажат переключатель SW1, который указывает инструкции подготовки к захвату изображений. Когда нажатие переключателя SW1 определяется, процесс переходит к этапу S102.

[0061] На этапе S102, узел 501 управления системой выполняет процесс светового измерения. В частности, узел 501 управления системой получает вывод фотометрического узла 503, и узел 512 вычисления вычисляет распределение яркости сцены. Процесс затем переходит к этапу S103, и вычисляются скорость срабатывания затвора, разделение на области, число интегрирований и т.п., как описано выше.

[0062] Когда операция подготовки к захвату изображений заканчивается, процесс переходит к этапу S104, и состояние ожидания продолжаются до тех пор, пока не будет нажат переключатель SW2, который указывает инструкции захвата изображений. В это время, если прошло время, большее предварительно определенного времени Tw ("Да" на этапе S105), процесс возвращается к этапу S101. Если нажатие переключателя SW2 определяется до того, как прошло время Tw ("Нет" на этапе S105), то процесс переходит к этапу S106.

[0063] На этапе S106, узел 502 возбуждения, который принимает инструкции узла 501 управления системой, выполняет процесс накопления заряда и процесс извлечения сигналов, описанный с использованием фиг. 7. Когда закончено извлечение всех сигналов, процесс переходит к этапу S107, выполняется обработка изображений, описанная с использованием фиг. 8, и выполняется процесс записи для того, чтобы записывать сформированные данные изображений в узел хранения.

[0064] Когда процесс записи заканчивается, процесс переходит к этапу S108, и выполняется определение в отношении того, выключено или нет питание устройства 500 формирования изображений. Если питание не выключено, процесс возвращается к этапу S101, а если питание выключено, процесс операции захвата изображений заканчивается.

[0065] Далее описывается примерная подробная конфигурация кристалла 111 обработки сигналов. Фиг. 10 является блок-схемой, показывающей подробную конфигурацию в качестве примера кристалла 111 обработки сигналов. В описании с использованием фиг. 4 использован пример, в котором демультиплексор 413 и пиксельные запоминающие устройства 414 формируются в кристалле 112 запоминающего устройства, но ниже приводится примере, в котором эти компоненты формируются в кристалле 111 обработки сигналов.

[0066] Кристалл 111 обработки сигналов выполняет функцию узла 502 возбуждения. Кристалл 111 обработки сигналов включает в себя узел 441 управления датчика, чтобы совместно использовать функцию управления, узел 442 поблочного управления, узел 443 управления синхронизацией, узел 444 управления сигналами и узел 420 управления возбуждением, который выполняет централизованное управление для узлов управления. Узел 420 управления возбуждением преобразует инструкции из узла 501 управления системой в управляющие сигналы, которые могут быть выполнены посредством каждого узла управления, и передает эти управляющие сигналы в узлы управления.

[0067] Узел 441 управления датчика выполняет управление передачей, чтобы передавать импульс управления, связанный с накоплением заряда и извлечением заряда каждого пиксела, в кристалл 113 формирования изображений. В частности, узел 441 управления датчика управляет началом и завершением накопления заряда посредством передачи импульса сброса и импульса переноса в каждый пиксел и инструктирует пиксельным сигналам выводиться в выходной проводник 309 посредством передачи импульса выбора в пикселы, которые должны быть извлечены.

[0068] Узел 442 поблочного управления передает в кристалл 113 формирования изображений идентификационный импульс, который идентифицирует единичные группы 131, которые должны управляться. Как описано с использованием фиг. 6 и т.п., разделенные области включают в себя множество единичных групп 131, которые являются смежными между собой. Единичные группы 131, которые ассоциированы с одной и той же областью, формируют один блок. Пикселы, содержащиеся в одном и том же блоке, начинают накопление заряда при одинаковом тактировании и завершают накопление заряда при одинаковом тактировании. Узел 442 поблочного управления служит для формирования единичных групп 131 в блоках посредством передачи идентификационного импульса в единичные группы 131, которые представляют собой цели, на основе инструкций из узла 420 управления возбуждением. Импульс переноса и импульс сброса, принятые посредством каждого пиксела через TX-проводник 307 и проводник 306 сброса, представляют собой логическое объединение "AND" соответствующих импульсов, передаваемых из узла 441 управления датчика, и идентификационного импульса, передаваемого посредством узла 442 поблочного управления. Таким образом, посредством управления областями в блоках, которые являются независимыми друг от друга, реализуется управление накоплением заряда, описанное с использованием фиг. 7. Ниже подробнее описываются блочные инструкции из узла управления возбуждением.

[0069] Узел 443 управления синхронизацией передает сигнал синхронизации в кристалл 113 формирования изображений. Каждый импульс синхронизируется с сигналом синхронизации и является активным в кристалле 113 формирования изображений. Например, посредством регулирования сигнала синхронизации, реализуется случайное управление, управление прореживанием и т.п. с направленностью только на идентифицированные пикселы из числа пикселов, ассоциированных с одной и той же единичной группой 131.

[0070] Узел 444 управления сигналами главным образом управляет тактированием для аналого-цифрового преобразователя 412b. Пиксельные сигналы, выводимые через выходной проводник 309, проходят через CDS-схему 412a и мультиплексор, так что они вводятся в аналого-цифровой преобразователь 412b. Аналого-цифровой преобразователь 412b преобразует входные пиксельные сигналы в цифровые сигналы под управлением узла 444 управления сигналами. Пиксельные сигналы, которые преобразованы в цифровые сигналы, пересылаются в демультиплексор 413 и сохраняются в качестве пиксельных значений цифровых данных в пиксельных запоминающих устройствах 414, надлежащим образом соответствующих пикселам.

[0071] Кристалл 111 обработки сигналов включает в себя запоминающее устройство 430 тактирования, которое служит в качестве запоминающего устройства управления накоплением и сохраняет информацию классификации блоков, указывающую, какие единичные группы 131 комбинируются таким образом, что они формируют блоки, и информацию по числу накоплений, указывающую, сколько раз каждый из блоков выполняет накопление заряда. Запоминающее устройство 430 тактирования может формироваться, например, посредством флэш-RAM.

[0072] Как описано выше, узел 501 управления системой определяет то, какие из единичных групп должны комбинироваться таким образом, что они формируют блоки, на основе результатов определения для определения распределения яркости сцены, выполняемого перед последовательностью захвата изображений. Определенные блоки классифицируются, например, в качестве блока 1, блока 2 и т.д. и задаются посредством того, какие из единичных групп 131 включаются в них. Узел 420 управления возбуждением принимает информацию классификации блоков из узла 501 управления системой и сохраняет эту информацию в запоминающем устройстве 430 тактирования.

[0073] Узел 501 управления системой определяет то, сколько раз каждый блок выполняет накопление заряда, на основе результатов определения распределения яркости. Узел 420 управления возбуждением принимает информацию по числу накоплений из узла 501 управления системой и сохраняет эту информацию в запоминающем устройстве 430 тактирования в качестве пары с соответствующей информацией классификации блоков. Посредством сохранения информации классификации блоков и информации по числу накоплений в запоминающем устройстве 430 тактирования таким способом, узел 420 управления возбуждением может последовательно обращаться к запоминающему устройству 430 тактирования, чтобы независимо выполнять управление накоплением заряда. Другими словами, когда сигнал инструкции захвата изображений принимается из узла 501 управления системой при выполнении управления получением одного изображения, узел 420 управления возбуждением может заканчивать управление накоплением без последующего приема инструкций из узла 501 управления системой относительно управления для каждого пиксела.

[0074] Узел 420 управления возбуждением принимает обновленную информацию классификации блоков и информацию по числу накоплений из узла 501 управления системой на основе результата светового измерения (результата определения распределения яркости), выполняемого синхронно с инструкциями подготовки к захвату изображений, и надлежащим образом обновляет контент, сохраненный в запоминающем устройстве 430 тактирования. Например, узел 420 управления возбуждением обновляет запоминающее устройство 430 тактирования синхронно с инструкциями подготовки к захвату изображений или инструкциями захвата изображений. При этой конфигурации, может быть реализовано более высокоскоростное управление накоплением заряда, и узел 501 управления системой может выполнять другой процесс параллельно в то время, когда узел 420 управления возбуждением выполняет управление накоплением заряда.

[0075] Узел 420 управления возбуждением не прекращает работу при выполнении управления накоплением заряда для кристалла 113 формирования изображений и также обращается к запоминающему устройству 430 тактирования при выполнении управления извлечением. Например, узел 420 управления возбуждением обращается к информации по числу накоплений каждого блока и сохраняет пиксельные сигналы, выводимые из демультиплексора 413, в соответствующих адресах пиксельных запоминающих устройств 414.

[0076] Узел 420 управления возбуждением извлекает целевой пиксельный сигнал из пиксельного запоминающего устройства 414 согласно запросу на пересылку из узла 501 управления системой и пересылает этот пиксельный сигнал в процессор 511 изображений. Как описано выше, пиксельное запоминающее устройство 414 включает в себя пространство в запоминающем устройстве, допускающее сохранение пиксельных сигналов, соответствующих максимальному числу интегрирований для каждого пиксела, и сохраняет пиксельные сигналы, соответствующие числу накоплений, которые выполнены, в качестве пиксельных значений. Например, в случае если накопление заряда выполняется 4 раза для данного блока, поскольку пикселы этого блока выводят пиксельные сигналы, соответствующие четырем накоплениям заряда, четыре пиксельных значения сохраняются в пространстве в запоминающем устройстве для каждого пиксела в пиксельных запоминающих устройствах 414. Когда запрос на пересылку, который запрашивает пиксельные сигналы идентифицированных пикселов, принимается из узла 501 управления системой, узел 420 управления возбуждением назначает адрес идентифицированного пиксела в пиксельном запоминающем устройстве 414, извлекает все сохраненные пиксельные сигналы и пересылает эти пиксельные сигналы в процессор 511 изображений. Например, в случае если сохраняются четыре пиксельных значения, эти четыре пиксельных значения последовательно пересылаются, а когда сохраняется только одно пиксельное значение, это пиксельное значение пересылается.

[0077] Узел 420 управления возбуждением может извлекать пиксельные сигналы, сохраненные в пиксельных запоминающих устройствах 414, в схему 415 вычисления и инструктировать схеме 415 вычисления выполнять процесс интегрирования, описанный выше. Пиксельные сигналы, которые подвергаются процессу интегрирования, сохраняются в адресах целевых пикселов пиксельных запоминающих устройств 414. Адреса целевых пикселов могут быть смежными в адресном пространстве перед процессом интегрирования и могут быть одинаковыми адресами, так что перезаписывается пиксельный сигнал до процесса интегрирования в каждом адресе. Кроме того, может быть специализированное пространство для сохранения пиксельных значений пикселов после процесса интегрирования. Когда запрос на пересылку, запрашивающий пиксельные сигналы идентифицированных пикселов, принимается из узла 501 управления системой, узел 420 управления возбуждением может пересылать пиксельные сигналы после процесса интегрирования в процессор 511 изображений, согласно деталям запроса на пересылку. Конечно, пиксельные сигналы до и после процесса интегрирования могут пересылаться совместно.

[0078] Пиксельные запоминающие устройства 414 могут содержать интерфейс передачи данных, который передает пиксельные сигналы согласно запросу на пересылку. Интерфейс передачи данных соединяется с проводником для передачи данных, который соединяется с процессором 511 изображений. Проводник для передачи данных формируется, например, посредством шины данных на линии шины. В этом случае, запрос на пересылку из узла 501 управления системой в узел 420 управления возбуждением выполняется посредством назначения адресов с использованием адресной шины.

[0079] Передача пиксельных сигналов посредством интерфейса передачи данных не ограничивается способом назначения адресов, и может приспосабливаться множество способов. Например, при выполнении передачи данных, может использоваться способ с удвоенной скоростью передачи данных, в котором обработка выполняется с использованием переднего и заднего фронтов синхросигнала, используемого для того, чтобы синхронизировать схемы. В качестве другого примера, может использоваться способ пакетной передачи, в котором данные передаются одновременно посредством опускания части процедур, таких как назначение адресов, чтобы достигать более высокой скорости. В качестве еще одного другого примера, могут использоваться комбинации различных способов, к примеру, комбинация способа на основе шины, в котором узел управления, узел запоминающего устройства и узел ввода-вывода соединяются параллельно посредством межсоединения, и последовательного способа, в котором данные передаются последовательно по одному биту за раз.

[0080] При этой конфигурации, процессор 511 изображений может принимать только обязательные пиксельные сигналы, и, следовательно, обработка изображений может осуществляться на высокой скорости, в частности, в случае формирования изображения с низким разрешением. Кроме того, когда схема 415 вычисления выполняет процесс интегрирования, процессор 511 изображений не должен выполнять процесс интегрирования, и, следовательно, обработка изображений может становиться высокоскоростной за счет совместного использования функций и выполнения параллельной обработки.

[0081] Фиг. 11 является видом, описывающим поток пиксельных сигналов из кристалла 113 формирования изображений в кристалл 111 обработки сигналов. В этом примере, единичная группа 131 формируется как 2048 пикселов, размещенных по 32 пиксела в каждой строке и 64 пиксела в каждом столбце.

[0082] В конфигурации, показанной на фиг, 3, одна единичная группа 131 имеет один выходной проводник 309, но в примере по фиг. 11, одна единичная группа 131 имеет 16 выходных проводников, так что один выходной проводник 309 совместно используется посредством пикселов в двух смежных строках. Каждый выходной проводник 309 разветвляется на два выходных проводники 309a и 309b около соединительной части между кристаллом 113 формирования изображений и кристаллом 111 обработки сигналов.

[0083] На стороне кристалла 111 обработки сигналов, предоставляются два входных проводники 409a и 409b, надлежащим образом соответствующие разветвленным выходным проводникам 309a и 309b.

Соответственно, в соединительной части, столбиковый вывод 109a предоставляется для того, чтобы соединять выходной проводник 309a и входной проводник 409a, и столбиковый вывод 109b предоставляется для того, чтобы соединять выходной проводник 309b и входной проводник 409b. Посредством формирования резервного соединения таким способом, может быть снижена вероятность возникновения пиксельных дефектов, возникающих вследствие проблем соединения. В этом смысле, число разветвлений не ограничивается двумя, и может быть предусмотрено множество разветвлений. Кроме того, электрический контакт между выходным проводником и входным проводником не ограничивается соединением на основе столбиковых выводов, и при приспособлении электрического контакта, в котором возможны проблемы соединения, модуль соединения предпочтительно имеет конфигурацию с резервированием, описанную, к примеру, выше.

[0084] Входные проводники 409a и 409b имеют сформированные переключатели 461a и 461b перед вводом в CDS-схему 412a. Переключатели 461a и 461b управляются посредством узла 420 управления возбуждением таким образом, что они перемещаются совместно в качестве переключателя 461. В частности, узел 420 управления возбуждением обычно активирует передачу пиксельных сигналов через входной проводник 409a посредством включения переключателя 461 и деактивирует передачу по входному проводнику 409b посредством выключения переключателя 461b. С другой стороны, когда определяется то, что проблема соединения возникает в столбиковом выводе 109a, узел 420 управления возбуждением отключает переключатель 461a, чтобы деактивировать передачу входного проводника 409a, и включает переключатель 461b, чтобы активировать передачу входного проводника 409b. Таким образом, согласно связанной операции переключателя 461, которая переводит один проводник в подключенное состояние, а другой проводник - в отключенное состояние, можно предположить, что только корректные пиксельные сигналы вводятся в CDS-схему 412a.

[0085] Определение относительно проблем соединения столбиковых выводов 109 может выполнено посредством узла 420 управления возбуждением или может выполнено посредством узла 501 управления системой. Определение проблемы соединения выполняется на основе результатов вывода пиксельных сигналов, проходящих через входной проводник 409. В частности, узел 501 управления системой сравнивает пиксельные сигналы, выводимые из выходных проводников 309, смежных на обоих концах, и когда определяется то, что имеется разность, которая превышает или равна предварительно определенному пороговому значению, определяет то, что существует проблема соединения. Также может добавляться стандарт определения относительно того, существуют или нет непрерывные анормальные значения в направлении строк. В этом случае, узел 420 управления возбуждением принимает результат определения узла 501 управления системой и переключает переключатель 461 соответствующего входного проводника 409. Определение проблемы соединения может комбинироваться с операциями захвата изображений, и не выполняться последовательно, и когда проводится определение, узел 420 управления возбуждением может сохранять результат определения в запоминающем устройстве 430 тактирования. В этом случае, узел 420 управления возбуждением управляет переключателем 461 при обращении к запоминающему устройству 430 тактирования при извлечении пиксельных сигналов.

[0086] В вариантах осуществления, описанных выше, фотометрический узел 503 включает в себя независимый AE-датчик. Тем не менее, процесс светового измерения может выполняться с использованием предварительного изображения, выводимого из элемента 100 формирования изображений до того, как принимаются инструкции захвата изображений от пользователя, и выполняется основной процесс захвата изображений. Кроме того, пикселы, используемые для светового измерения, могут предоставляться, например, в одной единичной группе 131. В пиксельной компоновке по фиг. 2, например, посредством задания цветного светофильтра пиксела в верхнем левом углу единичной группы 131 в качестве прозрачного светофильтра или не предоставления светофильтра, этот пиксел может быть использован в качестве пиксела для светового измерения. Такой пиксел может принимать видимый свет в широкой полосе пропускания и, следовательно, является подходящим для определения распределения яркости сцены. Кроме того, пиксел для светового измерения может быть независимым от единичной группы, и пикселы для светового измерения могут собираться для того, чтобы формировать новую единичную группу. При этой конфигурации, узел 502 возбуждения может независимо управлять накоплением заряда для пикселов для светового измерения.

[0087] Вышеописанные варианты осуществления описывают пример, в котором определенное время T0 экспонирования совпадает со временем одного накопления заряда затененной области, но вместо этого, может быть предусмотрено, например, два накопления заряда, выполняемые для затененной области в течение определенного времени T0 экспонирования. В этом случае, с использованием примера по фиг, 7, сдвиг диапазона яркости, предоставляющего последовательность градации на стороне с высокой яркостью согласно числу интегрирований, который предназначен для пиксельных сигналов из промежуточной области, для которой два раза выполняется накопление заряда, не выполняется для пиксельных сигналов из затененной области. Другими словами, значение пиксельного сигнала, получающееся в результате одного накопления заряда (время накопления заряда T0/2) в затененной области, является низким, и не должно становиться насыщенным из 12-битового диапазона, даже если добавляются два накопления заряда, и, следовательно, нет необходимости выполнять процесс сдвига.

[0088] Таким образом, если множество накоплений заряда задаются для затененной области, и процесс добавления выполняется для выходных пиксельных сигналов, то можно предположить, что рандомизация в темных частях должна компенсироваться. В этом случае, с целью расширения динамического диапазона, может опускаться процесс сдвига, и может выполняться простой процесс добавления, в отличие от обработки пиксельных сигналов в других областях, в которых накопление заряда выполняется многократно. Таким же образом, как в вариантах осуществления, описанных выше, этот тип обработки может выполняться посредством процессора 511 изображений или посредством схемы 415 вычисления, предоставленной в кристалле 111 обработки сигналов.

[0089] Хотя описаны варианты осуществления настоящего изобретения, объем изобретения не ограничен вышеописанными вариантами осуществления. Специалистам в данной области техники должно быть очевидным, что различные изменения и усовершенствования могут добавляться в вышеописанные варианты осуществления. Также из объема формулы изобретения очевидно то, что варианты осуществления, дополненные такими изменениями или усовершенствованиями, могут быть включены в объем изобретения.

[0090] Операции, процедуры, этапы и стадии каждого процесса, выполняемого посредством устройства, системы, программы и способа, показанные в формуле изобретения, в вариантах осуществления или на схемах, могут выполняться в любом порядке при условии, что порядок не указывается посредством "до", "перед" и т.п., и при условии, что вывод из предыдущего процесса не используется в последующем процессе. Даже если последовательность операций обработки описывается с использованием таких фраз, как "первый" или "следующий" в формуле изобретения, в вариантах осуществления или на схемах, это не обязательно означает, что процесс должен выполняться в этом порядке.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

[0091] 100 - элемент формирования изображений, 101 - микролинза, 102 - цветной светофильтр, 103 - пассивирующая пленка, 104 - PD (фотодиод), 105 - транзистор, 106 - PD-слой, 107 - проводник, 108 - слой межсоединений, 109 - столбиковый вывод, 110 - TSV (переходное отверстие в кремнии), 111 - кристалл обработки сигналов, 112 - кристалл запоминающего устройства, 113 - кристалл формирования изображений, 131 - единичная группа, 302 - транзистор переноса, 303 - транзистор сброса, 304 - усиливающий транзистор, 305 - транзистор выбора, 306 - проводник сброса, 307 - TX-проводник, 308 - проводник декодера, 309 - выходной проводник, 310 - Vdd-проводник, 311 - источник отрицательного тока, 409 - входной проводник, 411 - мультиплексор, 412 - схема обработки сигналов, 413 - демультиплексор, 414 - пиксельное запоминающее устройство, 415 - схема вычисления, 420 - узел управления возбуждением, 430 - запоминающее устройство тактирования, 441 - узел управления датчика, 442 - узел поблочного управления, 443 - узел управления синхронизацией, 444 - узел управления сигналами, 461 - переключатель, 500 - устройство формирования изображений, 501 - узел управления системой, 502 - узел возбуждения, 503 - фотометрический узел, 504 - оперативное запоминающее устройство, 505 - узел хранения, 506 - узел отображения, 511 - процессор изображений, 512 - узел вычисления, 601 - затененный объект, 602 - промежуточный объект, 603 - яркий объект, 604 - оконная рама, 611 - затененная область, 612 - промежуточная область, 613 - яркая область

Изобретение относится к модулю формирования изображений и устройству формирования изображений. Техническим результатом является расширение динамического диапазона модуля формирования изображений. Результат достигается тем, что модуль фиксации изображений, содержащий: узел фиксации изображений, включающий в себя первую группу, содержащую один или более пикселов, и вторую группу, содержащую один или более пикселов, отличающихся от пикселов, составляющих первую группу; и узел управления, который выводит соответствующие пиксельные сигналы посредством выполнения накопления заряда в случае первой группы в период, в который выполняется цикл накопления единичного заряда, и в случае второй группы, посредством выполнения накопления заряда для числа циклов накопления заряда, отличающегося от числа циклов накопления заряда в случае первой группы. 8 н. и 28 з.п. ф-лы, 12 ил.

1. Модуль формирования изображений, содержащий:

первую группу, включающую в себя множество пикселов, которые имеют узлы фотоэлектрического преобразования;

вторую группу, включающую в себя множество пикселов, которые имеют узлы фотоэлектрического преобразования и размещены в направлении строк первой группы;

первый проводник, который передает из узла управления первый управляющий сигнал для выполнения переноса заряда, накопленного в узлах фотоэлектрического преобразования первой группы; и

второй проводник, который отличается от первого проводника и передает из узла управления второй управляющий сигнал для выполнения переноса заряда, накопленного в узлах фотоэлектрического преобразования второй группы.

2. Модуль формирования изображений по п. 1, содержащий:

третий проводник, который передает из узла управления третий управляющий сигнал для выполнения сброса потенциала пикселов первой группы; и

четвертый проводник, который отличается от третьего проводника и передает из узла управления четвертый управляющий сигнал для выполнения сброса потенциала пикселов второй группы.

3. Модуль формирования изображений по п. 1 или 2, содержащий:

проводники, обеспеченные, соответственно, для каждого из пикселов в первой группе, причем каждый проводник передает из узла управления сигнал управления выбором для выбора пиксельного сигнала, выводимого соответствующим пикселом; и

проводники, обеспеченные, соответственно, для каждого из пикселов во второй группе, причем каждый проводник передает из узла управления сигнал управления выбором для выбора пиксельного сигнала, выводимого соответствующим пикселом.

4. Модуль формирования изображений по п. 3, в котором:

предусмотрен один узел вывода для вывода пиксельных сигналов, которые выводятся посредством каждого из пикселов первой группы, и предусмотрен один узел вывода для вывода пиксельных сигналов, которые выводятся посредством каждого из пикселов второй группы.

5. Модуль формирования изображений по п. 3, в котором:

модуль формирования изображений образован микросхемой обработки сигналов и микросхемой формирования изображений, снабженной упомянутой первой группой и упомянутой второй группой, и

микросхема обработки сигналов включает в себя первый узел преобразования, который преобразует пиксельные сигналы, выводимые каждым пикселом первой группы, в цифровые сигналы, и второй узел преобразования, который преобразует пиксельные сигналы, выводимые каждым пикселом второй группы, в цифровые сигналы.

6. Модуль формирования изображений, содержащий:

первую группу, включающую в себя множество пикселов, которые имеют узлы фотоэлектрического преобразования;

вторую группу, включающую в себя множество пикселов, которые имеют узлы фотоэлектрического преобразования и размещены в направлении строк первой группы; и

узел управления, который осуществляет управление таким образом, что накопление заряда каждого пиксела первой группы завершается при по существу одинаковом тактировании, и накопление заряда каждого пиксела второй группы завершается при по существу одинаковом тактировании, при этом:

узел управления управляет тактированием, при котором завершается накопление заряда первой группы, и тактированием, при котором завершается накопление заряда второй группы, отдельно для каждой группы.

7. Модуль формирования изображений по п. 6, в котором:

узел управления осуществляет управление таким образом, что накопление заряда каждого пиксела первой группы начинается при по существу одинаковом тактировании, и накопление заряда каждого пиксела второй группы начинается при по существу одинаковом тактировании, и

узел управления управляет тактированием, при котором начинается накопление заряда первой группы, и тактированием, при котором начинается накопление заряда второй группы, отдельно для каждой группы.

8. Модуль формирования изображений по п. 6 или 7, в котором:

узел управления осуществляет управление таким образом, чтобы избирательно выводить пиксельные сигналы из пикселов первой группы и избирательно выводить пиксельные сигналы из пикселов второй группы.

9. Модуль формирования изображений, содержащий:

узел формирования изображений, который включает в себя первую группу, имеющую один или более пикселов, и вторую группу, размещенную в направлении строк первой группы и имеющую один или более пикселов, которые отличаются от одного или более пикселов первой группы; и

узел управления, который в то время, когда накопление единичного заряда выполняется в первой группе, заставляет соответствующие пиксельные сигналы выводиться посредством выполнения накопления заряда во второй группе число раз, отличающееся от числа раз, когда накопление заряда выполняется в первой группе.

10. Модуль формирования изображений по п. 9, в котором:

в то время, когда накопление единичного заряда выполняется в первой группе, узел управления заставляет соответствующие пиксельные сигналы выводиться посредством многократного выполнения накопления заряда во второй группе.

11. Модуль формирования изображений по п. 9 или 10, в котором:

узел управления определяет число раз, когда накопление заряда выполняется во второй группе, на основе результата светового измерения, выполняемого до того, как начинается накопление заряда в первой группе.

12. Модуль формирования изображений по п. 11, в котором:

узел управления определяет упомянутое число раз таким образом, что пикселы второй группы не насыщаются посредством ни одного из накоплений заряда, выполняемых во второй группе.

13. Модуль формирования изображений по п. 9 или 10, в котором:

пиксельные сигналы включают в себя данные, связанные с числом раз, когда выполняется накопление заряда.

14. Модуль формирования изображений по п. 9, в котором:

узел формирования изображений включает в себя общий первый выходной проводник, который последовательно выводит пиксельные сигналы пикселов первой группы, и общий второй выходной проводник, который является независимым от первого выходного проводника и последовательно выводит пиксельные сигналы пикселов второй группы.

15. Модуль формирования изображений по п. 9 или 10, в котором:

микросхема формирования изображений, включающая в себя узел формирования изображений, и микросхема обработки сигналов, включающая в себя схему обработки, которая обрабатывает пиксельные сигналы, электрически соединены посредством слоистой структуры.

16. Модуль формирования изображений по п. 15, в котором:

микросхема обработки сигналов включает в себя запоминающее устройство управления накоплением, которое сохраняет информацию, связанную с предварительно определенным числом раз, когда выполняется накопление заряда для каждой группы, включая в себя вторую группу.

17. Модуль формирования изображений по п. 16, в котором:

информация, сохраненная в запоминающем устройстве управления накоплением, обновляется на основе результата светового измерения.

18. Модуль формирования изображений по п. 16, в котором:

информация, сохраненная в запоминающем устройстве управления накоплением, обновляется синхронно с инструкциями подготовки к формированию изображений от пользователя.

19. Модуль формирования изображений по п. 16, в котором:

узел управления управляет извлечением пиксельных сигналов и накоплением заряда для каждой группы узла формирования изображений при обращении к запоминающему устройству управления накоплением.

20. Модуль формирования изображений по п. 15, в котором:

микросхема обработки сигналов включает в себя пиксельное запоминающее устройство, которое сохраняет пиксельные сигналы.

21. Модуль формирования изображений по п. 15, в котором:

микросхема запоминающего устройства, включающая в себя пиксельное запоминающее устройство, которое сохраняет пиксельные сигналы, также электрически соединена посредством слоистой структуры.

22. Модуль формирования изображений по п. 20 или 21, в котором:

согласно запросу на пересылку из внешней схемы в назначенную группу из множества групп, включающих в себя вторую группу, узел управления извлекает пиксельные сигналы назначенной группы из пиксельного запоминающего устройства и пересылает эти пиксельные сигналы в процессор изображений.

23. Модуль формирования изображений по п. 22, содержащий:

интерфейс передачи данных, который передает пиксельные сигналы согласно запросу на пересылку.

24. Модуль формирования изображений по п. 23, в котором:

передача пиксельных сигналов посредством интерфейса передачи данных приспосабливает по меньшей мере одно из удвоенной скорости передачи данных, назначения адресов, пакетной передачи, шины и последовательных форматов.

25. Модуль формирования изображений по п. 22, в котором:

в случае, если соответствующие пиксельные сигналы для накопления заряда, выполняемого многократно, сохраняются в пиксельном запоминающем устройстве, узел управления пересылает соответствующие пиксельные сигналы в процессор изображений.

26. Модуль формирования изображений по п. 22, в котором:

микросхема обработки сигналов включает в себя узел вычисления, который выполняет процесс интегрирования для соответствующих пиксельных сигналов для накопления заряда, выполняемого многократно, и

в случае, если соответствующие пиксельные сигналы для накопления заряда, выполняемого многократно, сохраняются в пиксельном запоминающем устройстве, узел управления пересылает в процессор изображений пиксельные сигналы, которые подвергаются процессу интегрирования посредством узла вычисления.

27. Модуль формирования изображений по п. 15, в котором:

микросхема формирования изображений включает в себя выходной проводник, который выводит пиксельные сигналы,

микросхема обработки сигналов включает в себя входной проводник, который принимает пиксельные сигналы из упомянутого выходного проводника и передает пиксельные сигналы в схему обработки, и

упомянутый выходной проводник и упомянутый входной проводник соединяются между собой и каждый из них имеет множество разветвлений в соединительной части между микросхемой формирования изображений и микросхемой обработки сигналов.

28. Модуль формирования изображений по п. 27, в котором:

микросхема обработки сигналов включает в себя переключатель, который, в местоположении, в котором разветвляется входной проводник, переводит каждый из проводников в подключенное состояние или отключенное состояние.

29. Модуль формирования изображений по п. 28, в котором:

узел управления переключает переключатель между подключенным состоянием и отключенным состоянием на основе результата вывода пиксельных сигналов, которые прошли через входной проводник.

30. Модуль формирования изображений по п. 28 или 29, в котором:

микросхема обработки включает в себя схему двойной коррелированной дискретизации, и пиксельные сигналы, которые прошли через переключатель, вводятся в схему двойной коррелированной дискретизации.

31. Модуль формирования изображений по любому из пп. 27-29, в котором:

множество выходных проводников обеспечено, соответственно, для множества групп, включающих в себя первую группу и вторую группу.

32. Устройство формирования изображений, включающее в себя модуль формирования изображений по любому из пп. 1-5.

33. Устройство формирования изображений, включающее в себя модуль формирования изображений по любому из пп. 6-8.

34. Устройство формирования изображений, включающее в себя модуль формирования изображений по любому из пп. 9-31.

35. Способ вывода пиксельного сигнала, содержащий:

первое инициирование начала накопления заряда в первой группе, включающей в себя один или более пикселов;

второе инициирование начала накопления заряда во второй группе, размещенной в направлении строк первой группы и включающей в себя один или более пикселов, которые отличаются от пикселов первой группы;

второй вывод, до или в момент, когда завершается накопление заряда в первой группе, с завершением накопления заряда во второй группе и выводом пиксельного сигнала; и

первый вывод, после многократного повторения второго инициирования и второго вывода, с завершением накопления заряда в первой группе и выводом пиксельного сигнала.

36. Устройство формирования изображений, содержащее:

узел формирования изображений, включающий в себя первую группу, имеющую один или более пикселов, и вторую группу, размещенную в направлении строк первой группы и имеющую один или более пикселов, которые отличаются от одного или более пикселов первой группы;

узел управления, который в то время, когда множество накоплений заряда выполняются в первой группе, заставляет соответствующие пиксельные сигналы выводиться посредством выполнения множества накоплений заряда во второй группе; и

узел вычисления, который выполняет вычисление таким образом, что процесс, применяемый к пиксельным сигналам, выводимым из первой группы, отличается от процесса, применяемого к пиксельным сигналам, выводимым из второй группы.