УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N5/3745 H04N5/345 H01L27/146 

УРОВЕНЬ ТЕХНИКИ

1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству формирования изображений.

2. ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Известен модуль формирования изображений, в котором соединены микросхема формирования изображений с освещением с задней стороны и микросхема обработки сигналов, через столбиковые микровыводы, для каждого модуля ячейки, включающего в себя множество пикселов.

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

Патентный документ 1

Публикация заявки на патент Японии № 2006-49361

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] Предусмотрена линия управления для каждой ячейки в модуле формирования изображений. Тем не менее, период накопления электрического заряда и считывание пиксельных сигналов не управляются непрерывно на основе ячейка за ячейкой.

[0004] Первый аспект настоящего изобретения предоставляет элемент формирования изображений, содержащий: модуль формирования изображений, который имеет: множество групп, каждая из которых включает в себя, по меньшей мере, один пиксел; и множество модулей считывания сигналов, каждый из которых обеспечен для каждой из групп и считывает сигнал из пиксела; и модуль управления, который управляет модулем считывания сигналов в, по меньшей мере, одной группе из множества групп.

[0005] Второй аспект настоящего изобретения предоставляет элемент формирования изображений, содержащий: модуль формирования изображений, который имеет: множество групп, каждая из которых включает в себя, по меньшей мере, один пиксел; и множество модулей считывания сигналов, каждый из которых обеспечен для каждой из групп и считывает сигнал из пиксела; и множество модулей управления, каждый из которых обеспечен для каждой из групп и управляет модулем считывания сигналов на основе сигнала из пиксела.

[0006] Третий аспект настоящего изобретения предоставляет элемент формирования изображений, содержащий: модуль формирования изображений, имеющий область формирования изображений, в которой обеспечены первый пиксел и второй пиксел, первую схему считывания, которая считывает первый пиксельный сигнал, выводимый из первого пиксела, и вторую схему считывания, которая считывает второй пиксельный сигнал, выводимый из второго пиксела; первый вычислительный модуль, который вычисляет первое значение оценки на основе первого пиксельного сигнала; второй вычислительный модуль, который вычисляет второе значение оценки на основе второго пиксельного сигнала; первый модуль управления, который выполняет управление для экспозиции или считывания первого пиксела на основе первого значения оценки; и второй модуль управления, который выполняет управление для экспозиции или считывания второго пиксела на основе второго значения оценки.

[0007] Четвертый аспект настоящего изобретения предоставляет элемент формирования изображений, содержащий: модуль формирования изображений, который имеет: множество групп, каждая из которых включает в себя, по меньшей мере, один пиксел; и множество модулей считывания сигналов, каждый из которых обеспечен для каждой из групп и считывает сигнал из пиксела; и множество вычислительных модулей, которые обеспечены для каждой из групп и передают информацию относительно управления модулем считывания сигналов в модуль обработки изображений, который выполняет обработку изображений на упомянутом сигнале.

[0008] Пятый аспект настоящего изобретения предоставляет элемент формирования изображений, содержащий: модуль формирования изображений, имеющий область формирования изображений, в которой располагаются первый пиксел и второй пиксел, первую схему считывания, которая считывает первый пиксельный сигнал, выводимый из первого пиксела, и вторую схему считывания, которая считывает второй пиксельный сигнал, выводимый из второго пиксела; первый вычислительный модуль, который вычисляет первое значение оценки на основе первого пиксельного сигнала и передает вычисленное первое значение оценки на следующем этапе в модуль обработки изображений, который выполняет обработку изображений на первых пиксельных данных, которые соответствуют первому пиксельному сигналу; и второй вычислительный модуль, который вычисляет второе значение оценки на основе второго пиксельного сигнала и передает вычисленное второе значение оценки на следующем этапе в модуль обработки изображений, который выполняет обработку изображений на вторых пиксельных данных, которые соответствуют второму пиксельному сигналу.

[0009] Шестой аспект настоящего изобретения предоставляет элемент формирования изображений, содержащий: модуль формирования изображений, который имеет множество групп, каждая из которых включает в себя, по меньшей мере, один пиксел; и модуль хранения, который имеет множество блоков хранения, которые обеспечены согласно множеству групп и сохраняют сигнал из пиксела в надлежащей соответствующей группе и сохраняют сигнал из пиксела в группе, отличной от надлежащей соответствующей группы.

[0010] Раздел "Сущность изобретения" не обязательно описывает все требуемые признаки вариантов осуществления настоящего изобретения. Настоящее изобретение также может представлять собой субкомбинацию признаков, описанных выше.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0011] Фиг. 1 является видом в сечении МОП-элемента формирования изображений с освещением с задней стороны согласно настоящему варианту осуществления.

Фиг. 2 является схемой для пояснения пиксельной матрицы и единичной группы микросхемы формирования изображений.

Фиг. 3 является схематическим видом, который соответствует единичной группе микросхемы формирования изображений.

Фиг. 4 является блок-схемой, показывающей функциональную конфигурацию элемента формирования изображений.

Фиг. 5 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления.

Фиг. 6 является функциональной блок-схемой модуля обработки изображений.

Фиг. 7 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение.

Фиг. 8 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 9 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 10 иллюстрирует взаимосвязь между соответствующими частотами кадров и тактированием вывода сигналов изображений.

Фиг. 11 схематично иллюстрирует движущееся изображение в исследуемой области и движущееся изображение в периферийной области, сформированные посредством модуля формирования движущихся изображений.

Фиг. 12 иллюстрирует один пример информации заголовка, добавляемой посредством модуля формирования движущихся изображений.

Фиг. 13 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение.

Фиг. 14 является блок-схемой последовательности операций способа, которая иллюстрирует другой пример операций устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение.

Фиг. 15 иллюстрирует пример пикселов, которые должны считываться с показателем прореживания в 0,5 в одной единичной группе.

Фиг. 16 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение.

Фиг. 17 является схемой для пояснения примера сцены и разделения на области.

Фиг. 18 является схемой для пояснения управления накоплением электрического заряда для соответствующих областей, разделенных в примере на фиг. 17.

Фиг. 19 является таблицей, которая указывает взаимосвязь между числом интегрирований и динамическим диапазоном.

Фиг. 20 является блок-схемой последовательности операций способа, показывающей обработку операций формирования изображений.

Фиг. 21 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы обработки сигналов в качестве одного примера.

Фиг. 22 является видом в сечении другого МОП-элемента формирования изображений с освещением с задней стороны согласно настоящему варианту осуществления.

Фиг. 23 является схемой для пояснения пиксельной матрицы и единичной группы микросхемы формирования изображений.

Фиг. 24 является схематическим видом, который соответствует единичной группе микросхемы формирования изображений.

Фиг. 25 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления.

Фиг. 26 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы обработки сигналов в качестве одного примера.

Фиг. 27 показывает один пример функциональных блоков арифметической схемы 1415.

Фиг. 28 иллюстрирует один пример соответствия между межкадровыми разностями d и частотами f кадров.

Фиг. 29 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 30 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 31 показывает один пример функциональных блоков другой арифметической схемы.

Фиг. 32 иллюстрирует пример пикселов 1188, которые должны считываться с показателем прореживания в 0,5 в одной единичной группе.

Фиг. 33 иллюстрирует один пример функциональных блоков еще одной другой арифметической схемы.

Фиг. 34 схематично иллюстрирует взаимосвязь между усилениями и пиксельными сигналами.

Фиг. 35 является видом в сечении МОП-элемента формирования изображений с освещением с задней стороны согласно настоящему варианту осуществления.

Фиг. 36 является схемой для пояснения пиксельной матрицы и пиксельного блока микросхемы формирования изображений.

Фиг. 37 является схематическим видом, который соответствует пиксельному блоку микросхемы формирования изображений.

Фиг. 38 является схемой, которая иллюстрирует часть конфигурации элемента формирования изображений и его пример работы.

Фиг. 39 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления.

Фиг. 40 является функциональной блок-схемой модуля обработки изображений.

Фиг. 41 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение.

Фиг. 42 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 43 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 44 иллюстрирует взаимосвязь между соответствующими частотами кадров и тактированием вывода сигналов изображений.

Фиг. 45 схематично иллюстрирует движущееся изображение в исследуемой области и движущееся изображение в периферийной области, сформированные посредством модуля формирования движущихся изображений.

Фиг. 46 иллюстрирует один пример информации заголовка, добавляемой посредством модуля формирования движущихся изображений.

Фиг. 47 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение.

Фиг. 48 является блок-схемой последовательности операций способа, которая иллюстрирует другой пример операций устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение.

Фиг. 49 иллюстрирует пример пикселов, которые должны считываться с показателем прореживания в 0,5 в одном пиксельном блоке.

Фиг. 50 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение.

Фиг. 51A является схемой для пояснения сцены.

Фиг. 51B является схемой для пояснения разделения на области.

Фиг. 52 является схемой для пояснения управления накоплением электрического заряда для соответствующих областей, разделенных в примере на фиг. 51B.

Фиг. 53 является таблицей, которая указывает взаимосвязь между числом интегрирований и динамическим диапазоном.

Фиг. 54 является блок-схемой последовательности операций способа, показывающей обработку операций формирования изображений.

Фиг. 55 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы обработки сигналов в качестве одного примера.

Фиг. 56 является блок-схемой, показывающей конфигурацию модуля обработки периферийных пиксельных данных.

Фиг. 57 является блок-схемой, которая иллюстрирует один пример конфигурации арифметической схемы.

Фиг. 58 является блок-схемой последовательности операций способа, которая иллюстрирует пример операций арифметической схемы.

Фиг. 59 иллюстрирует конфигурацию массива данных, сформированного посредством выходной схемы.

Фиг. 60 иллюстрирует контент массива данных, проиллюстрированного на фиг. 59.

Фиг. 61 является видом в сечении МОП-элемента формирования изображений с освещением с задней стороны согласно настоящему варианту осуществления.

Фиг. 62 является схемой для пояснения пиксельной матрицы и пиксельного блока микросхемы формирования изображений.

Фиг. 63 является схематическим видом, который соответствует пиксельному блоку микросхемы формирования изображений.

Фиг. 64A является схемой, которая иллюстрирует часть конфигурации элемента формирования изображений и его пример работы.

Фиг. 64B является схемой, которая иллюстрирует другой пример работы элемента формирования изображений.

Фиг. 64C является схемой, которая иллюстрирует другой пример работы элемента формирования изображений.

Фиг. 65 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления.

Фиг. 66 является функциональной блок-схемой модуля обработки изображений.

Фиг. 67 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение.

Фиг. 68 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 69 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений.

Фиг. 70 иллюстрирует взаимосвязь между соответствующими частотами кадров и тактированием вывода сигналов изображений.

Фиг. 71 схематично иллюстрирует движущееся изображение в исследуемой области и движущееся изображение в периферийной области, сформированные посредством модуля формирования движущихся изображений.

Фиг. 72 иллюстрирует один пример информации заголовка, добавляемой посредством модуля формирования движущихся изображений.

Фиг. 73 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение.

Фиг. 74 является видом сверху пиксельной области элемента формирования изображений и его примера работы.

Фиг. 75 является видом сверху другой конфигурации пиксельной области элемента формирования изображений и его примера работы.

Фиг. 76 является видом сверху другой конфигурации пиксельной области элемента формирования изображений и его примера работы.

Фиг. 77 является видом сверху другой конфигурации пиксельной области элемента формирования изображений и его примера работы.

Фиг. 78 является видом сверху другой конфигурации пиксельной области элемента формирования изображений и его примера работы.

Фиг. 79 является блок-схемой последовательности операций способа, которая иллюстрирует другой пример операций устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение.

Фиг. 80 иллюстрирует пример пикселов, которые должны считываться с показателем прореживания в 0,5.

Фиг. 81 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение.

Фиг. 82A является схемой для пояснения сцены.

Фиг. 82B является схемой для пояснения разделения на области.

Фиг. 83 является схемой для пояснения управления накоплением электрического заряда для соответствующих областей, разделенных в примере на фиг. 82B.

Фиг. 84 является таблицей, которая указывает взаимосвязь между числом интегрирований и динамическим диапазоном.

Фиг. 85 является блок-схемой последовательности операций способа, показывающей обработку операций формирования изображений.

Фиг. 86 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы обработки сигналов в качестве одного примера.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0012] В дальнейшем в этом документе описываются некоторые вариант(ы) осуществления настоящего изобретения. Вариант(ы) осуществления не ограничивают изобретение согласно формуле изобретения, и все комбинации признаков, описанных в варианте(ах) осуществления, не обязательно существенны для средств, обеспеченных посредством аспектов изобретения.

[0013] Фиг. 1 является видом в сечении элемента 100 формирования изображений с освещением с задней стороны согласно настоящему варианту осуществления. Элемент 100 формирования изображений включает в себя микросхему 113 формирования изображений, которая выводит пиксельный сигнал, соответствующий падающему свету, микросхему 111 обработки сигналов, которая обрабатывает пиксельный сигнал, и микросхему 112 запоминающего устройства, которая сохраняет пиксельный сигнал. Эти микросхема 113 формирования изображений, микросхема 111 обработки сигналов и микросхема 112 запоминающего устройства располагаются слоями и электрически соединяются между собой через проводящие столбиковые выводы 109, к примеру, Cu.

[0014] Следует отметить, что как проиллюстрировано, падающий свет падает, главным образом, в положительном направлении по оси Z, которое указывается с помощью обведенной стрелки. В настоящем варианте осуществления, поверхность микросхемы 113 формирования изображений на стороне, на которую падает падающий свет, называется задней стороной. Кроме того, как указано с помощью осей координат, направление влево на чертеже, которое является ортогональным к оси Z, упоминается в качестве положительного направления по оси X, а направление вперед на чертеже, которое является ортогональным к осям Z и X, упоминается в качестве положительного направления по оси Y. На нескольких чертежах, упомянутых ниже, оси координат отображаются таким образом, что ориентация каждого чертежа может быть известной на основе осей координат на фиг. 1.

[0015] Один пример микросхемы 113 формирования изображений представляет собой МОП-датчик изображений с освещением с задней стороны. PD-слой 106 располагается на задней стороне слоя 108 межсоединений. PD-слой 106 имеет множество PD 104 (фотодиодов), которые располагаются двумерным образом и накапливают электрические заряды согласно падающему свету, и транзисторов 105, обеспеченных согласно PD 104.

[0016] Цветные светофильтры 102 обеспечены на стороне падения падающего света PD-слоя 106 через пассивирующую пленку 103. Предусмотрено множество типов цветных светофильтров 102, которые дают возможность прохождения взаимно различных диапазонов длин волн, и цветные светофильтры 102 упорядочиваются, в частности, согласно соответствующим PD 104. Ниже описываются матрицы цветных светофильтров 102. Набор из цветного светофильтра 102, PD 104 и транзистора 105 формирует один пиксел.

[0017] Микролинза 101 предоставляется согласно каждому пикселу на стороне падения падающего света цветного светофильтра 102. Микролинза 101 конденсирует падающий свет к соответствующему PD 104.

[0018] Слой 108 межсоединений имеет межсоединения 107, которые передают пиксельный сигнал из PD-слоя 106 в микросхему 111 обработки сигналов. Межсоединение 107 может быть многослойным и может быть снабжено пассивным элементом и активным элементом.

[0019] Множество столбиковых выводов 109 располагается на поверхности слоя 108 межсоединений. Множество столбиковых выводов 109 совмещается с множеством столбиковых выводов 109, которые обеспечены на противостоящей поверхности микросхемы 111 обработки сигналов, и, например, микросхема 113 формирования изображений и микросхема 111 обработки сигналов прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0020] Аналогично, множество столбиковых выводов 109 располагается на взаимно противостоящих поверхностях микросхемы 111 обработки сигналов и микросхемы 112 запоминающего устройства. Эти столбиковые выводы 109 совмещаются друг с другом, и, например, микросхема 111 обработки сигналов и микросхема 112 запоминающего устройства прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0021] Следует отметить, что соединение между столбиковыми выводами 109 не ограничивается соединением столбиковых выводов из Cu посредством диффузии из твердой фазы, и может применяться соединение столбиковых микровыводов посредством припойного соединения. Кроме того, приблизительно один столбиковый вывод 109 может предоставляться, например, для каждой единичной группы, описанной ниже. Соответственно, размер столбиковых выводов 109 может превышать шаг PD 104. Кроме того, в периферийной области, отличной от пиксельной области, в которой упорядочиваются пикселы, также может предоставляться столбиковый вывод, который превышает столбиковые выводы 109, соответствующие пиксельной области.

[0022] Микросхема 111 обработки сигналов имеет TSV 110 (переходное отверстие в кремнии), которое соединяет схемы, которые обеспечены на передней стороне и задней стороне, соответственно. TSV 110 предпочтительно предоставляется в периферийной области. Кроме того, TSV 110 также может предоставляться в периферийной области микросхемы 113 формирования изображений и микросхемы 112 запоминающего устройства.

[0023] Фиг. 2 является схемой для пояснения пиксельной матрицы и единичной группы 131 микросхемы 113 формирования изображений. В частности, данные показывают строение микросхемы 113 формирования изображений, наблюдаемое с задней стороны. Матрица из двадцати миллионов пикселов или более размещается массивом в пиксельной области. В настоящем варианте осуществления, смежные четыре пиксела (четыре пиксела, 16 пикселов) формируют одну единичную группу 131. Линии сетки координат на чертеже показывают такой принцип, что смежные пикселы группируются с возможностью формировать единичную группу 131. Число пикселов, которые формируют единичную группу 131, не ограничено этим, и может составлять приблизительно 1000, например, тридцать два пиксела (шестьдесят четыре пиксела либо больше или меньше).

[0024] Как проиллюстрировано в частично укрупненном виде пиксельной области, единичная группа 131 включает в себя, в верхней левой, верхней правой, нижней левой и нижней правой частях, четыре так называемых байеровских матрицы, каждая из которых включает в себя четыре пиксела, включая пикселы Gb, Gr зеленого цвета, пиксел B синего цвета и пиксел R красного цвета. Пикселы зеленого цвета имеют зеленые светофильтры в качестве цветных светофильтров 102 и принимают свет в диапазоне длин волн зеленого цвета падающего света. Аналогично, пиксел синего цвета имеет синий светофильтр в качестве цветного светофильтра 102 и принимает свет в диапазоне длин волн синего цвета, и пиксел красного цвета имеет красный светофильтр в качестве цветного светофильтра 102 и принимает свет в диапазоне длин волн красного цвета.

[0025] В настоящем варианте осуществления, выбирается, по меньшей мере, одна единичная группа из множества единичных групп 131, и пикселы, включенные в каждую единичную группу, управляются согласно параметрам управления, которые отличаются от параметров управления для других единичных групп. Примеры параметров управления включают в себя частоту кадров, показатель прореживания, число суммированных строк или число суммированных столбцов, пиксельные сигналы которых суммируются, период или число накоплений электрических зарядов, число битов для оцифровки и т.п. Кроме того, параметры управления могут представлять собой параметры при обработке изображений, выполняемой после получения сигналов изображений из пиксела.

[0026] Фиг. 3 является схематическим видом, который соответствует единичной группе 131 микросхемы 113 формирования изображений. На чертеже прямоугольник, который указывается с помощью пунктирных линий, типично представляет схему, которая соответствует одному пикселу. Следует отметить, что, по меньшей мере, часть каждого транзистора, поясненного ниже, соответствует транзистору 105 на фиг. 1.

[0027] Как описано выше, единичная группа 131 формируется с 16 пикселами. 16 PD 104, которые соответствуют надлежащим пикселам, соединяются с соответствующими транзисторами 302 переноса, и затвор каждого транзистора 302 переноса соединяется с TX межсоединением 307, в которое подаются импульсы переноса. В настоящем варианте осуществления, TX межсоединение 307 соединяется совместно с 16 транзисторами 302 переноса.

[0028] Сток каждого транзистора 302 переноса соединяется с истоком соответствующего транзистора 303 сброса, а также так называемая плавающая диффузионная область FD между стоком транзистора 302 переноса и истоком транзистора 303 сброса соединяется с затвором усиливающего транзистора 304. Сток транзистора 303 сброса соединяется с Vdd межсоединением 310, в которое подается напряжение питания, и его затвор соединяется с межсоединением 306 сброса, в которое подаются импульсы сброса. В настоящем варианте осуществления, межсоединение 306 сброса соединяется совместно с 16 транзисторами 303 сброса.

[0029] Сток каждого усиливающего транзистора 304 соединяется с Vdd межсоединением 310, в которое подается напряжение питания. Кроме того, исток каждого усиливающего транзистора 304 соединяется со стоком соответствующего транзистора 305 выбора. Затвор каждого транзистора выбора соединяется с межсоединением 308 декодера, в которое подаются импульсы выбора. В настоящем варианте осуществления, межсоединение 308 декодера предоставляется независимо для каждого из 16 транзисторов 305 выбора. Затем, исток каждого транзистора выбора 305 соединяется с общим выходным межсоединением 309. Источник 311 тока нагрузки подает ток в выходное межсоединение 309. Иными словами, выходное межсоединение 309 для транзисторов 305 выбора формируется посредством истокового повторителя. Следует отметить, что источник 311 тока нагрузки может предоставляться на стороне микросхемы 113 формирования изображений или на стороне микросхемы 111 обработки сигналов.

[0030] Здесь, поясняется последовательность операций от начала накопления электрического заряда до вывода пикселов после завершения накопления. Когда импульсы сброса применяются к транзистору 303 сброса через межсоединение 306 сброса, и одновременно импульсы переноса применяются к транзистору 302 переноса через TX межсоединение 307, сбрасывается потенциал PD 104 и плавающей диффузионной области FD.

[0031] Когда применение импульсов переноса прекращается, PD 104 преобразует принимаемый падающий свет в электрические заряды, которые затем накапливаются. После этого, когда импульсы переноса применяются снова в состоянии, в котором импульсы сброса не применяются, накопленные электрические заряды переносятся в плавающую диффузионную область FD, и потенциал плавающей диффузионной области FD изменяется с потенциала сброса на потенциал сигнала после накопления электрического заряда. Затем, когда импульсы выбора применяются к транзистору 305 выбора через межсоединение 308 декодера, изменение в потенциале сигнала плавающей диффузионной области FD передается в выходное межсоединение 309 через усиливающий транзистор 304 и транзистор 305 выбора. В силу этого, пиксельные сигналы, соответствующие потенциалу сброса и потенциалу сигнала, выводятся из единичного пиксела в выходное межсоединение 309.

[0032] Как проиллюстрировано, в настоящем варианте осуществления, межсоединение 306 сброса и TX межсоединение 307 являются общими для 16 пикселов, которые формируют единичную группу 131. Иными словами, импульсы сброса и импульсы переноса, соответственно, применяются одновременно ко всем 16 пикселам.

Соответственно, все пикселы, которые формируют единичную группу 131, начинают накопление электрического заряда при одном и том же тактировании и завершают накопление электрического заряда при одном и том же тактировании. Тем не менее, следует отметить, что пиксельные сигналы, которые соответствуют накопленным электрическим зарядам, выводятся избирательно в выходное межсоединение 309 при последовательном применении импульсов выбора к соответствующим транзисторам 305 выбора. Кроме того, межсоединение 306 сброса, TX межсоединение 307 и выходное межсоединение 309 обеспечены отдельно для каждой единичной группы 131.

[0033] Посредством конфигурирования схемы на основе единичной группы 131 таким способом, период накопления электрического заряда может управляться для каждой единичной группы 131. Другими словами, смежным единичным группам 131 может инструктироваться выводить пиксельные сигналы в течение различных периодов накопления электрического заряда. Кроме того, посредством инструктирования одной единичной группе 131 повторять накопление электрического заряда несколько раз и выводить пиксельный сигнал каждый раз в момент, когда другой единичной группе 131 инструктируется выполнять накопление электрического заряда один раз, этим единичным группам 131 может инструктироваться выводить соответствующие кадры для движущегося изображения на различных частотах кадров.

[0034] Фиг. 4 является блок-схемой, которая иллюстрирует функциональную конфигурацию элемента 100 формирования изображений. Аналоговый мультиплексор 411 последовательно выбирает 16 PD 104, которые формируют единичную группу 131, и инструктирует вывод их соответствующих пиксельных сигналов в выходное межсоединение 309, предоставленное согласно единичной группе 131. Мультиплексор 411 формируется в микросхеме 113 формирования изображений вместе с PD 104.

[0035] Пиксельный сигнал, который выводится через мультиплексор 411, подвергается двойной коррелированной дискретизации (CDS) и аналого-цифровому (A/D) преобразованию посредством схемы 412 обработки сигналов, которая формируется в микросхеме 111 обработки сигналов и выполняет CDS и аналогово-цифровое преобразование. Подвергнутый аналого-цифровому преобразованию пиксельный сигнал передается в демультиплексор 413 и сохраняется в пиксельном запоминающем устройстве 414, которое соответствует надлежащему пикселу. Каждое пиксельное запоминающее устройство 414 имеет емкость, которая дает возможность сохранения пиксельных сигналов, которые соответствуют максимальному числу интегрирований, описанному ниже. Демультиплексор 413 и пиксельное запоминающее устройство 414 формируются в микросхеме 112 запоминающего устройства.

[0036] Арифметическая схема 415 обрабатывает пиксельный сигнал, сохраненный в пиксельном запоминающем устройстве 414, и передает его в модуль обработки изображений на следующем этапе. Арифметическая схема 415 может предоставляться в микросхеме 111 обработки сигналов или микросхеме 112 запоминающего устройства. Следует отметить, что хотя на чертеже проиллюстрированы соединения для одной единичной группы 131, соединения фактически существуют для каждой единичной группы 131 и работают параллельно. Тем не менее, следует отметить, что арифметическая схема 415 может не существовать для каждой единичной группы 131 и, например, одна арифметическая схема 415 может последовательно выполнять обработку посредством последовательного обращения к значениям пиксельных запоминающих устройств 414, которые соответствуют надлежащим единичным группам 131.

[0037] Как описано выше, выходное межсоединение 309 предоставляется согласно каждой из единичных групп 131. Поскольку элемент 100 формирования изображений формируется посредством расположения слоями микросхемы 113 формирования изображений, микросхемы 111 обработки сигналов и микросхемы 112 запоминающего устройства, выходное межсоединение 309 может маршрутизироваться без увеличения размера каждой микросхемы в направлении плоскости посредством использования межмикросхемных электрических соединений, которые используют столбиковые выводы 109 для межсоединения.

[0038] Фиг. 5 является блок-схемой, иллюстрирующей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления. Устройство 500 формирования изображений включает в себя линзу 520 для формирования изображений в качестве оптической системы формирования изображений, и линза 520 для формирования изображений направляет световой поток объекта, который падает вдоль оптической оси OA, на элемент 100 формирования изображений. Линза 520 для формирования изображений может представлять собой сменную линзу, которая может присоединяться/отсоединяться к/от устройства 500 формирования изображений. Устройство 500 формирования изображений включает в себя, главным образом, элемент 100 формирования изображений, модуль 501 управления системой, модуль 502 возбуждения, фотометрический модуль 503, оперативное запоминающее устройство 504, модуль 505 записи и модуль 506 отображения.

[0039] Линза 520 для формирования изображений конфигурируется с множеством групп оптических линз и формирует изображение светового потока объекта из сцены около своей фокальной плоскости. Следует отметить, что, на фиг. 5, линза 520 для формирования изображений типично показывается с помощью одной виртуальной линзы, которая помещается около зрачка. Модуль 502 возбуждения представляет собой схему управления, которая выполняет управление накоплением электрического заряда, к примеру, управление тактированием и управление областями для элемента 100 формирования изображений согласно инструкциям из модуля 501 управления системой. В этом смысле, можно сказать, что модуль 502 возбуждения выполняет функции модуля управления элемента формирования изображений, который инструктирует элементу 100 формирования изображений выполнять накопление электрического заряда и выводить пиксельные сигналы.

[0040] Элемент 100 формирования изображений передает пиксельные сигналы в модуль 511 обработки изображений модуля 501 управления системой. Модуль 511 обработки изображений выполняет различные типы обработки изображений посредством использования оперативного запоминающего устройства 504 в качестве рабочего пространства и формирует данные изображений. Например, когда формируются данные изображений в JPEG-формате файла, процессы сжатия выполняются после того, как цветовые видеосигналы формируются из сигналов, получаемых из байеровских матриц. Сформированные данные изображений записываются в модуль 505 записи и преобразуются в сигналы для отображения и отображаются на модуле 506 отображения в течение предварительно установленного периода времени.

[0041] Фотометрический модуль 503 определяет распределение яркости сцены до последовательности формирования изображений для формирования данных изображений. Фотометрический модуль 503 включает в себя AE-датчик, например, приблизительно из одного миллиона пикселов. Вычислительный модуль 512 модуля 501 управления системой вычисляет яркость соответствующих областей в сцене после приема вывода фотометрического модуля 503. Вычислительный модуль 512 определяет скорость срабатывания затвора, значение раскрытия диафрагмы и ISO-скорость согласно вычисленному распределению яркости. Элемент 100 формирования изображений может выполнять вторую функцию в качестве фотометрического модуля 503. Следует отметить, что вычислительный модуль 512 выполняет различные типы вычисления для управления устройством 500 формирования изображений.

[0042] Модуль 502 возбуждения может быть частично или полностью установлен на микросхеме 113 формирования изображений либо частично или полностью установлен на микросхеме 111 обработки сигналов. Модуль 501 управления системой может быть частично установлен на микросхеме 113 формирования изображений или микросхеме 111 обработки сигналов.

[0043] Фиг. 6 является функциональной блок-схемой модуля обработки изображений. Модуль 511 обработки изображений имеет, в дополнение к вышеописанным функциям, модуль 150 оценки объектов, модуль 152 выбора групп, модуль 154 формирования движущихся изображений и модуль 156 синтезирования движущихся изображений. Ниже описывается каждая из этих функций.

[0044] Фиг. 7 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение. Фиг. 8 и 9 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений. Фиг. 10 иллюстрирует взаимосвязь между соответствующими частотами кадров и тактированием вывода сигналов изображений.

[0045] Операции на фиг. 7 начинаются, когда пользователь инструктирует устройству 500 формирования изображений формировать движущееся изображение, например, посредством нажатия кнопки записи. Во-первых, модуль 150 оценки объектов возбуждает модуль 502 возбуждения, чтобы получать данные изображений на основе сигналов изображений из элемента 100 формирования изображений и оценивать основной объект, включенный в изображение, указываемое посредством данных изображений (этап S100).

[0046] В этом случае, модуль 502 возбуждения предпочтительно инструктирует вывод изображений из единичных групп 131, включенных во всю область формирования изображений, например, из всех единичных групп 131. Кроме того, модуль 502 возбуждения может инструктировать вывод сигналов изображений из всех пикселов, включенных в каждую единичную группу 131, или инструктирует вывод сигналов изображений из пикселов, которые прореживаются с предварительно определенным показателем прореживания. Модуль 150 оценки объектов сравнивает множество изображений, полученных из элемента 100 формирования изображений, во временных рядах и идентифицирует движущийся объект в качестве основного объекта. Следует отметить, что другой способ может быть использован для того, чтобы оценивать основной объект.

[0047] Например, когда модуль 150 оценки объектов получает изображение 170 на фиг. 8 и изображение 178 на фиг. 9 из элемента 100 формирования изображений в качестве временно последовательных изображений, на основе разностей между ними модуль 150 оценки объектов идентифицирует ребенка в качестве основного объекта 171. Следует отметить, что линии сетки координат в изображении 170 и изображении 178 указывают границы единичных групп 131, но число единичных групп 131 является просто примером и не ограничивается числом, показанным на чертежах.

[0048] Модуль 152 выбора групп выбирает, по меньшей мере, одну единичную группу 131, на которую падает свет от изображения основного объекта 171, оцененного посредством модуля 150 оценки объектов (этап S102). Например, единичные группы 131, включающие в себя, по меньшей мере, часть основного объекта 171, выбираются в изображении 170. Кроме того, с учетом того, что основной объект 171 перемещается в области формирования изображений, модуль 152 выбора групп предпочтительно выбирает единичные группы 131, которые дополнительно окружают единичные группы 131, включающие в себя, по меньшей мере, часть основного объекта 171.

[0049] Модуль 152 выбора групп обрабатывает набор этих выбранных единичных групп 131 в качестве исследуемой области 172. Кроме того, модуль 152 выбора групп обрабатывает, в качестве периферийной области 176, набор единичных групп 131, не включенных в исследуемую область 172 во всей области формирования изображений. Модуль 152 выбора групп идентифицирует информацию 174 области, которая указывает диапазон исследуемой области 172 относительно всей области формирования изображений.

[0050] В примере, проиллюстрированном на фиг. 8, исследуемая область 172 представляет собой прямоугольную область, включающую в себя всего 28 единичных групп 131 (семь в горизонтальном направлении (четыре в вертикальном направлении)). С другой стороны, периферийная область 176 включает в себя 98 единичных групп 131, исключая исследуемую область 172 всего из 126 единичных групп 131 (21 в горизонтальном направлении (шесть в вертикальном направлении)), которые составляют область формирования изображений. Кроме того, позиция (9, 2) исследуемой области 172 в области формирования изображений, которая подсчитывается от левой стороны и верхней стороны верхней левой конечной единичной группы 131 на чертеже, идентифицируется в качестве информации 174 области. Кроме того, числа в горизонтальных и вертикальных направлениях, 7 (4), исследуемой области 172 идентифицируются в качестве информации размера.

[0051] Модуль 152 выбора групп передает информацию для идентификации единичных групп 131, включенной в исследуемую область 172, и информацию для идентификации периферийной области 176 в модуль 502 возбуждения. В этом случае, информация относительно частот кадров, которая должна применяться к исследуемой области 172 и периферийной области 176, соответственно, передается совместно. Здесь, частота кадров, которая должна применяться к исследуемой области 172, предпочтительно выше частоты кадров, которая должна применяться к периферийной области 176. Например, когда частота кадров, которая должна применяться к периферийной области 176, составляет 60 кадров/с, частота кадров, которая должна применяться к исследуемой области 172, задается равной 180 кадрам/с. Предпочтительно, значения частот кадров предварительно устанавливаются и сохраняются таким образом, что модуль 152 выбора групп может обращаться к ним, но могут быть изменяемыми с помощью операции пользователя впоследствии.

[0052] Модуль 502 возбуждения возбуждает элемент 100 формирования изображений для того, чтобы выполнять формирование изображений на соответствующих частотах кадров (этап S104). Иными словами, модуль 502 возбуждения инструктирует единичным группам 131, включенным в исследуемую область 172, выполнять накопление электрического заряда и вывод сигналов изображений на высокой частоте кадров, и инструктирует единичным группам 131, включенным в периферийную область 176, выполнять накопление электрического заряда и вывод сигналов изображений на низкой частоте кадров. Другими словами, модуль 502 возбуждения получает сигналы изображений, которые соответствуют множеству кадров, которые являются смежными во временных рядах для единичных групп 131, включенных в исследуемую область 172, при получении сигналов изображений, которые соответствуют одному кадру для единичных групп 131, включенных в периферийную область 176.

[0053] Например, когда частота кадров периферийной области 176 задается равной 60 кадрам/с, и частота кадров исследуемой области 172 задается равной 180 кадрам/с, как проиллюстрировано на фиг. 10, модуль 502 возбуждения получает сигналы изображений трех кадров A1, A2, A3 из исследуемой области 172 в течение времени 1/60 с, в которое получаются сигналы изображений одного кадра B1 из периферийной области 176 (1/60 с=3×1/180 с). В этом случае, модуль 502 возбуждения получает сигналы изображений на различных частотах кадров посредством отдельного возбуждения набора транзисторов 303 сброса, транзисторов 302 переноса и транзисторов 305 выбора единичных групп 131, включенных в периферийную область 176, и набора транзисторов 303 сброса, транзисторов 302 переноса и транзисторов 305 выбора единичных групп 131, включенных в исследуемую область 172.

[0054] Следует отметить, что фиг. 10 иллюстрирует тактирование вывода сигналов изображений, но не иллюстрирует продолжительность периода экспозиции. Модуль 502 возбуждения возбуждает вышеописанные наборы транзисторов для периферийной области 176 и для исследуемой области 172 таким образом, что может достигаться период экспозиции, ранее вычисленный посредством вычислительного модуля 512.

[0055] Помимо этого, продолжительность периода экспозиции может быть изменена согласно частотам кадров. Например, в примере, проиллюстрированном на фиг. 10, период экспозиции одного кадра периферийной области 176 может задаваться равным 1/3, что является практически идентичным с периодом экспозиции для исследуемой области 172. Кроме того, сигналы изображений могут быть скорректированы посредством отношения частот кадров после вывода сигналов изображений. Кроме того, тактирование вывода сигналов изображений может быть не синхронным, как показано на фиг. 10, а может быть асинхронным между периферийной областью 176 и исследуемой областью 172.

[0056] Модуль 511 обработки изображений последовательно сохраняет, на покадровой основе, сигналы изображений из исследуемой области 172 в предварительно определенной области хранения оперативного запоминающего устройства 504 (этап S106). Аналогично, модуль 511 обработки изображений последовательно сохраняет, на покадровой основе, сигналы изображений из периферийной области 176 в предварительно определенной области хранения оперативного запоминающего устройства 504 (тот же этап).

[0057] Модуль 154 формирования движущихся изображений считывает сигналы изображений исследуемой области 172, сохраненные в оперативном запоминающем устройстве 504 (этап S108), и формирует данные движущегося изображения в исследуемой области, которое включает в себя множество кадров исследуемой области 172 (этап S110). Аналогично, модуль 154 формирования движущихся изображений считывает сигналы изображений периферийной области 176, сохраненные в оперативном запоминающем устройстве 504, и формирует данные движущегося изображения в периферийной области, которое включает в себя множество кадров периферийной области 176 (тот же этап). Здесь, движущееся изображение в исследуемой области и движущееся изображение в периферийной области могут быть сформированы в форматах общего назначения, таких как MPEG, и иметь возможность воспроизведения отдельно, либо могут быть сформированы в выделенных форматах, которые не дают возможность воспроизведения без прохождения обработки синтеза, описанной ниже.

[0058] Фиг. 11 схематично иллюстрирует движущееся изображение в исследуемой области и движущееся изображение в периферийной области, сформированные посредством модуля формирования движущихся изображений. Модуль 154 формирования движущихся изображений формирует движущееся изображение в исследуемой области на частоте кадров, которая соответствует частоте кадров, на которой модуль 502 возбуждения возбуждает исследуемую область 172. В примере, проиллюстрированном на фиг. 11, движущееся изображение в исследуемой области формируется на частоте кадров 1/180 кадра/с, которая является идентичной с частотой кадров 1/180 кадра/с, на которой модуль 502 возбуждения возбуждает исследуемую область 172.

[0059] Аналогично, модуль 154 формирования движущихся изображений формирует движущееся изображение в периферийной области на частоте кадров, которая соответствует частоте кадров, на которой модуль 502 возбуждения возбуждает периферийную область 176. В примере, проиллюстрированном на фиг. 11, движущееся изображение в периферийной области формируется на частоте кадров 1/60 кадра/с, которая является идентичной с частотой кадров 1/60 кадра/с, на которой модуль 502 возбуждения возбуждает периферийную область 176. Следует отметить, что действующие значения не существуют в области движущегося изображения в периферийной области, которая соответствует исследуемой области 172, и область указывается с помощью диагональных линий на чертеже.

[0060] Кроме того, модуль 154 формирования движущихся изображений добавляет информацию заголовка к движущемуся изображению в исследуемой области и к движущемуся изображению в периферийной области и записывает данные в модуль 505 записи (этап S112). Информация заголовка включает в себя информацию области, которая указывает позицию исследуемой области 172 относительно всей области формирования изображений, информацию размера, которая указывает размер исследуемой области 172, и информацию тактирования, которая указывает взаимосвязь между тактированием вывода сигналов изображений исследуемой области 172 и тактированием вывода сигналов изображений периферийной области 176.

[0061] Модуль 501 управления системой определяет то, следует или нет выполнять формирование изображений для следующей единицы времени (этап S114). То, следует или нет выполнять формирование изображений следующей единицы времени, определяется на основе того, нажимает или нет в этот момент времени пользователь кнопку записи движущихся изображений. Когда формирование изображений должно выполняться для следующей единицы времени (этап S114: "Да"), последовательность операций возвращается к вышеописанному этапу S102, а когда формирование изображений не должно выполняться для следующей единицы времени (этап S114: "Нет"), последовательность операций завершается.

[0062] Здесь, "единица времени" предварительно установлена в модуле 501 управления системой и длится в течение нескольких секунд. Емкость хранения, используемая для сохранения на этапе S106, определяется на основе этой единицы времени, частоты кадров и числа единичных групп исследуемой области 172, а также частоты кадров и числа единичных групп периферийной области 176. Также на основе этих фрагментов информации, определяются область емкости хранения, которая сохраняет данные исследуемой области 172, и область емкости хранения, которая сохраняет данные периферийной области 176.

[0063] Таким образом, сигналы изображений могут быть получены на высокой частоте кадров из исследуемой области 172, включающей в себя основной объект 171, а также объем данных может быть уменьшен посредством поддержания низкой частоты кадров для периферийной области 176. Соответственно, по сравнению с высокоскоростным считыванием из всех пикселов, могут уменьшаться нагрузки по возбуждению и обработке изображений, и может подавляться потребление мощности и теплообразование.

[0064] Следует отметить, что когда следующая единица времени начинается в примере, проиллюстрированном на фиг. 7, единичные группы 131 выбираются снова на этапе S102, и обновляются информация области и информация размера. В силу этого, исследуемая область 172 может быть обновлена последовательно посредством отслеживания основного объекта 171. В примере, проиллюстрированном на фиг. 11, в первом кадре A7 единицы времени в движущемся изображении в исследуемой области, выбирается исследуемая область 182, включающая в себя единичные группы 131, которые отличаются от единичных групп 131 последнего кадра A6 в предыдущей единице времени, и в соответствии с этим, обновляются информация 184 области и периферийная область 186.

[0065] Фиг. 12 иллюстрирует один пример информации заголовка, добавляемой посредством модуля формирования движущихся изображений. Информация заголовка на фиг. 12 включает в себя идентификаторы движущихся изображений в исследуемой области, которые идентифицируют движущиеся изображения в исследуемой области, частоты кадров движущихся изображений в исследуемой области, идентификаторы движущихся изображений в периферийной области, которые идентифицируют движущиеся изображения в периферийной области, соответствующие движущимся изображениям в исследуемой области, частоты кадров движущихся изображений в периферийной области, информацию тактирования, информацию области и информацию размера. Эти фрагменты информации заголовка могут добавляться в качестве информации заголовка в одно или в оба из движущегося изображения в исследуемой области и движущегося изображения в периферийной области.

[0066] Фиг. 13 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение. Операции начинаются, когда пользователь указывает любое из движущихся изображений в исследуемой области, отображенных в качестве миниатюр на модуле 506 отображения, и нажимает кнопку воспроизведения.

[0067] Модуль 156 синтезирования движущихся изображений считывает, из модуля 505 записи, данные движущегося изображения в исследуемой области, указываемого пользователем (этап S150). Модуль 156 синтезирования движущихся изображений считывает, из модуля 505 записи, данные движущегося изображения в периферийной области, соответствующего движущемуся изображению в исследуемой области (этап S152).

[0068] В этом случае, модуль 156 синтезирования движущихся изображений идентифицирует движущееся изображение в периферийной области на основе идентификатора движущегося изображения в периферийной области, указываемого в информации заголовка считывания движущегося изображения в исследуемой области на этапе S150. Вместо этого, изображение в периферийной области, которое включает в себя, в качестве информации заголовка, информацию тактирования, которая является идентичной с информацией тактирования, указываемой в информации заголовка движущегося изображения в исследуемой области, может находиться и идентифицироваться.

[0069] Следует отметить, что информация заголовка включается в движущееся изображение в исследуемой области в вышеописанном примере. С другой стороны, когда информация заголовка включается не в движущееся изображение в исследуемой области, а в движущееся изображение в периферийной области, пользователю может, ранее на этапе S150, инструктироваться указывать движущееся изображение в периферийной области, которое должно считываться, и движущееся изображение в исследуемой области указывается и считывается из информации заголовка на этапе S152.

[0070] Модуль 156 синтезирования движущихся изображений синтезирует кадр движущегося изображения в исследуемой области и кадр движущегося изображения в периферийной области в кадр отображенного движущегося изображения (этап S154). В этом случае, сначала первый кадр A1 движущегося изображения в исследуемой области вставляется в позиции, указываемой посредством информации 174 области, в первом кадре B1 движущегося изображения в периферийной области, чтобы формировать первый синтезированный кадр C1 отображенного движущегося изображения. Как проиллюстрировано на фиг. 11, модуль 156 синтезирования движущихся изображений инструктирует отображение первого кадра C1 отображенного движущегося изображения на модуле 506 отображения (этап S156).

[0071] Модуль 156 синтезирования движущихся изображений определяет то, имеется или нет следующий кадр движущегося изображения в исследуемой области перед следующим кадром B2 движущегося изображения в периферийной области (этап S158). Когда имеется следующий кадр движущегося изображения в исследуемой области (этап S158: "Да"), модуль 156 синтезирования движущихся изображений обновляет исследуемую область 172 посредством использования следующих кадров A2, A3 и сохраняет периферийную область 176 как предыдущий кадр B1 (этап S162), чтобы формировать следующие синтезированные кадры C2, C3 отображенного движущегося изображения (этап S162) и отображать их последовательно (этап S156).

[0072] С другой стороны, когда нет следующего кадра движущегося изображения в исследуемой области перед следующим кадром B2 движущегося изображения в периферийной области на этапе S158 (этап S158), модуль 156 синтезирования движущихся изображений обновляет исследуемую область 172 посредством использования следующего кадра A4 и обновляет также периферийную область 176 посредством использования следующего кадра B2 (этап S164), чтобы формировать следующий синтезированный кадр C4 отображенного движущегося изображения (этап S162) и отображать его (этап S156).

[0073] При условии, что имеется следующий кадр периферийной области 176 в движущемся изображении в периферийной области (этап S160: "Да"), этапы S154-S160 повторяются. Когда нет следующего кадра периферийной области 176 в движущемся изображении в периферийной области (этап S160: "Нет"), модуль 156 синтезирования движущихся изображений выполняет поиск, чтобы определять то, имеется или нет, в единицу времени после единицы времени набора из движущегося изображения в исследуемой области и движущегося изображения в периферийной области, набор из движущегося изображения в исследуемой области и движущегося изображения в периферийной области (этап S166). Например, модуль 156 синтезирования движущихся изображений выполняет поиск в идентичной папке модуля 505 записи, чтобы определять то, имеется или нет другое движущееся изображение в исследуемой области, информация заголовка которого включает в себя информацию тактирования, указывающую тактирование, которое идет сразу после тактирования, указываемого посредством информации тактирования предыдущего движущегося изображения в исследуемой области.

[0074] При условии, что имеется набор из движущегося изображения в исследуемой области и движущегося изображения в периферийной области в следующую единицу времени (этап S166: "Да"), этапы S150-S166 повторяются. Когда нет набора из движущегося изображения в исследуемой области и движущегося изображения в периферийной области в следующую единицу времени (этап S166: "Нет"), последовательность операций завершается.

[0075] Таким образом, плавное движущееся изображение может отображаться в исследуемой области 172, в которую включается основной объект 171, при уменьшении общего объема данных. Следует отметить, что хотя на этапе S162, исследуемая область 172 обновляется непосредственно посредством использования следующих кадров, чтобы формировать синтезированные кадры отображаемого изображения, способ синтеза не ограничен этим. В качестве другого примера, граничная линия основного объекта 171 в исследуемой области 172 может быть идентифицирована посредством обработки изображений, основной объект 171, окруженный посредством граничной линии, может быть обновлен с помощью следующего кадра, и за пределами граничной линии основного объекта 171 может сохраняться как предыдущий кадр, даже если он находится в исследуемой области 172, чтобы формировать синтезированный кадр с периферийной областью 176. Иными словами, частота кадров за пределами граничной линии в исследуемой области 172 может быть понижена до частоты кадров периферийной области 176. В силу этого, можно не допускать неестественного вида границ гладкости в отображенном движущемся изображении. Кроме того, частоты кадров воспроизведения не должны обязательно быть одними и теми же с частотами кадров во время формирования изображений (180 кадров/с для исследуемой области и 60 кадров/с для периферийной области), и частоты кадров могут составлять, например, 60 кадров/с и 20 кадров/с для исследуемой области и периферийной области, соответственно. В таком случае, воспроизведение представляет собой замедленное воспроизведение.

[0076] Фиг. 14 является блок-схемой последовательности операций способа, которая иллюстрирует другой пример операций устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение. Операциям по фиг. 14, которые являются одинаковыми с операциями по фиг 7, присваиваются те же ссылочные позиции, и их пояснение опускается.

[0077] В операциях по фиг. 14, в дополнение или вместо частот кадров на фиг. 7, показатели прореживания задаются отличающимися между исследуемой областью 172 и периферийной областью 176. Более конкретно, на этапе S120, модуль 502 возбуждения инструктирует единичным группам 131, включенным в исследуемую область 172, выполнять накопление электрического заряда и вывод сигналов изображений пикселов, которые прореживаются с низким показателем прореживания, и инструктирует единичным группам 131, включенным в периферийную область 176, выполнять накопление электрического заряда и вывод сигналов изображений пикселов, которые прореживаются с высоким показателем прореживания. Например, считываются пикселы в единичных группах 131, включенных в исследуемую область 172, которые прореживаются с показателем прореживания в 0, т.е. все пикселы, и считываются пикселы в единичных группах 131, включенных в периферийную область 176, которые прореживаются с показателем прореживания в 0,5, т.е. половина пикселов.

[0078] В этом случае, модуль 502 возбуждения получает сигналы изображений с разными показателями прореживания посредством отдельного возбуждения набора транзисторов 303 сброса, транзисторов 302 переноса и транзисторов 305 выбора единичных групп 131, включенных в периферийную область 176, и набора транзисторов 303 сброса, транзисторов 302 переноса и транзисторов 305 выбора единичных групп 131, включенных в исследуемую область 172.

[0079] На этапе S110, модуль 154 формирования движущихся изображений формирует движущееся изображение в исследуемой области, которое соответствует исследуемой области 172, на основе сигналов изображений исследуемой области 172, выводимых с низким показателем прореживания. Модуль 154 формирования движущихся изображений аналогично формирует движущееся изображение в периферийной области, которое соответствует периферийной области 176, на основе сигналов изображений периферийной области 176, выводимых с высоким показателем прореживания. Также на этапе S112, модуль 154 формирования движущихся изображений записывает движущееся изображение в исследуемой области и движущееся изображение в периферийной области, причем в них добавлена информация относительно соответствующих показателей прореживания, в модуле 505 записи.

[0080] Фиг. 15 иллюстрирует пример пикселов 188, которые должны считываться с показателем прореживания в 0,5 в одной единичной группе. В примере, проиллюстрированном на фиг. 15, когда единичная группа 132 в периферийной области 176 представляет собой байеровскую матрицу, пикселы 188, которые должны считываться, и пикселы, которые не должны считываться, задаются для каждой второй байеровской матрицы, т.е. каждые два пиксела попеременно в вертикальном направлении. В силу этого, прореженное считывание может выполняться без потери цветового баланса.

[0081] Фиг. 16 является блок-схемой последовательности операций способа, которая иллюстрирует операции, согласно фиг. 13, устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение. Операциям по фиг. 16, которые являются одинаковыми с операциями по фиг 13, присваиваются те же ссылочные позиции, и их пояснение опускается.

[0082] На этапе S170 на фиг. 16, модуль 156 синтезирования движущихся изображений дополняет пикселы кадра движущегося изображения в периферийной области таким образом, что разрешение совпадает с разрешением кадра движущегося изображения в исследуемой области, и после этого вставляет кадр движущегося изображения в исследуемой области в кадр движущегося изображения в периферийной области; за счет этого формируется синтезированный кадр отображаемого изображения. В силу этого, сигналы изображений могут быть получены с высоким разрешением из исследуемой области 172, включающей в себя основной объект 171, а также объем данных может быть уменьшен посредством поддержания низким разрешения периферийной области 176. Соответственно, по сравнению с высокоскоростным считыванием из всех пикселов, могут уменьшаться нагрузки по возбуждению и обработке изображений, и может подавляться потребление мощности и теплообразование.

[0083] Следует отметить, что хотя исследуемая область 172 представляет собой прямоугольник в примерах, проиллюстрированных на фиг. 1-16, форма исследуемой области 172 не ограничена этим. Исследуемая область 172 может представлять собой выпуклый или вогнутый многоугольник или может иметь тороидальную форму с периферийной областью 176, размещаемой внутри него, либо другую форму при условии, что исследуемая область 172 соответствует граничной линии единичной группы 131. Кроме того, может задаваться множество исследуемых областей 172, которые разнесены друг от друга. В таком случае, взаимно различные частоты кадров могут задаваться для исследуемых областей 172.

[0084] Кроме того, частоты кадров исследуемой области 172 и периферийной области 176 могут быть переменными. Например, величина движения основного объекта 171 может быть определена с истечением единицы времени, и более высокая частота кадров может задаваться для исследуемой области 172, если величина движения основного объекта 171 больше. Кроме того, выбор единичных групп 131, которые должны быть включены в исследуемую область 172, может быть обновлен в любое время в течение единицы времени посредством отслеживания основного объекта 171.

[0085] Хотя формирование движущихся изображений на фиг. 7 и 14 начинается, когда пользователь нажимает кнопку записи, и воспроизведение движущихся изображений на фиг. 13 и 16 начинается, когда пользователь нажимает кнопку воспроизведения, начальные моменты времени не ограничены этим. В качестве другого примера, при инициировании посредством одной операции с кнопкой пользователем, могут непрерывно выполняться операция формирования движущихся изображений и операция воспроизведения движущихся изображений, и может выполняться сквозное отображение изображений (также называемое отображением изображений для "вживую") для модуля 506 отображения. В этом случае, отображение для инструктирования пользователю распознавать исследуемую область 172 может накладываться. Например, кадр может отображаться по границе исследуемой области 172 на модуле 506 отображения, либо может понижаться яркость периферийной области 176, либо может повышаться яркость исследуемой области 172.

[0086] В операциях на фиг. 14, показатели прореживания задаются отличающимися между исследуемой областью 172 и периферийной областью 176. Вместо задания отличающимися показателей прореживания, могут задаваться отличающимися числа смежных строк пикселов, пиксельные сигналы которых суммируются. Например, в исследуемой области 172, число строк составляет одну, что означает то, что пиксельные сигналы выводятся без суммирования смежных строк, а в периферийной области 176, число строк превышает число строк для исследуемой области 172, т.е., например, составляет две, что означает то, что выводятся пиксельные сигналы пикселов двух смежных строк, которые находятся в идентичных столбцах. В силу этого, аналогично фиг. 14, общее число сигналов может быть уменьшено при поддержании разрешения исследуемой области 172 выше разрешения периферийной области 176. Кроме того, вместо суммирования пиксельных сигналов смежных строк, могут суммироваться пиксельные сигналы смежных столбцов. В этом случае, числа столбцов при суммировании пиксельных сигналов пикселов смежных столбцов задаются отличающимися между исследуемой областью 172 и периферийной областью 176. Кроме того, в вышеописанное суммирование может быть включен процесс вычисления среднего посредством деления значения суммы на число суммированных строк или столбцов.

[0087] Следует отметить, что модуль 156 синтезирования движущихся изображений может предоставляться во внешнем устройстве отображения, например, в PC, вместо предоставления в модуле 511 обработки изображений устройства 500 формирования изображений. Кроме того, вышеописанный вариант осуществления может применяться не только к формированию движущихся изображений, но также и к формированию неподвижных изображений.

[0088] Кроме того, хотя в вышеописанных вариантах осуществления, множество единичных групп 131 разделяется на две области, исследуемую область 172 и периферийную область 176, число разделения не ограничено этим, и единичные группы 131 могут быть разделены на три или более областей. В этом случае, единичные группы 131, которые соответствуют границе между исследуемой областью 172 и периферийной областью 176, могут обрабатываться в качестве граничной области, и граничная область может управляться посредством использования промежуточного значения между значением параметра управления, используемого для исследуемой области 172, и значением параметра управления, используемого для периферийной области 176. В силу этого, можно не допускать неестественного вида границы между исследуемой областью 172 и периферийной областью 176.

[0089] Периоды накопления и число накоплений электрических зарядов и т.п. могут задаваться отличающимися между исследуемой областью 172 и периферийной областью 176. В этом случае, исследуемая область 172 и периферийная область 176 могут быть разделены на основе яркости, и кроме того может предоставляться промежуточная область.

[0090] Фиг. 17 является схемой для пояснения примера сцены и разделения на области. Фиг. 17(a) иллюстрирует сцену, захваченную посредством пиксельной области микросхемы 113 формирования изображений. В частности, сцена включает в себя одновременно затененный объект 601 и промежуточный объект 602, включенные в окружение в помещении, и яркий объект 603 окружения на улице, наблюдаемого в оконной раме 604. При формировании изображений, с помощью традиционного элемента формирования изображений, такой сцены, в которой контрастность между яркой частью и затененной частью является высокой, заполненные тени возникают в затененной части, если накопление электрического заряда выполняется посредством использования яркой части в качестве опорной, и пустые яркие части возникают в яркой части, если накопление электрического заряда выполняется посредством использования затененной части в качестве опорной. Иными словами, можно сказать, что для высококонтрастной сцены, фотодиод не имеет достаточного динамического диапазона, который необходим для вывода сигналов изображений посредством одноразового накопления электрического заряда, которое является однородным для яркой части и затененной части. Чтобы разрешать эту проблему, в настоящем варианте осуществления, сцена разделяется на частичные области, такие как яркая часть и затененная часть, и существенное расширение динамического диапазона предпринимается посредством задания числа накоплений электрического заряда взаимно отличающимся между фотодиодами, которые соответствуют надлежащим областям.

[0091] Фиг. 17(b) иллюстрирует разделение на области для пиксельной области в микросхеме 113 формирования изображений. Вычислительный модуль 512 анализирует сцену по фиг. 17(a), захваченную посредством фотометрического модуля 503, чтобы разделять пиксельную область на основе яркости. Например, модуль 501 управления системой инструктирует фотометрическому модулю 503 выполнять получение сцены многократно при изменении периодов экспозиции, и вычислительный модуль 512 определяет линии разделения пиксельной области посредством обращения к изменениям в распределении пустых ярких областей и заполненных затененных областей. В примере по фиг. 17(b), вычислительный модуль 512 выполняет разделение на три области, затененную область 611, промежуточную область 612 и яркую область 613.

[0092] Линия разделения задается вдоль границ единичных групп 131. Иными словами, каждая разделенная область включает в себя целое число групп. Затем, пикселы каждой группы, включенной в одну и ту же область, выполняют накопление электрического заряда и вывод пиксельных сигналов идентичное число раз в период, который соответствует скорости срабатывания затвора, определенной посредством вычислительного модуля 512. Если пикселы принадлежат различным областям, накопление электрического заряда и вывод пиксельных сигналов выполняются различное число раз.

[0093] Фиг. 18 является схемой для пояснения управления накоплением электрического заряда для соответствующих областей, разделенных в примере на фиг. 17. После приема инструкции для перехода в режим готовности к формированию изображений от пользователя, вычислительный модуль 512 определяет скорость T₀ срабатывания затвора на основе вывода из фотометрического модуля 503. Кроме того, вычислительный модуль 512 выполняет разделение на затененную область 611, промежуточную область 612 и яркую область 613 вышеописанным способом и определяет число накоплений электрического заряда на основе соответствующих фрагментов информации яркости. Число накоплений электрического заряда определяется таким образом, что пикселы не насыщаются посредством одноразового накопления электрического заряда. Например, число накоплений электрического заряда определяется таким образом, что 80-90% накапливаемых электрических зарядов накапливаются в операции одноразового накопления электрического заряда.

[0094] Здесь, накопление электрического заряда выполняется один раз для затененной области 611. Иными словами, задается принудительное совпадение определенной скорости T₀ срабатывания затвора и периода накопления электрического заряда. Кроме того, накопление электрического заряда выполняется два раза для промежуточной области 612. Иными словами, период одноразового накопления электрического заряда задается равным T₀/2, и накопление электрического заряда повторяется два раза в течение скорости T₀ срабатывания затвора. Кроме того, накопление электрического заряда выполняется четыре раза для яркой области 613. Иными словами, период одноразового накопления электрического заряда задается равным T₀/4, и накопление электрического заряда повторяется четыре раза в течение скорости T₀ срабатывания затвора.

[0095] После приема инструкции по формированию изображений от пользователя в такте t=0, модуль 502 возбуждения применяет импульсы сброса и импульсы переноса к пикселам в группах, принадлежащих соответствующим областям. Это применение инициирует начало накопления электрического заряда всех пикселов.

[0096] В такте t=T₀/4, модуль 502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих яркой области 613. Затем, модуль 502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих яркой области 613, чтобы инструктировать начало второго накопления электрического заряда.

[0097] Следует отметить, что поскольку избирательный вывод пиксельных сигналов требует времени, возникает запаздывание во времени между завершением первого накопления электрического заряда и началом второго накопления электрического заряда. Когда это запаздывание во времени является пренебрежимо малым, период одноразового накопления электрического заряда может быть вычислен посредством деления скорости T₀ срабатывания затвора на число накоплений электрического заряда, как описано выше. С другой стороны, если не является пренебрежимо малым, скорость T₀ срабатывания затвора может регулироваться с учетом времени, либо период одноразового накопления электрического заряда может быть задан меньше времени, полученного посредством деления скорости T₀ срабатывания затвора на число накоплений электрического заряда.

[0098] В такте t=T₀/2, модуль 502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих промежуточной области 612 и яркой области 613. Затем, модуль 502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих промежуточной области 612 и яркой области 613, чтобы инструктировать начало второго накопления электрического заряда для промежуточной области 612 и инструктировать начало третьего накопления электрического заряда для яркой области 613.

[0099] В такте t=3T₀/4, модуль 502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих яркой области 613. Затем, модуль 502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих яркой области 613, чтобы инструктировать начало четвертого накопления электрического заряда.

[0100] В такте t=T₀, модуль 502 возбуждения применяет импульсы переноса к пикселам всех областей. Затем, модуль 502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 309. Согласно вышеописанному управлению, пиксельные сигналы, которые соответствуют одному разу, сохраняются в каждом пиксельном запоминающем устройстве 414, которое соответствует затененной области 611, пиксельные сигналы, которые соответствуют двум разам, сохраняются в каждом пиксельном запоминающем устройстве 414, которое соответствует промежуточной области 612, а пиксельные сигналы, которые соответствуют четырем разам, сохраняются в каждом пиксельном запоминающем устройстве 414, которое соответствует яркой области 613.

[0101] Эти пиксельные сигналы последовательно передаются в модуль 511 обработки изображений. Модуль 511 обработки изображений формирует данные изображений с расширенным динамическим диапазоном на основе пиксельных сигналов. Ниже описывается конкретная обработка.

[0102] Фиг. 19 является таблицей, которая указывает взаимосвязь между числом интегрирований и динамическим диапазоном. Пиксельные сигналы, которые соответствуют многократному повторно выполняемому накоплению электрического заряда, подвергаются процессу интегрирования посредством модуля 511 обработки изображений таким образом, что они являются частью данных изображений с расширенным динамическим диапазоном.

[0103] При сравнении, в качестве опорного, с динамическим диапазоном области, число интегрирований которой составляет один раз, т.е. для которой накопление электрического заряда выполняется один раз, динамический диапазон области, число интегрирований которой составляет два, т.е. выходной сигнал которой интегрируется посредством выполнения накопления электрического заряда два раза, расширяется посредством одного этапа. Аналогично, когда число интегрирований составляет четыре раза, динамический диапазон расширяется посредством двух этапов, а когда число интегрирований составляет 128, динамический диапазон расширяется посредством семи этапов. Иными словами, чтобы пытаться получать n этапов расширения динамического диапазона, выходные сигналы могут интегрироваться 2ⁿ раз.

[0104] Здесь, для идентификации посредством модуля 511 обработки изображений того, сколько раз выполнено накопление электрического заряда для какой разделенной области, 3-битовая экспонента, указывающая число интегрирований, суммируется с сигналом изображения. Как проиллюстрировано, экспоненты выделяются последовательно, 000 – числу интегрирований один раз, 001 - два раза, …, 111-128 раз.

[0105] Модуль 511 обработки изображений обращается к экспоненте каждого пиксельного сигнала, принимаемого из арифметической схемы 415, и когда результат обращения показывает то, что число интегрирований составляет два или более, выполняет процесс интегрирования пиксельного сигнала. Например, когда число интегрирований составляет два (один этап), старшие 11 битов двух 12-битовых пиксельных сигналов, соответствующих накоплению электрического заряда, суммируются таким образом, что формируется один 12-битовый пиксельный сигнал. Аналогично, когда число интегрирований составляет 128 (семь этапов), старшие 5 битов 128 12-битовых пиксельных сигналов, соответствующих накоплению электрического заряда, суммируются таким образом, что формируется один 12-битовый пиксельный сигнал. Иными словами, старшие биты, число которых получается посредством вычитания, из 12, числа этапов, соответствующих числу интегрирований, суммируются таким образом, что формируется один 12-битовый пиксельный сигнал. Следует отметить, что исключаются младшие биты, которые не должны суммироваться.

[0106] Посредством выполнения обработки таким способом, диапазон яркости, который предоставляет градацию, может сдвигаться к стороне высокой яркости в соответствии с числом интегрирований. Иными словами, 12 битов выделяются ограниченному диапазону на стороне высокой яркости. Соответственно, градация может предоставляться в области изображения, которая традиционно включает в себя пустые яркие части.

[0107] Тем не менее, следует отметить, что поскольку 12 битов выделяются различным диапазонам яркости других разделенных областей, данные изображений не могут формироваться посредством синтеза в виде простого соединения областей. Чтобы разрешать эту проблему, модуль 511 обработки изображений выполняет процесс повторного квантования посредством использования, в качестве опорных, пиксела с наибольшей яркостью и пиксела с наименьшей яркостью, чтобы задавать все области в качестве 12-битовых данных изображений при сохранении полученных градаций в максимально возможной степени. В частности, квантование выполняется посредством выполнения гамма-преобразования таким образом, что могут сохраняться более сглаженные градации. Посредством выполнения обработки таким способом, могут быть получены данные изображений с расширенным динамическим диапазоном.

[0108] Следует отметить, что описание числа интегрирований не ограничивается суммированием 3-битовой экспонентой с пиксельным сигналом, как описано выше, и число интегрирований может описываться как прилагаемая информация, отличная от пиксельного сигнала. Кроме того, экспонента может опускаться из пиксельного сигнала, и вместо этого число интегрирований может быть получено во время процесса суммирования посредством подсчета числа пиксельных сигналов, сохраненных в пиксельном запоминающем устройстве 414.

[0109] Кроме того, хотя при вышеописанной обработке изображений, выполняется процесс повторного квантования, чтобы задавать все области в качестве 12-битовых данных изображений, число выходных битов может быть увеличено относительно числа битов пиксельного сигнала, в соответствии с верхним предельным числом интегрирований. Например, если верхнее предельное число интегрирований задается как 16 (четыре этапа), все области могут задаваться, для 12-битового пиксельного сигнала, в качестве 16-битовых данных изображений. Посредством выполнения обработки таким способом, данные изображений могут быть сформированы без стирания разрядов.

[0110] Далее поясняется последовательность процессов при операциях формирования изображений. Фиг. 20 является блок-схемой последовательности операций способа, показывающей обработку операций формирования изображений. Последовательность операций начинается, когда включается источник питания устройства 500 формирования изображений.

[0111] На этапе S201, модуль 501 управления системой ожидает нажатия переключателя SW1, которое представляет собой инструкцию для перехода в режим готовности к формированию изображений. Когда считывается нажатие переключателя SW1, последовательность операций переходит к этапу S202.

[0112] На этапе S202, модуль 501 управления системой выполняет фотометрическую обработку. В частности, после получения вывода фотометрического модуля 503, вычислительный модуль 512 вычисляет распределение яркости сцены. Затем, последовательность операций переходит к этапу S203, и, как описано выше, определяются скорость срабатывания затвора, разделение на области, число интегрирований и т.п.

[0113] При завершении операции перехода в режим готовности к формированию изображений последовательность операций переходит к этапу S204 и ожидает нажатия переключателя SW2, которое представляет собой инструкцию по формированию изображений. В это время, когда истекшее время превышает предварительно определенное время Tw ("Да" на этапе S205), последовательность операций возвращается к этапу S201. Когда нажатие переключателя SW2 считывается до того, как истекшее время превышает время Tw ("Нет" на этапе S205), последовательность операций переходит к этапу S206.

[0114] На этапе S206, модуль 502 возбуждения, который принимает инструкцию модуля 501 управления системой, выполняет процесс накопления электрического заряда и процесс считывания сигналов, которые поясняются посредством использования фиг. 18. Затем, при полном завершении считывания сигналов, последовательность операций переходит к этапу S207, выполняется обработка изображений, поясненная посредством использования фиг. 19, и выполняется процесс записи для записи сформированных данных изображений в модуле записи.

[0115] При завершении процесса записи, последовательность операций переходит к этапу S208 и определяется то, выключен или нет источник питания устройства 500 формирования изображений. Когда источник питания не выключен, последовательность операций возвращается к этапу S201, а когда источник питания выключен, последовательность процессов при операциях формирования изображений завершается.

[0116] Фиг. 21 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы 111 обработки сигналов в качестве одного примера. Хотя один пример, в котором демультиплексор 413 и пиксельное запоминающее устройство 414 формируются в микросхеме 112 запоминающего устройства, поясняется посредством использования фиг. 4 выше, здесь поясняется пример, в котором демультиплексор 413 и пиксельное запоминающее устройство 414 формируются в микросхеме 111 обработки сигналов.

[0117] Микросхема 111 обработки сигналов выполняет функции модуля 502 возбуждения. Микросхема 111 обработки сигналов включает в себя модуль 441 управления датчика, модуль 442 поблочного управления, модуль 443 управления синхронизацией и модуль 444 управления сигналами, которые выполняют разделенные функции управления, и модуль 420 управления возбуждением, который выполняет централизованное управление для соответствующих модулей управления. Модуль 420 управления возбуждением преобразует инструкции из модуля 501 управления системой в управляющие сигналы, которые могут быть выполнены посредством соответствующих модулей управления, и передает их в соответствующие модули управления.

[0118] Модуль 441 управления датчика выполняет управление передачей для импульсов управления, которые должны быть переданы в микросхему 113 формирования изображений и связаны с накоплением электрического заряда и считыванием электрического заряда каждого пиксела. В частности, модуль 441 управления датчика управляет началом и завершением накопления электрического заряда посредством передачи импульсов сброса и импульсов переноса в целевые пикселы и инструктирует вывод пиксельных сигналов в выходное межсоединение 309 посредством передачи импульсов выбора в считываемые пикселы.

[0119] Модуль 442 поблочного управления выполняет передачу указывающих импульсов, которые должны быть переданы в микросхему 113 формирования изображений, и указывает единичную группу 131, которая должна управляться. Как пояснено посредством использования фиг. 17 и т.д., разделенные области могут включать в себя множество взаимно смежных единичных групп 131. Единичные группы 131, принадлежащие идентичной области, формируют один блок. Пикселы, которые включаются в тот же блок, начинают накопление электрического заряда при одном и том же тактировании и завершают накопление электрического заряда при одном и том же тактировании. Чтобы разрешать эту проблему, модуль 442 поблочного управления выполняет роль формирования блоков единичных групп 131 посредством передачи указывающих импульсов в единичные группы 131, которые должны быть целями, на основе обозначения посредством модуля 420 управления возбуждением. Импульсы переноса и импульсы сброса, которые каждый пиксел принимает через TX межсоединение 307 и межсоединение 306 сброса, являются логическим "AND" каждого импульса, передаваемого посредством модуля 441 управления датчика, и указывающих импульсов, передаваемых посредством модуля 442 поблочного управления. Таким образом, посредством управления каждой областью в качестве взаимно независимого блока, может реализовываться управление накоплением электрического заряда, поясненное посредством использования фиг. 18. Ниже подробно описывается обозначение формирования блоков посредством модуля управления возбуждением.

[0120] Модуль 443 управления синхронизацией передает сигнал синхронизации в микросхему 113 формирования изображений. Каждый импульс становится активным в микросхему 113 формирования изображений при синхронизации с сигналом синхронизации. Например, посредством регулирования сигнала синхронизации, может реализовываться случайное управление, управление прореживанием и т.п. только для конкретных пикселов из числа пикселов, принадлежащих идентичной единичной группе 131.

[0121] Модуль 444 управления сигналами, главным образом, выполняет управление тактированием для аналого-цифрового преобразователя 412b. Пиксельные сигналы, выводимые через выходное межсоединение 309, вводятся в аналого-цифровой преобразователь 412b через CDS-схему 412a и мультиплексор 411. Аналого-цифровой преобразователь 412b управляется посредством модуля 444 управления сигналами, чтобы преобразовывать входные пиксельные сигналы в цифровые сигналы. Пиксельные сигналы, преобразованные в цифровые сигналы, передаются в демультиплексор 413 и сохраняются в качестве пиксельного значения цифровых данных в пиксельном запоминающем устройстве 414, соответствующем каждому пикселу.

[0122] Микросхема 111 обработки сигналов имеет запоминающее устройство 430 тактирования, в качестве запоминающего устройства для управления накоплением, которое сохраняет информацию разделения на блоки относительно того, какие единичные группы 131 должны быть комбинированы для того, чтобы формировать блок, и информацию относительно числа накоплений относительно того, сколько раз каждый сформированный блок повторяет накопление электрического заряда. Запоминающее устройство 430 тактирования сконфигурировано, например, флэш-RAM.

[0123] Как описано выше, то, какие единичные группы должны быть комбинированы для того, чтобы формировать блок, определяется посредством модуля 501 управления системой на основе результата определения для определения распределения яркости сцены, которое выполняется до рядов последовательности формирования изображений. Определенные блоки разделяются, например, на первый блок, второй блок, ..., и задаются посредством того, какие единичные группы 131 включаются в них. Модуль 420 управления возбуждением принимает информацию разделения на блоки из модуля 501 управления системой и сохраняет ее в запоминающем устройстве 430 тактирования.

[0124] Кроме того, модуль 501 управления системой определяет то, сколько раз каждый блок повторяет накопление электрического заряда, на основе результата определения распределения яркости. Модуль 420 управления возбуждением принимает информацию относительно числа накоплений из модуля 501 управления системой и сохраняет ее в запоминающем устройстве 430 тактирования посредством спаривания информации относительно числа накоплений с соответствующей информацией разделения на блоки. Посредством сохранения информации разделения на блоки и информации относительно числа накоплений в запоминающем устройстве 430 тактирования таким способом, модуль 420 управления возбуждением может выполнять последовательность управления накоплением электрического заряда независимо посредством последовательного обращения к запоминающему устройству 430 тактирования. Иными словами, при управлении получением одного изображения, когда модуль 420 управления возбуждением принимает сигнал инструкции по формированию изображений из модуля 501 управления системой, модуль 420 управления возбуждением после этого имеет возможность выполнять управление накоплением без приема инструкции относительно управления для каждого пиксела из модуля 501 управления системой каждый раз.

[0125] Модуль 420 управления возбуждением принимает, из модуля 501 управления системой, информацию разделения на блоки и информацию относительно числа накоплений, которые обновляются на основе результатов фотометрии (результатов определения распределения яркости), выполняемой при синхронизации с инструкцией для перехода в режим готовности к формированию изображений, и надлежащим образом обновляет сохраненный контент запоминающего устройства 430 тактирования. Например, модуль 420 управления возбуждением обновляет запоминающее устройство 430 тактирования при синхронизации с инструкцией для перехода в режим готовности к формированию изображений или инструкцией по формированию изображений. При этой конфигурации, реализуется более быстрое управление накоплением электрического заряда, и модуль 501 управления системой может выполнять другую обработку параллельно с управлением накоплением электрического заряда, выполняемым посредством модуля 420 управления возбуждением.

[0126] Модуль 420 управления возбуждением, который выполняет управление накоплением электрического заряда для микросхемы 113 формирования изображений, дополнительно обращается к запоминающему устройству 430 тактирования при выполнении управления считыванием. Например, модуль 420 управления возбуждением обращается к информации относительно числа накоплений каждого блока для того, чтобы сохранять пиксельный сигнал, выводимый из демультиплексора 413, в соответствующем адресе пиксельного запоминающего устройства 414.

[0127] Модуль 420 управления возбуждением считывает целевой пиксельный сигнал из пиксельного запоминающего устройства 414 согласно запросу на доставку из модуля 501 управления системой и передает его в модуль 511 обработки изображений. Пиксельное запоминающее устройство 414 имеет пространство в запоминающем устройстве, которое может сохранять пиксельный сигнал, соответствующий максимальному числу интегрирований относительно каждого пиксела, как описано выше, и сохраняет, в качестве пиксельных значений, их соответствующие пиксельные сигналы, соответствующие выполняемому числу накоплений. Например, поскольку, когда накопление электрического заряда повторяется четыре раза в блоке, пикселы, включенные в блок, выводят пиксельные сигналы, которые соответствуют четырем разам, пространство в запоминающем устройстве в пиксельном запоминающем устройстве 414 для каждого пиксела сохраняет четыре пиксельных значения. После приема, из модуля 501 управления системой, запроса на доставку, который запрашивает пиксельный сигнал конкретного пиксела, модуль 420 управления возбуждением указывает адрес конкретного пиксела в пиксельном запоминающем устройстве 414, считывает все сохраненные пиксельные сигналы и передает их в модуль 511 обработки изображений. Например, когда сохраняются четыре пиксельных значения, последовательно передаются все четыре пиксельных значения, а когда сохраняется только одно пиксельное значение, передается пиксельное значение.

[0128] Модуль 420 управления возбуждением может считывать пиксельный сигнал, сохраненный в пиксельном запоминающем устройстве 414, передавать его в арифметическую схему 415 и инструктировать арифметической схеме 415 выполнять вышеописанный процесс интегрирования. Пиксельный сигнал, подвергнутый процессу интегрирования, сохраняется в адресе целевого пиксела пиксельного запоминающего устройства 414. Адрес целевого пиксела может предоставляться рядом с адресным пространством перед процессом интегрирования или может быть идентичным адресом, так что пиксельный сигнал записывается поверх пиксельного сигнала перед процессом интегрирования. Кроме того, может предоставляться выделенное пространство, которое совместно сохраняет пиксельные значения соответствующих пикселов после процесса интегрирования. После приема, из модуля 501 управления системой, запроса на доставку, который запрашивает пиксельный сигнал конкретного пиксела, модуль 420 управления возбуждением может передавать пиксельный сигнал после процесса интегрирования в модуль 511 обработки изображений в зависимости от формы запроса на доставку. Конечно, пиксельные сигналы до и после процесса интегрирования могут передаваться совместно.

[0129] Интерфейс передачи данных, который передает пиксельные сигналы согласно запросу на доставку, предоставляется для пиксельного запоминающего устройства 414. Интерфейс передачи данных соединяется с линией передачи данных, которая соединяется с модулем 511 обработки изображений. Линия передачи данных сконфигурирована, например, с шиной данных из числа линий шин. В этом случае, запрос на доставку из модуля 501 управления системой в модуль 420 управления возбуждением выполняется посредством адресации, которая использует адресную шину.

[0130] Передача пиксельных сигналов посредством интерфейса передачи данных не ограничивается системой адресации, а может приспосабливать различные системы. Например, во время передачи данных может приспосабливаться система по стандарту с удвоенной скоростью передачи данных, в которой фронт и спад синхросигнала, используемого для синхронизации каждой схемы, используются для того, чтобы выполнять обработку. Кроме того, может приспосабливаться система пакетной передачи для передачи данных сразу посредством частичного опускания процедур, таких как адресация и попытка ускорения. Кроме того, система шин с использованием линий, которые соединяют модуль управления, запоминающее устройство и модуль ввода-вывода в параллельной и последовательной системе для последовательной передачи данных на побитовой основе, может приспосабливаться в комбинации.

[0131] При этой конфигурации, поскольку модуль 511 обработки изображений может принимать только необходимые пиксельные сигналы, модуль 511 обработки изображений может выполнять обработку изображений на высокой скорости, в частности, при формировании изображения низкого разрешения. Кроме того, поскольку, когда арифметической схеме 415 инструктируется выполнять процесс интегрирования, модуль 511 обработки изображений не должен выполнять процесс интегрирования, ускорение обработки изображений может быть предпринято посредством функционального разделения и параллельной обработки.

[0132] В вышеописанных примерах по фиг. 17-21, посредством задания числа накоплений электрического заряда и т.п. отличающимся между исследуемой областью 172 и периферийной областью 176, число битов в момент, когда оцифровывается пиксельный сигнал исследуемой области 172, задано выше числа битов для периферийной области 176. Числа битов для оцифровки могут задаваться отличающимися между исследуемой областью 172 и периферийной областью 176 посредством другого способа. Например, аналого-цифровая схема схемы 412 обработки сигналов может оцифровать исследуемую область 172 с большим числом битов по сравнению с периферийной областью 176 посредством идентичного одноразового накопления, согласно инструкции из модуля 502 возбуждения.

[0133] Посредством использования микросхемы 111 обработки сигналов на фиг. 21, обработка изображений может выполняться после получения пиксельного сигнала посредством использования параметров управления, которые отличаются между исследуемой областью 172 и периферийной областью 176. Например, хотя на фиг. 7-10, движущееся изображение формируется из изображений, которые получаются на частотах кадров, которые отличаются между исследуемой областью 172 и периферийной областью 176, вместо этого, отношение "сигнал-шум" может улучшаться посредством выполнения обработки изображений для усреднения изображений, полученных на высокой частоте кадров. В этом случае, модуль 420 управления возбуждением получает пиксельные сигналы, которые соответствуют нескольким разам, например, четырем разам, из исследуемой области 142, например, при получении пиксельных сигналов, которые соответствуют одному разу, из периферийной области 176 и сохраняет их в пиксельном запоминающем устройстве 414. Арифметическая схема 415 считывает множество полученных пиксельных сигналов из пиксельного запоминающего устройства 414 для каждого пиксела исследуемой области 142 и усредняет их для соответствующих пикселов. В силу этого, уменьшаются случайные шумы каждого пиксела исследуемой области 172, и может улучшаться отношение "сигнал-шум" исследуемой области 172.

[0134] Кроме того, хотя на фиг. 7-10, движущееся изображение формируется из изображений, которые получаются на частотах кадров, которые отличаются между исследуемой областью 172 и периферийной областью 176, частоты кадров могут задаваться отличающимися на основе скоростей движения объекта. В этом случае, модуль 150 оценки объектов оценивает скорости в вертикальном и горизонтальном направлениях на основе изменений в позиции объекта между кадрами. Кроме того, модуль 150 оценки объектов оценивает скорости объекта в направлениях вперед и назад на основе изменений в размере объекта между кадрами. На основе оценки, модуль 152 выбора групп идентифицирует единичные группы 131, которые принимают свет из объекта, движущегося на низкой скорости, или неподвижного объекта, единичные группы 131, которые принимают свет из объекта, движущегося на промежуточной скорости, и единичные группы 131, которые принимают свет из объекта, движущегося на высокой скорости.

[0135] Модуль 502 возбуждения возбуждает элемент 100 формирования изображений для того, чтобы выполнять формирование изображений единичных групп 131, которые принимают свет из объекта, движущегося на низкой скорости, или неподвижного объекта, единичных групп 131, которые принимают свет из объекта, движущегося на промежуточной скорости, и единичных групп 131, которые принимают свет из объекта, движущегося на высокой скорости, на низкой частоте кадров, промежуточной частоте кадров и высокой частоте кадров, соответственно. Примеры частот кадров составляют 60 кадров/с, 120 кадров/с и 240 кадров/с, соответственно.

[0136] Фиг. 22 является видом в сечении другого элемента 1100 формирования изображений с освещением с задней стороны согласно настоящему варианту осуществления. Элемент 1100 формирования изображений включает в себя микросхему 1113 формирования изображений, которая выводит пиксельный сигнал, соответствующий падающему свету, микросхему 1111 обработки сигналов, которая обрабатывает пиксельный сигнал, и микросхему 1112 запоминающего устройства, которая сохраняет пиксельный сигнал. Эти микросхема 1113 формирования изображений, микросхема 1111 обработки сигналов и микросхема 1112 запоминающего устройства располагаются слоями и электрически соединяются между собой через проводящие столбиковые выводы 1109, к примеру, Cu.

[0137] Следует отметить, что как проиллюстрировано, падающий свет падает, главным образом, в положительном направлении по оси Z, которое указывается с помощью обведенной стрелки. В настоящем варианте осуществления, поверхность микросхемы 1113 формирования изображений на стороне, на которую падает падающий свет, называется задней стороной. Кроме того, как указано с помощью осей координат, направление влево на чертеже, которое является ортогональным к оси Z, упоминается в качестве положительного направления по оси X, а направление вперед на чертеже, которое является ортогональным к осям Z и X, упоминается в качестве положительного направления по оси Y. На нескольких чертежах, упомянутых ниже, оси координат отображаются таким образом, что ориентация каждого чертежа может быть известной на основе осей координат на фиг. 22.

[0138] Один пример микросхемы 1113 формирования изображений представляет собой МОП-датчик изображений с освещением с задней стороны. PD-слой 1106 располагается на задней стороне слоя 1108 межсоединений. PD-слой 1106 имеет множество PD 1104 (фотодиодов), которые двумерно располагаются и накапливают электрические заряды согласно падающему свету, и транзисторов 1105, обеспеченных согласно PD 1104.

[0139] Цветные светофильтры 1102 обеспечены на стороне падения падающего света PD-слоя 1106 через пассивирующую пленку 1103. Предусмотрено множество типов цветных светофильтров 1102, которые дают возможность прохождения взаимно различных диапазонов длин волн, и цветные светофильтры 1102 упорядочиваются, в частности, согласно соответствующим PD 1104. Ниже описываются матрицы цветных светофильтров 1102. Набор из цветного светофильтра 1102, PD 1104 и транзистора 1105 формирует один пиксел.

[0140] Микролинза 1101 предоставляется согласно каждому пикселу на стороне падения падающего света цветного светофильтра 1102. Микролинза 1101 конденсирует падающий свет к соответствующему PD 1104.

[0141] Слой 1108 межсоединений имеет межсоединения 1107, которые передают пиксельный сигнал из PD-слоя 1106 в микросхему 1111 обработки сигналов. Межсоединение 1107 может быть многослойным и может быть снабжено пассивным элементом и активным элементом.

[0142] Множество столбиковых выводов 1109 располагается на поверхности слоя 1108 межсоединений. Множество столбиковых выводов 1109 совмещается с множеством столбиковых выводов 1109, которые обеспечены на противостоящей поверхности микросхемы 1111 обработки сигналов, и, например, микросхема 1113 формирования изображений и микросхема 1111 обработки сигналов прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 1109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0143] Аналогично, множество столбиковых выводов 1109 располагается на взаимно противостоящих поверхностях микросхемы 1111 обработки сигналов и микросхемы 1112 запоминающего устройства. Эти столбиковые выводы 1109 совмещаются друг с другом, и, например, микросхема 1111 обработки сигналов и микросхема 1112 запоминающего устройства прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 1109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0144] Следует отметить, что соединение между столбиковыми выводами 1109 не ограничивается соединением столбиковых выводов из Cu посредством диффузии из твердой фазы, и может применяться соединение столбиковых микровыводов посредством припойного соединения. Кроме того, приблизительно один столбиковый вывод 1109 может предоставляться, например, для каждой единичной группы, описанной ниже. Соответственно, размер столбиковых выводов 1109 может превышать шаг PD 1104. Кроме того, в периферийной области, отличной от пиксельной области, в которой упорядочиваются пикселы, также может предоставляться столбиковый вывод, который превышает столбиковые выводы 1109, соответствующие пиксельной области.

[0145] Микросхема 1111 обработки сигналов имеет TSV 1110 (переходное отверстие в кремнии), которое соединяет схемы, которые обеспечены на передней стороне и задней стороне, соответственно. TSV 1110 предпочтительно предоставляется в периферийной области. Кроме того, TSV 1110 также может предоставляться в периферийной области микросхемы 1113 формирования изображений и микросхемы 1112 запоминающего устройства.

[0146] Фиг. 23 является схемой для пояснения пиксельной матрицы и единичной группы 1131 микросхемы 1113 формирования изображений. В частности, данные показывают строение микросхемы 1113 формирования изображений, наблюдаемое с задней стороны. Матрица из двадцати миллионов пикселов или более упорядочивается в пиксельной области. В примере по фиг. 23, смежные четыре пиксела (четыре пиксела, 16 пикселов) формируют единичную группу 1131. Линии сетки координат на чертеже показывают такой принцип, что смежные пикселы группируются с возможностью формировать единичную группу 1131. Число пикселов, которые формируют единичную группу 1131, не ограничено этим, и может составлять приблизительно 1000, например, тридцать два пиксела (шестьдесят четыре пиксела либо больше или меньше).

[0147] Как проиллюстрировано в частично укрупненном виде пиксельной области, единичная группа 1131 включает в себя, в верхней левой, верхней правой, нижней левой и нижней правой частях, четыре так называемых байеровских матрицы, каждая из которых включает в себя четыре пиксела, включая пикселы Gb, Gr зеленого цвета, пиксел B синего цвета и пиксел R красного цвета. Пикселы зеленого цвета имеют зеленые светофильтры в качестве цветных светофильтров 1102 и принимают свет в диапазоне длин волн зеленого цвета падающего света. Аналогично, пиксел синего цвета имеет синий светофильтр в качестве цветного светофильтра 1102 и принимает свет в диапазоне длин волн синего цвета, и пиксел красного цвета имеет красный светофильтр в качестве цветного светофильтра 1102 и принимает свет в диапазоне длин волн красного цвета.

[0148] В настоящем варианте осуществления, значение оценки вычисляется для каждой из множества единичных групп 1131, и экспозиция или считывание пикселов, включенных в единичную группу, управляется посредством использования параметров управления на основе значения оценки. Примеры значения оценки включают в себя среднее пиксельных сигналов в единичной группе 1131, взвешенное среднее пиксельных сигналов в пределах и за пределами единичной группы 1131, контрастность в единичной группе 1131, взвешенное среднее контрастности в пределах и за пределами единичной группы 1131, яркость в единичной группе 1131 и взвешенное среднее яркости в пределах и за пределами единичной группы 1131. Примеры параметров управления включают в себя частоту кадров, показатель прореживания, число суммированных строк или число суммированных столбцов, пиксельные сигналы которых суммируются, период или число накоплений электрических зарядов, число битов для оцифровки и т.п. Кроме того, параметры управления могут представлять собой параметры при обработке изображений, выполняемой после получения сигналов изображений из пиксела.

[0149] Фиг. 24 является схематическим видом, который соответствует единичной группе 1131 микросхемы 1113 формирования изображений. На чертеже прямоугольник, который указывается с помощью пунктирных линий, типично представляет схему, которая соответствует одному пикселу. Следует отметить, что, по меньшей мере, часть каждого транзистора, поясненного ниже, соответствует транзистору 1105 на фиг. 22.

[0150] Как описано выше, единичная группа 1131 формируется с 16 пикселами. 16 PD 1104, которые соответствуют надлежащим пикселам, соединяются с соответствующими транзисторами 1302 переноса, и затвор каждого транзистора 1302 переноса соединяется с TX межсоединением 1307, в которое подаются импульсы переноса. В настоящем варианте осуществления, TX межсоединение 1307 соединяется совместно с 16 транзисторами 1302 переноса.

[0151] Сток каждого транзистора 1302 переноса соединяется с истоком соответствующего транзистора 1303 сброса, а также так называемая плавающая диффузионная область FD между стоком транзистора 1302 переноса и истоком транзистора 1303 сброса соединяется с затвором усиливающего транзистора 1304. Сток транзистора 1303 сброса соединяется с Vdd межсоединением 1310, в которое подается напряжение питания, и его затвор соединяется с межсоединением 1306 сброса, в которое подаются импульсы сброса. В настоящем варианте осуществления, межсоединение 1306 сброса соединяется совместно с 16 транзисторами 1303 сброса.

[0152] Сток каждого усиливающего транзистора 1304 соединяется с Vdd межсоединением 1310, в которое подается напряжение питания. Кроме того, исток каждого усиливающего транзистора 1304 соединяется со стоком соответствующего транзистора 1305 выбора. Затвор каждого транзистора выбора соединяется с межсоединением 1308 декодера, в которое подаются импульсы выбора. В настоящем варианте осуществления, межсоединение 1308 декодера предоставляется независимо для каждого из 16 транзисторов 1305 выбора. Затем, исток каждого транзистора выбора 1305 соединяется с общим выходным межсоединением 1309. Источник 1311 тока нагрузки подает ток в выходное межсоединение 1309. Иными словами, выходное межсоединение 1309 для транзисторов 1305 выбора формируется посредством истокового повторителя. Следует отметить, что источник 1311 тока нагрузки может предоставляться на стороне микросхемы 1113 формирования изображений или на стороне микросхемы 1111 обработки сигналов.

[0153] Здесь, поясняется последовательность операций от начала накопления электрического заряда до вывода пикселов после завершения накопления. Когда импульсы сброса применяются к транзистору 1303 сброса через межсоединение 1306 сброса, и одновременно импульсы переноса применяются к транзистору 1302 переноса через TX межсоединение 1307, сбрасывается потенциал PD 1104 и плавающей диффузионной области FD.

[0154] Когда применение импульсов переноса прекращается, PD 1104 преобразует принимаемый падающий свет в электрические заряды, которые затем накапливаются. После этого, когда импульсы переноса применяются снова в состоянии, в котором импульсы сброса не применяются, накопленные электрические заряды переносятся в плавающую диффузионную область FD, и потенциал плавающей диффузионной области FD изменяется с потенциала сброса на потенциал сигнала после накопления электрического заряда. Затем, когда импульсы выбора применяются к транзистору 1305 выбора через межсоединение 1308 декодера, изменение в потенциале сигнала плавающей диффузионной области FD передается в выходное межсоединение 1309 через усиливающий транзистор 1304 и транзистор 1305 выбора. В силу этого, пиксельные сигналы, соответствующие потенциалу сброса и потенциалу сигнала, выводятся из единичного пиксела в выходное межсоединение 1309.

[0155] Как проиллюстрировано, в настоящем варианте осуществления, межсоединение 1306 сброса и TX межсоединение 1307 являются общими для 16 пикселов, которые формируют единичную группу 1131. Иными словами, импульсы сброса и импульсы переноса, соответственно, применяются одновременно ко всем 16 пикселам. Соответственно, все пикселы, которые формируют единичную группу 1131, начинают накопление электрического заряда при одном и том же тактировании и завершают накопление электрического заряда при одном и том же тактировании. Тем не менее, следует отметить, что пиксельные сигналы, которые соответствуют накопленным электрическим зарядам, выводятся избирательно в выходное межсоединение 1309 при последовательном применении импульсов выбора к соответствующим транзисторам 1305 выбора. Кроме того, межсоединение 1306 сброса, TX межсоединение 1307 и выходное межсоединение 1309 обеспечены отдельно для каждой единичной группы 1131.

[0156] Посредством конфигурирования схемы на основе единичной группы 1131 таким способом, период накопления электрического заряда может управляться для каждой единичной группы 1131. Другими словами, смежным единичным группам 1131 может инструктироваться выводить пиксельные сигналы в течение различных периодов накопления электрического заряда. Кроме того, посредством инструктирования одной единичной группе 1131 повторять накопление электрического заряда несколько раз и выводить пиксельный сигнал каждый раз в момент, когда другой единичной группе 1131 инструктируется выполнять накопление электрического заряда один раз, этим единичным группам 1131 может инструктироваться выводить соответствующие кадры для движущегося изображения на различных частотах кадров.

[0157] Фиг. 25 является блок-схемой, иллюстрирующей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления. Устройство 1500 формирования изображений включает в себя линзу 1520 для формирования изображений в качестве оптической системы формирования изображений, и линза 1520 для формирования изображений направляет световой поток объекта, который падает вдоль оптической оси OA, на элемент 1100 формирования изображений. Линза 1520 для формирования изображений может представлять собой сменную линзу, которая может присоединяться/отсоединяться к/от устройства 1500 формирования изображений. Устройство 1500 формирования изображений включает в себя, главным образом, элемент 1100 формирования изображений, модуль 1501 управления системой, модуль 1502 возбуждения, фотометрический модуль 1503, оперативное запоминающее устройство 1504, модуль 1505 записи и модуль 1506 отображения.

[0158] Линза 1520 для формирования изображений конфигурируется с множеством групп оптических линз и формирует изображение светового потока объекта из сцены около своей фокальной плоскости. Следует отметить, что, на фиг. 25, линза 1520 для формирования изображений типично показывается с помощью одной виртуальной линзы, которая помещается около зрачка. Модуль 1502 возбуждения представляет собой схему управления, которая выполняет управление накоплением электрического заряда, к примеру, управление тактированием и управление областями для элемента 1100 формирования изображений согласно инструкциям из модуля 1501 управления системой.

[0159] Элемент 1100 формирования изображений передает пиксельные сигналы в модуль 1511 обработки изображений модуля 1501 управления системой. Модуль 1511 обработки изображений выполняет различные типы обработки изображений посредством использования оперативного запоминающего устройства 1504 в качестве рабочего пространства и формирует данные изображений. Например, когда формируются данные изображений в JPEG-формате файла, процессы сжатия выполняются после того, как цветовые видеосигналы формируются из сигналов, получаемых из байеровских матриц. Сформированные данные изображений записываются в модуль 1505 записи и преобразуются в сигналы для отображения и отображаются на модуле 1506 отображения в течение предварительно установленного периода времени.

[0160] Фотометрический модуль 1503 определяет распределение яркости сцены до последовательности формирования изображений для формирования данных изображений. Фотометрический модуль 1503 включает в себя AE-датчик, например, приблизительно из одного миллиона пикселов. Вычислительный модуль 1512 модуля 1501 управления системой вычисляет яркость соответствующих областей в сцене после приема вывода фотометрического модуля 1503. Вычислительный модуль 1512 определяет скорость срабатывания затвора, значение раскрытия диафрагмы и ISO-скорость согласно вычисленному распределению яркости. Элемент 1100 формирования изображений может выполнять вторую функцию в качестве фотометрического модуля 1503. Следует отметить, что вычислительный модуль 1512 выполняет различные типы вычисления для управления устройством 1500 формирования изображений.

[0161] Модуль 1502 возбуждения может быть частично или полностью установлен на микросхеме 1113 формирования изображений либо частично или полностью установлен на микросхеме 1111 обработки сигналов. модуль 1501 управления системой может быть частично установлен на микросхеме 1113 формирования изображений или микросхеме 1111 обработки сигналов.

[0162] Фиг. 26 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы 1111 обработки сигналов в качестве одного примера.

Микросхема 1111 обработки сигналов выполняет функции модуля 1502 возбуждения.

[0163] Микросхема 1111 обработки сигналов включает в себя модуль 1441 управления датчика, модуль 1442 поблочного управления, модуль 1443 управления синхронизацией, модуль 1444 управления сигналами, отдельный схемный модуль 1450A и т.п., которые выполняют разделенные функции управления, и модуль 1420 управления возбуждением, который выполняет централизованное управление для соответствующих модулей управления. Микросхема 1111 обработки сигналов дополнительно включает в себя интерфейсную схему 1418 между модулем 1420 управления возбуждением и модулем 1501 управления системой основного корпуса устройства 1500 формирования изображений. Каждый из этих модуля 1441 управления датчика, модуля 1442 поблочного управления, модуля 1443 управления синхронизацией, модуля 1444 управления сигналами и модуля 1420 управления возбуждением обеспечен для каждой из микросхем 1111 обработки сигналов.

[0164] С другой стороны, отдельные схемные модули 1450A, 1450B, 1450C, 1450D, 1450E обеспечены для единичных групп 1131A, 1131B, 1131C, 1131D, 1131E, соответственно. Поскольку отдельные схемные модули 1450A, 1450B, 1450C, 1450D, 1450E имеют одну и ту же конфигурацию, ниже поясняется отдельный схемный модуль 1450A. Отдельный схемный модуль 1450A включает в себя CDS-схему 1410, мультиплексор 1411, схему 1412 аналого-цифрового преобразования, демультиплексор 1413, пиксельное запоминающее устройство 1414 и арифметическую схему 1415. Арифметическая схема 1415 передает и принимает сигналы в/из модуля 1501 управления системой через интерфейсную схему 1418.

[0165] Отдельный схемный модуль 1450A предпочтительно располагается в области, накладываемой на область, в которой располагаются пикселы соответствующей единичной группы 1131A. В силу этого, отдельный схемный модуль 1450A может предоставляться для каждой из множества единичных групп 1131A без увеличения размера каждой микросхемы в направлении плоскости.

[0166] Модуль 1420 управления возбуждением обращается к запоминающему устройству 1430 тактирования, преобразует инструкции из модуля 1501 управления системой в управляющие сигналы, которые могут быть выполнены посредством соответствующих модулей управления, и передает их в соответствующие модули управления. В частности, когда каждая из единичных групп 1131A и т.п. управляется посредством использования отдельных параметров управления, модуль 1420 управления возбуждением передает параметр управления в каждый модуль управления вместе с информацией, которая идентифицирует единичную группу 1131A. При управлении обнаружением одного изображения, когда модуль 1420 управления возбуждением принимает сигнал инструкции по формированию изображений из модуля 1501 управления системой, модуль 1420 управления возбуждением после этого имеет возможность выполнять управление накоплением без приема инструкции относительно управления для каждого пиксела из модуля 1501 управления системой каждый раз.

[0167] Модуль 1441 управления датчика выполняет управление передачей для импульсов управления, которые должны быть переданы в микросхему 1113 формирования изображений и связаны с накоплением электрического заряда и считыванием электрического заряда каждого пиксела. В частности, модуль 1441 управления датчика управляет началом и завершением накопления электрического заряда посредством передачи импульсов сброса и импульсов переноса в целевые пикселы и инструктирует вывод пиксельных сигналов в выходное межсоединение 1309 посредством передачи импульсов выбора в считываемые пикселы.

[0168] Модуль 1442 поблочного управления выполняет передачу указывающих импульсов, которые должны быть переданы в микросхему 1113 формирования изображений, и указывает единичную группу 1131, которая должна управляться. Импульсы переноса и импульсы сброса, которые каждый пиксел принимает через TX межсоединение 1307 и межсоединение 1306 сброса, являются логическим "AND" каждого импульса, передаваемого посредством модуля 1441 управления датчика, и указывающих импульсов, передаваемых посредством модуля 1442 поблочного управления. Таким образом, каждая область может управляться в качестве блока, который является отдельным от других областей.

[0169] Модуль 1443 управления синхронизацией передает сигнал синхронизации в микросхему 1113 формирования изображений. Каждый импульс становится активным в микросхеме 1113 формирования изображений при синхронизации с сигналом синхронизации. Например, посредством регулирования сигнала синхронизации, может реализовываться случайное управление, управление прореживанием и т.п. только для конкретных пикселов из числа пикселов, принадлежащих идентичной единичной группе 1131A.

[0170] Модуль 1444 управления сигналами, главным образом, выполняет управление тактированием для схемы 1412 аналого-цифрового преобразования. Пиксельные сигналы, выводимые через выходное межсоединение 1309, вводятся в схему 1412 аналого-цифрового преобразования через CDS-схему 1410 и мультиплексор 1411. CDS-схема 1410 исключает шумы из пиксельных сигналов.

[0171] Схема 1412 аналого-цифрового преобразования управляется посредством модуля 1444 управления сигналами, чтобы преобразовывать входные пиксельные сигналы в цифровые сигналы. Пиксельные сигналы, преобразованные в цифровые сигналы, передаются в демультиплексор 1413 и сохраняются в качестве пиксельного значения цифровых данных в пиксельном запоминающем устройстве 1414, соответствующем каждому пикселу.

[0172] Интерфейс передачи данных, который передает пиксельные сигналы согласно запросу на доставку, предоставляется для пиксельного запоминающего устройства 1414. Интерфейс передачи данных соединяется с линией передачи данных, которая соединяется с модулем 1511 обработки изображений. Линия передачи данных сконфигурирована, например, с шиной данных из числа линий шин. В этом случае, запрос на доставку из модуля 1501 управления системой в модуль 1420 управления возбуждением выполняется посредством адресации, которая использует адресную шину.

[0173] Передача пиксельных сигналов посредством интерфейса передачи данных не ограничивается системой адресации, а может приспосабливать различные системы. Например, во время передачи данных может приспосабливаться система по стандарту с удвоенной скоростью передачи данных, в которой фронт и спад синхросигнала, используемого для синхронизации каждой схемы, используются для того, чтобы выполнять обработку. Кроме того, может приспосабливаться система пакетной передачи для передачи данных сразу посредством частичного опускания процедур, таких как адресация и попытка ускорения. Кроме того, система шин с использованием линий, которые соединяют модуль управления, запоминающее устройство и модуль ввода-вывода в параллельной и последовательной системе для последовательной передачи данных на побитовой основе, может приспосабливаться в комбинации.

[0174] При этой конфигурации, поскольку модуль 1511 обработки изображений может принимать только необходимые пиксельные сигналы, модуль 1511 обработки изображений может выполнять обработку изображений на высокой скорости, в частности, при формировании изображения низкого разрешения. Кроме того, поскольку, когда арифметической схеме 1415 инструктируется выполнять процесс интегрирования, модуль 1511 обработки изображений не должен выполнять процесс интегрирования, ускорение обработки изображений может быть предпринято посредством функционального разделения и параллельной обработки.

[0175] Микросхема 1111 обработки сигналов имеет запоминающее устройство 1430 тактирования, которое формируется с флэш-RAM и т.п. Запоминающее устройство 1430 тактирования сохраняет параметры управления, к примеру, информацию относительно числа накоплений относительно того, сколько раз должно повторяться накопление электрического заряда для какой единичной группы 1131A и т.п., в ассоциации с информацией, которая идентифицирует единичную группу 1131A и т.п. Любой из параметров управления вычисляется посредством арифметической схемы 1415 отдельного схемного модуля 1450A и т.п. и сохраняется в вышеописанном запоминающем устройстве 1430 тактирования.

[0176] Модуль 1420 управления возбуждением, который выполняет управление накоплением электрического заряда для микросхемы 1113 формирования изображений, дополнительно обращается к запоминающему устройству 1430 тактирования при выполнении управления считыванием. Например, модуль 1420 управления возбуждением обращается к информации относительно числа накоплений каждой единичной группы 1131, чтобы сохранять пиксельный сигнал, выводимый из демультиплексора 1413, в соответствующем адресе пиксельного запоминающего устройства 1414.

[0177] Модуль 1420 управления возбуждением считывает целевой пиксельный сигнал из пиксельного запоминающего устройства 1414 согласно запросу на доставку из модуля 1501 управления системой и передает его в модуль 1511 обработки изображений. Пиксельное запоминающее устройство 1414 имеет пространство в запоминающем устройстве, которое может сохранять пиксельные сигналы, соответствующие максимальному числу интегрирований относительно каждого пиксела, и сохраняет, в качестве пиксельных значений, их соответствующие пиксельные сигналы, соответствующие выполняемому числу накоплений. Например, поскольку, когда накопление электрического заряда повторяется четыре раза в блоке, пикселы, включенные в блок, выводят пиксельные сигналы, которые соответствуют четырем разам, пространство в запоминающем устройстве в пиксельном запоминающем устройстве 1414 для каждого пиксела сохраняет четыре пиксельных значения. После приема, из модуля 1501 управления системой, запроса на доставку, который запрашивает пиксельный сигнал конкретного пиксела, модуль 1420 управления возбуждением указывает адрес конкретного пиксела в пиксельном запоминающем устройстве 1414, считывает все сохраненные пиксельные сигналы и передает их в модуль 1511 обработки изображений. Например, когда сохраняются четыре пиксельных значения, последовательно передаются все четыре пиксельных значения, а когда сохраняется только одно пиксельное значение, передается пиксельное значение.

[0178] Модуль 1420 управления возбуждением может считывать пиксельный сигнал, сохраненный в пиксельном запоминающем устройстве 1414, передавать его в арифметическую схему 1415 и инструктировать арифметической схеме 1415 выполнять вышеописанный процесс интегрирования. Пиксельный сигнал, подвергнутый процессу интегрирования, сохраняется в адресе целевого пиксела пиксельного запоминающего устройства 1414. Адрес целевого пиксела может предоставляться рядом с адресным пространством перед процессом интегрирования или может быть идентичным адресом, так что пиксельный сигнал записывается поверх пиксельного сигнала перед процессом интегрирования. Кроме того, может предоставляться выделенное пространство, которое совместно сохраняет пиксельные значения соответствующих пикселов после процесса интегрирования. После приема, из модуля 1501 управления системой, запроса на доставку, который запрашивает пиксельный сигнал конкретного пиксела, модуль 1420 управления возбуждением может передавать пиксельный сигнал после процесса интегрирования в модуль 1511 обработки изображений в зависимости от формы запроса на доставку. Конечно, пиксельные сигналы до и после процесса интегрирования могут передаваться совместно.

[0179] Как описано выше, выходное межсоединение 1309 предоставляется согласно каждой из единичных групп 1131. Поскольку элемент 1100 формирования изображений формируется посредством расположения слоями микросхемы 1113 формирования изображений, микросхемы 1111 обработки сигналов и микросхемы 1112 запоминающего устройства, выходное межсоединение 1309 может маршрутизироваться без увеличения размера каждой микросхемы в направлении плоскости посредством использования межмикросхемных электрических соединений, которые используют столбиковые выводы 1109 для межсоединения. Аналогично, для сигнальных линий из каждого модуля управления в единичную группу, межсоединение может маршрутизироваться без увеличения размера каждой микросхемы в направлении плоскости посредством использования межмикросхемных электрических соединений, которые используют столбиковые выводы 1109.

[0180] Фиг. 27 показывает один пример функциональных блоков арифметической схемы 1415. Арифметическая схема 1415 вычисляет значение оценки посредством использования пиксельного сигнала, сохраненного в пиксельном запоминающем устройстве 1414 отдельного схемного модуля 1450A, и на основе значения оценки выводит параметр управления для управления экспозицией или считыванием соответствующей единичной группы 1131A. В примере, проиллюстрированном на фиг. 27, арифметическая схема 1415 вычисляет частоту кадров, которая должна применяться к единичной пиксельной группе 1131, на основе разности между средними пиксельных сигналов единичной группы 1131A во временных рядах.

[0181] Арифметическая схема 1415 на фиг. 27 имеет модуль 1452 вычисления средних значений, модуль 1454 хранения средних значений, модуль 1456 вычисления разности и модуль 1458 вычисления частоты кадров. модуль 1452 вычисления средних значений вычисляет среднее значение Ag посредством вычисления простого среднего пиксельных G-сигналов каждого пиксела единичной группы 1131A, которые сохраняются в пиксельном запоминающем устройстве 1414. В этом случае, модуль 1452 вычисления средних значений вычисляет среднее значение Ag кадра в это время с определенными временными интервалами, которые соответствуют предварительно определенной частоте кадров.

[0182] В вышеописанном примере, одно значение для среднего значения Ag вычисляется для каждой единичной группы 1131A и сохраняется в модуле 1454 хранения средних значений. Поскольку вычисляется разность между средними значениями Ag предыдущего и следующего кадров, пространство в запоминающем устройстве, которое сохраняет, по меньшей мере, два значения, предоставляется в модуле 1454 хранения средних значений.

[0183] Модуль 1456 вычисления разности вычисляет разность d между средним значением Ag самого последнего кадра, который сохраняется в модуле 1454 хранения средних значений, и средним значением Ag временно предыдущего кадра. Разность может выводиться в качестве абсолютного значения.

[0184] Модуль 1458 вычисления частоты кадров вычисляет частоту f кадров посредством сравнения разности d, вычисленной посредством модуля 1456 вычисления разности, с предварительно определенным опорным значением d0 и т.п. Здесь, например, таблица, в которой большие межкадровые разности d ассоциированы с более высокими частотами f кадров, сохраняется в модуле 1458 вычисления частоты кадров.

[0185] Модуль 1458 вычисления частоты кадров выводит вычисленную частоту f кадров в модуль 1420 управления возбуждением. Вместо или помимо этого, модуль 1458 вычисления частоты кадров может непосредственно записывать частоту f кадров в запоминающем устройстве 1430 тактирования.

[0186] Фиг. 28 иллюстрирует один пример соответствия между межкадровыми разностями d и частотами f кадров. На фиг. 28, разности между кадрами имеют два опорных значения d0, d1, и согласно значениям обеспечены три уровня частот f0, f1, f2 кадров.

[0187] Когда разность d между кадрами равна или меньше более низкого опорного значения d0, модуль 1458 вычисления частоты кадров выводит наименьшую частоту f0 кадров в качестве частоты f кадров, которая должна применяться к единичной группе 1131A. Кроме того, когда разность d между кадрами составляет между опорным значением d0 и более высоким опорным значением d1, модуль 1458 вычисления частоты кадров выводит промежуточную частоту f1 кадров. Когда разность d между кадрами превышает опорное значение d1, модуль 1458 вычисления частоты кадров выводит наибольшую частоту f2 кадров.

[0188] Здесь, временные интервалы, с которыми арифметическая схема 1415 выполняет вышеописанную последовательность вычисления, предпочтительно задаются равными (1/f0), что соответствует интервалам между кадрами с наименьшей частотой f0 кадров. В силу этого, независимо от частоты кадров, на которой выполняется возбуждение в это время, следующая частота кадров может быть вычислена при тактировании, которое является одинаковым для множества единичных групп 1131A, 1131B и т.п. Кроме того, даже когда возбуждение выполняется на наименьшей частоте f0 кадров, новая частота f кадров может быть вычислена на основе кадров, которые отличаются от кадров, используемых в предыдущем вычислении.

[0189] Фиг. 29 и 30 иллюстрируют один пример изображений, сформированных посредством элемента формирования изображений. Следует отметить, что линии сетки координат в изображении 1170 и изображении 1178 указывают границы единичных групп 1131, но число единичных групп 1131 является просто примером и не ограничивается числом, показанным на чертежах. Кроме того, единичная группа 1131A и т.п. обозначается просто с помощью "A" и т.п. Единичные группы, включающие в себя основной объект 1171, указываются с помощью жирных линий.

[0190] Предполагается, что элемент 1100 формирования изображений, например, получает изображение 1170 на фиг. 29 и изображение 1178 на фиг. 30 в качестве временно последовательных изображений. Если обратиться к единичной группе 1131A на чертежах, единичная группа 1131A включает основной объект 1171 не в изображение 1170 первого кадра, а в изображение 1178 второго кадра. Соответственно, разность d средних значений Ag единичной группы 1131A между изображением 1170 и изображением 1178, которая вычисляется посредством модуля 1452 вычисления средних значений, становится большой.

[0191] В силу этого, модуль 1458 вычисления частоты кадров вычисляет частоту f кадров единичной группы 1131A для и после изображения 1178 как высокую на основе соответствия на фиг. 28. Соответственно, модуль 1420 управления возбуждением возбуждает каждый пиксел единичной группы 1131A для и после изображения 1178 на высокой частоте f2 кадров и т.п. Следовательно, модуль 1420 управления возбуждением может получать пиксельные сигналы объекта, движение которого является большим между временным предыдущим и следующим кадрам, на высокой частоте f2 кадров и т.п.

[0192] Накопление электрического заряда может выполняться многократно в единичных группах 1131, которые возбуждаются на высокой частоте f2 кадров, в то время как накопление электрического заряда выполняется один раз в единичных группах 1131, которые возбуждаются на низкой частоте f0 кадров. Соответственно, число битов в момент, когда оцифровываются пиксельные сигналы единичных групп 1131, возбуждаемых на высокой частоте f2 кадров и т.п., может быть задано выше числа битов для единичных групп 1131, возбуждаемых на низкой частоте f0 кадров. В силу этого, изображение с высокой градацией может быть сформировано из единичных групп 1131, возбуждаемых на высокой частоте f2 кадров и т.п.

[0193] Вместо увеличения числа битов для оцифровки, отношение "сигнал-шум" может улучшаться посредством выполнения обработки изображений для усреднения изображений, полученных на высокой частоте f2 кадров и т.п. В этом случае, сигналы изображений, которые соответствуют нескольким разам, например, четырем разам, получаются из единичных групп 1131, возбуждаемых на высокой частоте f2 кадров, и сохраняются в пиксельном запоминающем устройстве 1414, в то время как накопление электрического заряда выполняется один раз в единичных группах 1131, возбуждаемых на низкой частоте f0 кадров. Арифметическая схема 1415 считывает, из пиксельного запоминающего устройства 1414, множество пиксельных сигналов, полученных для каждого пиксела единичных групп 1131, управляемых на высокой частоте f2 кадров, и усредняет их для соответствующих пикселов. В силу этого, уменьшаются случайные шумы каждого пиксела единичных групп 1131, и может улучшаться отношение "сигнал-шум"

[0194] Вышеописанным способом, частота f кадров может вычисляться быстро и с меньшим количеством мощности, по сравнению с вычислением частоты f кадров каждой единичной группы 1131A и т.п. после получения на следующем этапе, посредством модуля 1511 обработки изображений, пиксельных сигналов всего изображения 1170 и т.п., чтобы оценивать основной объект. Кроме того, даже в случае, если пиксел в любой из единичных групп 1131 подвергается сбоям в межсоединениях, схемах обработки и т.п., частота f кадров может вычисляться быстро и с меньшим количеством электроэнергии для других единичных групп 1131.

[0195] Следует отметить, что модуль 1452 вычисления средних значений на фиг. 27 усредняет пиксельные сигналы G-пикселов в соответствующей единичной группе 1131A. Вместо этого, модуль 1452 вычисления средних значений может вычислять среднее, которое отражает пиксельные сигналы R-пикселов и B-пикселов. Кроме того, модуль 1452 вычисления средних значений может вычислять среднее G-пикселов, среднее R-пикселов и среднее B-пикселов. В этом случае, модуль 1458 вычисления частоты кадров может вычислять частоту f кадров на основе такого условия, превышает или нет что-либо из разности между средними G-пикселов, разности между средними R-пикселов и разности между средними B-пикселов пороговое значение, либо других условий. Кроме того, определение может выполняться на основе результата суммирования среднего G-пикселов, среднего R-пикселов и среднего B-пикселов в предварительно определенном соотношении. Кроме того, средние значения могут вычисляться как средние значения частичной области, помещенные в единичной группе.

[0196] Кроме того, модуль 1452 вычисления средних значений может получать среднее значение Ag единичных групп 1131B, 1131C, 1131D, 1131E и т.п. на периферии единичной группы 1131A, как проиллюстрировано на фиг. 29 и т.д., из арифметической схемы 1415 другого отдельного схемного модуля 1450 и т.п. и учитывать его для среднего значения Ag единичной группы 1131A. Например, средние значения могут быть средневзвешенными. Вместо получения среднего значения Ag единичных групп 1131B, 1131C, 1131D, 1131E и т.п. на периферии единичной группы 1131A из другой арифметической схемы 1415 и т.п., сам модуль 1452 вычисления средних значений может считывать пиксельные сигналы из пиксельного запоминающего устройства 1414 других отдельных схемных модулей 1450B и т.п., чтобы вычислять среднее значение Ag.

[0197] Кроме того, хотя в примере на фиг. 28, имеется два опорных значения разностей и три уровня частот кадров, число опорных значений разностей и число уровней частот кадров не ограничено этим.

[0198] Фиг. 31 показывает один пример функциональных блоков другой арифметической схемы 1416. В примере, проиллюстрированном на фиг. 31, арифметическая схема 1416 вычисляет показатель прореживания, которая должна применяться к единичной пиксельной группе 1131A, на основе контрастности пиксельных сигналов единичной группы 1131A.

[0199] Арифметическая схема 1416 на фиг. 31 имеет модуль 1460 вычисления высокочастотных компонентов, модуль 1462 вычисления суммы и модуль 1464 вычисления показателя прореживания. модуль 1460 вычисления высокочастотных компонентов считывает пиксельный G-сигнал каждого пиксела в единичной группе 1131A, сохраненной в пиксельном запоминающем устройстве 1414, и выполняет обработку фильтрации верхних частот на основе двумерной матрицы, чтобы извлекать пространственный высокочастотный компонент Gh. Аналогично, модуль 1460 вычисления высокочастотных компонентов вычисляет высокочастотный компонент Rh R-пикселов и высокочастотный компонент Bh B-пикселов.

[0200] Модуль 1462 вычисления суммы вычисляет сумму абсолютных значений вышеописанных высокочастотных компонентов Gh, Rh, Bh. Модуль 1464 вычисления показателя прореживания вычисляет показатель прореживания, на которой прореживаются и считываются пикселы, включенные в единичную группу 1131A, на основе вышеописанной суммы. В этом случае, таблица, в которой большие суммы ассоциированы с более низкими показателями прореживания, предпочтительно предварительно сохраняется в модуле 1464 вычисления показателя прореживания. Например, вместо соответствия на фиг. 28, ассоциируются опорные значения сумм и показателей прореживания.

[0201] Например, задается одно опорное значение сумм, и когда сумма превышает опорное значение, прореживание не выполняется, и считываются все пикселы, а когда сумма меньше опорного значения, вычисляется показатель прореживания в 0,5. Модуль 1464 вычисления показателя прореживания выводит вычисленную показатель прореживания в модуль 1420 управления возбуждением. Вместо или помимо этого, модуль 1464 вычисления показателя прореживания может непосредственно записывать показатель прореживания в запоминающем устройстве 1430 тактирования.

[0202] Модуль 1420 управления возбуждением вызывает выполнение вывода сигналов изображений посредством прореживания пикселов, включенных в соответствующую единичную группу 1131, с вышеописанным показателем прореживания, вычисленной посредством модуля 1464 вычисления показателя прореживания. В этом случае, модуль 1420 управления возбуждением получает пиксельные сигналы с разными показателями прореживания посредством отдельного возбуждения набора транзисторов 1303 сброса, транзисторов 1302 переноса и транзисторов 1305 выбора единичных групп 1131, для которых вычислен показатель прореживания в 0,5, и набора транзисторов 1303 сброса, транзисторов 1302 переноса и транзисторов 1305 выбора единичных групп 1131, для которых вычислен показатель прореживания в 0.

[0203] В силу этого, число сигналов может быть уменьшено для единичных групп 1131, которые соответствуют низкоконтрастной области, при поддержании высоким разрешения единичных групп 1131, которые соответствуют высококонтрастной области. Кроме того, в этом случае, показатель прореживания может вычисляться быстро и с меньшим количеством электроэнергии, по сравнению с вычислением показателя прореживания посредством модуля 1511 обработки изображений на следующем этапе. Кроме того, даже в случае, если пиксел в любой из единичных групп 1131 подвергается сбоям в межсоединениях, схемах обработки и т.п., показатель прореживания может вычисляться быстро и с меньшим количеством электроэнергии для других единичных групп 1131.

[0204] Фиг. 32 иллюстрирует пример пикселов 1188, которые должны считываться как группа с показателем прореживания в 0,5 в одной единичной группе. В примере, проиллюстрированном на фиг. 32, когда единичная группа 1132 представляет собой байеровскую матрицу, пикселы 1188, которые должны считываться, и пикселы, которые не должны считываться, задаются для каждой второй байеровской матрицы, т.е. каждые два пиксела попеременно в вертикальном направлении. В силу этого, прореженное считывание может выполняться без потери цветового баланса.

[0205] Хотя в примере на фиг. 32 прореживаются строки, которые должны считываться, вместо этого могут прореживаться столбцы, которые должны считываться. Кроме того, модуль 1460 вычисления высокочастотных компонентов может извлекать длинноволновый компонент в направлении столбцов и направлении строк, и модуль 1464 вычисления показателя прореживания может вычислять показатель прореживания в направлении столбцов и показатель прореживания в направлении строк.

[0206] В конфигурациях на фиг. 31 и 32, модуль 1464 вычисления показателя прореживания вычисляет показатель прореживания соответствующей пиксельной группы. Вместо этого, может быть вычислено число пикселов для суммирования пиксельных сигналов смежных идентичных цветных пикселов. Например, когда сумма, вычисленная посредством модуля 1462 вычисления суммы, равна или превышает опорное значение, число строк становится равным 1, т.е. пиксельные сигналы выводятся без суммирования смежных идентичных цветных пикселов, и когда сумма меньше опорного значения, число строк становится большим, например, двух, и пиксельные сигналы выводятся посредством выполнения суммирования двух смежных строк идентичных цветных пикселов в идентичных столбцах.

[0207] В силу этого, аналогично фиг. 32, общее число сигналов может быть уменьшено при поддержании высоким разрешения высококонтрастной области. Кроме того, вместо суммирования идентичных цветовых пиксельных сигналов в смежных строках, могут суммироваться идентичные цветовые пиксельные сигналы в смежных столбцах. Кроме того, в вышеописанное суммирование может быть включен процесс вычисления среднего посредством деления значения суммы на число суммированных строк или столбцов. Кроме того, могут суммироваться идентичные цветовые пиксельные сигналы в смежных строках и столбцах.

[0208] Следует отметить, что длинноволновые компоненты Rh, Gh, Bh для каждого из R-пикселов, G-пикселов и B-пикселов используются в вышеописанном модуле 1460 вычисления высокочастотных компонентов и т.п. Вместо этого, высокочастотные компоненты могут быть определены посредством использования компонентов сигнала яркости, вычисленных из R-пикселов, G-пикселов и B-пикселов. В этом случае, высокочастотные компоненты могут быть определены после регулирования усилений между компонентами сигнала яркости R-пикселов, G-пикселов и B-пикселов.

[0209] Кроме того, модуль 1462 вычисления суммы может получать высокочастотные компоненты единичных групп 1131B, 1131C, 1131D, 1131E и т.п. на периферии единичной группы 1131A, как проиллюстрировано на фиг. 29 и т.п., из арифметических схем 1416 других отдельных схемных модулей 1450B и т.п. и учитывать их для высокочастотного компонента единичной группы 1131A. Например, средние значения могут быть средневзвешенными. Вместо получения средних значений Ag единичных групп 1131B, 1131C, 1131D, 1131E и т.п. на периферии единичной группы 1131A из других арифметических схем 1416 и т.п., сам модуль 1462 вычисления суммы может считывать пиксельные сигналы из пиксельных запоминающих устройств 1414 других отдельных схемных модулей 1450B и т.п., чтобы вычислять высокочастотный компонент.

[0210] Кроме того, число битов для оцифровки пиксельных сигналов может задаваться большим для пиксельного сигнала единичных групп, которые превышают пороговые значения в модуле 1458 вычисления частоты кадров и модуле 1464 вычисления показателя прореживания, чем для пиксельного сигнала для единичных групп, которые не превышают пороговые значения. Например, схема 1412 аналого-цифрового преобразования может выполнять оцифровку с большим числом битов для идентичного одноразового накопления, согласно инструкции из модуля 1502 возбуждения.

[0211] Фиг. 33 показывает еще один другой пример функциональных блоков арифметической схемы 1417. Арифметическая схема 1417 имеет модуль 1472 вычисления непосредственных средних значений, модуль 1470 вычисления смежных средних значений, модуль 1474 вычисления усиления и модуль 1476 коррекции.

[0212] Модуль 1472 вычисления непосредственных средних значений вычисляет простое среднее пиксельных G-сигналов каждого пиксела в единичной группе 1131A, которое сохраняется в пиксельном запоминающем устройстве 1414, чтобы вычислять среднее значение Ag. Аналогично, модуль 1472 вычисления непосредственных средних значений вычисляет соответствующие простые средние пиксельных R-сигналов и пиксельные B-сигналы каждого пиксела в единичной группе 1131A, которые сохраняются в пиксельном запоминающем устройстве 1414, чтобы вычислять средние значения Ar, Ab. Кроме того, модуль 1472 вычисления непосредственных средних значений выводит средние значения Ag, Ar, Ab единичной группы 1131A в модули 1470 вычисления смежных средних значений периферийных единичных групп 1131B и т.п.

[0213] Модуль 1470 вычисления смежных средних значений получает средние значения Ag, Ar, Ab из модуля 1472 вычисления непосредственных средних значений, соответствующего другим единичным группам 1131B, 1131C, 1131D, 1131E, смежным с единичной группой 1131A, и вычисляет их взвешенное среднее. Модуль 1474 вычисления усиления вычисляет, для каждого из RGB, взвешенное среднее средних значений Ag, Ar, Ab, вычисленных посредством модуля 1472 вычисления непосредственных средних значений, и средних значений Ag, Ar, Ab, вычисленных посредством модуля 1470 вычисления смежных средних значений, и на основе их отношения вычисляет усиления пиксельных R-сигналов и пиксельных B-сигналов относительно пиксельных G-сигналов. В этом случае, например, взвешенное усреднение выполняется посредством использования взвешивания в 4/8 для среднего значения единичной группы 1131A и взвешивания в 1/8 для среднего значения смежной единичной группы 1131B и т.п.

[0214] Усиления пиксельных R-сигналов и пиксельных B-сигналов передаются в качестве дополнительной информации в модуль 1501 управления системой через интерфейсную схему 1418. Следует отметить, что вместо получения средних значений Ag единичных групп 1131B, 1131C, 1131D, 1131E и т.п. на периферии единичной группы 1131A из арифметических схем 1417 других отдельных схемных модулей 1450B и т.п., сам модуль 1470 вычисления смежных средних значений может считывать пиксельные сигналы из пиксельных запоминающих устройств 1414 других отдельных схемных модулей 1450B и т.п., чтобы вычислять средние значения Ag и т.п.

[0215] Модуль 1476 коррекции корректирует пиксельные R-сигналы и пиксельные B-сигналы посредством использования усилений, вычисленных посредством модуля 1474 вычисления усиления, и записывает их в пиксельном запоминающем устройстве 1414. В этом случае, модуль 1476 коррекции умножает отдельные пиксельные R-сигналы на усиление для пиксельных R-сигналов и умножает отдельные пиксельные B-сигналы на усиление для пиксельных B-сигналов. Следует отметить, что модуль 1476 коррекции дополнительно может корректировать усиления посредством получения информации обратной связи из модуля 1501 управления системой.

[0216] Фиг. 34 схематично иллюстрирует взаимосвязь между усилениями и пиксельными сигналами. Операции вычисления усилений и коррекции пиксельных сигналов предпочтительно выполняются, например, для каждого кадра на частоте f0 кадров, т.е. каждые (1/f0) секунд. Как проиллюстрировано на фиг. 34, усиление пиксельных R-сигналов и усиление пиксельных B-сигналов вычисляются каждые (1/f0) секунд, и выходное значение пиксельных R-сигналов и выходное значение пиксельных B-сигналов корректируется. Вышеописанным способом, пиксельные сигналы могут быть скорректированы быстро и с меньшим количеством мощности, по сравнению с вычислением усиления и коррекцией пиксельных сигналов посредством модуля 1511 обработки изображений на следующем этапе.

[0217] В вышеописанном варианте осуществления, каждый из модуля 1441 управления датчика, модуля 1442 поблочного управления, модуля 1443 управления синхронизацией, модуля 1444 управления сигналами и модуля 1420 управления возбуждением обеспечен для каждой из микросхем 1111 обработки сигналов, и отдельные схемные модули 1450A, 1450B, 1450C, 1450D, 1450E обеспечены для единичных групп 1131A, 1131B, 1131C, 1131D, 1131E, соответственно. Вместо этого, множество из модуля 1441 управления датчика, модуля 1442 поблочного управления, модуля 1443 управления синхронизацией, модуля 1444 управления сигналами и модуля 1420 управления возбуждением может предоставляться для каждой микросхемы 1111 обработки сигналов, и каждый из них может совместно использовать роль управления множеством единичных групп 1131.

[0218] Кроме того, отдельный схемный модуль 1450A и т.п. может предоставляться для множества единичных групп 1131 и может совместно использоваться посредством множества единичных групп 1131. Отдельный схемный модуль 1450A и т.п. может предоставляться для пикселов. Иными словами, в вышеописанном варианте осуществления, единичная группа 1131 может включать в себя один пиксел.

[0219] Фиг. 35 является видом в сечении другого элемента 2100 формирования изображений согласно настоящему варианту осуществления. Элемент 2100 формирования изображений включает в себя микросхему 2113 формирования изображений, которая выводит пиксельный сигнал, соответствующий падающему свету, микросхему 2111 обработки сигналов, которая обрабатывает пиксельный сигнал, и микросхему 2112 запоминающего устройства, которая сохраняет пиксельный сигнал. Эти микросхема 2113 формирования изображений, микросхема 2111 обработки сигналов и микросхема 2112 запоминающего устройства располагаются слоями и электрически соединяются между собой через проводящие столбиковые выводы 2109, к примеру, Cu.

[0220] Следует отметить, что как проиллюстрировано, падающий свет падает, главным образом, в положительном направлении по оси Z, которое указывается с помощью обведенной стрелки. В этом подробном описании, поверхность микросхемы 2113 формирования изображений на стороне, на которую падает падающий свет, называется задней стороной. Кроме того, как указано с помощью осей координат, направление влево на чертеже, которое является ортогональным к оси Z, упоминается в качестве положительного направления по оси X, а направление вперед на чертеже, которое является ортогональным к осям Z и X, упоминается в качестве положительного направления по оси Y. На нескольких чертежах, упомянутых ниже, оси координат отображаются таким образом, что ориентация каждого чертежа может быть известной на основе осей координат на фиг. 35.

[0221] Один пример микросхемы 2113 формирования изображений представляет собой МОП-датчик изображений с освещением с задней стороны. PD-слой 2106 располагается на задней стороне слоя 2108 межсоединений. PD-слой 2106 имеет множество PD 2104 (фотодиодов), которые двумерно располагаются, накапливают электрические заряды согласно падающему свету и формируют пиксельные сигналы согласно накопленным электрическим зарядам, и транзисторов 2105, обеспеченных согласно PD 2104.

[0222] Цветные светофильтры 2102 обеспечены на стороне падения падающего света PD-слоя 2106 через пассивирующую пленку 2103. Предусмотрено множество типов цветных светофильтров 2102, которые дают возможность прохождения взаимно различных диапазонов длин волн, и цветные светофильтры 2102 упорядочиваются, в частности, согласно соответствующим PD 2104. Ниже описываются матрицы цветных светофильтров 2102. Набор из цветного светофильтра 2102, PD 2104 и транзистора 2105 формирует один пиксел.

[0223] Микролинза 2101 предоставляется согласно каждому пикселу на стороне падения падающего света цветного светофильтра 2102. Микролинза 2101 конденсирует падающий свет к соответствующему PD 2104.

[0224] Слой 2108 межсоединений имеет межсоединения 2107, которые передают пиксельный сигнал из PD-слоя 2106 в микросхему 2111 обработки сигналов. Межсоединение 2107 может быть многослойным и может быть снабжено пассивным элементом и активным элементом.

[0225] Множество столбиковых выводов 2109 располагается на поверхности слоя 2108 межсоединений. Множество столбиковых выводов 2109 совмещается с множеством столбиковых выводов 2109, которые обеспечены на противостоящей поверхности микросхемы 2111 обработки сигналов, и, например, микросхема 2113 формирования изображений и микросхема 2111 обработки сигналов прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 2109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0226] Аналогично, множество столбиковых выводов 2109 располагается на взаимно противостоящих поверхностях микросхемы 2111 обработки сигналов и микросхемы 2112 запоминающего устройства. Эти столбиковые выводы 2109 совмещаются друг с другом, и, например, микросхема 2111 обработки сигналов и микросхема 2112 запоминающего устройства прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 2109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0227] Следует отметить, что соединение между столбиковыми выводами 2109 не ограничивается соединением столбиковых выводов из Cu посредством диффузии из твердой фазы, и может применяться соединение столбиковых микровыводов посредством припойного соединения. Кроме того, приблизительно один столбиковый вывод 2109 может предоставляться, например, для каждого пиксельного блока, описанного ниже. Соответственно, размер столбиковых выводов 2109 может превышать шаг PD 2104. Кроме того, в периферийной области, отличной от области формирования изображений, в которой упорядочиваются пикселы, также может предоставляться столбиковый вывод, который превышает столбиковые выводы 2109, соответствующие области формирования изображений.

[0228] Микросхема 2111 обработки сигналов имеет TSV 2110 (переходное отверстие в кремнии), которое соединяет схемы, которые обеспечены на передней стороне и задней стороне, соответственно. TSV 2110 предпочтительно предоставляется в периферийной области. Кроме того, TSV 2110 также может предоставляться в периферийной области микросхемы 2113 формирования изображений и микросхемы 2112 запоминающего устройства.

[0229] Фиг. 36 является схемой для пояснения пиксельной матрицы и пиксельного блока 2131 микросхемы 2113 формирования изображений. Фиг. 36 показывает строение микросхемы 2113 формирования изображений, наблюдаемое с задней стороны. Матрица множества пикселов упорядочивается в области 2700 формирования изображений. Область 2700 формирования изображений имеет множество пиксельных блоков 2131, которые формируются посредством разделения множества пикселов в направлениях строк и столбцов. Каждый пиксельный блок 2131 имеет m (n) пикселов в направлениях строк и столбцов. Здесь, m и n являются целыми числами, которые равны или больше двух. Кроме того, направления строк и столбцов означают два различных направления в плоскости области 2700 формирования изображений и не обязательно могут быть ортогональными друг другу. На фиг. 36, смежные четыре пиксела (четыре пиксела, 16 пикселов) формируют один пиксельный блок 2131. Линии сетки координат на чертеже показывают такой принцип, что смежные пикселы группируются с возможностью формировать пиксельный блок 2131. Число пикселов, которые формируют пиксельный блок 2131, не ограничено этим, и может составлять приблизительно 1000, например, тридцать два пиксела (шестьдесят четыре пиксела либо больше или меньше).

[0230] Как проиллюстрировано в частично укрупненном виде области 2700 формирования изображений, пиксельный блок 2131 включает в себя, в верхней левой, верхней правой, нижней левой и нижней правой частях, четыре так называемых байеровских матрицы, каждая из которых включает в себя четыре пиксела, включая пикселы Gb, Gr зеленого цвета, пиксел B синего цвета и пиксел R красного цвета. Пикселы зеленого цвета имеют зеленые светофильтры в качестве цветных светофильтров 2102 и принимают свет в диапазоне длин волн зеленого цвета падающего света. Аналогично, пиксел синего цвета имеет синий светофильтр в качестве цветного светофильтра 2102 и принимает свет в диапазоне длин волн синего цвета, и пиксел красного цвета имеет красный светофильтр в качестве цветного светофильтра 2102 и принимает свет в диапазоне длин волн красного цвета.

[0231] В настоящем варианте осуществления, по меньшей мере, один пиксельный блок выбирается из множества пиксельных блоков 2131, и пикселы, включенные в каждый пиксельный блок, управляются с параметрами управления, которые отличаются от параметров управления для других пиксельных блоков. Примеры параметров управления включают в себя частоту кадров, показатель прореживания, число суммированных строк, пиксельные сигналы которых суммируются, период или число накоплений электрических зарядов, число битов для оцифровки и т.п. Кроме того, параметры управления могут представлять собой параметры при обработке изображений, выполняемой после получения сигналов изображений из пиксела. Частота кадров означает цикл формирования пиксельных сигналов. Следует отметить, что в этом подробном описании, частота кадров может означать частоты кадров соответствующих пиксельных блоков 2131. Например, опорная частота кадров и высокая частота кадров означают частоты кадров соответствующих пиксельных блоков 2131.

[0232] Фиг. 37 является схематическим видом, который соответствует пиксельному блоку 2131 микросхемы 2113 формирования изображений. На чертеже прямоугольник, который указывается с помощью пунктирных линий, типично представляет схему, которая соответствует одному пикселу. Следует отметить, что, по меньшей мере, часть каждого транзистора, поясненного ниже, соответствует транзистору 2105 на фиг. 35.

[0233] Хотя на фиг. 37 проиллюстрирован пиксельный блок 2131, сформированный с 16 пикселами, число пикселов пиксельного блока 2131 не ограничено этим. 16 PD 2104, которые соответствуют надлежащим пикселам, соединяются с соответствующими транзисторами 2302 переноса, и затвор каждого транзистора 2302 переноса соединяется с TX межсоединением 2307, в которое подаются импульсы переноса. В примере, проиллюстрированном на фиг. 37, TX межсоединение 2307 соединяется совместно с 16 транзисторами 2302 переноса.

[0234] Сток каждого транзистора 2302 переноса соединяется с истоком соответствующего транзистора 2303 сброса, а также так называемая плавающая диффузионная область FD между стоком транзистора 2302 переноса и истоком транзистора 2303 сброса соединяется с затвором усиливающего транзистора 2304. Сток транзистора 2303 сброса соединяется с Vdd межсоединением 2310, в которое подается напряжение питания, и его затвор соединяется с межсоединением 2306 сброса, в которое подаются импульсы сброса. В примере, проиллюстрированном на фиг. 37, межсоединение 2306 сброса соединяется совместно с 16 транзисторами 2303 сброса.

[0235] Сток каждого усиливающего транзистора 2304 соединяется с Vdd межсоединением 2310, в которое подается напряжение питания. Кроме того, исток каждого усиливающего транзистора 2304 соединяется со стоком соответствующего транзистора 2305 выбора. Затвор каждого транзистора выбора соединяется с межсоединением 2308 декодера, в которое подаются импульсы выбора. В примере, проиллюстрированном на фиг. 37, межсоединение 2308 декодера предоставляется независимо для каждого из 16 транзисторов 2305 выбора. Затем, исток каждого транзистора выбора 2305 соединяется с общим выходным межсоединением 2309. Источник 2311 тока нагрузки подает ток в выходное межсоединение 2309. Иными словами, выходное межсоединение 2309 для транзисторов 2305 выбора формируется посредством истокового повторителя. Следует отметить, что источник 2311 тока нагрузки может предоставляться на стороне микросхемы 2113 формирования изображений или на стороне микросхемы 2111 обработки сигналов.

[0236] Здесь, поясняется последовательность операций от начала накопления электрического заряда до вывода пикселов после завершения накопления. Когда импульсы сброса применяются к транзистору 2303 сброса через межсоединение 2306 сброса, и одновременно импульсы переноса применяются к транзистору 2302 переноса через TX межсоединение 2307, сбрасывается потенциал PD 2104 и плавающей диффузионной области FD.

[0237] Когда применение импульсов переноса прекращается, PD 2104 преобразует принимаемый падающий свет в электрические заряды, которые затем накапливаются. После этого, когда импульсы переноса применяются снова в состоянии, в котором импульсы сброса не применяются, накопленные электрические заряды переносятся в плавающую диффузионную область FD, и потенциал плавающей диффузионной области FD изменяется с потенциала сброса на потенциал сигнала после накопления электрического заряда. Затем, когда импульсы выбора применяются к транзистору 2305 выбора через межсоединение 2308 декодера, изменение в потенциале сигнала плавающей диффузионной области FD передается в выходное межсоединение 2309 через усиливающий транзистор 2304 и транзистор 2305 выбора. В силу этого, пиксельные сигналы, соответствующие потенциалу сброса и потенциалу сигнала, выводятся из единичного пиксела в выходное межсоединение 2309.

[0238] В примере, проиллюстрированном на фиг. 37, межсоединение 2306 сброса и TX межсоединение 2307 являются общими для 16 пикселов, которые формируют пиксельный блок 2131. Иными словами, импульсы сброса и импульсы переноса, соответственно, применяются одновременно ко всем 16 пикселам. Соответственно, все пикселы, которые формируют пиксельный блок 2131, начинают накопление электрического заряда при одном и том же тактировании и завершают накопление электрического заряда при одном и том же тактировании. Тем не менее, следует отметить, что пиксельные сигналы, которые соответствуют накопленным электрическим зарядам, выводятся избирательно в выходное межсоединение 2309 при последовательном применении импульсов выбора к соответствующим транзисторам 2305 выбора. Кроме того, межсоединение 2306 сброса, TX межсоединение 2307 и выходное межсоединение 2309 обеспечены отдельно для каждого пиксельного блока 2131.

[0239] Посредством конфигурирования схемы на основе пиксельного блока 2131 таким способом, период накопления электрического заряда может управляться для каждого пиксельного блока 2131. Другими словами, смежным пиксельным блокам 2131 может инструктироваться выводить пиксельные сигналы в течение различных периодов накопления электрического заряда. Кроме того, посредством инструктирования одному пиксельному блоку 2131 повторять накопление электрического заряда несколько раз и выводить пиксельный сигнал каждый раз в момент, когда другому пиксельному блоку 2131 инструктируется выполнять накопление электрического заряда один раз, этим пиксельным блокам 2131 может инструктироваться выводить соответствующие кадры для движущегося изображения на различных частотах кадров. Следует отметить, что, по меньшей мере, часть каждого транзистора и каждого межсоединения, которые проиллюстрированы на фиг. 37, выступает в качестве схемы считывания, которая считывает пиксельные сигналы, выводимые из каждого пиксела. Схема считывания предоставляется для каждого пиксела. Часть конфигурации схемы считывания для каждого пиксела, к примеру, межсоединения, может совместно использоваться пикселами.

[0240] Фиг. 38 иллюстрирует часть конфигурации элемента 2100 формирования изображений и его примеры работы. Элемент 2100 формирования изображений в настоящем примере дополнительно имеет модуль 2114 хранения в дополнение к конфигурации, проиллюстрированной на фиг. 35. Следует отметить, что модуль 2114 хранения может предоставляться для микросхемы 2111 обработки сигналов. В этом случае, элемент 2100 формирования изображений не должен иметь микросхему 2112 запоминающего устройства. Кроме того, модуль 2114 хранения может предоставляться для микросхемы 2112 запоминающего устройства.

[0241] Микросхема 2113 формирования изображений имеет область 2700 формирования изображений, в которую помещаются множество пикселов, которые, соответственно, формируют пиксельные сигналы согласно падающему свету. Для удобства пояснения, на фиг. 38 проиллюстрированы три (в направлении строк) (три (в направлении столбцов)) пиксельных блока 2131. Числа пикселов, включенных в каждый пиксельный блок 2131, предпочтительно являются одними и теми же. Кроме того, число пикселов, включенных в каждый пиксельный блок 2131 в области 2700 формирования изображений, является фиксированным.

[0242] Микросхема 2111 обработки сигналов в настоящем примере имеет, для каждого пиксельного блока 2131, мультиплексор 2411, аналого-цифровой преобразователь 2412, демультиплексор 2413, модуль 2740 управления и арифметическую схему 2415. Мультиплексор 2411 последовательно выбирает пикселы, включенные в соответствующий пиксельный блок 2131, и вводит пиксельный сигнал, соответствующий выбранным пикселам, в аналого-цифровой преобразователь 2412. Аналого-цифровой преобразователь 2412 преобразует аналоговые пиксельные сигналы в цифровые пиксельные данные и вводит их в демультиплексор 2413. Демультиплексор 2413 инструктирует области хранения, соответствующей пикселу, сохранять пиксельные данные в соответствующем блоке 2730 хранения. Соответствующие блоки 2730 хранения передают сохраненные пиксельные данные в арифметическую схему 2415 на следующем этапе.

[0243] Модуль 2114 хранения предоставляется согласно множеству пиксельных блоков 2131 и имеет множество блоков 2730 хранения, которые могут сохранять пиксельные данные надлежащих соответствующих пиксельных блоков 2131. Блок 2730 хранения соответствует "один-к-одному" пиксельному блоку 2131. Блок 2730 хранения может соединяться с соответствующим пиксельным блоком 2131 через шину 2720. Блок 2730 хранения может представлять собой буферное запоминающее устройство.

[0244] Кроме того, по меньшей мере, часть блока 2730 хранения может сохранять пиксельные данные пиксельного блока, отличного от соответствующего пиксельного блока 2131. Иными словами, один блок 2730 хранения может совместно использоваться посредством множества пиксельных блоков 2131. Другими словами, модуль 2740 управления может инструктировать сохранение пиксельных данных одного пиксельного блока 2131 во множестве блоков 2730 хранения. Поскольку множество блоков 2730 хранения может эффективно использоваться посредством совместного использования блоков 2730 хранения, как описано ниже, может подавляться емкость запоминающего устройства всего модуля 2114 хранения.

[0245] Следует отметить, что касательно всех пиксельных блоков 2131, предпочтительно пиксельные данные могут записываться и считываться в/из, по меньшей мере, одного другого блока 2730 хранения, отличного от соответствующего блока 2730 хранения. Другой блок 2730 хранения может быть предварительно определен для каждого пиксельного блока 2131 или может быть динамически изменяемым. Также касательно всех блоков 2730 хранения, предпочтительно пиксельные данные записываются и считываются в/из, по меньшей мере, одного другого пиксельного блока 2131, отличного от соответствующего пиксельного блока 2131. Другой пиксельный блок 2131 может быть предварительно определен для каждого блока 2730 хранения или может быть динамически изменяемым.

[0246] Следует отметить, что каждый блок 2730 хранения может представлять собой запоминающее устройство, которое предоставляется для каждого пиксельного блока 2131 в области микросхемы 2111 обработки сигналов, которая перекрывается с соответствующим пиксельным блоком 2131. Иными словами, блок 2730 хранения может предоставляться в области непосредственно ниже соответствующего пиксельного блока 2131 в микросхеме 2111 обработки сигналов. В этом случае, пиксельный блок 2131 и блок 2730 хранения могут быть электрически подключены через TSV. Кроме того, соответствующий блок 2730 хранения, аналого-цифровой преобразователь 2412, арифметическая схема 2415 и т.п. обеспечены в вышеописанной области микросхемы 2111 обработки сигналов, которая перекрывается с каждым пиксельным блоком 2131. Кроме того, каждый блок 2730 хранения может представлять собой запоминающее устройство, которое предоставляется за пределами области микросхемы 2111 обработки сигналов, которая перекрывается с областью 2700 формирования изображений.

[0247] Кроме того, когда соответствующий блок 2730 хранения, аналого-цифровой преобразователь 2412 и арифметическая схема 2415 обеспечены в области, которая перекрывается с соответствующим пиксельным блоком 2131, и когда соответствующий блок 2730 хранения сохраняет пиксельные данные пиксельного блока 2131, отличного от соответствующего пиксельного блока 2131, аналоговый пиксельный сигнал или цифровые пиксельные данные могут быть переданы в область, в которой предоставляется блок 2730 хранения. В первом случае, аналого-цифровой преобразователь 2412, который соответствует блоку 2730 хранения, преобразует пиксельный сигнал в пиксельные данные и вводит их в блок 2730 хранения. Во втором случае, пиксельный сигнал преобразуется в пиксельные данные в аналого-цифровом преобразователе 2412 в области, которая перекрывается с пиксельным блоком 2131, и затем пиксельные данные передаются в блок 2730 хранения, в котором должны сохраняться пиксельные данные. Межсоединения для передачи этих пиксельных сигналов или пиксельных данных обеспечены в микросхеме 2111 обработки сигналов.

[0248] Арифметическая схема 2415, описанная ниже, обрабатывает пиксельные данные, сохраненные в блоке 2730 хранения, и передает их в модуль 2511 обработки изображений на следующем этапе. Арифметическая схема 2415 может предоставляться в микросхеме 2111 обработки сигналов. Следует отметить, что хотя на чертеже проиллюстрированы соединения для одного пиксельного блока 2131, соединения фактически существуют для каждого пиксельного блока 2131 и работают параллельно. Арифметическая схема 2415 предпочтительно предоставляется для каждого пиксельного блока 2131.

[0249] Как описано выше, выходное межсоединение 2309 предоставляется согласно каждому из пиксельных блоков 2131. Поскольку элемент 2100 формирования изображений формируется посредством расположения слоями микросхемы 2113 формирования изображений, микросхемы 2111 обработки сигналов и модуля 2114 хранения, выходное межсоединение 2309 может маршрутизироваться без увеличения размера каждой микросхемы в направлении плоскости посредством использования межмикросхемных электрических соединений, которые используют столбиковые выводы 2109 для межсоединения.

[0250] Следует отметить, что информация частоты относительно частоты кадров каждого пиксельного блока 2131 предоставляется в модуль 2740 управления модуль 2740 управления выбирает блок 2730 хранения, который должен сохранять пиксельные данные пиксельного блока 2131 с высокой частотой кадров, на основе информации частоты. Например, модуль 2740 управления выбирает блок 2730 хранения, который соответствует пиксельному блоку 2131 с опорной частотой кадров, в качестве блока 2730 хранения, который должен сохранять пиксельные данные.

[0251] Следует отметить, что в примере, проиллюстрированном на чертежах, арифметическая схема 2415 предоставляется для каждого пиксельного блока 2131, включающего в себя множество пикселов. Тем не менее, арифметическая схема 2415 может предоставляться для одного пиксела. Следует отметить, что арифметическая схема 2415 может не предоставляться для всех пикселов. Другими словами, по меньшей мере, первый пиксел и второй пиксел располагаются в области 2700 формирования изображений, и элемент 2100 формирования изображений имеет, по меньшей мере, первую арифметическую схему 2415, которая соответствует первому пикселу, и вторую арифметическую схему 2415, которая соответствует второму пикселу.

[0252] Первый пиксельный сигнал, выводимый посредством первого пиксела, считывается посредством первой схемы считывания, и второй пиксельный сигнал, выводимый посредством второго пиксела, считывается посредством второй схемы считывания. Первая арифметическая схема 2415 вычисляет первое значение оценки на основе первого пиксельного сигнала, выводимого посредством первого пиксела, и передает его в модуль 2511 обработки изображений на следующем этапе. Вторая арифметическая схема 2415 вычисляет второе значение оценки на основе второго пиксельного сигнала, выводимого посредством второго пиксела, и передает его в модуль 2511 обработки изображений на следующем этапе. Здесь, значение оценки получается посредством выполнения предварительно определенного вычисления посредством использования значения пиксельного сигнала. Например, значение оценки может представлять собой разность между или среднее значения пиксельного сигнала, выводимого посредством предварительно определенного пиксела, и значения смежного пиксельного сигнала, выводимого посредством смежного пиксела, смежного с вышеуказанным пикселом. Кроме того, значение оценки, например, может представлять собой разность между или среднее значений множества пиксельных сигналов, выводимых посредством предварительно определенного пиксела в различных кадрах. Различные параметры могут быть использованы для вычисления.

[0253] Фиг. 39 является блок-схемой, иллюстрирующей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления. Устройство 2500 формирования изображений включает в себя линзу 2520 для формирования изображений в качестве оптической системы формирования изображений, и линза 2520 для формирования изображений направляет световой поток объекта, который падает вдоль оптической оси OA, на элемент 2100 формирования изображений. Линза 2520 для формирования изображений может представлять собой сменную линзу, которая может присоединяться/отсоединяться к/от устройства 2500 формирования изображений. Устройство 2500 формирования изображений включает в себя, главным образом, элемент 2100 формирования изображений, модуль 2501 управления системой, модуль 2502 возбуждения, фотометрический модуль 2503, оперативное запоминающее устройство 2504, модуль 2505 записи и модуль 2506 отображения.

[0254] Линза 2520 для формирования изображений конфигурируется с множеством групп оптических линз и формирует изображение светового потока объекта из сцены около своей фокальной плоскости. Следует отметить, что, на фиг. 35, линза 2520 для формирования изображений типично показывается с помощью одной виртуальной линзы, которая помещается около зрачка. Модуль 2502 возбуждения представляет собой схему управления, которая выполняет управление накоплением электрического заряда, к примеру, управление тактированием и управление областями для элемента 2100 формирования изображений согласно инструкциям из модуля 2501 управления системой. В этом смысле, можно сказать, что модуль 2502 возбуждения выполняет функции модуля управления элемента формирования изображений, который инструктирует элементу 2100 формирования изображений выполнять накопление электрического заряда и выводить пиксельные сигналы.

[0255] Элемент 2100 формирования изображений передает пиксельные сигналы в модуль 2511 обработки изображений модуля 2501 управления системой. Модуль 2511 обработки изображений выполняет различные типы обработки изображений посредством использования оперативного запоминающего устройства 2504 в качестве рабочего пространства и формирует данные изображений. Модуль 2511 обработки изображений на следующем этапе для первой и второй арифметических схем 2415 выполняет обработку изображений на первых пиксельных данных изображения, которое соответствует первому пиксельному сигналу, на основе первого значения оценки, принимаемого из первой арифметической схемы 2415, и выполняет обработку изображений на вторых пиксельных данных изображения, которое соответствует второму пиксельному сигналу, на основе второго значения оценки, принимаемого из второй арифметической схемы 2415. Например, когда формируются данные изображений в JPEG-формате файла, процессы сжатия выполняются после того, как цветовые видеосигналы формируются из сигналов, получаемых из байеровских матриц. Сформированные данные изображений записываются в модуль 2505 записи и преобразуются в сигналы для отображения и отображаются на модуле 2506 отображения в течение предварительно установленного периода времени. Следует отметить, что модуль 2511 обработки изображений может предоставляться в элементе 2100 формирования изображений или может предоставляться в модуле 2501 управления системой, внешнем для элемента 2100 формирования изображений. Кроме того, модуль 2511 обработки изображений может предоставляться для каждого пиксела или может предоставляться для каждого пиксельного блока 2131, включающего в себя множество пикселов.

[0256] Фотометрический модуль 2503 определяет распределение яркости сцены до последовательности формирования изображений для формирования данных изображений. Фотометрический модуль 2503 включает в себя AE-датчик, например, приблизительно из одного миллиона пикселов. Вычислительный модуль 2512 модуля 2501 управления системой вычисляет яркость соответствующих областей в сцене после приема вывода фотометрического модуля 2503. Вычислительный модуль 2512 определяет скорость срабатывания затвора, значение раскрытия диафрагмы и ISO-скорость согласно вычисленному распределению яркости. Элемент 2100 формирования изображений может выполнять вторую функцию в качестве фотометрического модуля 2503. Следует отметить, что вычислительный модуль 2512 выполняет различные типы вычисления для управления устройством 2500 формирования изображений.

[0257] Модуль 2502 возбуждения может быть частично или полностью установлен на микросхеме 2113 формирования изображений либо частично или полностью установлен на микросхеме 2111 обработки сигналов. модуль 2501 управления системой может быть частично установлен на микросхеме 2113 формирования изображений или микросхеме 2111 обработки сигналов. Следует отметить, что в устройстве 2500 формирования изображений в настоящем примере, по меньшей мере, часть функций обработки изображений модуля 2511 обработки изображений обеспечены для элемента 2100 формирования изображений.

[0258] Фиг. 40 является функциональной блок-схемой модуля обработки изображений. Модуль 2511 обработки изображений в настоящем примере извлекает пиксельные блоки 2131, которые работают на опорной частоте кадров (периферийную область 2176, описанную ниже), и пиксельные блоки 2131, которые работают на высокой частоте кадров (исследуемую область 2172, описанную ниже). Модуль 2511 обработки изображений имеет, в дополнение к вышеописанным функциям, модуль 2150 оценки объектов, модуль 2152 выбора групп, модуль 2154 формирования движущихся изображений и модуль 2156 синтезирования движущихся изображений. Ниже описывается каждая из этих функций.

[0259] Фиг. 41 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение. Фиг. 42 и 43 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений. Фиг. 44 иллюстрирует взаимосвязь между соответствующими частотами кадров и тактированием вывода сигналов изображений.

[0260] Операции на фиг. 41 начинаются, когда пользователь инструктирует устройству 2500 формирования изображений формировать движущееся изображение, например, посредством нажатия кнопки записи. Во-первых, модуль 2150 оценки объектов возбуждает модуль 2502 возбуждения, чтобы получать данные изображений на основе сигналов изображений из элемента 2100 формирования изображений и оценивать основной объект, включенный в изображение, указываемое посредством данных изображений (этап S2100).

[0261] В этом случае, модуль 2502 возбуждения предпочтительно инструктирует вывод изображений из пиксельных блоков 2131, включенных во всю область формирования изображений, например, всех пиксельных блоков 2131. Кроме того, модуль 2502 возбуждения может инструктировать вывод сигналов изображений из всех пикселов, включенных в каждый пиксельный блок 2131, или инструктирует вывод изображений из пикселов, которые прореживаются с предварительно определенным показателем прореживания. Модуль 2150 оценки объектов сравнивает множество изображений, полученных из элемента 2100 формирования изображений, во временных рядах и идентифицирует движущийся объект в качестве основного объекта. Следует отметить, что другой способ может быть использован для того, чтобы оценивать основной объект.

[0262] Например, когда модуль 2150 оценки объектов получает изображение 2170 на фиг. 42 и изображение 2178 на фиг. 43 из элемента 2100 формирования изображений в качестве временно последовательных изображений, на основе разностей между ними модуль 2150 оценки объектов идентифицирует ребенка в качестве основного объекта 2171. Следует отметить, что линии сетки координат в изображении 2170 и изображении 2178 указывают границы пиксельных блоков 2131, но число пиксельных блоков 2131 является просто примером и не ограничивается числом, показанным на чертежах.

[0263] Модуль 2152 выбора групп выбирает, по меньшей мере, один пиксельный блок 2131, на который падает свет от изображения основного объекта 2171, оцененного посредством модуля 2150 оценки объектов (этап S2102). Например, пиксельные блоки 2131 включающие в себя, по меньшей мере, часть основного объекта 2171, выбираются в изображении 2170. Кроме того, с учетом того, что основной объект 2171 перемещается в области формирования изображений, модуль 2152 выбора групп предпочтительно выбирает пиксельные блоки 2131, которые дополнительно окружают пиксельные блоки 2131, включающие в себя, по меньшей мере, часть основного объекта 2171.

[0264] Модуль 2152 выбора групп обрабатывает набор этих выбранных пиксельных блоков 2131 в качестве исследуемой области 2172. Кроме того, модуль 2152 выбора групп обрабатывает, в качестве периферийной области 2176, набор пиксельных блоков 2131, не включенных в исследуемую область 2172 во всей области формирования изображений. Модуль 2152 выбора групп идентифицирует информацию 2174 области, которая указывает диапазон исследуемой области 2172 относительно всей области формирования изображений.

[0265] В примере, проиллюстрированном на фиг. 42, исследуемая область 2172 представляет собой прямоугольную область, включающую в себя всего 28 пиксельных блоков 2131 (семь в горизонтальном направлении (четыре в вертикальном направлении)). С другой стороны, периферийная область 2176 включает в себя 98 пиксельных блоков 2131, исключая исследуемую область 2172 всего из 126 пиксельных блоков 2131 (21 в горизонтальном направлении (шесть в вертикальном направлении)), которые составляют область формирования изображений. Кроме того, позиция (9, 2) исследуемой области 2172 в области формирования изображений, которая подсчитывается от левой стороны и верхней стороны верхнего левого конечного пиксельного блока 2131 на чертеже, идентифицируется в качестве информации 2174 области. Кроме того, числа в горизонтальных и вертикальных направлениях, 7 (4), исследуемой области 2172 идентифицируются в качестве информации размера.

[0266] Модуль 2152 выбора групп передает информацию для идентификации пиксельных блоков 2131, включенной в исследуемую область 2172, и информацию для идентификации периферийной области 2176 в модуль 2502 возбуждения. В этом случае, информация относительно частот кадров, которая должна применяться к исследуемой области 2172 и периферийной области 2176, соответственно, передается совместно. Здесь, частота кадров, которая должна применяться к исследуемой области 2172, предпочтительно выше частоты кадров, которая должна применяться к периферийной области 2176. Например, когда частота кадров, которая должна применяться к периферийной области 2176, составляет 60 кадров/с, частота кадров, которая должна применяться к исследуемой области 2172, задается равной 180 кадрам/с. Предпочтительно, значения частот кадров предварительно устанавливаются и сохраняются таким образом, что модуль 2152 выбора групп может обращаться к ним, но могут быть изменяемыми с помощью операции пользователя впоследствии.

[0267] Модуль 2502 возбуждения возбуждает элемент 2100 формирования изображений для того, чтобы выполнять формирование изображений на соответствующих частотах кадров (этап S2104). Иными словами, модуль 2502 возбуждения инструктирует пиксельным блокам 2131, включенным в исследуемую область 2172, выполнять накопление электрического заряда и вывод сигналов изображений на высокой частоте кадров, и инструктирует пиксельным блокам 2131, включенным в периферийную область 2176, выполнять накопление электрического заряда и вывод сигналов изображений на низкой частоте кадров. Другими словами, модуль 2502 возбуждения получает сигналы изображений, которые соответствуют множеству кадров, которые являются смежными во временных рядах для пиксельных блоков 2131, включенных в исследуемую область 2172, при получении сигналов изображений, которые соответствуют одному кадру для пиксельных блоков 2131, включенных в периферийную область 2176.

[0268] Например, когда частота кадров периферийной области 2176 задается равной 60 кадрам/с, и частота кадров исследуемой области 2172 задается равной 180 кадрам/с, как проиллюстрировано на фиг. 44, модуль 2502 возбуждения получает сигналы изображений трех кадров A1, A2, A3 из исследуемой области 2172 в течение времени 1/60 с, в которое получаются сигналы изображений одного кадра B1 из периферийной области 2176 (1/60 с=3 x 1/180 с). В этом случае, модуль 2502 возбуждения получает сигналы изображений на различных частотах кадров посредством отдельного возбуждения набора транзисторов 2303 сброса, транзисторов 2302 переноса и транзисторов 2305 выбора пиксельных блоков 2131, включенных в периферийную область 2176, и набора транзисторов 2303 сброса, транзисторов 2302 переноса и транзисторов 2305 выбора пиксельных блоков 2131, включенных в исследуемую область 2172.

[0269] Следует отметить, что фиг. 44 иллюстрирует тактирование вывода сигналов изображений, но не иллюстрирует продолжительность периода экспозиции. Модуль 2502 возбуждения возбуждает вышеописанные наборы транзисторов для периферийной области 2176 и для исследуемой области 2172 таким образом, что может достигаться период экспозиции, ранее вычисленный посредством вычислительного модуля 2512.

[0270] Помимо этого, продолжительность периода экспозиции может быть изменена согласно частотам кадров. Например, в примере, проиллюстрированном на фиг. 44, период экспозиции одного кадра периферийной области 2176 может задаваться равным 1/3, что является практически идентичным с периодом экспозиции для исследуемой области 2172. Кроме того, сигналы изображений могут быть скорректированы посредством отношения частот кадров после вывода сигналов изображений. Кроме того, тактирование вывода сигналов изображений может быть не синхронным, как показано на фиг. 44, а может быть асинхронным между периферийной областью 2176 и исследуемой областью 2172.

[0271] Модуль 2511 обработки изображений последовательно сохраняет, на покадровой основе, сигналы изображений из исследуемой области 2172 в предварительно определенной области хранения оперативного запоминающего устройства 2504 (этап S2106). Аналогично, модуль 2511 обработки изображений последовательно сохраняет, на покадровой основе, сигналы изображений из периферийной области 2176 в предварительно определенной области хранения оперативного запоминающего устройства 2504 (тот же этап). Оперативное запоминающее устройство 2504 имеет множество блоков 2730 хранения, как пояснено на фиг. 38. Оперативное запоминающее устройство 2504 может представлять собой запоминающее устройство, которое включает в себя группу запоминающих устройств, которая соответствует каждому пиксельному блоку 2131.

[0272] Модуль 2154 формирования движущихся изображений считывает сигналы изображений исследуемой области 2172, сохраненные в оперативном запоминающем устройстве 2504 (этап S2108), и формирует данные движущегося изображения в исследуемой области, которое включает в себя множество кадров исследуемой области 2172 (этап S2110). Аналогично, модуль 2154 формирования движущихся изображений считывает сигналы изображений периферийной области 2176, сохраненные в оперативном запоминающем устройстве 2504, и формирует данные движущегося изображения в периферийной области, которое включает в себя множество кадров периферийной области 2176 (тот же этап). Здесь, движущееся изображение в исследуемой области и движущееся изображение в периферийной области могут быть сформированы в форматах общего назначения, таких как MPEG, и иметь возможность воспроизведения отдельно, либо могут быть сформированы в выделенных форматах, которые не дают возможность воспроизведения без прохождения обработки синтеза, описанной ниже.

[0273] Фиг. 45 схематично иллюстрирует движущееся изображение в исследуемой области и движущееся изображение в периферийной области, сформированные посредством модуля формирования движущихся изображений. Модуль 2154 формирования движущихся изображений формирует движущееся изображение в исследуемой области на частоте кадров, которая соответствует частоте кадров, на которой модуль 2502 возбуждения возбуждает исследуемую область 2172. В примере, проиллюстрированном на фиг. 45, движущееся изображение в исследуемой области формируется на частоте кадров 1/180 кадра/с, которая является идентичной с частотой кадров 1/180 кадра/с, на которой модуль 2502 возбуждения возбуждает исследуемую область 2172.

[0274] Аналогично, модуль 2154 формирования движущихся изображений формирует движущееся изображение в периферийной области на частоте кадров, которая соответствует частоте кадров, на которой модуль 2502 возбуждения возбуждает периферийную область 2176. В примере, проиллюстрированном на фиг. 45, движущееся изображение в периферийной области формируется на частоте кадров 1/60 кадра/с, которая является идентичной с частотой кадров 1/60 кадра/с, на которой модуль 2502 возбуждения возбуждает периферийную область 2176. Следует отметить, что действующие значения не существуют в области движущегося изображения в периферийной области, которая соответствует исследуемой области 2172, и область указывается с помощью диагональных линий на чертеже.

[0275] Кроме того, модуль 2154 формирования движущихся изображений добавляет информацию заголовка к движущемуся изображению в исследуемой области и к движущемуся изображению в периферийной области и записывает данные в модуль 2505 записи (этап S2112). Информация заголовка включает в себя информацию области, которая указывает позицию исследуемой области 2172 относительно всей области формирования изображений, информацию размера, которая указывает размер исследуемой области 2172, и информацию тактирования, которая указывает взаимосвязь между тактированием вывода сигналов изображений исследуемой области 2172 и тактированием вывода сигналов изображений периферийной области 2176.

[0276] Модуль 2501 управления системой определяет то, следует или нет выполнять формирование изображений для следующей единицы времени (этап S2114). То, следует или нет выполнять формирование изображений следующей единицы времени, определяется на основе того, нажимает или нет в этот момент времени пользователь кнопку записи движущихся изображений. Когда формирование изображений должно выполняться для следующей единицы времени (этап S2114: "Да"), последовательность операций возвращается к вышеописанному этапу S2102, а когда формирование изображений не должно выполняться для следующей единицы времени (этап S2114: "Нет"), последовательность операций завершается.

[0277] Здесь, "единица времени" предварительно установлена в модуле 2501 управления системой и длится в течение нескольких секунд. Емкость хранения, используемая для сохранения на этапе S2106, определяется на основе этой единицы времени, частоты кадров и числа пиксельных блоков исследуемой области 2172, а также частоты кадров и числа пиксельных блоков периферийной области 2176. Также на основе этих фрагментов информации, определяются область емкости хранения, которая сохраняет данные исследуемой области 2172, и область емкости хранения, которая сохраняет данные периферийной области 2176.

[0278] Таким образом, сигналы изображений могут быть получены на высокой частоте кадров из исследуемой области 2172, включающей в себя основной объект 2171, а также объем данных может быть уменьшен посредством поддержания низкой частоты кадров для периферийной области 2176. Соответственно, по сравнению с высокоскоростным считыванием из всех пикселов, могут уменьшаться нагрузки по возбуждению и обработке изображений, и может подавляться потребление мощности и теплообразование.

[0279] Следует отметить, что когда следующая единица времени начинается в примере, проиллюстрированном на фиг. 41, пиксельные блоки 2131 выбираются снова на этапе S2102, и обновляются информация области и информация размера. В силу этого, исследуемая область 2172 может быть обновлена последовательно посредством отслеживания основного объекта 2171. В примере, проиллюстрированном на фиг. 45, в первом кадре A7 единицы времени в движущемся изображении в исследуемой области, выбирается исследуемая область 2182, включающая в себя пиксельные блоки 2131, которые отличаются от пиксельных блоков 2131 последнего кадра A6 в предыдущей единице времени, и в соответствии с этим, обновляются информация 2184 области и периферийная область 2186.

[0280] Фиг. 46 иллюстрирует один пример информации заголовка, добавляемой посредством модуля формирования движущихся изображений. Информация заголовка на фиг. 46 включает в себя идентификаторы движущихся изображений в исследуемой области, которые идентифицируют движущиеся изображения в исследуемой области, частоты кадров движущихся изображений в исследуемой области, идентификаторы движущихся изображений в периферийной области, которые идентифицируют движущиеся изображения в периферийной области, соответствующие движущимся изображениям в исследуемой области, частоты кадров движущихся изображений в периферийной области, информацию тактирования, информацию области и информацию размера. Эти фрагменты информации заголовка могут добавляться в качестве информации заголовка в одно или в оба из движущегося изображения в исследуемой области и движущегося изображения в периферийной области.

[0281] Фиг. 47 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение. Операции начинаются, когда пользователь указывает любое из движущихся изображений в исследуемой области, отображенных в качестве миниатюр на модуле 2506 отображения, и нажимает кнопку воспроизведения.

[0282] Модуль 2156 синтезирования движущихся изображений считывает, из модуля 2505 записи, данные движущегося изображения в исследуемой области, указываемого пользователем (этап S2150). Модуль 2156 синтезирования движущихся изображений считывает, из модуля 2505 записи, данные движущегося изображения в периферийной области, соответствующего движущемуся изображению в исследуемой области (этап S2152).

[0283] В этом случае, модуль 2156 синтезирования движущихся изображений идентифицирует движущееся изображение в периферийной области на основе идентификатора движущегося изображения в периферийной области, указываемого в информации заголовка считывания движущегося изображения в исследуемой области на этапе S2150. Вместо этого, изображение в периферийной области, которое включает в себя, в качестве информации заголовка, информацию тактирования, которая является идентичной с информацией тактирования, указываемой в информации заголовка движущегося изображения в исследуемой области, может находиться и идентифицироваться.

[0284] Следует отметить, что информация заголовка включается в движущееся изображение в исследуемой области в вышеописанном примере. С другой стороны, когда информация заголовка включается не в движущееся изображение в исследуемой области, а в движущееся изображение в периферийной области, пользователю может, ранее на этапе S2150, инструктироваться указывать движущееся изображение в периферийной области, которое должно считываться, и движущееся изображение в исследуемой области указывается и считывается из информации заголовка на этапе S2152.

[0285] Модуль 2156 синтезирования движущихся изображений синтезирует кадр движущегося изображения в исследуемой области и кадр движущегося изображения в периферийной области в кадр отображенного движущегося изображения (этап S2154). В этом случае, сначала первый кадр A1 движущегося изображения в исследуемой области вставляется в позиции, указываемой посредством информации 2174 области, в первом кадре B1 движущегося изображения в периферийной области, чтобы формировать первый синтезированный кадр C1 отображенного движущегося изображения. Как проиллюстрировано на фиг. 45, модуль 2156 синтезирования движущихся изображений инструктирует отображение первого кадра C1 отображенного движущегося изображения на модуле 2506 отображения (этап S2156).

[0286] Модуль 2156 синтезирования движущихся изображений определяет то, имеется или нет следующий кадр движущегося изображения в исследуемой области перед следующим кадром B2 движущегося изображения в периферийной области (этап S2158). Когда имеется следующий кадр движущегося изображения в исследуемой области (этап S2158: "Да"), модуль 2156 синтезирования движущихся изображений обновляет исследуемую область 2172 посредством использования следующих кадров A2, A3 и сохраняет периферийную область 2176 как предыдущий кадр B1 (этап S2162), чтобы формировать следующие синтезированные кадры C2, C3 отображенного движущегося изображения (этап S2162) и отображать их последовательно (этап S2156).

[0287] С другой стороны, когда нет следующего кадра движущегося изображения в исследуемой области перед следующим кадром B2 движущегося изображения в периферийной области на этапе S2158 (этап S2158), модуль 2156 синтезирования движущихся изображений обновляет исследуемую область 2172 посредством использования следующего кадра A4 и обновляет также периферийную область 2176 посредством использования следующего кадра B2 (этап S2164), чтобы формировать следующий синтезированный кадр C4 отображенного движущегося изображения (этап S2162) и отображать его (этап S2156).

[0288] При условии, что имеется следующий кадр периферийной области 2176 в движущемся изображении в периферийной области (этап S2160: "Да"), этапы S2154-S2160 повторяются. Когда нет следующего кадра периферийной области 2176 в движущемся изображении в периферийной области (этап S2160: "Нет"), модуль 2156 синтезирования движущихся изображений выполняет поиск, чтобы определять то, имеется или нет, в единицу времени после единицы времени набора из движущегося изображения в исследуемой области и движущегося изображения в периферийной области, набор из движущегося изображения в исследуемой области и движущегося изображения в периферийной области (этап S2166). Например, модуль 2156 синтезирования движущихся изображений выполняет поиск в идентичной папке модуля 2505 записи, чтобы определять то, имеется или нет другое движущееся изображение в исследуемой области, информация заголовка которого включает в себя информацию тактирования, указывающую тактирование, которое находится непосредственно после тактирования, указываемого посредством информации тактирования предыдущего движущегося изображения в исследуемой области.

[0289] При условии, что имеется набор из движущегося изображения в исследуемой области и движущегося изображения в периферийной области в следующую единицу времени (этап S2166: "Да"), этапы S2150-S2166 повторяются. Когда нет набора из движущегося изображения в исследуемой области и движущегося изображения в периферийной области в следующую единицу времени (этап S2166: "Нет"), последовательность операций завершается.

[0290] Таким образом, плавное движущееся изображение может отображаться в исследуемой области 2172, в которую включается основной объект 2171, при уменьшении общего объема данных. Следует отметить, что хотя на этапе S2162, исследуемая область 2172 обновляется непосредственно посредством использования следующих кадров, чтобы формировать синтезированные кадры отображаемого изображения, способ синтеза не ограничен этим. В качестве другого примера, граничная линия основного объекта 2171 в исследуемой области 2172 может быть идентифицирована посредством обработки изображений, основной объект 2171, окруженный посредством граничной линии, может быть обновлен с помощью следующего кадра, и за пределами граничной линии основного объекта 2171 может сохраняться как предыдущий кадр, даже если он находится в исследуемой области 2172, чтобы формировать синтезированный кадр с периферийной областью 2176. Иными словами, частота кадров за пределами граничной линии в исследуемой области 2172 может быть понижена до частоты кадров периферийной области 2176. В силу этого, можно не допускать неестественного вида границ гладкости в отображенном движущемся изображении. Кроме того, частоты кадров воспроизведения не должны обязательно быть одними и теми же с частотами кадров во время формирования изображений (180 кадров/с для исследуемой области и 60 кадров/с для периферийной области), и частоты кадров могут составлять, например, 60 кадров/с и 20 кадров/с для исследуемой области и периферийной области, соответственно. В таком случае, воспроизведение представляет собой замедленное воспроизведение.

[0291] Фиг. 48 является блок-схемой последовательности операций способа, которая иллюстрирует другой пример операций устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение. Операциям по фиг. 48, которые являются одинаковыми с операциями по фиг 41, присваиваются те же ссылочные позиции, и их пояснение опускается.

[0292] В операциях по фиг. 48, в дополнение или вместо частот кадров на фиг. 41, показатели прореживания задаются отличающимися между исследуемой областью 2172 и периферийной областью 2176. Более конкретно, на этапе S2120, модуль 2502 возбуждения инструктирует пиксельным блокам 2131, включенным в исследуемую область 2172, выполнять накопление электрического заряда и вывод сигналов изображений пикселов, которые прореживаются с низким показателем прореживания, и инструктирует пиксельным блокам 2131, включенным в периферийную область 2176, выполнять накопление электрического заряда и вывод сигналов изображений пикселов, которые прореживаются с высоким показателем прореживания. Например, считываются пикселы в пиксельных блоках 2131, включенных в исследуемую область 2172, которые прореживаются с показателем прореживания в 0, т.е. все пикселы, и считываются пикселы в пиксельных блоках 2131, включенных в периферийную область 2176, которые прореживаются с показателем прореживания в 0,5, т.е. половина пикселов.

[0293] В этом случае, модуль 2502 возбуждения получает сигналы изображений с разными показателями прореживания посредством отдельного возбуждения набора транзисторов 2303 сброса, транзисторов 2302 переноса и транзисторов 2305 выбора пиксельных блоков 2131, включенных в периферийную область 2176, и набора транзисторов 2303 сброса, транзисторов 2302 переноса и транзисторов 2305 выбора пиксельных блоков 2131, включенных в исследуемую область 2172.

[0294] На этапе S2110, модуль 2154 формирования движущихся изображений формирует движущееся изображение в исследуемой области, которое соответствует исследуемой области 2172, на основе сигналов изображений исследуемой области 2172, выводимых с низким показателем прореживания. Модуль 2154 формирования движущихся изображений аналогично формирует движущееся изображение в периферийной области, которое соответствует периферийной области 2176, на основе сигналов изображений периферийной области 2176, выводимых с высоким показателем прореживания. Также на этапе S2112, модуль 2154 формирования движущихся изображений записывает движущееся изображение в исследуемой области и движущееся изображение в периферийной области, причем в них добавлена информация относительно соответствующих показателей прореживания, в модуле 2505 записи.

[0295] Фиг. 49 иллюстрирует пример пикселов 2188, которые должны считываться с показателем прореживания в 0,5 в одном пиксельном блоке. В примере, проиллюстрированном на фиг. 49, когда пиксельный блок 2132 в периферийной области 2176 представляет собой байеровскую матрицу, пикселы 2188, которые должны считываться, и пикселы, которые не должны считываться, задаются для каждой второй байеровской матрицы, т.е. каждые два пиксела попеременно в вертикальном направлении. В силу этого, прореженное считывание может выполняться без потери цветового баланса.

[0296] Фиг. 50 является блок-схемой последовательности операций способа, которая иллюстрирует операции, согласно фиг. 48, устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение. Операциям по фиг. 50, которые являются одинаковыми с операциями по фиг 47, присваиваются те же ссылочные позиции, и их пояснение опускается.

[0297] На этапе S2170 на фиг. 50, модуль 2156 синтезирования движущихся изображений дополняет пикселы кадра движущегося изображения в периферийной области таким образом, что разрешение совпадает с разрешением кадра движущегося изображения в исследуемой области, и после этого вставляет кадр движущегося изображения в исследуемой области в кадр движущегося изображения в периферийной области; за счет этого формируется синтезированный кадр отображаемого изображения. В силу этого, сигналы изображений могут быть получены с высоким разрешением из исследуемой области 2172, включающей в себя основной объект 2171, а также объем данных может быть уменьшен посредством поддержания низким разрешения периферийной области 2176. Соответственно, по сравнению с высокоскоростным считыванием из всех пикселов, могут уменьшаться нагрузки по возбуждению и обработке изображений, и может подавляться потребление мощности и теплообразование.

[0298] Следует отметить, что хотя исследуемая область 2172 представляет собой прямоугольник в примерах, проиллюстрированных на фиг. 35-50, форма исследуемой области 2172 не ограничена этим. Исследуемая область 2172 может представлять собой выпуклый или вогнутый многоугольник или может иметь тороидальную форму с периферийной областью 2176, размещаемой внутри него, либо другую форму при условии, что исследуемая область 2172 соответствует граничной линии пиксельных блоков 2131. Кроме того, может задаваться множество исследуемых областей 2172, которые разнесены друг от друга. В таком случае, взаимно различные частоты кадров могут задаваться для исследуемых областей 2172.

[0299] Кроме того, частоты кадров исследуемой области 2172 и периферийной области 2176 могут быть переменными. Например, величина движения основного объекта 2171 может быть определена с истечением единицы времени, и более высокая частота кадров может задаваться для исследуемой области 2172, если величина движения основного объекта 2171 больше. Кроме того, выбор пиксельных блоков 2131, которые должны быть включены в исследуемую область 2172, может быть обновлен в любое время в течение единицы времени посредством отслеживания основного объекта 2171.

[0300] Хотя формирование движущихся изображений на фиг. 41 и 48 начинается, когда пользователь нажимает кнопку записи, и воспроизведение движущихся изображений на фиг. 47 и 50 начинается, когда пользователь нажимает кнопку воспроизведения, начальные моменты времени не ограничены этим. В качестве другого примера, при инициировании посредством одной операции с кнопкой пользователем, могут непрерывно выполняться операция формирования движущихся изображений и операция воспроизведения движущихся изображений, и может выполняться сквозное отображение изображений (также называемое отображением изображений для "вживую") для модуля 2506 отображения. В этом случае, отображение для инструктирования пользователю распознавать исследуемую область 2172 может накладываться. Например, кадр может отображаться по границе исследуемой области 2172 на модуле 2506 отображения, либо может понижаться яркость периферийной области 2176, либо может повышаться яркость исследуемой области 2172.

[0301] В операциях на фиг. 48, показатели прореживания задаются отличающимися между исследуемой областью 2172 и периферийной областью 2176. Вместо задания отличающимися показателей прореживания, могут задаваться отличающимися числа смежных строк пикселов, пиксельные сигналы которых суммируются. Например, в исследуемой области 2172, число строк составляет одну, что означает то, что пиксельные сигналы выводятся без суммирования смежных строк, а в периферийной области 2176, число строк превышает число строк для исследуемой области 2172, т.е., например, составляет две, что означает то, что выводятся пиксельные сигналы пикселов двух смежных строк, которые находятся в идентичных столбцах. В силу этого, аналогично фиг. 48, общее число сигналов может быть уменьшено при поддержании разрешения исследуемой области 2172 выше разрешения периферийной области 2176.

[0302] Следует отметить, что модуль 2156 синтезирования движущихся изображений может предоставляться во внешнем устройстве отображения, например, в PC, вместо предоставления в модуле 2511 обработки изображений устройства 2500 формирования изображений. Кроме того, вышеописанный вариант осуществления может применяться не только к формированию движущихся изображений, но также и к формированию неподвижных изображений.

[0303] Кроме того, хотя в вышеописанных вариантах осуществления, множество пиксельных блоков 2131 разделяется на две области, исследуемую область 2172 и периферийную область 2176, число разделения не ограничено этим, и пиксельные блоки 2131 могут быть разделены на три или более областей. В этом случае, пиксельные блоки 2131, которые соответствуют границе между исследуемой областью 2172 и периферийной областью 2176, могут обрабатываться в качестве граничной области, и граничная область может управляться посредством использования промежуточного значения между значением параметра управления, используемого для исследуемой области 2172, и значением параметра управления, используемого для периферийной области 2176. В силу этого, можно не допускать неестественного вида границы между исследуемой областью 2172 и периферийной областью 2176.

[0304] Периоды накопления и число накоплений электрических зарядов и т.п. могут задаваться отличающимися между исследуемой областью 2172 и периферийной областью 2176. В этом случае, исследуемая область 2172 и периферийная область 2176 могут быть разделены на основе яркости, и кроме того может предоставляться промежуточная область.

[0305] Фиг. 51A и 51B являются схемами для пояснения примера сцены и разделения на области. Фиг. 51A иллюстрирует сцену, захваченную посредством области формирования изображений микросхемы 2113 формирования изображений. В частности, сцена включает в себя одновременно затененный объект 2601 и промежуточный объект 2602, включенные в окружение в помещении, и яркий объект 2603 окружения на улице, наблюдаемого в оконной раме 2604. При формировании изображений, с помощью традиционного элемента формирования изображений, такой сцены, в которой контрастность между яркой частью и затененной частью является высокой, заполненные тени возникают в затененной части, если накопление электрического заряда выполняется посредством использования яркой части в качестве опорной, и пустые яркие части возникают в яркой части, если накопление электрического заряда выполняется посредством использования затененной части в качестве опорной. Иными словами, можно сказать, что для высококонтрастной сцены, фотодиод не имеет достаточного динамического диапазона, который необходим для вывода сигналов изображений посредством одноразового накопления электрического заряда, которое является однородным для яркой части и затененной части. Чтобы разрешать эту проблему, в настоящем варианте осуществления, сцена разделяется на частичные области, такие как яркая часть и затененная часть, и существенное расширение динамического диапазона предпринимается посредством задания числа накоплений электрического заряда взаимно отличающимся между фотодиодами, которые соответствуют надлежащим областям.

[0306] Фиг. 51B иллюстрирует разделение на области для области формирования изображений в микросхеме 2113 формирования изображений. Вычислительный модуль 2512 анализирует сцену по фиг. 51A, захваченную посредством фотометрического модуля 2503, чтобы разделять область формирования изображений на основе яркости. Например, модуль 2501 управления системой инструктирует фотометрическому модулю 2503 выполнять получение сцены многократно при изменении периодов экспозиции, и вычислительный модуль 2512 определяет линии разделения области формирования изображений посредством обращения к изменениям в распределении пустых ярких областей и заполненных затененных областей. В примере по фиг. 51B, вычислительный модуль 2512 выполняет разделение на три области, затененную область 2611, промежуточную область 2612 и яркую область 2613.

[0307] Линия разделения задается вдоль границ пиксельных блоков 2131. Иными словами, каждая разделенная область включает в себя целое число групп. Затем, пикселы каждой группы, включенной в одну и ту же область, выполняют накопление электрического заряда и вывод пиксельных сигналов идентичное число раз в период, который соответствует скорости срабатывания затвора, определенной посредством вычислительного модуля 2512. Если пикселы принадлежат различным областям, накопление электрического заряда и вывод пиксельных сигналов выполняются различное число раз.

[0308] Фиг. 52 является схемой для пояснения управления накоплением электрического заряда для соответствующих областей, разделенных в примере на фиг. 51A и 51B. После приема инструкции для перехода в режим готовности к формированию изображений от пользователя, вычислительный модуль 2512 определяет скорость T₀ срабатывания затвора на основе вывода из фотометрического модуля 2503. Кроме того, вычислительный модуль 2512 выполняет разделение на затененную область 2611, промежуточную область 2612 и яркую область 2613 вышеописанным способом и определяет число накоплений электрического заряда на основе соответствующих фрагментов информации яркости. Число накоплений электрического заряда определяется таким образом, что пикселы не насыщаются посредством одноразового накопления электрического заряда. Например, число накоплений электрического заряда определяется таким образом, что 80-90% накапливаемых электрических зарядов накапливаются в операции одноразового накопления электрического заряда.

[0309] Здесь, накопление электрического заряда выполняется один раз для затененной области 2611. Иными словами, задается принудительное совпадение определенной скорости T₀ срабатывания затвора и периода накопления электрического заряда. Кроме того, накопление электрического заряда выполняется два раза для промежуточной области 2612. Иными словами, период одноразового накопления электрического заряда задается равным T₀/2, и накопление электрического заряда повторяется два раза в течение скорости T₀ срабатывания затвора. Кроме того, накопление электрического заряда выполняется четыре раза для яркой области 2613. Иными словами, период одноразового накопления электрического заряда задается равным T₀/4, и накопление электрического заряда повторяется четыре раза в течение скорости T₀ срабатывания затвора.

[0310] После приема инструкции по формированию изображений от пользователя в такте t=0, модуль 2502 возбуждения применяет импульсы сброса и импульсы переноса к пикселам в группах, принадлежащих соответствующим областям. Это применение инициирует начало накопления электрического заряда всех пикселов.

[0311] В такте t=T₀/4, модуль 2502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих яркой области 2613. Затем, модуль 2502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 2309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 2502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих яркой области 2613, чтобы инструктировать начало второго накопления электрического заряда.

[0312] Следует отметить, что поскольку избирательный вывод пиксельных сигналов требует времени, возникает запаздывание во времени между завершением первого накопления электрического заряда и началом второго накопления электрического заряда. Когда это запаздывание во времени является пренебрежимо малым, период одноразового накопления электрического заряда может быть вычислен посредством деления скорости T₀ срабатывания затвора на число накоплений электрического заряда, как описано выше. С другой стороны, если не является пренебрежимо малым, скорость T₀ срабатывания затвора может регулироваться с учетом времени, либо период одноразового накопления электрического заряда может быть задан меньше времени, полученного посредством деления скорости T₀ срабатывания затвора на число накоплений электрического заряда.

[0313] В такте t=T₀/2, модуль 2502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих промежуточной области 2612 и яркой области 2613. Затем, модуль 2502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 2309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 2502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих промежуточной области 2612 и яркой области 2613, чтобы инструктировать начало второго накопления электрического заряда для промежуточной области 2612 и инструктировать начало третьего накопления электрического заряда для яркой области 2613.

[0314] В такте t=3T₀/4, модуль 2502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих яркой области 2613. Затем, модуль 2502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 2309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 2502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих яркой области 2613, чтобы инструктировать начало четвертого накопления электрического заряда.

[0315] В такте t=T₀, модуль 2502 возбуждения применяет импульсы переноса к пикселам всех областей. Затем, модуль 2502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 2309. Согласно вышеописанному управлению, пиксельные сигналы, которые соответствуют одному разу, сохраняются в каждом пиксельном запоминающем устройстве 2414, которое соответствует затененной области 2611, пиксельные сигналы, которые соответствуют двум разам, сохраняются в каждом пиксельном запоминающем устройстве 2414, которое соответствует промежуточной области 2612, а пиксельные сигналы, которые соответствуют четырем разам, сохраняются в каждом пиксельном запоминающем устройстве 2414, которое соответствует яркой области 2613.

[0316] Следует отметить, что модуль 2502 возбуждения может последовательно применять импульсы сброса к пикселам в группах, принадлежащих любой области, и последовательно сбрасывать пикселы в группах, принадлежащих области. Кроме того, модуль 2502 возбуждения может последовательно применять импульсы переноса к пикселам сброса в группе. При инициировании посредством этого применения, пикселы каждой группы могут последовательно начинать накопление электрического заряда. После завершения накопления электрического заряда пикселов в группах, принадлежащих всем областям, модуль 2502 возбуждения может применять импульсы переноса к пикселам во всех областях. Затем, модуль 2502 возбуждения может последовательно применять импульсы выбора к пикселам в каждой группе, чтобы инструктировать вывод их соответствующих пиксельных сигналов в выходное межсоединение 2309.

[0317] Эти пиксельные сигналы последовательно передаются в модуль 2511 обработки изображений. Модуль 2511 обработки изображений формирует данные изображений с расширенным динамическим диапазоном на основе пиксельных сигналов. Ниже описывается конкретная обработка.

[0318] Фиг. 53 является таблицей, которая указывает взаимосвязь между числом интегрирований и динамическим диапазоном. Пиксельные данные, которые соответствуют многократному повторно выполняемому накоплению электрического заряда, подвергаются процессу интегрирования посредством модуля 2511 обработки изображений таким образом, что они являются частью данных изображений с расширенным динамическим диапазоном.

[0319] При сравнении, в качестве опорного, с динамическим диапазоном области, число интегрирований которой составляет один раз, т.е. для которой накопление электрического заряда выполняется один раз, динамический диапазон области, число интегрирований которой составляет два, т.е. выходной сигнал которой интегрируется посредством выполнения накопления электрического заряда два раза, расширяется посредством одного этапа. Аналогично, когда число интегрирований составляет четыре раза, динамический диапазон расширяется посредством двух этапов, а когда число интегрирований составляет 128, динамический диапазон расширяется посредством семи этапов. Иными словами, чтобы пытаться получать n этапов расширения динамического диапазона, выходные сигналы могут интегрироваться 2ⁿ раз.

[0320] Здесь, для идентификации посредством модуля 2511 обработки изображений того, сколько раз выполнено накопление электрического заряда для какой разделенной области, 3-битовая экспонента, указывающая число интегрирований, суммируется с сигналом изображения. Как проиллюстрировано, экспоненты выделяются последовательно, 000 - числу интегрирований один раз, 001 - два раза, …, 111 - 128 раз.

[0321] Модуль 2511 обработки изображений обращается к экспоненте каждого фрагмента пиксельных данных, принимаемых из арифметической схемы 2415, и когда результат обращения показывает то, что число интегрирований составляет два или более, выполняет процесс интегрирования пиксельных данных. Например, когда число интегрирований составляет два (один этап), старшие 11 битов двух фрагментов 12-битовых пиксельных данных, соответствующих накоплению электрического заряда, суммируются таким образом, что формируется один фрагмент 12-битовых пиксельных данных. Аналогично, когда число интегрирований составляет 128 (семь этапов), старшие 5 битов 128 фрагментов 12-битовых пиксельных данных, соответствующих накоплению электрического заряда, суммируются таким образом, что формируется один фрагмент 12-битовых пиксельных данных. Иными словами, старшие биты, число которых получается посредством вычитания, из 12, числа этапов, соответствующих числу интегрирований, суммируются таким образом, что формируется один фрагмент 12-битовых пиксельных данных. Следует отметить, что исключаются младшие биты, которые не должны суммироваться.

[0322] Посредством выполнения обработки таким способом, диапазон яркости, который предоставляет градацию, может сдвигаться к стороне высокой яркости в соответствии с числом интегрирований. Иными словами, 12 битов выделяются ограниченному диапазону на стороне высокой яркости. Соответственно, градация может предоставляться в области изображения, которая традиционно включает в себя пустые яркие части.

[0323] Тем не менее, следует отметить, что поскольку 12 битов выделяются различным диапазонам яркости других разделенных областей, данные изображений не могут формироваться посредством синтеза в виде простого соединения областей. Чтобы разрешать эту проблему, модуль 2511 обработки изображений выполняет процесс повторного квантования посредством использования, в качестве опорных, пиксела с наибольшей яркостью и пиксела с наименьшей яркостью, чтобы задавать все области в качестве 12-битовых данных изображений при сохранении полученных градаций в максимально возможной степени. В частности, квантование выполняется посредством выполнения гамма-преобразования таким образом, что могут сохраняться более сглаженные градации. Посредством выполнения обработки таким способом, могут быть получены данные изображений с расширенным динамическим диапазоном.

[0324] Следует отметить, что описание числа интегрирований не ограничивается суммированием 3-битовой экспоненты с пиксельными данными, как описано выше, и число интегрирований может описываться как прилагаемая информация, отличная от пиксельных данных. Кроме того, экспонента может опускаться из пиксельных данных, и вместо этого число интегрирований может быть получено во время процесса суммирования посредством подсчета числа фрагментов пиксельных данных, сохраненных в пиксельном запоминающем устройстве 2414.

[0325] Кроме того, хотя при вышеописанной обработке изображений, выполняется процесс повторного квантования, чтобы задавать все области в качестве 12-битовых данных изображений, число выходных битов может быть увеличено относительно числа битов пиксельных данных, в соответствии с верхним предельным числом интегрирований. Например, если верхнее предельное число интегрирований задается как 16 (четыре этапа), все области могут задаваться, для 12-битовых пиксельных данных, в качестве 16-битовых данных изображений. Посредством выполнения обработки таким способом, данные изображений могут быть сформированы без стирания разрядов.

[0326] Далее поясняется последовательность процессов при операциях формирования изображений. Фиг. 54 является блок-схемой последовательности операций способа, показывающей обработку операций формирования изображений. Последовательность операций начинается, когда включается источник питания устройства 2500 формирования изображений.

[0327] На этапе S2201, модуль 2501 управления системой ожидает нажатия переключателя SW1, которое представляет собой инструкцию для перехода в режим готовности к формированию изображений. Когда считывается нажатие переключателя SW1, последовательность операций переходит к этапу S2202.

[0328] На этапе S2202, модуль 2501 управления системой выполняет фотометрическую обработку. В частности, после получения вывода фотометрического модуля 2503, вычислительный модуль 2512 вычисляет распределение яркости сцены. Затем, последовательность операций переходит к этапу S2203, и, как описано выше, определяются скорость срабатывания затвора, разделение на области, число интегрирований и т.п.

[0329] При завершении операции перехода в режим готовности к формированию изображений последовательность операций переходит к этапу S2204 и ожидает нажатия переключателя SW2, которое представляет собой инструкцию по формированию изображений. В это время, когда истекшее время превышает предварительно определенное время Tw ("Да" на этапе S2205), последовательность операций возвращается к этапу S2201. Когда нажатие переключателя SW2 считывается до того, как истекшее время превышает время Tw ("Нет" на этапе S2205), последовательность операций переходит к этапу S2206.

[0330] На этапе S2206, модуль 2502 возбуждения, который принимает инструкцию модуля 2501 управления системой, выполняет процесс накопления электрического заряда и процесс считывания сигналов, которые поясняются посредством использования фиг. 52. Затем, при полном завершении считывания сигналов, последовательность операций переходит к этапу S2207, выполняется обработка изображений, поясненная посредством использования фиг. 53, и выполняется процесс записи для записи сформированных данных изображений в модуле записи.

[0331] При завершении процесса записи, последовательность операций переходит к этапу S2208 и определяется то, выключен или нет источник питания устройства 2500 формирования изображений. Когда источник питания не выключен, последовательность операций возвращается к этапу S2201, а когда источник питания выключен, последовательность процессов при операциях формирования изображений завершается.

[0332] Фиг. 55 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы 2111 обработки сигналов в качестве одного примера. Модуль 2910 обработки пиксельных данных, проиллюстрированный на фиг. 55, предоставляется для каждого пиксельного блока 2131. Тем не менее, следует отметить, что аналогично арифметической схеме 2415, поясненной относительно фиг. 38, модуль 2910 обработки пиксельных данных может предоставляться для каждого из двух или более пикселов. Кроме того, конфигурации, из числа конфигураций модуля 2910 обработки пиксельных данных, отличные из арифметической схемы 2415, могут предоставляться для каждого пиксельного блока 2131.

[0333] Модуль 2740 управления в микросхеме 2111 обработки сигналов в настоящем примере выполняет часть или все функции модуля 2502 возбуждения. модуль 2740 управления включает в себя модуль 2441 управления датчика, модуль 2442 поблочного управления, модуль 2443 управления синхронизацией и модуль 2444 управления сигналами, которые выполняют разделенные функции управления, и модуль 2420 управления возбуждением, который выполняет централизованное управление для соответствующих модулей управления. Модуль 2420 управления возбуждением преобразует инструкции из модуля 2501 управления системой в управляющие сигналы, которые могут быть выполнены посредством соответствующих модулей управления, и передает их в соответствующие модули управления.

[0334] Модуль 2441 управления датчика выполняет управление передачей для импульсов управления, которые должны быть переданы в микросхему 2113 формирования изображений и связаны с накоплением электрического заряда и считыванием электрического заряда каждого пиксела. В частности, модуль 2441 управления датчика управляет началом и завершением накопления электрического заряда посредством передачи импульсов сброса и импульсов переноса в целевые пикселы и инструктирует вывод пиксельных сигналов в выходное межсоединение 2309 посредством передачи импульсов выбора в считываемые пикселы.

[0335] Модуль 2442 поблочного управления выполняет передачу указывающих импульсов, которые должны быть переданы в микросхему 2113 формирования изображений, и указывает пиксельный блок 2131, который должен управляться. Как пояснено посредством использования фиг. 51B и т.д., области, разделенные на исследуемую область 2172 и периферийную область 2176, могут включать в себя множество взаимно смежных пиксельных блоков 2131. Пиксельные блоки 2131, принадлежащие идентичной области, формируют одну группу блоков. Пикселы, которые включаются в одну и ту же группу блоков, начинают накопление электрического заряда при одном и том же тактировании и завершают накопление электрического заряда при одном и том же тактировании. Чтобы разрешать эту проблему, модуль 2442 поблочного управления выполняет роль формирования блоков пиксельных блоков 2131 посредством передачи указывающих импульсов в пиксельные блоки 2131, которые должны быть целями, на основе обозначения посредством модуля 2420 управления возбуждением. Импульсы переноса и импульсы сброса, которые каждый пиксел принимает через TX межсоединение 2307 и межсоединение 2306 сброса, являются логическим "AND" каждого импульса, передаваемого посредством модуля 2441 управления датчика, и указывающих импульсов, передаваемых посредством модуля 2442 поблочного управления.

[0336] Таким образом, посредством управления каждой областью в качестве взаимно независимой группы блоков, может реализовываться управление накоплением электрического заряда, поясненное посредством использования фиг. 52. Модуль 2420 управления возбуждением может применять импульсы сброса и импульсы переноса к пикселам, включенным в одну и ту же группу блоков, при разном тактировании. Кроме того, после прекращения накопления электрического заряда пикселов, включенных в одну и ту же группу блоков, при одном и том же тактировании, модуль 2420 управления возбуждением может последовательно применять импульсы выбора к пикселам в группе блоков и последовательно считывать их соответствующие пиксельные сигналы.

[0337] Модуль 2443 управления синхронизацией передает сигнал синхронизации в микросхему 2113 формирования изображений. Каждый импульс становится активным в микросхеме 2113 формирования изображений при синхронизации с сигналом синхронизации. Например, посредством регулирования сигнала синхронизации, может реализовываться случайное управление, управление прореживанием и т.п. только для конкретных пикселов из числа пикселов, принадлежащих одному и тому же пиксельному блоку 2131.

[0338] Модуль 2444 управления сигналами, главным образом, выполняет управление тактированием для аналого-цифрового преобразователя 2412. Пиксельные сигналы, выводимые через выходное межсоединение 2309, вводятся в аналого-цифровой преобразователь 2412 через CDS-схему 2410 и мультиплексор 2411. Аналого-цифровой преобразователь 2412 управляется посредством модуля 2444 управления сигналами, чтобы преобразовывать входные пиксельные сигналы в цифровые пиксельные данные. Пиксельные данные, преобразованные в цифровые сигналы, передаются в демультиплексор 2413 и сохраняются в качестве пиксельного значения цифровых данных в пиксельном запоминающем устройстве 2414, соответствующем каждому пикселу. Пиксельное запоминающее устройство 2414 является одним примером блока 2730 хранения.

[0339] Микросхема 2111 обработки сигналов имеет запоминающее устройство 2430 тактирования, в качестве запоминающего устройства для управления накоплением, которое сохраняет информацию разделения на блоки относительно того, какие пиксельные блоки 2131 должны быть комбинированы для того, чтобы формировать группу блоков исследуемой области 2172 и периферийной области 2176, и информацию относительно числа накоплений относительно того, сколько раз каждая сформированная группа блоков повторяет накопление электрического заряда. Запоминающее устройство 2430 тактирования сконфигурировано, например, с флэш-RAM.

[0340] Как описано выше, то, какие пиксельные блоки 2131 должны быть комбинированы для того, чтобы формировать группу блоков, определяется посредством модуля 2501 управления системой на основе результата определения для определения распределения яркости сцены, которое выполняется до рядов последовательности формирования изображений. Определенные группы блоков разделяются, например, на первую группу блоков, вторую группу блоков, ..., и задаются посредством того, какие пиксельные блоки 2131 включаются в них. Модуль 2420 управления возбуждением принимает информацию разделения на блоки из модуля 2501 управления системой и сохраняет ее в запоминающем устройстве 2430 тактирования.

[0341] Кроме того, модуль 2501 управления системой определяет то, сколько раз каждая группа блоков повторяет накопление электрического заряда на основе результата определения распределения яркости. Модуль 2420 управления возбуждением принимает информацию относительно числа накоплений из модуля 2501 управления системой и сохраняет ее в запоминающем устройстве 2430 тактирования посредством спаривания информации относительно числа накоплений с соответствующей информацией разделения на блоки. Посредством сохранения информации разделения на блоки и информации относительно числа накоплений в запоминающем устройстве 2430 тактирования таким способом, модуль 2420 управления возбуждением может выполнять последовательность управления накоплением электрического заряда независимо посредством последовательного обращения к запоминающему устройству 2430 тактирования. Иными словами, при управлении получением одного изображения, когда модуль 2420 управления возбуждением принимает сигнал инструкции по формированию изображений из модуля 2501 управления системой, модуль 2420 управления возбуждением после этого имеет возможность выполнять управление накоплением без приема инструкции относительно управления для каждого пиксела из модуля 2501 управления системой каждый раз.

[0342] Модуль 2420 управления возбуждением принимает, из модуля 2501 управления системой, информацию разделения на блоки и информацию относительно числа накоплений, которые обновляются на основе результатов фотометрии (результатов определения распределения яркости), выполняемой при синхронизации с инструкцией для перехода в режим готовности к формированию изображений, и надлежащим образом обновляет сохраненный контент запоминающего устройства 2430 тактирования. Например, модуль 2420 управления возбуждением обновляет запоминающее устройство 2430 тактирования при синхронизации с инструкцией для перехода в режим готовности к формированию изображений или инструкцией по формированию изображений. При этой конфигурации, реализуется более быстрое управление накоплением электрического заряда, и модуль 2501 управления системой может выполнять другую обработку параллельно с управлением накоплением электрического заряда, выполняемым посредством модуля 2420 управления возбуждением.

[0343] Модуль 2420 управления возбуждением, который выполняет управление накоплением электрического заряда для микросхемы 2113 формирования изображений, дополнительно обращается к запоминающему устройству 2430 тактирования при выполнении управления считыванием. Например, модуль 2420 управления возбуждением обращается к информации относительно числа накоплений каждой группы блоков, чтобы сохранять пиксельные данные, выводимые из демультиплексора 2413, в соответствующем адресе пиксельного запоминающего устройства 2414.

[0344] Модуль 2420 управления возбуждением считывает целевые пиксельные данные каждого пиксельного блока из пиксельного запоминающего устройства 2414 согласно запросу на доставку из модуля 2501 управления системой и передает их в модуль 2511 обработки изображений. В это время, модуль 2420 управления возбуждением передает дополнительные данные, соответствующие надлежащим фрагментам целевых пиксельных данных, совместно в модуль 2511 обработки изображений.

[0345] Для каждого из пиксельных блоков 2131 арифметическая схема 2415 выполняет предварительно определенное вычисление на пиксельных данных согласно пиксельным сигналам, сформированным посредством соответствующего пиксельного блока 2131. Иными словами, арифметическая схема 2415 предоставляется согласно пиксельному блоку 2131 и выполняет вычислительную обработку для каждого из пиксельных блоков 2131. Следует отметить, что арифметическая схема 2415 предоставляется для пиксельного блока 2131 на основе "один-к-одному". Иными словами, арифметическая схема 2415 предоставляется для микросхемы 2111 обработки сигналов непосредственно ниже пиксельного блока 2131. модуль 2420 управления возбуждением считывает пиксельные данные, сохраненные в пиксельном запоминающем устройстве 2414, передает их в арифметическую схему 2415 и инструктирует арифметической схеме 2415 выполнять предварительно определенную обработку вычисления.

[0346] Интерфейс передачи данных, который передает пиксельные данные или дифференциальные данные, описанные ниже, согласно запросу на доставку, предоставляется для пиксельного запоминающего устройства 2414. Интерфейс передачи данных соединяется с линией 2920 передачи данных, которая соединяется с модулем 2511 обработки изображений. Линия 2920 передачи данных сконфигурирована, например, с последовательной шиной. В этом случае, запрос на доставку из модуля 2501 управления системой в модуль 2420 управления возбуждением выполняется посредством адресации, которая использует адресную шину.

[0347] Предварительно определенное вычисление может быть выполнено после получения пиксельных данных посредством использования параметров управления, которые отличаются между исследуемой областью 2172 и периферийной областью 2176, посредством использования микросхемы 2111 обработки сигналов на фиг. 55. Например, хотя на фиг. 41-44, движущееся изображение формируется из изображений, которые получаются на частотах кадров, которые отличаются между исследуемой областью 2172 и периферийной областью 2176, вместо этого, отношение "сигнал-шум" может улучшаться посредством выполнения обработки изображений для усреднения изображений, полученных на высокой частоте кадров. В этом случае, модуль 2420 управления возбуждением получает пиксельные сигналы, которые соответствуют нескольким разам, например, четырем разам, из исследуемой области 2172, например, при получении пиксельных сигналов, которые соответствуют одному разу, из периферийной области 2176 и сохраняет пиксельные данные в пиксельном запоминающем устройстве 2414. Арифметическая схема 2415 считывает множество фрагментов полученных пиксельных данных, из пиксельного запоминающего устройства 2414, для каждого пиксела исследуемой области 2172 и усредняет их для соответствующих пикселов. В силу этого, уменьшаются случайные шумы каждого пиксела исследуемой области 2172, и может улучшаться отношение "сигнал-шум" исследуемой области 2172.

[0348] Следует отметить, что запоминающее устройство 2940 соединяется с линией 2920 передачи данных. Запоминающее устройство 2940 может представлять собой энергозависимое запоминающее устройство, которое последовательно сохраняет пиксельные данные из пиксельного запоминающего устройства 2414 в обозначенных адресах. Например, запоминающее устройство 2940 представляет собой DRAM. Запоминающее устройство 2940 сохраняет RGB-данные, которые соответствуют одному кадру, который использует принятые пиксельные данные каждого пиксельного блока 2131.

[0349] Модуль 2740 управления инструктирует арифметической схеме 2415, соответствующей пиксельному блоку 2131, обмениваться данными с арифметическими схемами 2415, которые соответствуют периферийным пиксельным блокам 2131. В примере по фиг. 55, модуль 2420 управления возбуждением инструктирует передачу данных из множества арифметических схем 2415. Каждая арифметическая схема 2415 принимает, по меньшей мере, часть других результатов вычисления в других арифметических схемах 2415, которые соответствуют другим пиксельным блокам 2131. Каждая арифметическая схема 2415 может формировать собственные результаты вычисления дополнительно на основе других принимаемых результатов вычисления.

[0350] Кроме того, арифметическая схема 2415 вводит, в выходную схему 2922, результаты вычисления для соответствующих пиксельных блоков 2131, для которых выполнена вычислительная обработка. Выходная схема 2922 ассоциирует результаты вычисления в арифметической схеме 2415 с пиксельными данными и выводит их в модуль 2501 управления системой. Здесь, ассоциирование с пиксельными данными и их вывод означает то, что результаты вычисления, полученные из обработки посредством арифметической схемы 2415 для пиксельных данных пиксельного блока 2131, и информация относительно того, с каким пиксельным блоком связаны пиксельные данные, подвергнутые вычислению, ассоциируются между собой и выводятся.

[0351] Следует отметить, что хотя данные, передаваемые в модуль 2501 управления системой через выходную схему 2922, являются результатами вычисления для каждого пиксельного блока 2131, модуль 2501 управления системой не может использовать принимаемые данные без знания того, какие типы вычисления выполнены в каждом пиксельном блоке 2131, чтобы получать принимаемые данные. В настоящем примере, выходная схема 2922 суммирует код данных, указывающий вычислительный контент в каждой арифметической схеме 2415, с результатами вычисления и выводит их. Код данных может быть предварительно определен для каждой арифметической схемы 2415. Кроме того, когда арифметическая схема 2415 может выполнять множество типов вычисления, арифметическая схема 2415 уведомляет выходную предпочтительно схему 2922 касательно информации, указывающей то, какие типы вычисления выполнены. Иными словами, выходная схема 2922 формирует контент из выполняемого вычисления, результатов вычисления и управляющей информации для каждого пиксельного блока 2131 в качестве одного массива данных и выводит его. Ниже описываются примеры конкретных массивов данных, которые выводит выходная схема 2922.

[0352] Фиг. 56 иллюстрирует множество арифметических схем 2415, которые обмениваются результатами вычисления между собой. Например, первая арифметическая схема 2415 принимает второе значение оценки во второй арифметической схеме 2415 или результаты вычисления в процессе, в котором вторая арифметическая схема 2415 вычисляет второе значение оценки. В этом случае, первая арифметическая схема 2415 вычисляет первое значение оценки на основе второго значения оценки или результатов вычисления. Альтернативно, каждая сама арифметическая схема 2415 может выполнять вычисление на пиксельных сигналах, которые соответствуют другой арифметической схеме 2415, посредством считывания пиксельных сигналов из пиксельного запоминающего устройства 2414, которое соответствует арифметической схеме 2415. Например, первая арифметическая схема 2415 считывает второй пиксельный сигнал, который соответствует второй арифметической схеме 2415. В этом случае, первая арифметическая схема 2415 вычисляет первое значение оценки на основе считывания второго пиксельного сигнала.

[0353] В настоящем примере, пиксельные блоки 2131, которые соответствуют арифметической схеме 2415-1, арифметической схеме 2415-2 и арифметической схеме 2415-4, являются смежными друг с другом в направлении столбцов, и пиксельные блоки 2131, которые соответствуют арифметической схеме 2415-1, арифметической схеме 2415-3 и арифметической схеме 2415-5, являются смежными друг с другом в направлении строк. Каждая арифметическая схема 2415 принимает, по меньшей мере, часть других результатов вычисления в других арифметических схемах 2415, которые соответствуют пиксельным блокам 2131, смежным с пиксельным блоком 2131, который соответствует арифметической схеме 2415. Здесь, смежность означает не только смежность в направлениях строк и столбцов. Пиксельные блоки 2131 могут быть смежными в диагональном направлении. В настоящем примере, поясняется случай, в котором пиксельные блоки 2131 являются смежными в направлении строк и в направлении столбцов.

[0354] Смежные арифметические схемы 2415 соединяются через выходную шину, которая выводит результаты вычисления в арифметическую схему 2415, которая соответствует смежному пиксельному блоку 2131, и входную шину, которая вводит результаты вычисления в арифметическую схему 2415, которая соответствует смежному пиксельному блоку 2131. модуль 2740 управления инструктирует арифметической схеме 2415, которая соответствует пиксельному блоку 2131, формировать результаты вычисления пиксельного блока 2131 на основе результатов вычисления из арифметических схем 2415, которые соответствуют другим смежным пиксельным блокам 2131.

[0355] Фиг. 57 является блок-схемой, которая иллюстрирует один пример конфигурации арифметической схемы 2415. Каждая арифметическая схема 2415 имеет модуль 2912 вычисления соответствующих блоков, модуль 2913 вычисления средних значений, модуль 2914 вычисления разности между средними значениями, модуль 2911 вычисления периферийных блоков и модуль 2915 вычисления разности между пиксельными значениями и средними значениями. Вход модуля 2912 вычисления соответствующих блоков соединяется с выходом пиксельного запоминающего устройства 2414, которое соответствует пиксельному блоку 2131, и выход модуля 2912 вычисления соответствующих блоков соединяется с входом модуля 2913 вычисления средних значений, входом модуля 2914 вычисления разности между средними значениями, входом выходной схемы 2922 и каждой арифметической схемы 2415, которая соответствует смежному пиксельному блоку 2131. Например, модуль 2912 вычисления соответствующих блоков выводит среднее пиксельных значений соответствующих цветов в соответствующем пиксельном блоке 2131.

[0356] Модуль 2911 вычисления периферийных блоков имеет множество входов, и соответствующие входы соединяются с выходами арифметических схем 2415, которые соответствуют множеству пиксельных блоков 2131, которые являются смежными с пиксельным блоком 2131. Выход модуля 2911 вычисления периферийных блоков соединяется с входом модуля 2913 вычисления средних значений. Например, модуль 2911 вычисления периферийных блоков может вычислять среднее средних пиксельных значений соответствующих цветов, принимаемых из других арифметических схем 2415. Кроме того, модуль 2911 вычисления периферийных блоков может выводить, как есть, средние пиксельных значений соответствующих цветов, принимаемых из других арифметических схем 2415.

[0357] Модуль 2913 вычисления средних значений имеет две входных части, один из вводов соединяется с выводом модуля 2912 вычисления соответствующих блоков, а другой вход соединяется с выходом модуля 2911 вычисления периферийных блоков. Например, модуль 2913 вычисления средних значений выводит среднее пиксельных значений соответствующих цветов в соответствующем пиксельном блоке 2131 и смежных пиксельных блоках 2131 на основе среднего значения, выводимого посредством модуля 2912 вычисления соответствующих блоков, и среднего значения, выводимого посредством модуля 2911 вычисления периферийных блоков.

[0358] Модуль 2914 вычисления разности между средними значениями имеет два входа, один из входов соединяется с выходом модуля 2913 вычисления средних значений, а другой вход соединяется с выходом модуля 2912 вычисления соответствующих блоков. Выход модуля 2914 вычисления разности между средними значениями соединяется с входом выходной схемы 2922. Например, модуль 2914 вычисления разности между средними значениями вычисляет разность между средним пиксельных значений соответствующих цветов, вычисленных посредством модуля 2913 вычисления средних значений, и средним пиксельных значений соответствующих цветов, вычисленных посредством модуля 2912 вычисления соответствующих блоков.

[0359] Модуль 2915 вычисления разности между пиксельными значениями и средними значениями имеет два входа, один из входов соединяется с выходом модуля 2913 вычисления средних значений, а другой вход соединяется с выходом пиксельного запоминающего устройства 2414, которое соответствует пиксельному блоку 2131. Выход модуля 2915 вычисления разности между пиксельными значениями и средними значениями соединяется с входом пиксельного запоминающего устройства 2414, которое соответствует пиксельному блоку 2131. Например, модуль 2915 вычисления разности между пиксельными значениями и средними значениями выводит разность между каждым пиксельным значением в пиксельном блоке 2131 и средним значением соответствующего цвета из средних пиксельных значений соответствующих цветов, вычисленных посредством модуля 2913 вычисления средних значений.

[0360] Модуль 2740 управления передает результаты вычисления в модуле 2912 вычисления соответствующих блоков в другую арифметическую схему 2415 и выходную схему 2922. Кроме того, модуль 2740 управления передает результаты вычисления в модуле 2914 вычисления разности между средними значениями в выходную схему 2922. Кроме того, модуль 2740 управления возвращает результаты вычисления в модуле 2915 вычисления разности между пиксельными значениями и средними значениями в пиксельное запоминающее устройство 2414 пиксельного блока 2131.

[0361] Следует отметить, что каждый модуль вычисления арифметической схемы 2415 может быть сконфигурирован со схемой сложения, схемой вычитания и схемой деления. Таким образом, посредством упрощения схемной конфигурации арифметической схемы 2415, арифметическая схема 2415 может быть реализована для каждого пиксельного блока 2131.

[0362] Фиг. 58 является блок-схемой последовательности операций способа для пояснения одного примера операций арифметической схемы 2415. После того, как арифметическая схема 2415 начинает операции, на этапе S2300, модуль 2740 управления считывает из пиксельного запоминающего устройства 2414, которое соответствует пиксельному блоку 2131, пиксельные RGB-данные пиксельного блока 2131, изображение которого формируется на частоте кадров пиксельного блока 2131, и вводит их в модуль 2912 вычисления соответствующих блоков. На этапе S2310, модуль 2740 управления вводит, по меньшей мере, часть результатов вычисления в смежном пиксельном блоке 2131 из смежной арифметической схемы 2415 в модули 2911 вычисления периферийных блоков при синхронизации с этапом S2300. В настоящем примере, каждая арифметическая схема 2415 вычисляет среднее соответствующих пиксельных значений RGB-пикселов, и модули 2911 вычисления периферийных блоков принимают среднее соответствующих пиксельных значений RGB-пикселов, вычисленных посредством смежной арифметической схемы 2415.

[0363] На этапе S2320, модуль 2740 управления инструктирует модулю 2912 вычисления соответствующих блоков выполнять предварительно определенное вычисление на пиксельных данных пиксельного блока 2131, который соответствует модулю 2740 управления. Например, модуль 2912 вычисления соответствующих блоков вычисляет соответствующие суммированные средние значения (Ar, Ag, Ab) RGB-пикселов пиксельного блока 2131. Суммированное среднее значение вычисляется следующим образом:

Ai=Σ(i пикселов в пиксельном блоке)/(число i пикселов в пиксельном блоке) (i=r, g, b)

На этапе S2322, модуль 2740 управления инструктирует модулю 2912 вычисления соответствующих блоков вводить средние значения (Ar, Ag, Ab) на вход выходной схемы 2922 и входы соответствующих арифметических схем 2415, которые соответствуют четырем смежным пиксельным блокам 2131.

[0364] На этапе S2340, модуль 2740 управления инструктирует модулю 2911 вычисления периферийных блоков вычислять средние (Br, Bg, Bb) (в качестве средних смежных пиксельных блоков) во множестве смежных пиксельных блоков 2131 на основе соответствующих суммированных средних значений RGB-пикселов смежных пиксельных блоков 2131. Например, среднее смежных пиксельных блоков вычисляется следующим образом:

Bi=∑Ai/4 (i=r, g, b) (следует отметить, что число смежных пиксельных блоков 2131 предположительно составляет четыре).

На этапе S2350, модуль 2740 управления инструктирует модулю 2913 вычисления средних значений выполнять предварительно определенное вычисление на других результатах вычисления, принимаемых из других арифметических схем 2415, и результата вычисления в модуле 2912 вычисления соответствующих блоков. Например, модуль 2913 вычисления средних значений вычисляет полные средние (Cr, Cg, Cb) четырех средних значений (Br, Bg, Bb) смежных пиксельных блоков, вычисленных на этапе S2340, и суммированных средних значений (Ar, Ag, Ab) пиксельного блока 2131, вычисленных на этапе S2320. Полное среднее вычисляется следующим образом:

Ci=(Bi+Ai)/2 (i=r, g, b)

[0365] На этапе S2360, модуль 2740 управления инструктирует модулю 2914 вычисления разности между средними значениями вычислять разностные значения (ΔAr, ΔAg, ΔAb) между суммированными средними значениями (Ar, Ag, Ab) в блоке, вычисленном посредством модуля 2912 вычисления соответствующих блоков на этапе S2320, и полными средними значениями (Cr, Cg, Cb), вычисленными посредством модуля 2913 вычисления средних значений на этапе S2350. Разностное значение вычисляется следующим образом:

ΔAi=(Ai-Ci) (i=r, g, b). На этапе S2370, модуль 2740 управления инструктирует модулю 2914 вычисления разности между средними значениями вводить разностные значения (ΔAr, ΔAg, ΔAb) в выходную схему 2922. Следует отметить, что арифметическая схема 2415 может не иметь модуля 2914 вычисления разности между средними значениями, а вводить результаты вычисления в модуле 2913 вычисления средних значений в выходную схему 2922 вместо результатов вычисления в модуле 2914 вычисления разности между средними значениями.

[0366] На этапе S2380, модуль 2740 управления инструктирует модулю 2915 вычисления разности между пиксельными значениями и средними значениями вычислять разностные значения ΔCr, ΔCg, ΔCb) между пиксельными RGB-данными пиксельного блока, полученными на этапе S2310, и полными средними значениями (Cr, Cg, Cb), вычисленными посредством модуля 2913 вычисления средних значений на этапе S2350. Разностное значение вычисляется следующим образом:

ΔCi=(Ci-i пикселов в пиксельном блоке) (i=r, g, b)

В силу этого, исходная информация пиксельных данных может быть сохранена посредством использования небольшого разностного значения и среднего значения. Иными словами, на основе результатов вычисления в модуле 2913 вычисления средних значений, могут сжиматься пиксельные данные пиксельного блока 2131, соответствующего им.

[0367] На этапе S2390, модуль 2740 управления возвращает ΔCr, ΔCg, ΔCb) в пиксельное запоминающее устройство 2414 пиксельного блока 2131. На этапе S2392, модуль 2740 управления определяет то, следует или нет продолжать вычисление, и если следует, последовательность операций возвращается к этапу S2300, а если не следует, вычислительная обработка завершается.

[0368] Модуль 2740 управления выполняет вышеописанные операции арифметической схемы 2415 для каждого пиксельного блока 2131. Следует отметить, что арифметическая схема 2415 может выполнять предварительно определенное вычисление на пиксельных данных в текущем кадре, посредством использования пиксельных данных в предыдущем кадре. В этом случае, модуль 2740 управления может использовать, для арифметической схемы 2415, соответствующие суммированные средние значения (Dr, Dg, Db) для RGB-пикселов, например, в предыдущем кадре в своем пиксельном блоке 2131, вместо соответствующих средних значений RGB-пикселов смежных пиксельных блоков 2131. Суммированное среднее значение предыдущего кадра получается следующим образом:

Di=∑(i пикселов в пиксельном блоке предыдущего кадра)/(число i пикселов в пиксельном блоке предыдущего кадра) (i=r, g, b)

Модуль 2740 управления считывает пиксельные RGB-данные предыдущего кадра из запоминающего устройства 2940 и инструктирует четвертому вычислительному модулю вычислять суммированные средние значения (Dr, Dg, Db). Другие операции являются аналогичными операциям на фиг. 58; поэтому, их пояснение опускается.

[0369] Таким образом, в настоящем примере, результаты вычисления и вычислительный контент для каждого пиксельного блока 2131 и управляющая информация относительно каждого пиксельного блока 2131 посредством модуля 2740 управления могут быть переданы из пиксельного блока 2131 в модуль 2501 управления системой через выходную схему 2922. Как результат, может значительно уменьшаться нагрузка по обработке изображений в модуле 2501 управления системой. Кроме того, поскольку арифметическая схема 2415 должна выводить только значение корреляции с пиксельными данными периферийного пиксельного блока 2131 в качестве значения оценки пиксельных блоков 2131, может уменьшаться объем данных, которые должны быть переданы в модуль 2501 управления системой. Кроме того, поскольку арифметическая схема 2415 в настоящем примере возвращает разностные значения ΔCr, ΔCg, ΔCb) в пиксельное запоминающее устройство 2414, соответствующее пиксельному блоку 2131, на соответствующую величину может уменьшаться объем данных, которые должны быть переданы в модуль 2501 управления системой. Кроме того, поскольку модуль 2511 обработки изображений, включенный в модуль 2501 управления системой, может формировать один фрагмент данных изображений на основе результатов вычисления, принимаемых из выведенной схемы 2922, может повышаться скорость обработки изображений по сравнению со случаем, в котором пиксельные RGB-данные всех пиксельных блоков 2131 сохраняются один раз в запоминающем устройстве 2940 и считываются, чтобы переконфигурировать одно изображение. Следует отметить, что микросхема 2111 обработки сигналов в настоящем примере имеет, по меньшей мере, часть функций для функций обработки изображений в модуле 2511 обработки изображений. Например, арифметическая схема 2415 дополнительно выступает в качестве модуля обработки изображений, который выполняет, на основе каждого значения оценки, обработку изображений на данных изображения, которое соответствует надлежащим пиксельным сигналам. В качестве одного примера, функции обработки изображений могут представлять собой функцию возврата разностных значений ΔCr, ΔCg, ΔCb) в пиксельное запоминающее устройство 2414. Следует отметить, что примеры значения оценки включают в себя среднее пиксельных сигналов в пиксельном блоке 2131, взвешенное среднее пиксельных сигналов в пределах и за пределами пиксельного блока 2131, контрастность в пиксельном блоке 2131, взвешенное среднее контрастности в пределах и за пределами пиксельного блока 2131, яркость в пиксельном блоке 2131 и взвешенное среднее яркости в пределах и за пределами пиксельного блока 2131. Кроме того, значение оценки может быть значением, полученным посредством суммирования среднего G-пикселов, среднего R-пикселов и среднего B-пикселов в предварительно определенном соотношении. Кроме того, средние значения могут вычисляться как средние значения частичной области, помещенные в единичной группе.

[0370] Фиг. 59 иллюстрирует один пример массива 2950 данных, который формируется посредством выходной схемы 2922 на основе ввода из арифметической схемы 2415. Массив 2950 данных имеет область 2952 кодов данных и область 2954 данных. Четыре бита для кода данных могут выделяться области 2952 кодов данных. В настоящем примере, D12-D15 выделяются для кода данных. 12 битов для дополнительных данных, которые соответствуют каждому коду данных, могут выделяться области 2954 данных. В настоящем примере, D0-D11 выделяются для дополнительных данных. Число битов массива 2950 данных не ограничивается 16 битами, и число битов, которые должны выделяться коду данных и дополнительным данным, может быть произвольно задано.

[0371] Следует отметить, что модуль 2740 управления может выводить данные результатов вычислений из арифметической схемы 2415 через другой маршрут, который отличается от маршрута для пиксельных данных из пиксельного запоминающего устройства 2414. Например, модуль 2740 управления может передавать результаты вычисления арифметической схемы 2415 в модуль 2501 управления системой через выходную схему 2922. Кроме того, модуль 2740 управления может сохранять пиксельные данные пиксельного запоминающего устройства 2414 в запоминающем устройстве 2940 через линию 2920 передачи данных. В другом примере, модуль 2740 управления может присоединять результаты вычисления пиксельных данных пиксельного блока 2131 к пиксельным данным пиксельного блока 2131 и передавать их в модуль 2501 управления системой из выходной схемы 2922 совместно.

[0372] Следует отметить, что хотя выше поясняется пример вычисления среднего пиксельных значений, вычислительный контент в арифметической схеме 2415 не ограничен этим. Параметры, которые используются для арифметической схемы 2415, могут включать в себя информацию, отличную от пиксельных значений. Например, арифметическая схема 2415 может выполнить предварительно определенное вычисление посредством использования таких параметров, как позиция пиксела в плоскости XY, информация относительно расстояния до объекта, значение раскрытия диафрагмы, период накопления электрического заряда в PD 2104, усиление преобразования электрического заряда в напряжение в пиксельном блоке 2131, частота кадров возбуждения в пиксельном блоке 2131 (частота кадров) и т.п.

[0373] Фиг. 60 иллюстрирует один пример контента массива 2950 данных, проиллюстрированного на фиг. 59. 16 типов кодов данных (0-9, a-f) сохраняются в области 2952 кодов данных. Суммированное среднее значение (Ar) R-пиксела пиксельного блока 2131 выделяется коду 0 данных и выводится в качестве 12-битовых дополнительных данных. Суммированное среднее значение (Ag) G-пиксела пиксельного блока 2131 выделяется коду 1 данных и выводится в качестве 12-битовых дополнительных данных. Суммированное среднее значение (Ab) B-пиксела пиксельного блока 2131 выделяется коду 2 данных и выводится в качестве 12-битовых дополнительных данных. Разность ΔAr между полными средними значениями Cr, Ar выделяется коду 3 данных и выводится в качестве 12-битовых дополнительных данных. Разность ΔAg между полными средними значениями Cg, Ag выделяется коду 4 данных и выводится в качестве 12-битовых дополнительных данных. Разность ΔAb между полными средними значениями Cb, Ab выделяется коду 5 данных и выводится в качестве 12-битовых дополнительных данных. Вышеописанные данные являются одним примером данных вычислительного контента и результатов вычисления, выводимых посредством арифметической схемы 2415.

[0374] Массив 2950 данных дополнительно включает в себя управляющую информацию модуля 2740 управления. В настоящем примере, усиление преобразования электрического заряда в напряжение пиксельного блока 2131 выделяется коду d данных и выводится в качестве 12-битовых дополнительных данных. Частота кадров возбуждения пиксельного блока 2131 выделяется коду e данных и выводится в качестве 12-битовых дополнительных данных. Период накопления пиксельного блока 2131 выделяется коду f данных и выводится в качестве 12-битовых дополнительных данных. Посредством добавления управляющей информации (журнала управления) модуля 2740 управления к массиву 2950 данных, управляющая информация, указывающая то, как модуль 2740 управления управляет каждым пиксельным блоком 2131, может быть передана из стороны пиксельного блока в модуль 2501 управления системой.

[0375] Иными словами, поскольку модуль 2501 управления системой может принимать массив 2950 данных, который иллюстрируется на фиг. 59, для каждого пиксельного блока 2131, модуль 2501 управления системой может легко выполнять обработку изображений для каждого пиксельного блока 2131 посредством выполнения обработки, на основе кода данных массива 2950 данных, для данных, считываемых посредством осуществления доступа к соответствующим фрагментам дифференциальных данных RGB-пикселов пиксельного блока 2131, который сохраняется в запоминающем устройстве 2940. Иными словами, поскольку часть обработки в модуле 2501 управления системой выполняется в арифметической схеме 2415, может значительно уменьшаться нагрузка по обработке пиксельных данных для модуля 2501 управления системой при формировании движущихся изображений. Следует отметить, что модуль 2501 управления системой может эффективно использовать контент массива 2950 данных, выводимого посредством выходной схемы 2922, при уменьшении нагрузки в модуле 2501 управления системой. Например, модуль 2501 управления системой может формировать движущееся изображение посредством изменения скоростей сжатия для соответствующих пиксельных блоков 2131 на основе контента массива 2950 данных.

[0376] Фиг. 61 является видом в сечении другого элемента 3100 формирования изображений согласно настоящему варианту осуществления. Элемент 3100 формирования изображений включает в себя микросхему 3113 формирования изображений, которая выводит пиксельный сигнал, соответствующий падающему свету, микросхему 3111 обработки сигналов, которая обрабатывает пиксельный сигнал, и микросхему 3112 запоминающего устройства, которая сохраняет пиксельный сигнал. Эти микросхема 3113 формирования изображений, микросхема 3111 обработки сигналов и микросхема 3112 запоминающего устройства располагаются слоями и электрически соединяются между собой через проводящие столбиковые выводы 3109, к примеру, Cu.

[0377] Следует отметить, что как проиллюстрировано, падающий свет падает, главным образом, в положительном направлении по оси Z, которое указывается с помощью обведенной стрелки. В этом подробном описании, поверхность микросхемы 3113 формирования изображений на стороне, на которую падает падающий свет, называется задней стороной. Кроме того, как указано с помощью осей координат, направление влево на чертеже, которое является ортогональным к оси Z, упоминается в качестве положительного направления по оси X, а направление вперед на чертеже, которое является ортогональным к осям Z и X, упоминается в качестве положительного направления по оси Y. На нескольких чертежах, упомянутых ниже, оси координат отображаются таким образом, что ориентация каждого чертежа может быть известной на основе осей координат на фиг. 61.

[0378] Один пример микросхемы 3113 формирования изображений представляет собой МОП-датчик изображений с освещением с задней стороны. PD-слой 3106 располагается на задней стороне слоя 3108 межсоединений. PD-слой 3106 имеет множество PD 3104 (фотодиодов), которые двумерно располагаются, накапливают электрические заряды согласно падающему свету и формируют пиксельные сигналы согласно накопленным электрическим зарядам, и транзисторов 3105, обеспеченных согласно PD 3104.

[0379] Цветные светофильтры 3102 обеспечены на стороне падения падающего света PD-слоя 3106 через пассивирующую пленку 3103. Предусмотрено множество типов цветных светофильтров 3102, которые дают возможность прохождения взаимно различных диапазонов длин волн, и цветные светофильтры 3102 упорядочиваются, в частности, согласно соответствующим PD 3104. Ниже описываются матрицы цветных светофильтров 3102. Набор из цветного светофильтра 3102, PD 3104 и транзистора 3105 формирует один пиксел.

[0380] Микролинза 3101 предоставляется согласно каждому пикселу на стороне падения падающего света цветного светофильтра 3102. Микролинза 3101 конденсирует падающий свет к соответствующему PD 3104.

[0381] Слой 3108 межсоединений имеет межсоединения 3107, которые передают пиксельный сигнал из PD-слоя 3106 в микросхему 3111 обработки сигналов. Межсоединение 3107 может быть многослойным и может быть снабжено пассивным элементом и активным элементом.

[0382] Множество столбиковых выводов 3109 располагается на поверхности слоя 3108 межсоединений. Множество столбиковых выводов 3109 совмещается с множеством столбиковых выводов 3109, которые обеспечены на противостоящей поверхности микросхемы 3111 обработки сигналов, и, например, микросхема 3113 формирования изображений и микросхема 3111 обработки сигналов прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 3109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0383] Аналогично, множество столбиковых выводов 3109 располагается на взаимно противостоящих поверхностях микросхемы 3111 обработки сигналов и микросхемы 3112 запоминающего устройства. Эти столбиковые выводы 3109 совмещаются друг с другом, и, например, микросхема 3111 обработки сигналов и микросхема 3112 запоминающего устройства прижимаются друг к другу; за счет этого совмещенные столбиковые выводы 3109 подвергаются термокомпрессионной сварке и электрически соединяются между собой.

[0384] Следует отметить, что соединение между столбиковыми выводами 3109 не ограничивается соединением столбиковых выводов из Cu посредством диффузии из твердой фазы, и может применяться соединение столбиковых микровыводов посредством припойного соединения. Кроме того, приблизительно один столбиковый вывод 3109 может предоставляться, например, для каждого пиксельного блока, описанного ниже. Соответственно, размер столбиковых выводов 3109 может превышать шаг PD 3104. Кроме того, в периферийной области, отличной от пиксельной области, в которой упорядочиваются пикселы, также может предоставляться столбиковый вывод, который превышает столбиковые выводы 3109, соответствующие пиксельной области.

[0385] Микросхема 3111 обработки сигналов имеет TSV 3110 (переходное отверстие в кремнии), которое соединяет схемы, которые обеспечены на передней стороне и задней стороне, соответственно. TSV 3110 предпочтительно предоставляется в периферийной области. Кроме того, TSV 3110 также может предоставляться в периферийной области микросхемы 3113 формирования изображений и микросхемы 3112 запоминающего устройства.

[0386] Фиг. 62 является схемой для пояснения пиксельной матрицы и пиксельного блока 3131 микросхемы 3113 формирования изображений. Фиг. 62 показывает строение микросхемы 3113 формирования изображений, наблюдаемое с задней стороны. Матрица множества пикселов упорядочивается в пиксельной области 3700. На фиг. 62, смежные четыре пиксела (четыре пиксела, 16 пикселов), формируют один пиксельный блок 3131. Линии сетки координат на чертеже показывают такой принцип, что смежные пикселы группируются с возможностью формировать пиксельный блок 3131. Число пикселов, которые формируют пиксельный блок 3131, не ограничено этим, и может составлять приблизительно 1000, например, тридцать два пиксела (шестьдесят четыре пиксела либо больше или меньше).

[0387] Как проиллюстрировано в частично укрупненном виде пиксельной области 3700, пиксельный блок 3131 включает в себя, в верхней левой, верхней правой, нижней левой и нижней правой частях, четыре так называемых байеровских матрицы, каждая из которых включает в себя четыре пиксела, включая пикселы Gb, Gr зеленого цвета, пиксел B синего цвета и пиксел R красного цвета. Пикселы зеленого цвета имеют зеленые светофильтры в качестве цветных светофильтров 3102 и принимают свет в диапазоне длин волн зеленого цвета падающего света. Аналогично, пиксел синего цвета имеет синий светофильтр в качестве цветного светофильтра 3102 и принимает свет в диапазоне длин волн синего цвета, и пиксел красного цвета имеет красный светофильтр в качестве цветного светофильтра 3102 и принимает свет в диапазоне длин волн красного цвета.

[0388] В настоящем варианте осуществления, по меньшей мере, один пиксельный блок выбирается из множества пиксельных блоков 3131, и пикселы, включенные в каждый пиксельный блок, управляются с параметрами управления, которые отличаются от параметров управления для других пиксельных блоков. Примеры параметров управления включают в себя частоту кадров, показатель прореживания, число суммированных строк, пиксельные сигналы которых суммируются, период или число накоплений электрических зарядов, число битов для оцифровки и т.п. Кроме того, параметры управления могут представлять собой параметры при обработке изображений, выполняемой после получения сигналов изображений из пиксела. Частота кадров означает цикл формирования пиксельных сигналов. Следует отметить, что в этом подробном описании, частота кадров может означать частоты кадров соответствующих пиксельных блоков 3131. Например, опорная частота кадров и высокая частота кадров означают частоты кадров соответствующих пиксельных блоков 3131.

[0389] Фиг. 63 является схематическим видом, который соответствует пиксельному блоку 3131 микросхемы 3113 формирования изображений. На чертеже прямоугольник, который указывается с помощью пунктирных линий, типично представляет схему, которая соответствует одному пикселу. Следует отметить, что, по меньшей мере, часть каждого транзистора, поясненного ниже, соответствует транзистору 3105 на фиг. 61.

[0390] Хотя на фиг. 63 проиллюстрирован пиксельный блок 3131, сформированный с 16 пикселами, число пикселов пиксельного блока 3131 не ограничено этим. 16 PD 3104, которые соответствуют надлежащим пикселам, соединяются с соответствующими транзисторами 3302 переноса, и затвор каждого транзистора 3302 переноса соединяется с TX межсоединением 3307, в которое подаются импульсы переноса. В примере, проиллюстрированном на фиг. 63, TX межсоединение 3307 соединяется совместно с 16 транзисторами 3302 переноса.

[0391] Сток каждого транзистора 3302 переноса соединяется с истоком соответствующего транзистора 3303 сброса, а также так называемая плавающая диффузионная область FD между стоком транзистора 3302 переноса и истоком транзистора 3303 сброса соединяется с затвором усиливающего транзистора 3304. Сток транзистора 3303 сброса соединяется с Vdd межсоединением 3310, в которое подается напряжение питания, и его затвор соединяется с межсоединением 3306 сброса, в которое подаются импульсы сброса. В примере, проиллюстрированном на фиг. 63, межсоединение 3306 сброса соединяется совместно с 16 транзисторами 3303 сброса.

[0392] Сток каждого усиливающего транзистора 3304 соединяется с Vdd межсоединением 3310, в которое подается напряжение питания. Кроме того, исток каждого усиливающего транзистора 3304 соединяется со стоком соответствующего транзистора 3305 выбора. Затвор каждого транзистора выбора соединяется с межсоединением 3308 декодера, в которое подаются импульсы выбора. В примере, проиллюстрированном на фиг. 63, межсоединение 3308 декодера предоставляется независимо для каждого из 16 транзисторов 3305 выбора. Затем, исток каждого транзистора выбора 3305 соединяется с общим выходным межсоединением 3309. Источник 3311 тока нагрузки подает ток в выходное межсоединение 3309. Иными словами, выходное межсоединение 3309 для транзисторов 3305 выбора формируется посредством истокового повторителя. Следует отметить, что источник 3311 тока нагрузки может предоставляться на стороне микросхемы 3113 формирования изображений или на стороне микросхемы 3111 обработки сигналов.

[0393] Здесь, поясняется последовательность операций от начала накопления электрического заряда до вывода пикселов после завершения накопления. Когда импульсы сброса применяются к транзистору 3303 сброса через межсоединение 3306 сброса, и одновременно импульсы переноса применяются к транзистору 3302 переноса через TX межсоединение 3307, сбрасывается потенциал PD 3104 и плавающей диффузионной области FD.

[0394] Когда применение импульсов переноса прекращается, PD 3104 преобразует принимаемый падающий свет в электрические заряды, которые затем накапливаются. После этого, когда импульсы переноса применяются снова в состоянии, в котором импульсы сброса не применяются, накопленные электрические заряды переносятся в плавающую диффузионную область FD, и потенциал плавающей диффузионной области FD изменяется с потенциала сброса на потенциал сигнала после накопления электрического заряда. Затем, когда импульсы выбора применяются к транзистору 3305 выбора через межсоединение 3308 декодера, изменение в потенциале сигнала плавающей диффузионной области FD передается в выходное межсоединение 3309 через усиливающий транзистор 3304 и транзистор 3305 выбора. В силу этого, пиксельные сигналы, соответствующие потенциалу сброса и потенциалу сигнала, выводятся из единичного пиксела в выходное межсоединение 3309.

[0395] В примере, проиллюстрированном на фиг. 63, межсоединение 3306 сброса и TX межсоединение 3307 являются общими для 16 пикселов, которые формируют пиксельный блок 3131. Иными словами, импульсы сброса и импульсы переноса, соответственно, применяются одновременно ко всем 16 пикселам. Соответственно, все пикселы, которые формируют пиксельный блок 3131, начинают накопление электрического заряда при одном и том же тактировании и завершают накопление электрического заряда при одном и том же тактировании. Тем не менее, следует отметить, что пиксельные сигналы, которые соответствуют накопленным электрическим зарядам, выводятся избирательно в выходное межсоединение 3309 при последовательном применении импульсов выбора к соответствующим транзисторам 3305 выбора. Кроме того, межсоединение 3306 сброса, TX межсоединение 3307 и выходное межсоединение 3309 обеспечены отдельно для каждого пиксельного блока 3131.

[0396] Посредством конфигурирования схемы на основе пиксельного блока 3131 таким способом, период накопления электрического заряда может управляться для каждого пиксельного блока 3131. Другими словами, смежным пиксельным блокам 3131 может инструктироваться выводить пиксельные сигналы в течение различных периодов накопления электрического заряда. Кроме того, посредством инструктирования одному пиксельному блоку 3131 повторять накопление электрического заряда несколько раз и выводить пиксельный сигнал каждый раз в момент, когда другому пиксельному блоку 3131 инструктируется выполнять накопление электрического заряда один раз, этим пиксельным блокам 3131 может инструктироваться выводить соответствующие кадры для движущегося изображения на различных частотах кадров.

[0397] Фиг. 64A иллюстрирует часть конфигурации элемента 3100 формирования изображений и его примеры работы. Элемент 3100 формирования изображений в настоящем примере дополнительно имеет модуль 3114 хранения в дополнение к конфигурации, проиллюстрированной на фиг. 61. Следует отметить, что модуль 3114 хранения может предоставляться для микросхемы 3111 обработки сигналов. В этом случае, элемент 3100 формирования изображений не должен иметь микросхему 3112 запоминающего устройства. Кроме того, модуль 3114 хранения может предоставляться для микросхемы 3112 запоминающего устройства.

[0398] Микросхема 3113 формирования изображений имеет пиксельную область 3700, в которую помещаются множество пикселов, которые, соответственно, формируют пиксельные сигналы согласно падающему свету. Здесь, пиксельная область 3700 может быть сконфигурирована посредством двумерного размещения множества пикселов. Каждый пиксельный блок 3131 имеет m (n) пикселов в направлениях строк и столбцов. Здесь, m и n являются целыми числами, которые равны или больше двух. Пиксельная область 3700 имеет множество пиксельных блоков 3131, которые разделяются в направлениях строк и столбцов. Как проиллюстрировано на фиг. 62, пиксельный блок 3131 означает совокупность пикселов, в которых множество пикселов помещаются в матрице. Кроме того, направления строк и столбцов означают два различных направления в плоскости пиксельной области 3700 и не обязательно могут быть ортогональными друг другу.

[0399] Хотя, для удобства пояснения, три (в направлении строк) (три (в направлении столбцов)) пиксельных блока 3131 указываются на фиг. 64A-64C, число пиксельных блоков 3131, включенных в пиксельную область 3700, может быть большим. Числа пикселов, включенных в каждый пиксельный блок 3131, предпочтительно являются одними и теми же. Кроме того, число пикселов, включенных в каждый пиксельный блок 3131 в пиксельной области 3700, является фиксированным. Пиксельный блок 3131 конфигурируется, например, с 32 (64) пикселами.

[0400] Микросхема 3111 обработки сигналов в настоящем примере имеет, для каждого пиксельного блока 3131, мультиплексор 3411, аналого-цифровой преобразователь 3412, демультиплексор 3413 и модуль 3740 управления. Мультиплексор 3411 последовательно выбирает пикселы, включенные в соответствующий пиксельный блок 3131, и вводит пиксельный сигнал, соответствующий выбранным пикселам, в аналого-цифровой преобразователь 3412. Аналого-цифровой преобразователь 3412 преобразует аналоговые пиксельные сигналы в цифровые пиксельные данные и вводит их в демультиплексор 3413. Демультиплексор 3413 инструктирует области хранения, соответствующей пикселу, сохранять пиксельные данные в соответствующем блоке 3730 хранения. Соответствующие блоки 3730 хранения передают сохраненные пиксельные данные в арифметическую схему на следующем этапе.

[0401] Модуль 3114 хранения предоставляется согласно множеству пиксельных блоков 3131 и имеет множество блоков 3730 хранения, которые могут сохранять пиксельные данные надлежащих соответствующих пиксельных блоков 3131. Блок 3730 хранения соответствует "один-к-одному" пиксельному блоку 3131. Блок 3730 хранения может соединяться с соответствующим пиксельным блоком 3131 через шину 3720. Блок 3730 хранения может представлять собой буферное запоминающее устройство.

[0402] Кроме того, по меньшей мере, часть блока 3730 хранения может сохранять пиксельные данные пиксельного блока, отличного от соответствующего пиксельного блока 3131. Иными словами, один блок 3730 хранения может совместно использоваться посредством множества пиксельных блоков 3131. Другими словами, модуль 3740 управления может инструктировать сохранение пиксельных данных одного пиксельного блока 3131 во множестве блоков 3730 хранения. Поскольку множество блоков 3730 хранения может эффективно использоваться посредством совместного использования блоков 3730 хранения, как описано ниже, может подавляться емкость запоминающего устройства всего модуля 3114 хранения.

[0403] Следует отметить, что касательно всех пиксельных блоков 3131, предпочтительно пиксельные данные могут записываться и считываться в/из, по меньшей мере, одного другого блока 3730 хранения, отличного от соответствующего блока 3730 хранения. Другой блок 3730 хранения может быть предварительно определен для каждого пиксельного блока 3131 или может быть динамически изменяемым. Также касательно всех блоков 3730 хранения, предпочтительно пиксельные данные записываются и считываются в/из, по меньшей мере, одного другого пиксельного блока 3131, отличного от соответствующего пиксельного блока 3131. Другой пиксельный блок 3131 может быть предварительно определен для каждого блока 3730 хранения или может быть динамически изменяемым.

[0404] Следует отметить, что каждый блок 3730 хранения может представлять собой запоминающее устройство, которое предоставляется для каждого пиксельного блока 3131 в области микросхемы 3111 обработки сигналов, которая перекрывается с соответствующим пиксельным блоком 3131. Иными словами, блок 3730 хранения может предоставляться в области непосредственно ниже соответствующего пиксельного блока 3131 в микросхеме 3111 обработки сигналов. В этом случае, пиксельный блок 3131 и блок 3730 хранения могут быть электрически подключены через TSV. Кроме того, соответствующий блок 3730 хранения, аналого-цифровой преобразователь 3412 и т.п. обеспечены в области микросхемы 3111 обработки сигналов, которая перекрывается с каждым пиксельным блоком 3131. Кроме того, каждый блок 3730 хранения может представлять собой запоминающее устройство, которое предоставляется за пределами области микросхемы 3111 обработки сигналов, которая перекрывается с пиксельной областью 3700.

[0405] Кроме того, когда соответствующий блок 3730 хранения и аналого-цифровой преобразователь 3412 обеспечены в области, которая перекрывается с соответствующим пиксельным блоком 3131, и когда соответствующий блок 3730 хранения сохраняет пиксельные данные пиксельного блока 3131, отличного от соответствующего пиксельного блока 3131, аналоговый пиксельный сигнал или цифровые пиксельные данные могут быть переданы в область, в которой предоставляется блок 3730 хранения. В первом случае, аналого-цифровой преобразователь 3412, который соответствует блоку 3730 хранения, преобразует пиксельный сигнал в пиксельные данные и вводит их в блок 3730 хранения. Во втором случае, пиксельный сигнал преобразуется в пиксельные данные в аналого-цифровом преобразователе 3412 в области, которая перекрывается с пиксельным блоком 3131, и затем пиксельные данные передаются в блок 3730 хранения, в котором должны сохраняться пиксельные данные. Межсоединения для передачи этих пиксельных сигналов или пиксельных данных обеспечены в микросхеме 3111 обработки сигналов.

[0406] Фиг. 64B иллюстрирует другой пример работы элемента 3100 формирования изображений. Следует отметить, что конфигурация микросхемы 3111 обработки сигналов, проиллюстрированного на фиг. 64A, опускается на фиг. 64B. В настоящем примере, пиксельные данные пиксельного блока 3712 из множества пиксельных блоков 3131 сохраняются в любом из других блоков 3731, 3732, 3733 хранения, отличных от соответствующего блока 3734 хранения. В настоящем примере, аналоговые пиксельные сигналы, формируемые посредством пиксельного блока 3712, преобразуются в цифровые пиксельные данные посредством аналого-цифрового преобразователя 3412, который соответствует другому блоку 3731-3733 хранения. Таким образом, может повышаться эффективность использования запоминающего устройства посредством задания пиксельных данных любого пиксельного блока 3712 допускающими хранение во множестве блоков 3731-3734 хранения.

[0407] Например, множество пиксельных блоков 3131 может формировать пиксельные сигналы объекта, изображение которого формируется на различных частотах кадров из соответствующих пиксельных блоков 3131 при тактировании согласно частотам кадров. Как описано ниже, модуль 3740 управления выбирает соответствующий блок 3730 хранения для каждого пиксельного блока 3131 из числа, по меньшей мере, двух частот кадров, которые представляют собой опорную частоту кадров и высокую частоту кадров, цикл которой меньше цикла опорной частоты кадров. Цикл высокой частоты кадров может составлять кратное 1/целое число цикла опорной частоты кадров. Каждый пиксельный блок 3131 может выводить пиксельные сигналы, которые соответствуют одному блоку, в каждом цикле частоты кадров.

[0408] В настоящем примере, поясняется случай, в котором частота кадров пиксельного блока 3712 в пять раз превышает опорную частоту кадров. Кроме того, практически одновременно с выводом пиксельных сигналов посредством пиксельного блока 3131 с опорной частотой кадров, пиксельный блок 3712 с высокой частотой кадров также выводит пиксельные сигналы. В этом случае, пиксельный блок 3712 выводит пиксельные сигналы четыре раза до тех пор, пока пиксельный блок 3131 не выведет следующие пиксельные сигналы.

[0409] Когда пиксельный блок 3131 с опорной частотой кадров не выводит пиксельные сигналы, модуль 3740 управления инструктирует сохранение пиксельных данных согласно пиксельным сигналам, которые соответствуют четырем разам, когда пиксельный блок 3712 с высокой частотой кадров выводит пиксельные сигналы, во множестве блоков 3731-3734 хранения. Следует отметить, что пиксельные данные, которые соответствуют одному кадру согласно пиксельным сигналам, выводимым посредством каждого пиксельного блока при синхронизации с опорной частотой кадров, могут сохраняться в запоминающем устройстве, которое отличается от множества блоков 3730 хранения, и после того, как пиксельные данные один сохраняются во множестве блоков 3730 хранения, и до того, как следующие пиксельные данные пиксельного блока 3712, который работает на высокой частоте кадров, вводятся во множество блоков 3730 хранения, может передаваться в запоминающее устройство или схему на следующем этапе блока 3730 хранения. В силу этого, может эффективно использоваться множество блоков хранения.

[0410] Когда пиксельные данные уже сохранены в блоке 3734 хранения, который соответствует пиксельному блоку 3712 с высокой частотой кадров, модуль 3740 управления инструктирует сохранение пиксельных данных, которые соответствуют пиксельному блоку 3712, в любом из блоков 3731, 3732, 3733 хранения, в которых пиксельные данные еще не сохранены. Иными словами, модуль 3740 управления инструктирует выделение и сохранение пиксельных данных пиксельных блоков 3712 с высокой частотой кадров в блоках 3731, 3732, 3733 хранения, в которых пиксельные данные не сохранены, отличных от соответствующего блока 3734 хранения. В это время, пиксельные данные, которые должны выделяться, могут иметь, в качестве дополнительных данных, позиционные данные пиксельного блока 3712, которые соответствуют пиксельным данным в пиксельной области 3700, и данные кадра, которые указывают кадр, которому принадлежат пиксельные данные. Позиция блока 3730 хранения, для которого должны выделяться пиксельные данные, может быть фиксированной для каждого пиксельного блока 3712 или может варьироваться динамически. Когда позиция блока 3730 хранения, для которого должны выделяться пиксельные данные, является фиксированной для каждого пиксельного блока 3131, позиционные данные могут опускаться из дополнительных данных.

[0411] Фиг. 64C иллюстрирует другой пример работы элемента 3100 формирования изображений. Следует отметить, что конфигурация микросхемы 3111 обработки сигналов, проиллюстрированного на фиг. 64A, опускается на фиг. 64C. В настоящем примере, аналогично примеру по фиг. 64B, пиксельные данные пиксельного блока 3712 сохраняются в любом из других блоков 3735-3738 хранения, отличных от соответствующего блока 3734 хранения. Тем не менее, следует отметить, что в настоящем примере, пиксельные сигналы преобразуются в пиксельные данные посредством аналого-цифрового преобразователя 3412 в области, которая перекрывается с пиксельным блоком 3712, и затем передаются в блоки хранения, в которых должны сохраняться пиксельные данные. В настоящем примере, пиксельные данные перемещаются между блоками хранения.

[0412] Модуль 3740 управления в настоящем примере отличается от модуля управления в варианте осуществления, проиллюстрированном на фиг. 64B, тем, что настоящем примере, когда пиксельные данные уже сохранены в блоке 3734 хранения, который соответствует пиксельному блоку 3712 с высокой частотой кадров, пиксельные данные блока 3734 хранения перемещаются в блоки 3735, 3736, 3737, 3738 хранения, в которых пиксельные данные не сохранены, и сохраняются в соответствующих блоках хранения. Иными словами, в настоящем примере, блоки хранения соединяются между собой посредством межсоединений таким образом, что модуль 3114 хранения имеет возможность передавать и принимать данные между блоками хранения.

[0413] В модуле 3740 управления пиксельные данные блока 3734 хранения перемещаются и сохраняются в любом из блоков 3735, 3736, 3737, 3738 хранения, в которых пиксельные данные не сохранены. Предпочтительно, модуль 3740 управления может перемещать пиксельные данные блока 3734 хранения в блок хранения, который соответствует пиксельному блоку 3131 на наиболее удаленной периферии пиксельной области 3700, и сохранять пиксельные данные в нем. Поскольку во многих случаях, частота кадров пиксельного блока 3131 становится более низкой в позиции дальше от пиксельного блока 3712 с высокой частотой кадров к внешнему периферийному направлению пиксельной области 3700, модуль 3740 управления предпочтительно распределяет пиксельные данные двумерно во внешнем периферийном направлении. Таким образом, посредством равномерного использования множества блоков 3730 хранения, емкость запоминающего устройства всего модуля 3114 хранения может подавляться без увеличения емкости буферного запоминающего устройства. Следует отметить, что модуль 3740 управления может выбирать блок 3730 хранения, который соответствует пиксельному блоку 3131, не размещаемому на наиболее удаленной периферии, на основе информации частоты кадров относительно каждого пиксельного блока 3131 и записывать пиксельные данные в него.

[0414] Также в настоящем примере, позиция блока хранения, в который должны быть распределены пиксельные данные, может быть фиксированной или может варьироваться динамически. Когда позиция блока хранения, в который должны быть распределены пиксельные данные, является фиксированной, позиционные данные могут опускаться из дополнительных данных, которые должны суммироваться с перемещаемыми пиксельными данными. В этом случае, блок хранения, в который должны быть распределены пиксельные данные, предпочтительно представляет собой блок хранения, который соответствует пиксельному блоку 3131 на наиболее удаленной периферии пиксельной области 3700. Кроме того, пиксельные данные, сохраненные в каждом блоке 3730 хранения, могут последовательно перемещаться при синхронизации с высокой частотой кадров. В силу этого, пиксельные данные могут быть переданы между блоками 3730 хранения, которые разнесены. Посредством повторного перемещения пиксельных данных пиксельные данные могут перемещаться в данный блок 3730 хранения.

[0415] Арифметическая схема 3415, описанная ниже, обрабатывает пиксельные данные, сохраненные в блоке 3730 хранения, и передает их в модуль 2511 обработки изображений на следующем этапе. Арифметическая схема 3415 может предоставляться в микросхеме 3111 обработки сигналов или в модуле 3114 хранения. Следует отметить, что хотя на чертеже проиллюстрированы соединения для одного пиксельного блока 3131, соединения фактически существуют для каждого пиксельного блока 3131 и работают параллельно. Тем не менее, следует отметить, что арифметическая схема 3415 может не существовать для каждого пиксельного блока 3131 и, например, одна арифметическая схема может последовательно выполнять обработку посредством последовательного обращения к значениям блоков 3730 хранения, которые соответствуют надлежащим пиксельным блокам 3131.

[0416] Как описано выше, выходное межсоединение 3309 предоставляется согласно каждому из пиксельных блоков 3131. Поскольку элемент 3100 формирования изображений формируется посредством расположения слоями микросхемы 3113 формирования изображений, микросхемы 3111 обработки сигналов и модуля 3114 хранения, выходное межсоединение 3309 может маршрутизироваться без увеличения размера каждой микросхемы в направлении плоскости посредством использования межмикросхемных электрических соединений, которые используют столбиковые выводы 3109 для межсоединения.

[0417] Следует отметить, что информация частоты относительно частоты кадров каждого пиксельного блока 3131 предоставляется в модуль 3740 управления. модуль 3740 управления выбирает блок 3730 хранения, который должен сохранять пиксельные данные пиксельного блока 3131 с высокой частотой кадров, на основе информации частоты. Например, модуль 3740 управления выбирает блок 3730 хранения, который соответствует пиксельному блоку 3131 с опорной частотой кадров, в качестве блока 3730 хранения, который должен сохранять пиксельные данные. Кроме того, модуль 3740 управления может определять маршрут для перемещения пиксельных данных в форме, проиллюстрированной на фиг. 64C, на основе информации частоты. Например, при перемещении пиксельных данных каждого блока 3730 хранения, модуль 3740 управления выбирает, из блоков 3730 хранения, которые являются смежными с блоком 3730 хранения и соответствуют опорной частоте кадров, блок 3730 хранения, расстояние которого от блока 3730 хранения, который соответствует высокой частоте кадров, больше.

[0418] Фиг. 65 является блок-схемой, иллюстрирующей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления. Устройство 3500 формирования изображений включает в себя линзу 3520 для формирования изображений в качестве оптической системы формирования изображений, и линза 3520 для формирования изображений направляет световой поток объекта, который падает вдоль оптической оси OA, на элемент 3100 формирования изображений. Линза 3520 для формирования изображений может представлять собой сменную линзу, которая может присоединяться/отсоединяться к/от устройства 3500 формирования изображений. Устройство 3500 формирования изображений включает в себя, главным образом, элемент 3100 формирования изображений, модуль 3501 управления системой, модуль 3502 возбуждения, фотометрический модуль 3503, оперативное запоминающее устройство 3504, модуль 3505 записи и модуль 3506 отображения.

[0419] Линза 3520 для формирования изображений конфигурируется с множеством групп оптических линз и формирует изображение светового потока объекта из сцены около своей фокальной плоскости. Следует отметить, что, на фиг. 61, линза 3520 для формирования изображений типично показывается с помощью одной виртуальной линзы, которая помещается около зрачка. Модуль 3502 возбуждения представляет собой схему управления, которая выполняет управление накоплением электрического заряда, к примеру, управление тактированием и управление областями для элемента 3100 формирования изображений согласно инструкциям из модуля 3501 управления системой. В этом смысле, можно сказать, что модуль 3502 возбуждения выполняет функции модуля управления элемента формирования изображений, который инструктирует элементу 3100 формирования изображений выполнять накопление электрического заряда и выводить пиксельные сигналы.

[0420] Элемент 3100 формирования изображений передает пиксельные сигналы в модуль 3511 обработки изображений модуля 3501 управления системой. Модуль 3511 обработки изображений выполняет различные типы обработки изображений посредством использования оперативного запоминающего устройства 3504 в качестве рабочего пространства и формирует данные изображений. Например, когда формируются данные изображений в JPEG-формате файла, процессы сжатия выполняются после того, как цветовые видеосигналы формируются из сигналов, получаемых из байеровских матриц. Сформированные данные изображений записываются в модуль 3505 записи и преобразуются в сигналы для отображения и отображаются на модуле 3506 отображения в течение предварительно установленного периода времени.

[0421] Фотометрический модуль 3503 определяет распределение яркости сцены до последовательности формирования изображений для формирования данных изображений. Фотометрический модуль 3503 включает в себя AE-датчик, например, приблизительно из одного миллиона пикселов. Вычислительный модуль 3512 модуля 3501 управления системой вычисляет яркость соответствующих областей в сцене после приема вывода фотометрического модуля 3503. Вычислительный модуль 3512 определяет скорость срабатывания затвора, значение раскрытия диафрагмы и ISO-скорость согласно вычисленному распределению яркости. Элемент 3100 формирования изображений может выполнять вторую функцию в качестве фотометрического модуля 3503. Следует отметить, что вычислительный модуль 3512 выполняет различные типы вычисления для управления устройством 3500 формирования изображений.

[0422] Модуль 3502 возбуждения может быть частично или полностью установлен на микросхеме 3113 формирования изображений либо частично или полностью установлен на микросхеме 3111 обработки сигналов модуль 3501 управления системой может быть частично установлен на микросхеме 3113 формирования изображений или микросхеме 3111 обработки сигналов.

[0423] Фиг. 66 является функциональной блок-схемой модуля обработки изображений. Модуль 3511 обработки изображений в настоящем примере извлекает пиксельный блок 3131, который работает на опорной частоте кадров (периферийную область 3176, описанную ниже), и пиксельный блок 3131, который работает на высокой частоте кадров (исследуемую область 3172, описанную ниже). Модуль 3511 обработки изображений имеет, в дополнение к вышеописанным функциям, модуль 3150 оценки объектов, модуль 3152 выбора групп, модуль 3154 формирования движущихся изображений и модуль 3156 синтезирования движущихся изображений. Ниже описывается каждая из этих функций.

[0424] Фиг. 67 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение. Фиг. 68 и 69 иллюстрирует один пример изображения, сформированного посредством элемента формирования изображений. Фиг. 70 иллюстрирует взаимосвязь между соответствующими частотами кадров и тактированием вывода сигналов изображений.

[0425] Операции на фиг. 67 начинаются, когда пользователь инструктирует устройству 3500 формирования изображений формировать движущееся изображение, например, посредством нажатия кнопки записи. Во-первых, модуль 3150 оценки объектов возбуждает модуль 3502 возбуждения, чтобы получать данные изображений на основе сигналов изображений из элемента 3100 формирования изображений и оценивать основной объект, включенный в изображение, указываемое посредством данных изображений (этап S3100).

[0426] В этом случае, модуль 3502 возбуждения предпочтительно инструктирует вывод изображений из пиксельных блоков 3131, включенных во всю область формирования изображений, например, всех пиксельных блоков 3131. Кроме того, модуль 3502 возбуждения может инструктировать вывод сигналов изображений из всех пикселов, включенных в каждый пиксельный блок 3131, или инструктирует вывод изображений из пикселов, которые прореживаются с предварительно определенным показателем прореживания. Модуль 3150 оценки объектов сравнивает множество изображений, полученных из элемента 3100 формирования изображений, во временных рядах и идентифицирует движущийся объект в качестве основного объекта. Следует отметить, что другой способ может быть использован для того, чтобы оценивать основной объект.

[0427] Например, когда модуль 3150 оценки объектов получает изображение 3170 на фиг. 68 и изображение 3178 на фиг. 69 из элемента 3100 формирования изображений в качестве временно последовательных изображений, на основе разностей между ними модуль 3150 оценки объектов идентифицирует ребенка в качестве основного объекта 3171. Следует отметить, что линии сетки координат в изображении 3170 и изображении 3178 указывают границы пиксельных блоков 3131, но число пиксельных блоков 3131 является просто примером и не ограничивается числом, показанным на чертежах.

[0428] Модуль 3152 выбора групп выбирает, по меньшей мере, один пиксельный блок 3131, на который падает свет от изображения основного объекта 3171, оцененного посредством модуля 3150 оценки объектов (этап S3102). Например, пиксельные блоки 3131 включающие в себя, по меньшей мере, часть основного объекта 3171, выбираются в изображении 3170. Кроме того, с учетом того, что основной объект 3171 перемещается в области формирования изображений, модуль 3152 выбора групп предпочтительно выбирает пиксельные блоки 3131, которые дополнительно окружают пиксельные блоки 3131, включающие в себя, по меньшей мере, часть основного объекта 3171.

[0429] Модуль 3152 выбора групп обрабатывает набор этих выбранных пиксельных блоков 3131 в качестве исследуемой области 3172. Кроме того, модуль 3152 выбора групп обрабатывает, в качестве периферийной области 3176, набор пиксельных блоков 3131, не включенных в исследуемую область 3172 во всей области формирования изображений. Модуль 3152 выбора групп идентифицирует информацию 3174 области, которая указывает диапазон исследуемой области 3172 относительно всей области формирования изображений.

[0430] В примере, проиллюстрированном на фиг. 68, исследуемая область 3172 представляет собой прямоугольную область, включающую в себя всего 28 пиксельных блоков 3131 (семь в горизонтальном направлении (четыре в вертикальном направлении)). С другой стороны, периферийная область 3176 включает в себя 98 пиксельных блоков 3131, исключая исследуемую область 3172 всего из 126 пиксельных блоков 3131 (21 в горизонтальном направлении (шесть в вертикальном направлении)), которые составляют область формирования изображений. Кроме того, позиция (9, 2) исследуемой области 3172 в области формирования изображений, которая подсчитывается от левой стороны и верхней стороны верхнего левого конечного пиксельного блока 3131 на чертеже, идентифицируется в качестве информации 3174 области. Кроме того, числа в горизонтальных и вертикальных направлениях, 7 (4), исследуемой области 3172 идентифицируются в качестве информации размера.

[0431] Модуль 3152 выбора групп передает информацию для идентификации пиксельных блоков 3131, включенной в исследуемую область 3172, и информацию для идентификации периферийной области 3176 в модуль 3502 возбуждения. В этом случае, информация относительно частот кадров, которая должна применяться к исследуемой области 3172 и периферийной области 3176, соответственно, передается совместно. Здесь, частота кадров, которая должна применяться к исследуемой области 3172, предпочтительно выше частоты кадров, которая должна применяться к периферийной области 3176. Например, когда частота кадров, которая должна применяться к периферийной области 3176, составляет 60 кадров/с, частота кадров, которая должна применяться к исследуемой области 3172, задается равной 180 кадрам/с. Предпочтительно, значения частот кадров предварительно устанавливаются и сохраняются таким образом, что модуль 3152 выбора групп может обращаться к ним, но могут быть изменяемыми с помощью операции пользователя впоследствии.

[0432] Модуль 3502 возбуждения возбуждает элемент 3100 формирования изображений для того, чтобы выполнять формирование изображений на соответствующих частотах кадров (этап S3104). Иными словами, модуль 3502 возбуждения инструктирует пиксельным блокам 3131, включенным в исследуемую область 3172, выполнять накопление электрического заряда и вывод сигналов изображений на высокой частоте кадров, и инструктирует пиксельным блокам 3131, включенным в периферийную область 3176, выполнять накопление электрического заряда и вывод сигналов изображений на низкой частоте кадров. Другими словами, модуль 3502 возбуждения получает сигналы изображений, которые соответствуют множеству кадров, которые являются смежными во временных рядах для пиксельных блоков 3131, включенных в исследуемую область 3172, при получении сигналов изображений, которые соответствуют одному кадру для пиксельных блоков 3131, включенных в периферийную область 3176.

[0433] Например, когда частота кадров периферийной области 3176 задается равной 60 кадрам/с, и частота кадров исследуемой области 3172 задается равной 180 кадрам/с, как проиллюстрировано на фиг. 70, модуль 3502 возбуждения получает сигналы изображений трех кадров A1, A2, A3 из исследуемой области 3172 в течение времени 1/60 с, в которое получаются сигналы изображений одного кадра B1 из периферийной области 3176 (1/60 с=3×1/180 с). В этом случае, модуль 3502 возбуждения получает сигналы изображений на различных частотах кадров посредством отдельного возбуждения набора транзисторов 3303 сброса, транзисторов 3302 переноса и транзисторов 3305 выбора пиксельных блоков 3131, включенных в периферийную область 3176, и набора транзисторов 3303 сброса, транзисторов 3302 переноса и транзисторов 3305 выбора пиксельных блоков 3131, включенных в исследуемую область 3172.

[0434] Следует отметить, что фиг. 70 иллюстрирует тактирование вывода сигналов изображений, но не иллюстрирует продолжительность периода экспозиции. Модуль 3502 возбуждения возбуждает вышеописанные наборы транзисторов для периферийной области 3176 и для исследуемой области 3172 таким образом, что может достигаться период экспозиции, ранее вычисленный посредством вычислительного модуля 3512.

[0435] Помимо этого, продолжительность периода экспозиции может быть изменена согласно частотам кадров. Например, в примере, проиллюстрированном на фиг. 70, период экспозиции одного кадра периферийной области 3176 может задаваться равным 1/3, что является практически идентичным с периодом экспозиции для исследуемой области 3172. Кроме того, сигналы изображений могут быть скорректированы посредством отношения частот кадров после вывода сигналов изображений. Кроме того, тактирование вывода сигналов изображений может быть не синхронным, как показано на фиг. 70, а может быть асинхронным между периферийной областью 3176 и исследуемой областью 3172.

[0436] Модуль 3511 обработки изображений последовательно сохраняет, на покадровой основе, сигналы изображений из исследуемой области 3172 в предварительно определенной области хранения оперативного запоминающего устройства 3504 (этап S3106). Аналогично, модуль 3511 обработки изображений последовательно сохраняет, на покадровой основе, сигналы изображений из периферийной области 3176 в предварительно определенной области хранения оперативного запоминающего устройства 3504 (тот же этап). Оперативное запоминающее устройство 3504 имеет множество блоков 3730 хранения, как пояснено на фиг. 64A-64C. Оперативное запоминающее устройство 3504 может представлять собой запоминающее устройство, которое включает в себя группу запоминающих устройств, которая соответствует каждому пиксельному блоку 3131.

[0437] Модуль 3154 формирования движущихся изображений считывает сигналы изображений исследуемой области 3172, сохраненные в оперативном запоминающем устройстве3504 (этап S3108), и формирует данные движущегося изображения в исследуемой области, которое включает в себя множество кадров исследуемой области 3172 (этап S3110). Аналогично, модуль 3154 формирования движущихся изображений считывает сигналы изображений периферийной области 3176, сохраненные в оперативном запоминающем устройстве 3504, и формирует данные движущегося изображения в периферийной области, которое включает в себя множество кадров периферийной области 3176 (тот же этап). Здесь, движущееся изображение в исследуемой области и движущееся изображение в периферийной области могут быть сформированы в форматах общего назначения, таких как MPEG, и иметь возможность воспроизведения отдельно, либо могут быть сформированы в выделенных форматах, которые не дают возможность воспроизведения без прохождения обработки синтеза, описанной ниже.

[0438] Фиг. 71 схематично иллюстрирует движущееся изображение в исследуемой области и движущееся изображение в периферийной области, сформированные посредством модуля формирования движущихся изображений. Модуль 3154 формирования движущихся изображений формирует движущееся изображение в исследуемой области на частоте кадров, которая соответствует частоте кадров, на которой модуль 3502 возбуждения возбуждает исследуемую область 3172. В примере, проиллюстрированном на фиг. 71, движущееся изображение в исследуемой области формируется на частоте кадров 1/180 кадра/с, которая является идентичной с частотой кадров 1/180 кадра/с, на которой модуль 3502 возбуждения возбуждает исследуемую область 3172.

[0439] Аналогично, модуль 3154 формирования движущихся изображений формирует движущееся изображение в периферийной области на частоте кадров, которая соответствует частоте кадров, на которой модуль 3502 возбуждения возбуждает периферийную область 3176. В примере, проиллюстрированном на фиг. 71, движущееся изображение в периферийной области формируется на частоте кадров 1/60 кадра/с, которая является идентичной с частотой кадров 1/60 кадра/с, на которой модуль 3502 возбуждения возбуждает периферийную область 3176. Следует отметить, что действующие значения не существуют в области движущегося изображения в периферийной области, которая соответствует исследуемой области 3172, и область указывается с помощью диагональных линий на чертеже.

[0440] Кроме того, модуль 3154 формирования движущихся изображений добавляет информацию заголовка к движущемуся изображению в исследуемой области и к движущемуся изображению в периферийной области и записывает данные в модуль 3505 записи (этап S3112). Информация заголовка включает в себя информацию области, которая указывает позицию исследуемой области 3172 относительно всей области формирования изображений, информацию размера, которая указывает размер исследуемой области 3172, и информацию тактирования, которая указывает взаимосвязь между тактированием вывода сигналов изображений исследуемой области 3172 и тактированием вывода сигналов изображений периферийной области 3176.

[0441] Модуль 3501 управления системой определяет то, следует или нет выполнять формирование изображений для следующей единицы времени (этап S3114). То, следует или нет выполнять формирование изображений следующей единицы времени, определяется на основе того, нажимает или нет в этот момент времени пользователь кнопку записи движущихся изображений. Когда формирование изображений должно выполняться для следующей единицы времени (этап S3114: "Да"), последовательность операций возвращается к вышеописанному этапу S3102, а когда формирование изображений не должно выполняться для следующей единицы времени (этап S3114: "Нет"), последовательность операций завершается.

[0442] Здесь, "единица времени" предварительно установлена в модуле 3501 управления системой и длится в течение нескольких секунд. Емкость хранения, используемая для сохранения на этапе S3106, определяется на основе этой единицы времени, частоты кадров и числа пиксельных блоков исследуемой области 3172, а также частоты кадров и числа пиксельных блоков периферийной области 3176. Также на основе этих фрагментов информации, определяются область емкости хранения, которая сохраняет данные исследуемой области 3172, и область емкости хранения, которая сохраняет данные периферийной области 3176.

[0443] Таким образом, сигналы изображений могут быть получены на высокой частоте кадров из исследуемой области 3172, включающей в себя основной объект 3171, а также объем данных может быть уменьшен посредством поддержания низкой частоты кадров для периферийной области 3176. Соответственно, по сравнению с высокоскоростным считыванием из всех пикселов, могут уменьшаться нагрузки по возбуждению и обработке изображений, и может подавляться потребление мощности и теплообразование.

[0444] Следует отметить, что когда следующая единица времени начинается в примере, проиллюстрированном на фиг. 67, пиксельные блоки 3131 выбираются снова на этапе S3102, и обновляются информация области и информация размера. В силу этого, исследуемая область 3172 может быть обновлена последовательно посредством отслеживания основного объекта 3171. В примере, проиллюстрированном на фиг. 71, в первом кадре A7 единицы времени в движущемся изображении в исследуемой области, выбирается исследуемая область 3182, включающая в себя пиксельные блоки 3131, которые отличаются от пиксельных блоков 2131 последнего кадра A6 в предыдущей единице времени, и в соответствии с этим, обновляются информация 3184 области и периферийная область 3186.

[0445] Фиг. 72 иллюстрирует один пример информации заголовка, добавляемой посредством модуля формирования движущихся изображений. Информация заголовка на фиг. 72 включает в себя идентификаторы движущихся изображений в исследуемой области, которые идентифицируют движущиеся изображения в исследуемой области, частоты кадров движущихся изображений в исследуемой области, идентификаторы движущихся изображений в периферийной области, которые идентифицируют движущиеся изображения в периферийной области, соответствующие движущимся изображениям в исследуемой области, частоты кадров движущихся изображений в периферийной области, информацию тактирования, информацию области и информацию размера. Эти фрагменты информации заголовка могут добавляться в качестве информации заголовка в одно или в оба из движущегося изображения в исследуемой области и движущегося изображения в периферийной области.

[0446] Фиг. 73 является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение. Операции начинаются, когда пользователь указывает любое из движущихся изображений в исследуемой области, отображенных в качестве миниатюр на модуле 3506 отображения, и нажимает кнопку воспроизведения.

[0447] Модуль 3156 синтезирования движущихся изображений считывает, из модуля 3505 записи, данные движущегося изображения в исследуемой области, указываемого пользователем (этап S3150). Модуль 3156 синтезирования движущихся изображений считывает, из модуля 3505 записи, данные движущегося изображения в периферийной области, соответствующего движущемуся изображению в исследуемой области (этап S3152).

[0448] В этом случае, модуль 3156 синтезирования движущихся изображений идентифицирует движущееся изображение в периферийной области на основе идентификатора движущегося изображения в периферийной области, указываемого в информации заголовка считывания движущегося изображения в исследуемой области на этапе S3150. Вместо этого, изображение в периферийной области, которое включает в себя, в качестве информации заголовка, информацию тактирования, которая является идентичной с информацией тактирования, указываемой в информации заголовка движущегося изображения в исследуемой области, может находиться и идентифицироваться.

[0449] Следует отметить, что информация заголовка включается в движущееся изображение в исследуемой области в вышеописанном примере. С другой стороны, когда информация заголовка включается не в движущееся изображение в исследуемой области, а в движущееся изображение в периферийной области, пользователю может, ранее на этапе S3150, инструктироваться указывать движущееся изображение в периферийной области, которое должно считываться, и движущееся изображение в исследуемой области указывается и считывается из информации заголовка на этапе S3152.

[0450] Модуль 3156 синтезирования движущихся изображений синтезирует кадр движущегося изображения в исследуемой области и кадр движущегося изображения в периферийной области в кадр отображенного движущегося изображения (этап S3154). В этом случае, сначала первый кадр A1 движущегося изображения в исследуемой области вставляется в позиции, указываемой посредством информации 3174 области, в первом кадре B1 движущегося изображения в периферийной области, чтобы формировать первый синтезированный кадр C1 отображенного движущегося изображения. Как проиллюстрировано на фиг. 71, модуль 3156 синтезирования движущихся изображений инструктирует отображение первого кадра C1 отображенного движущегося изображения на модуле 3506 отображения (этап S3156).

[0451] Модуль 3156 синтезирования движущихся изображений определяет то, имеется или нет следующий кадр движущегося изображения в исследуемой области перед следующим кадром B2 движущегося изображения в периферийной области (этап S3158). Когда имеется следующий кадр движущегося изображения в исследуемой области (этап S3158: "Да"), модуль 3156 синтезирования движущихся изображений обновляет исследуемую область 3172 посредством использования следующих кадров A2, A3 и сохраняет периферийную область 3176 как предыдущий кадр B1 (этап S3162), чтобы формировать следующие синтезированные кадры C2, C3 отображенного движущегося изображения (этап S3162) и отображать их последовательно (этап S3156).

[0452] С другой стороны, когда нет следующего кадра движущегося изображения в исследуемой области перед следующим кадром B2 движущегося изображения в периферийной области на этапе S3158 (этап S3158), модуль 3156 синтезирования движущихся изображений обновляет исследуемую область 3172 посредством использования следующего кадра A4 и обновляет также периферийную область 3176 посредством использования следующего кадра B2 (этап S3164), чтобы формировать следующий синтезированный кадр C4 отображенного движущегося изображения (этап S3162) и отображать его (этап S3156).

[0453] При условии, что имеется следующий кадр периферийной области 3176 в движущемся изображении в периферийной области (этап S3160: "Да"), этапы S3154-S3160 повторяются. Когда нет следующего кадра периферийной области 3176 в движущемся изображении в периферийной области (этап S3160: "Нет"), модуль 3156 синтезирования движущихся изображений выполняет поиск, чтобы определять то, имеется или нет, в единицу времени после единицы времени набора из движущегося изображения в исследуемой области и движущегося изображения в периферийной области, набор из движущегося изображения в исследуемой области и движущегося изображения в периферийной области (этап S3166). Например, модуль 3156 синтезирования движущихся изображений выполняет поиск в той же папке модуля 3505 записи, чтобы определять то, имеется или нет другое движущееся изображение в исследуемой области, информация заголовка которого включает в себя информацию тактирования, указывающую тактирование, которое идет сразу после тактирования, указываемого посредством информации тактирования предыдущего движущегося изображения в исследуемой области.

[0454] При условии, что имеется набор из движущегося изображения в исследуемой области и движущегося изображения в периферийной области в следующую единицу времени (этап S3166: "Да"), этапы S3150-S3166 повторяются. Когда нет набора из движущегося изображения в исследуемой области и движущегося изображения в периферийной области в следующую единицу времени (этап S3166: "Нет"), последовательность операций завершается.

[0455] Таким образом, плавное движущееся изображение может отображаться в исследуемой области 3172, в которую включается основной объект 3171, при уменьшении общего объема данных. Следует отметить, что хотя на этапе S3162, исследуемая область 3172 обновляется непосредственно посредством использования следующих кадров, чтобы формировать синтезированные кадры отображаемого изображения, способ синтеза не ограничен этим. В качестве другого примера, граничная линия основного объекта 3171 в исследуемой области 3172 может быть идентифицирована посредством обработки изображений, основной объект 3171, окруженный посредством граничной линии, может быть обновлен с помощью следующего кадра, и за пределами граничной линии основного объекта 3171 может сохраняться как предыдущий кадр, даже если он находится в исследуемой области 3172, чтобы формировать синтезированный кадр с периферийной областью 3176. Иными словами, частота кадров за пределами граничной линии в исследуемой области 3172 может быть понижена до частоты кадров периферийной области 3176. В силу этого, можно не допускать неестественного вида границ гладкости в отображенном движущемся изображении. Кроме того, частоты кадров воспроизведения не должны обязательно быть одними и теми же с частотами кадров во время формирования изображений (180 кадров/с для исследуемой области и 60 кадров/с для периферийной области), и частоты кадров могут составлять, например, 60 кадров/с и 20 кадров/с для исследуемой области и периферийной области, соответственно. В таком случае, воспроизведение представляет собой замедленное воспроизведение.

[0456] Фиг. 74 показывает вид сверху конфигурации пиксельной области 3700 элемента 3100 формирования изображений и его примера работы. Следует отметить, что фиг. 74-77 показывают чертежи, на которых каждый пиксельный блок 3131 в пиксельной области 3700 и каждый блок 3730 хранения в модуле 3114 хранения проецируются на одну и ту же плоскость. Каждый пиксельный блок 3131 помещается с разнесением через некоторые интервалы в направлениях строк и столбцов по всей пиксельной области 3700. Пиксельный блок 3131 имеет m (n) пикселов, и n и m равно двум или более. Пиксельный блок 3131 может быть сконфигурирован с 32 (64) пикселами, которые помещаются в матрице. В настоящем примере, каждый блок 3730 хранения представляет собой запоминающее устройство, которое предоставляется для каждого пиксельного блока 3131. Иными словами, каждый пиксельный блок 3131 имеет блок 3730 хранения, которые соответствуют друг другу на основе "один-к-одному". Каждый блок 3730 хранения предоставляется в области микросхемы 3111 обработки сигналов, которая перекрывается с соответствующим пиксельным блоком 3131.

[0457] Каждый пиксельный блок 3131 группируется на группу из множества пиксельных блоков 3131, которые распределяются с разнесением через некоторые интервалы в пиксельной области 3700. Блок 3730 хранения, который соответствует пиксельным блокам 3131 в группе, совместно используется посредством пиксельных блоков 3131 в группе. Совместное использование означает то, что пиксельные данные множества пиксельного блока 3131 могут прямо или косвенно считываться и записываться в блоке 3730 хранения. Все пиксельные блоки 3131, включенные в пиксельную область 3700, предпочтительно группируются таким образом, что расстояния между пиксельными блоками 3131 в единичной группе максимизируются. Кроме того, группа пиксельных блоков 3131 более предпочтительно включает в себя множество пиксельных блоков 3131, которые размещаются на наиболее удаленной периферии пиксельной области 3700 в микросхеме 3113 формирования изображений. В этом случае, модуль 3740 управления управляет множеством пиксельных блоков 3131, которые размещаются на наиболее удаленной периферии, на фиксированной частоте кадров, который ниже высокой частоты кадров (в настоящем примере, опорной частоты кадров).

[0458] Здесь, позиция пиксельного блока 3131 выражается координатой (x, y). В настоящем примере, группируются четыре пиксельных блока 3131, предоставленные в позициях (4, 4), (4, 1), (1, 4), (1, 1). Другие пиксельные блоки 3131 аналогично группируются с пиксельными блоками 3131, которые разнесены через некоторые интервалы.

[0459] Каждый блок 3730 хранения, соответствующий пиксельным блокам 3131 в группе, совместно используется посредством всех пиксельных блоков 3131 в группе. В силу этого, пиксельные данные пиксельного блока 3131 с высокой частотой кадров могут сохраняться в блоках 3730 хранения, которые соответствуют пиксельным блокам 3131 с опорной частотой кадров в группе. В настоящем примере, пиксельные данные пиксельного блока 3131 с высокой частотой кадров в позиции (4, 4), указываемое с помощью диагональных линий, сохраняются последовательно в блоках 3730 хранения с опорной частотой кадров из блоков 3730 хранения, которые соответствуют пиксельным блокам 3131 в позициях (4,4), (4,1), (1,4), (1,1).

[0460] Иными словами, когда пиксельные данные уже сохранены в блоке 3730 хранения, который соответствует пиксельным блокам 3131 с высокой частотой кадров, модуль 3740 управления инструктирует сохранение пиксельных данных, которые соответствуют пиксельному блоку 3131, в любом блоке 3730 хранения в той же группе с пиксельным блоком 3131. Здесь, как проиллюстрировано на фиг. 68, исследуемая область 3172 формируется с пиксельными блоками 3131, которые непрерывно размещаются. Соответственно, посредством группировки множества пиксельных блоков 3131, которые распределяются с разнесением через некоторые интервалы в пиксельной области 3700, может повышаться вероятность сосуществования в группе пиксельных блоков 3131 с высокой частотой кадров и пиксельных блоков 3131 с опорной частотой кадров. За счет этого, может повышаться эффективность использования запоминающего устройства без увеличения емкости запоминающего устройства блоков 3730 хранения. Кроме того, поскольку группа, которая совместно использует блок 3730 хранения, является фиксированной, могут уменьшаться или опускаться дополнительные данные, которые указывают то, какому пиксельному блоку 3131 соответствуют пиксельные данные, сохраненные посредством каждого блока 3730 хранения.

[0461] Фиг. 75 является видом сверху одного примера других конфигураций элемента 3100 формирования изображений, проиллюстрированного на фиг. 74. Элемент 3100 формирования изображений в настоящем примере отличается от варианта осуществления, описанного на фиг. 74, тем, что элемент 3100 формирования изображений имеет модули 3810 хранения, предоставленные за пределами пиксельных областей 3700 и вдоль сторон в направлениях строк и столбцов, соответственно, вместо модуля 3114 хранения. Следует отметить, что модули 3810 хранения могут быть одними и теми же с модулем 3114 хранения во всех отношениях, за исключением своих физических позиций.

[0462] Модуль 3810 хранения в настоящем примере конфигурируется с множеством областей 3812 хранения, которые обеспечены напротив области, которая перекрывается с пиксельными блоками 3131 на наиболее удаленной периферии пиксельной области 3700 в направлениях строк и столбцов. Соответствующие области 3812 хранения конфигурируются с двумя (двумя) блоками 3730 хранения. Соответствующие блоки 3730 хранения представляют собой области 3812 хранения в запоминающем устройстве, предоставленном для каждой группы. Модуль 3740 управления формирует информацию адреса на основе информации относительно позиции, частоты кадров и тактирования соответствующих сгруппированных пиксельных блоков 3131 и последовательно записывает пиксельные данные в блоках 3730 хранения.

[0463] В настоящем примере, блок 3730 хранения, который соответствует сгруппированному пиксельному блоку 3131, конфигурирует две (две) области 3812 хранения. Иными словами, поскольку блоки 3730 хранения, которые соответствуют сгруппированным пиксельным блокам 3131, организуются таким образом, что они являются смежными друг с другом в одном месте, необязательно соединять, через межсоединения, блоки 3730 хранения, которые разнесены, как в случае, когда блоки 3730 хранения обеспечены, соответственно, для областей, которые перекрываются с пиксельными блоками 3131. Соответственно, более не требуется длительное время, которое требуется для того, чтобы записывать/считывать пиксельные данные вследствие RC-задержки. Кроме того, при вводе пиксельных данных в арифметическую схему на следующем этапе, только одна шина должна предоставляться для области 3812 хранения. Кроме того, по сравнению со случаем, когда каждый из блоков хранения обеспечен для соответствующих областей, которые перекрываются с пиксельными блоками 3131, может упрощаться схемная конфигурация, требуемая для записи/считывания пиксельных данных.

[0464] Фиг. 76 является видом сверху, показывающим другой пример работы элемента 3100 формирования изображений, проиллюстрированного на фиг. 74. Настоящий пример отличается от варианта осуществления, проиллюстрированного на фиг. 74, тем, что в настоящем примере дополнительно обеспечены пути 3710 передачи, которые передают пиксельные данные между блоками 3730 хранения, соответствующими смежным пиксельным блокам 3131. Пути 3710 передачи могут представлять собой межсоединения для соединения между соответствующими блоками 3730 хранения. Пути 3710 передачи соединяют модуль 3740 управления и все блоки 3730 хранения. модуль 3740 управления последовательно перемещает пиксельные данные, которые соответствуют пиксельному блоку 3131 с высокой частотой кадров, в смежные блоки 3730 хранения при синхронизации с высокой частотой кадров. Здесь, "при синхронизации с высокой частотой кадров" означает то, что множеству смежных блоков 3730 хранения инструктируется последовательно сохранять пиксельные данные при тактировании, которое является тем же, что и тактирование, при котором пиксельный блок 3131 с высокой частотой кадров принимает пиксельные данные.

[0465] Здесь, в нижеприведенном примере предполагается, что частота кадров пиксельного блока 3131 в позиции (4, 4) в пять раз превышает опорную частоту кадров. Когда опорная частота кадров составляет 60 кадров/с, высокая частота кадров составляет 300 кадров/с. Тактирование формирования изображений на высокой частоте кадров следующее: В такте t=0, тактирование составляет T₀; в такте t=1/300 с, тактирование составляет T₁; в такте t=2/300 с, тактирование составляет T₂; в такте t=3/300 с, тактирование составляет T₃; в такте t=4/300 с, тактирование составляет T₄; и в такте t=5/300 с, тактирование составляет T₅.

[0466] При тактировании T₀, модуль 3740 управления заставляет блоки 3730 хранения, которые соответствуют надлежащим образом всем пиксельным блокам 3131, сохранять пиксельные данные объекта, изображение которого формируется. Затем, при тактировании T₁, модуль 3740 управления перемещает пиксельные данные, которые сохраняются в смежном блоке 3730 хранения с более низкой частотой кадров в позиции (3, 4), в блок 3730 хранения в позиции (2, 4) во внешнем периферийном направлении и перемещает пиксельные данные, которые сохраняются в блоке 3730 хранения, который соответствует пиксельному блоку 3131 в позиции (4, 4), в блок 3730 хранения в позиции (3, 4) теперь в незанятом состоянии и сохраняет пиксельные данные в нем. Одновременно, модуль 3740 управления вызывает сохранение пиксельных данных пиксельного блока 3131 в позиции (4, 4), полученных при тактировании T₁, в блоке 3730 хранения в соответствующей позиции (4, 4).

[0467] При тактировании T₂, модуль 3740 управления перемещает пиксельные данные, которые сохраняются в блоке 3730 хранения в позиции (4, 3), в блок 3730 хранения в позиции (4, 2) во внешнем периферийном направлении и сохраняет пиксельные данные в нем, и перемещает пиксельные данные блока 3730 хранения, который соответствует пиксельному блоку 3131 в позиции (4, 4), в блок 3730 хранения в позиции (4, 3) теперь в незанятом состоянии и сохраняет пиксельные данные в нем. Одновременно, модуль 3740 управления вызывает сохранение пиксельных данных пиксельного блока 3131 в позиции (4, 4), полученных при тактировании T₂, в блоке 3730 хранения в соответствующей позиции (4, 4).

[0468] При тактировании T₃, модуль 3740 управления перемещает пиксельные данные, которые сохраняются в блоке 3730 хранения в позиции (5, 4), в блок 3730 хранения в позиции (6, 4) во внешнем периферийном направлении и сохраняет пиксельные данные в нем, и перемещает пиксельные данные блока 3730 хранения, который соответствует пиксельному блоку 3131 в позиции (4, 4), в блок 3730 хранения в позиции (5, 4) теперь в незанятом состоянии и сохраняет пиксельные данные в нем. Одновременно, модуль 3740 управления вызывает сохранение пиксельных данных пиксельного блока 3131 в позиции (4, 4), полученных при тактировании T₃, в блоке 3730 хранения в соответствующей позиции (4, 4).

[0469] При тактировании T₄ модуль 3740 управления перемещает пиксельные данные, которые сохраняются в блоке 3730 хранения в позиции (4, 5), в блок 3730 хранения в позиции (4, 6) во внешнем периферийном направлении и сохраняет пиксельные данные в нем, и перемещает пиксельные данные блока 3730 хранения, который соответствует пиксельному блоку 3131 в позиции (4, 4), в блок 3730 хранения в позиции (4, 5) теперь в незанятом состоянии и сохраняет пиксельные данные в нем. Одновременно, модуль 3740 управления вызывает сохранение пиксельных данных пиксельного блока 3131 в позиции (4, 4), полученных при тактировании T₄, в блоке 3730 хранения в соответствующей позиции (4, 4). В это время, пиксельные данные при тактировании от T₀ до T₄ сохраняются в блоке 3730 хранения в позиции (4, 4), которая соответствует пиксельному блоку 3131 в позиции (4, 4), и в блоках 3730 хранения в позициях (3, 4), (4, 3), (5, 4) и (4, 5), которые окружают блок 3730 хранения двумерно.

[0470] Модуль 3740 управления может перемещать соответствующие фрагменты пиксельных данных, сохраненных в блоках 3730 хранения в позициях (3, 4), (4, 3), (5, 4), (4, 5), в блоки 3730 хранения, которые являются ближайшими к краям пиксельной области 3700 из числа смежных блоков 3730 хранения. Иными словами, модуль 3740 управления может инструктировать соответствующим фрагментам пиксельных данных, сохраненных в блоках 3730 хранения в позициях (3, 4), (4, 3), (5, 4), (4, 5), в блоки 3730 хранения в позициях (1, 4), (4, 1), (6, 4) и (4, 6), которые соответствуют краям пиксельной области 3700, и сохранять пиксельные данные в них.

[0471] При тактировании T₅, модуль 3740 управления передает пиксельные данные, сохраненные во всех блоках 3730 хранения пиксельной области 3700, в запоминающее устройство или арифметическую схему на следующем этапе через линию шины. Модуль 3740 управления обновляет цикл кадров и повторяет вышеописанные операции при тактировании от T₀ до T₄.

[0472] Модуль 3740 управления фиксирует, равной опорной частоте кадров, частоту кадров пиксельных блоков 3131 вдоль наиболее удаленной периферии пиксельной области 3700 из множества пиксельных блоков 3131. Между тем, поскольку смежные блоки 3730 хранения ограничены, когда пиксельный блок 3131 с высокой частотой кадров располагается на границе пиксельной области 3700, трудно распределять пиксельные данные двумерно. Соответственно, модуль 3740 управления заставляет пиксельный блок 3131 с высокой частотой кадров располагаться не на наиболее удаленной периферии пиксельной области 3700. Например, модуль 3740 управления фиксирует, равной опорной частоте кадров, частоту кадров пиксельных блоков 3131 на наиболее удаленной периферии пиксельной области 3700.

[0473] Одновременно, модуль 3740 управления записывает новые пиксельные данные в блоках 3730 хранения, которые соответствуют надлежащим образом всем пиксельным блокам 3131, и передает пиксельные данные соответствующих пиксельных блоков 3131 совместно в схему арифметической обработки на следующем этапе. Таким образом, модуль 3740 управления может уменьшать емкость запоминающего устройства, поскольку блоки 3730 хранения могут совместно использоваться из множества пиксельных блоков 3131, посредством последовательного перемещения пиксельных данных пиксельного блока 3131 с высокой частотой кадров в блоки 3730 хранения, которые соответствуют смежным пиксельным блокам 3131 в направлениях к краям пиксельной области 3700. Пиксельные данные, которые выделяются множеству смежных блоков 3730 хранения, могут иметь, в качестве информации заголовка, позиционные данные пиксельных блоков 3131, которые соответствуют им в пиксельной области 3700, и данные кадра, которые указывают кадр, которому они принадлежат, в качестве дополнительных данных.

[0474] Хотя в настоящем примере, модуль 3740 управления последовательно перемещает пиксельные данные пиксельного блока 3131 с высокой частотой кадров в блоки 3730 хранения, которые соответствуют смежным пиксельным блокам 3131, и сохраняет пиксельные данные в них, модуль 3740 управления может перемещать пиксельные данные в каждые вторые блоки 3730 хранения и может перемещать пиксельные данные в блоки 3730 хранения в диагональных направлениях вместо направлений строк и столбцов и сохранять пиксельные данные в них. Модуль 3740 управления может выбирать блоки 3730 хранения, в которые перемещаются пиксельные данные, на основе информации частоты кадров относительно каждого пиксельного блока 3131.

[0475] Фиг. 77 является видом сверху, который иллюстрирует другой пример конфигурации элемента 3100 формирования изображений. В настоящем примере, аналогично элементу 3100 формирования изображений, проиллюстрированному на фиг. 76, пиксельные данные передаются между блоками 3730 хранения, которые соответствуют смежным пиксельным блокам 3131. Тем не менее, следует отметить, что аналогично элементу 3100 формирования изображений, проиллюстрированному на фиг. 75, элемент 3100 формирования изображений в настоящем примере содержит модули 3810 хранения, которые обеспечены за пределами области микросхемы 3111 обработки сигналов, которая перекрывается с пиксельной областью 3700. модуль 3810 хранения имеет области 3820 хранения, которые разделяются по числу пиксельных блоков 3131 (в настоящем примере, шесть) в направлении строк, и области 3822 хранения, которые разделяются по числу пиксельных блоков 3131 (в настоящем примере, шесть) в направлении столбцов. Модуль 3740 управления вызывает сохранение пиксельных данных, которые соответствуют пиксельному блоку 3131 с высокой частотой кадров, в предварительно определенных областях 3820, 3822 хранения при синхронизации с высокой частотой кадров.

[0476] Модуль 3740 управления может записывать пиксельные данные пиксельного блока 3131 с высокой частотой кадров в позиции (4, 4) в областях 3820, 3822 хранения, которые ассоциированы с пиксельными блоками 3131 с низкой частотой кадров на наиболее удаленной периферии при синхронизации с частотой кадров. Следует отметить, что модуль 3740 управления может выбирать области 3820, 3822 хранения, которые ассоциированы с пиксельными блоками 3131 не на наиболее удаленной периферии, на основе информации частоты кадров относительно каждого пиксельного блока 3131 и записывать пиксельные данные в них. Области 3820, 3822 хранения совместно используются посредством пиксельных данных пиксельных блоков 3131 с высокой частотой кадров и пиксельных данных пиксельного блока 3131 с низкой частотой кадров. В настоящем примере, запись/считывание может выполняться для соответствующих областей 3820, 3822 хранения, и необязательно выполнять запись/считывание для соответствующих блоков 3730 хранения, обеспеченных в пиксельном блоке 3131; за счет этого может упрощаться схемная конфигурация. Кроме того, размеры соответствующих пространств в запоминающем устройстве областей 3820, 3822 хранения в модуле 3810 хранения настоящего примера являются одними и теми же. Кроме того, позиции пространств в запоминающем устройстве областей 3820, 3822 хранения могут быть фиксированными в модулях 3810 хранения или могут быть изменены динамически.

[0477] Фиг. 78 иллюстрирует конфигурацию и операции части элемента 3100 формирования изображений согласно другому варианту осуществления. Настоящий пример отличается от вышеописанного варианта осуществления тем, что модуль 3114 хранения конфигурируется с буферным запоминающим устройством, имеющим многослойную структуру. Модуль 3114 хранения в настоящем примере включает в себя временное запоминающее устройство 3850 и запоминающее устройство 3860 передачи. Временное запоминающее устройство 3850 представляет собой запоминающее устройство, которое имеет блоки хранения 3830, которые соответствуют надлежащим пиксельным блокам 3131, и используется для управления пиксельными данными пиксельного блока 3712 с высокой скоростью передачи данных. Запоминающее устройство 3860 передачи принимает пиксельные данные, вводимые из временного запоминающего устройства 3850, и передает пиксельные данные в запоминающее устройство или арифметическую схему на следующем этапе. Запоминающее устройство 3860 передачи имеет область хранения с, по меньшей мере, тем же размером с общей областью хранения множества блоков 3730 хранения. Здесь, общая область хранения означает размер пространства в запоминающем устройстве, который имеет временное запоминающее устройство 3850. Временное запоминающее устройство 3850 в настоящем примере имеет функции и конфигурацию, которые являются одними и теми же с функциями и конфигурацией блока 3730 хранения, проиллюстрированного на фиг. 76.

[0478] Здесь, в нижеприведенном примере предполагается, что частота кадров пиксельного блока 3712 в пять раз превышает опорную частоту кадров. Когда опорная частота кадров составляет 60 кадров/с, высокая частота кадров составляет 300 кадров/с. Тактирование формирования изображений на высокой частоте кадров следующее: В такте t=0, тактирование составляет T₀; в такте t=1/300 с, тактирование составляет T₁; в такте t=2/300 с, тактирование составляет T₂; в такте t=3/300 с, тактирование составляет T₃; в такте t=4/300 с, тактирование составляет T₄; и в такте t=5/300 с, тактирование составляет T₅.

[0479] Модуль 3740 управления вызывает сохранение всех фрагментов пиксельных данных объекта, изображение которого формируется при тактировании T₀, в блоках хранения 3830, которые соответствуют надлежащим образом всем пиксельным блокам 3131. модуль 3740 управления передает сохраненные пиксельные данные в запоминающее устройство 3860 передачи при тактировании до T₁. Иными словами, модуль 3740 управления вызывает копирование всех фрагментов пиксельных данных объекта, изображение которого формируется при тактировании T₀, в соответствующую область 3870 хранения запоминающего устройства 3860 передачи до того, как следующие пиксельные данные вводятся из пиксельного блока 3712, который работает на высокой частоте кадров, и сохранение в ней.

[0480] При тактировании T₁, которое синхронизируется с высокой частотой кадров, модуль 3740 управления вызывает сохранение пиксельных данных в соответствующем блоке 3853 хранения временного запоминающего устройства 3850 из пиксельного блока 3712 с высокой частотой кадров через шину 3720. модуль 3740 управления вызывает перемещение пиксельных данных, сохраненных в блоке 3853 хранения, в смежный блок 3854 хранения при тактировании T₂ или при тактировании до T₂ и сохранение в нем.

При тактировании T₂, модуль 3740 управления вызывает сохранение пиксельных данных в соответствующем блоке 3853 хранения временного запоминающего устройства 3850 из пиксельного блока 3712 через шину 3720 при синхронизации с высокой частотой кадров.

[0481] Модуль 3740 управления вызывает перемещение пиксельных данных, сохраненных в блоке 3853 хранения, в смежный блок 3855 хранения при тактировании T₃ или при тактировании до T₃ и сохранение в нем. При тактировании T₃, модуль 3740 управления вызывает сохранение пиксельных данных в соответствующем блоке 3853 хранения временного запоминающего устройства 3850 из пиксельного блока 3712 через шину 3720 при синхронизации с высокой частотой кадров. Модуль 3740 управления вызывает перемещение пиксельных данных, сохраненных в блоке 3853 хранения, в смежный блок 3856 хранения при тактировании T₄ или при тактировании до T₄ и сохранение в нем. При тактировании T₄, модуль 3740 управления вызывает сохранение пиксельных данных в соответствующем блоке 3853 хранения временного запоминающего устройства 3850 из пиксельного блока 3712 через шину 3720 при синхронизации с высокой частотой кадров.

[0482] Модуль 3740 управления вызывает сохранение пиксельных данных, сохраненных в блоках 3854, 3855, 3856, 3857 хранения временного запоминающего устройства 3850, в соответствующих областях 3864, 3865, 3866, 3867 хранения запоминающего устройства 3860 передачи через шину 3840, при тактировании T₅ или при тактировании до T₅. Иными словами, после приема пиксельных данных на высокой частоте кадров, из высоких частот кадров, которые находятся непосредственно перед опорным временным интервалом, временное запоминающее устройство 3850 передает пиксельные данные в запоминающее устройство 3860 передачи до тех пор, пока не будут приняты следующие пиксельные данные в опорном временном интервале.

[0483] Следует отметить, что модуль 3740 управления дополнительно может перемещать пиксельные данные, сохраненные в блоках 3854, 3855, 3856, 3857 хранения, смежных с блоком 3853 хранения, в другие смежные блоки хранения при синхронизации с высокой частотой кадров. Модуль 3740 управления передает все фрагменты пиксельных данных, сохраненные в запоминающем устройстве 3860 передачи, в запоминающее устройство или арифметическую схему на следующем этапе.

[0484] Согласно настоящему варианту осуществления, поскольку блок 3853 хранения, который соответствует пиксельному блоку 3712 с высокой частотой кадров, и соответствующие блоки 3854, 3855, 3856, 3857 хранения, смежные с блоком 3853 хранения, должны быть соединены только посредством пути 3710 передачи, необязательно соединять все блоки хранения посредством пути 3710 передачи. Соответственно, пиксельные данные могут перемещаться на высокой скорости. Кроме того, запись/считывание может выполняться на высокой скорости, поскольку кэш-память, к примеру, SRAM, может быть использована в качестве временного запоминающего устройства 3850. Кроме того, поскольку блок хранения 3830 не используется совместно во временном запоминающем устройстве 3850, может упрощаться схемная конфигурация, которая необходима для записи/считывания. Кроме того, совместно используемыми областями хранения в запоминающем устройстве 3860 передачи являются только области хранения, которые являются смежными с областью 3863 хранения, которая соответствует пиксельному блоку 3712 с высокой частотой кадров. Соответственно, межсоединение для того, чтобы соединять области 3863 хранения, не требуется в запоминающем устройстве 3860 передачи. Кроме того, хотя предполагается в примере, что временное запоминающее устройство 3850 имеет конфигурацию блока 3730 хранения, проиллюстрированного на фиг. 76, временное запоминающее устройство 3850 может иметь конфигурацию любого из блоков 3730 хранения, проиллюстрированных на фиг. 74-77.

[0485] Фиг. 79 является блок-схемой последовательности операций способа, которая иллюстрирует другой пример операций устройства формирования изображений для того, чтобы формировать и записывать движущееся изображение. Операциям по фиг. 79, которые являются одинаковыми с операциями по фиг 67, присваиваются те же ссылочные позиции, и их пояснение опускается.

[0486] В операциях по фиг. 79, в дополнение или вместо частот кадров на фиг. 67, показатели прореживания задаются отличающимися между исследуемой областью 3172 и периферийной областью 3176. Более конкретно, на этапе S3120, модуль 3502 возбуждения заставляет пиксельные блоки 3131, включенные в исследуемую область 3172, выполнять накопление электрического заряда и вывод сигналов изображений пикселов, которые прореживаются с низким показателем прореживания, и заставляет пиксельные блоки 3131, включенные в периферийную область 3176, выполнять накопление электрического заряда и вывод сигналов изображений пикселов, которые прореживаются с высоким показателем прореживания. Например, считываются пикселы в пиксельных блоках 3131, включенных в исследуемую область 3172, которые прореживаются с показателем прореживания в 0, т.е. все пикселы, и считываются пикселы в пиксельных блоках 3131, включенных в периферийную область 3176, которые прореживаются с показателем прореживания в 0,5, т.е. половина пикселов.

[0487] В этом случае, модуль 3502 возбуждения получает сигналы изображений с разными показателями прореживания посредством отдельного возбуждения набора транзисторов 3303 сброса, транзисторов 3302 переноса и транзисторов 3305 выбора пиксельных блоков 3131, включенных в периферийную область 3176, и набора транзисторов 3303 сброса, транзисторов 3302 переноса и транзисторов 3305 выбора пиксельных блоков 3131, включенных в исследуемую область 3172.

[0488] На этапе S3110, модуль 3154 формирования движущихся изображений формирует движущееся изображение в исследуемой области, которое соответствует исследуемой области 3172, на основе сигналов изображений исследуемой области 3172, выводимых с низким показателем прореживания. Модуль 3154 формирования движущихся изображений аналогично формирует движущееся изображение в периферийной области, которое соответствует периферийной области 3176, на основе сигналов изображений периферийной области 3176, выводимых с высоким показателем прореживания. Также на этапе S3112, модуль 3154 формирования движущихся изображений записывает движущееся изображение в исследуемой области и движущееся изображение в периферийной области, причем в них добавлена информация относительно соответствующих показателей прореживания, в модуле 3505 записи.

[0489] Фиг. 80 иллюстрирует пример пикселов 3188, которые должны считываться с показателем прореживания в 0,5 в одном пиксельном блоке. В примере, проиллюстрированном на фиг. 80, когда пиксельный блок 3132 в периферийной области 3176 представляет собой байеровскую матрицу, пикселы 3188, которые должны считываться, и пикселы, которые не должны считываться, задаются для каждой второй байеровской матрицы, т.е. каждые два пиксела попеременно в вертикальном направлении. В силу этого, прореженное считывание может выполняться без потери цветового баланса.

[0490] Фиг. 81 является блок-схемой последовательности операций способа, которая иллюстрирует операции, согласно фиг. 79, устройства формирования изображений для того, чтобы воспроизводить и отображать движущееся изображение. Операциям по фиг. 81, которые являются одинаковыми с операциями по фиг 73, присваиваются те же ссылочные позиции, и их пояснение опускается.

[0491] На этапе S3170 на фиг. 81, модуль 3156 синтезирования движущихся изображений дополняет пикселы кадра движущегося изображения в периферийной области таким образом, что разрешение совпадает с разрешением кадра движущегося изображения в исследуемой области, и после этого вставляет кадр движущегося изображения в исследуемой области в кадр движущегося изображения в периферийной области; за счет этого формируется синтезированный кадр отображаемого изображения. В силу этого, сигналы изображений могут быть получены с высоким разрешением из исследуемой области 3172, включающей в себя основной объект 3171, а также объем данных может быть уменьшен посредством поддержания низким разрешения периферийной области 3176. Соответственно, по сравнению с высокоскоростным считыванием из всех пикселов, могут уменьшаться нагрузки по возбуждению и обработке изображений, и может подавляться потребление мощности и теплообразование.

[0492] Следует отметить, что хотя исследуемая область 3172 представляет собой прямоугольник в примерах, проиллюстрированных на фиг. 61-81, форма исследуемой области 3172 не ограничена этим. Исследуемая область 3172 может представлять собой выпуклый или вогнутый многоугольник или может иметь тороидальную форму с периферийной областью 3176, размещаемой внутри него, либо другую форму при условии, что исследуемая область 3172 соответствует граничной линии пиксельных блоков 3131. Кроме того, может задаваться множество исследуемых областей 3172, которые разнесены друг от друга. В таком случае, взаимно различные частоты кадров могут задаваться для исследуемых областей 3172.

[0493] Кроме того, частоты кадров исследуемой области 3172 и периферийной области 3176 могут быть переменными. Например, величина движения основного объекта 3171 может быть определена с истечением единицы времени, и более высокая частота кадров может задаваться для исследуемой области 3172, если величина движения основного объекта 3171 больше. Кроме того, выбор пиксельных блоков 3131, которые должны быть включены в исследуемую область 3172, может быть обновлен в любое время в течение единицы времени посредством отслеживания основного объекта 3171.

[0494] Хотя формирование движущихся изображений на фиг. 67 и 79 начинается, когда пользователь нажимает кнопку записи, и воспроизведение движущихся изображений на фиг. 73 и 81 начинается, когда пользователь нажимает кнопку воспроизведения, начальные моменты времени не ограничены этим. В качестве другого примера, при инициировании посредством одной операции с кнопкой пользователем, могут непрерывно выполняться операция формирования движущихся изображений и операция воспроизведения движущихся изображений, и может выполняться сквозное отображение изображений (также называемое отображением изображений для "вживую") для модуля 3506 отображения. В этом случае, отображение для инструктирования пользователю распознавать исследуемую область 3172 может накладываться. Например, кадр может отображаться по границе исследуемой области 3172 на модуле 3506 отображения, либо может понижаться яркость периферийной области 3176, либо может повышаться яркость исследуемой области 3172.

[0495] В операциях на фиг. 79, показатели прореживания задаются отличающимися между исследуемой областью 3172 и периферийной областью 3176. Вместо задания отличающимися показателей прореживания, могут задаваться отличающимися числа смежных строк пикселов, пиксельные сигналы которых суммируются. Например, в исследуемой области 3172, число строк составляет одну, что означает то, что пиксельные сигналы выводятся без суммирования смежных строк, а в периферийной области 3176, число строк превышает число строк для исследуемой области 3172, т.е., например, составляет две, что означает то, что выводятся пиксельные сигналы пикселов двух смежных строк, которые находятся в тех же столбцах. В силу этого, аналогично фиг. 79, общее число сигналов может быть уменьшено при поддержании разрешения исследуемой области 3172 выше разрешения периферийной области 3176.

[0496] Следует отметить, что модуль 3156 синтезирования движущихся изображений может предоставляться во внешнем устройстве отображения, например, в PC, вместо предоставления в модуле 3511 обработки изображений устройства 3500 формирования изображений. Кроме того, вышеописанный вариант осуществления может применяться не только к формированию движущихся изображений, но также и к формированию неподвижных изображений.

[0497] Кроме того, хотя в вышеописанных вариантах осуществления, множество пиксельных блоков 3131 разделяется на две области, исследуемую область 3172 и периферийную область 3176, число разделения не ограничено этим, и пиксельные блоки 3131 могут быть разделены на три или более областей. В этом случае, пиксельные блоки 3131, которые соответствуют границе между исследуемой областью 3172 и периферийной областью 3176, могут обрабатываться в качестве граничной области, и граничная область может управляться посредством использования промежуточного значения между значением параметра управления, используемого для исследуемой области 3172, и значением параметра управления, используемого для периферийной области 3176. В силу этого, можно не допускать неестественного вида границы между исследуемой областью 3172 и периферийной областью 3176.

[0498] Периоды накопления и число накоплений электрических зарядов и т.п. могут задаваться отличающимися между исследуемой областью 3172 и периферийной областью 3176. В этом случае, исследуемая область 3172 и периферийная область 3176 могут быть разделены на основе яркости, и кроме того может предоставляться промежуточная область.

[0499] Фиг. 82A и 82B являются схемами для пояснения примера сцены и разделения на области. Фиг. 82A иллюстрирует сцену, захваченную посредством пиксельной области микросхемы 3113 формирования изображений. В частности, сцена включает в себя одновременно затененный объект 3601 и промежуточный объект 3602, включенные в окружение в помещении, и яркий объект 3603 окружения на улице, наблюдаемого в оконной раме 3604. При формировании изображений, с помощью традиционного элемента формирования изображений, такой сцены, в которой контрастность между яркой частью и затененной частью является высокой, заполненные тени возникают в затененной части, если накопление электрического заряда выполняется посредством использования яркой части в качестве опорной, и пустые яркие части возникают в яркой части, если накопление электрического заряда выполняется посредством использования затененной части в качестве опорной. Иными словами, можно сказать, что для высококонтрастной сцены, фотодиод не имеет достаточного динамического диапазона, который необходим для вывода сигналов изображений посредством одноразового накопления электрического заряда, которое является однородным для яркой части и затененной части. Чтобы разрешать эту проблему, в настоящем варианте осуществления, сцена разделяется на частичные области, такие как яркая часть и затененная часть, и существенное расширение динамического диапазона предпринимается посредством задания числа накоплений электрического заряда взаимно отличающимся между фотодиодами, которые соответствуют надлежащим областям.

[0500] Фиг. 82B иллюстрирует разделение на области для пиксельной области в микросхеме 3113 формирования изображений. Вычислительный модуль 3512 анализирует сцену по фиг. 82A, захваченную посредством фотометрического модуля 3503, чтобы разделять пиксельную область на основе яркости. Например, модуль 3501 управления системой заставляет фотометрический модуль 3503 выполнять получение сцены многократно при изменении периодов экспозиции, и вычислительный модуль 3512 определяет линии разделения пиксельной области посредством обращения к изменениям в распределении пустых ярких областей и заполненных затененных областей. В примере по фиг. 82B, вычислительный модуль 3512 выполняет разделение на три области, затененную область 3611, промежуточную область 3612 и яркую область 3613.

[0501] Линия разделения задается вдоль границ пиксельных блоков 3131. Иными словами, каждая разделенная область включает в себя целое число групп. Затем, пикселы каждой группы, включенной в одну и ту же область, выполняют накопление электрического заряда и вывод пиксельных сигналов то же число раз в период, который соответствует скорости срабатывания затвора, определенной посредством вычислительного модуля 3512. Если пикселы принадлежат различным областям, накопление электрического заряда и вывод пиксельных сигналов выполняются различное число раз.

[0502] Фиг. 83 является схемой для пояснения управления накоплением электрического заряда для соответствующих областей, разделенных в примере на фиг. 82A и 82B. После приема инструкции для перехода в режим готовности к формированию изображений от пользователя, вычислительный модуль 3512 определяет скорость T₀ срабатывания затвора на основе вывода из фотометрического модуля 3503. Кроме того, вычислительный модуль 3512 выполняет разделение на затененную область 3611, промежуточную область 3612 и яркую область 3613 вышеописанным способом и определяет число накоплений электрического заряда на основе соответствующих фрагментов информации яркости. Число накоплений электрического заряда определяется таким образом, что пикселы не насыщаются посредством одноразового накопления электрического заряда. Например, число накоплений электрического заряда определяется таким образом, что 80-90% накапливаемых электрических зарядов накапливаются в операции одноразового накопления электрического заряда.

[0503] Здесь, накопление электрического заряда выполняется один раз для затененной области 3611. Иными словами, задается принудительное совпадение определенной скорости T₀ срабатывания затвора и периода накопления электрического заряда. Кроме того, накопление электрического заряда выполняется два раза для промежуточной области 3612. Иными словами, период одноразового накопления электрического заряда задается равным T₀/2, и накопление электрического заряда повторяется два раза в течение скорости T₀ срабатывания затвора. Кроме того, накопление электрического заряда выполняется четыре раза для яркой области 3613. Иными словами, период одноразового накопления электрического заряда задается равным T₀/4, и накопление электрического заряда повторяется четыре раза в течение скорости T₀ срабатывания затвора.

[0504] После приема инструкции по формированию изображений от пользователя в такте t=0, модуль 3502 возбуждения применяет импульсы сброса и импульсы переноса к пикселам в группах, принадлежащих соответствующим областям. Это применение инициирует начало накопления электрического заряда всех пикселов.

[0505] В такте t=T₀/4, модуль 3502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих яркой области 3613. Затем, модуль 3502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы вызвать вывод их соответствующих пиксельных сигналов в выходное межсоединение 3309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 3502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих яркой области 3613, чтобы вызвать начало второго накопления электрического заряда.

[0506] Следует отметить, что поскольку избирательный вывод пиксельных сигналов требует времени, возникает запаздывание во времени между завершением первого накопления электрического заряда и началом второго накопления электрического заряда. Когда это запаздывание во времени является пренебрежимо малым, период одноразового накопления электрического заряда может быть вычислен посредством деления скорости T₀ срабатывания затвора на число накоплений электрического заряда, как описано выше. С другой стороны, если не является пренебрежимо малым, скорость T₀ срабатывания затвора может регулироваться с учетом времени, либо период одноразового накопления электрического заряда может быть задан меньше времени, полученного посредством деления скорости T₀ срабатывания затвора на число накоплений электрического заряда.

[0507] В такте t=T₀/2, модуль 3502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих промежуточной области 3612 и яркой области 3613. Затем, модуль 3502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы вызвать вывод их соответствующих пиксельных сигналов в выходное межсоединение 3309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 3502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих промежуточной области 3612 и яркой области 3613, чтобы вызвать начало второго накопления электрического заряда для промежуточной области 3612 и вызвать начало третьего накопления электрического заряда для яркой области 3613.

[0508] В такте t=3T₀/4, модуль 3502 возбуждения применяет импульсы переноса к пикселам в группах, принадлежащих яркой области 3613. Затем, модуль 3502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы вызвать вывод их соответствующих пиксельных сигналов в выходное межсоединение 3309. После того, как пиксельные сигналы всех пикселов в группах выводятся, модуль 3502 возбуждения применяет импульсы сброса и импульсы переноса снова к пикселам в группах, принадлежащих яркой области 3613, чтобы вызвать начало четвертого накопления электрического заряда.

[0509] В такте t=T₀, модуль 3502 возбуждения применяет импульсы переноса к пикселам всех областей. Затем, модуль 3502 возбуждения последовательно применяет импульсы выбора к пикселам в каждой группе, чтобы вызвать вывод их соответствующих пиксельных сигналов в выходное межсоединение 3309. Согласно вышеописанному управлению, пиксельные сигналы, которые соответствуют одному разу, сохраняются в каждом пиксельном запоминающем устройстве 3414, которое соответствует затененной области 3611, пиксельные сигналы, которые соответствуют двум разам, сохраняются в каждом пиксельном запоминающем устройстве 3414, которое соответствует промежуточной области 3612, а пиксельные сигналы, которые соответствуют четырем разам, сохраняются в каждом пиксельном запоминающем устройстве 3414, которое соответствует яркой области 3613.

[0510] Следует отметить, что модуль 3502 возбуждения может последовательно применять импульсы сброса и импульсы переноса к пикселам в группах, принадлежащих любой области, и последовательно сбрасывать пикселы в группах, принадлежащих области. При инициировании посредством этого применения, пикселы каждой группы могут последовательно начинать накопление электрического заряда. После завершения накопления электрического заряда пикселов в группах, принадлежащих всем областям, модуль 3502 возбуждения может применять импульсы переноса к пикселам во всех областях. Затем, модуль 3502 возбуждения может последовательно применять импульсы выбора к пикселам в каждой группе, чтобы вызвать вывод их соответствующих пиксельных сигналов в выходное межсоединение 3309.

[0511] Эти пиксельные сигналы последовательно передаются в модуль 3511 обработки изображений. Модуль 3511 обработки изображений формирует данные изображений с расширенным динамическим диапазоном на основе пиксельных сигналов. Ниже описывается конкретная обработка.

[0512] Фиг. 84 является таблицей, которая указывает взаимосвязь между числом интегрирований и динамическим диапазоном. Пиксельные данные, которые соответствуют многократному повторно выполняемому накоплению электрического заряда, подвергаются процессу интегрирования посредством модуля 3511 обработки изображений таким образом, что они являются частью данных изображений с расширенным динамическим диапазоном.

[0513] При сравнении, в качестве опорного, с динамическим диапазоном области, число интегрирований которой составляет один раз, т.е. для которой накопление электрического заряда выполняется один раз, динамический диапазон области, число интегрирований которой составляет два, т.е. выходной сигнал которой интегрируется посредством выполнения накопления электрического заряда два раза, расширяется посредством одного этапа. Аналогично, когда число интегрирований составляет четыре раза, динамический диапазон расширяется посредством двух этапов, а когда число интегрирований составляет 128, динамический диапазон расширяется посредством семи этапов. Иными словами, чтобы пытаться получать n этапов расширения динамического диапазона, выходные сигналы могут интегрироваться 2ⁿ раз.

[0514] Здесь, для идентификации посредством модуля 3511 обработки изображений того, сколько раз выполнено накопление электрического заряда для какой разделенной области, 3-битовая экспонента, указывающая число интегрирований, суммируется с сигналом изображения. Как проиллюстрировано, экспоненты выделяются последовательно, 000 - числу интегрирований один раз, 001 - два раза, …, 111 - 128 раз.

[0515] Модуль 3511 обработки изображений обращается к экспоненте каждого фрагмента пиксельных данных, принимаемых из арифметической схемы 3415, и когда результат обращения показывает то, что число интегрирований составляет два или более, выполняет процесс интегрирования пиксельных данных. Например, когда число интегрирований составляет два (один этап), старшие 11 битов двух фрагментов 12-битовых пиксельных данных, соответствующих накоплению электрического заряда, суммируются таким образом, что формируется один фрагмент 12-битовых пиксельных данных. Аналогично, когда число интегрирований составляет 128 (семь этапов), старшие 5 битов 128 фрагментов 12-битовых пиксельных данных, соответствующих накоплению электрического заряда, суммируются таким образом, что формируется один фрагмент 12-битовых пиксельных данных. Иными словами, старшие биты, число которых получается посредством вычитания, из 12, числа этапов, соответствующих числу интегрирований, суммируются таким образом, что формируется один фрагмент 12-битовых пиксельных данных. Следует отметить, что исключаются младшие биты, которые не должны суммироваться.

[0516] Посредством выполнения обработки таким способом, диапазон яркости, который предоставляет градацию, может сдвигаться к стороне высокой яркости в соответствии с числом интегрирований. Иными словами, 12 битов выделяются ограниченному диапазону на стороне высокой яркости. Соответственно, градация может предоставляться в области изображения, которая традиционно включает в себя пустые яркие части.

[0517] Тем не менее, следует отметить, что поскольку 12 битов выделяются различным диапазонам яркости других разделенных областей, данные изображений не могут формироваться посредством синтеза в виде простого соединения областей. Чтобы разрешать эту проблему, модуль 3511 обработки изображений выполняет процесс повторного квантования посредством использования, в качестве опорных, пиксела с наибольшей яркостью и пиксела с наименьшей яркостью, чтобы задавать все области в качестве 12-битовых данных изображений при сохранении полученных градаций в максимально возможной степени. В частности, квантование выполняется посредством выполнения гамма-преобразования таким образом, что могут сохраняться более сглаженные градации. Посредством выполнения обработки таким способом, могут быть получены данные изображений с расширенным динамическим диапазоном.

[0518] Следует отметить, что описание числа интегрирований не ограничивается суммированием 3-битовой экспоненты с пиксельными данными, как описано выше, и число интегрирований может описываться как прилагаемая информация, отличная от пиксельных данных. Кроме того, экспонента может опускаться из пиксельных данных, и вместо этого число интегрирований может быть получено во время процесса суммирования посредством подсчета числа фрагментов пиксельных данных, сохраненных в пиксельном запоминающем устройстве 3414.

[0519] Кроме того, хотя при вышеописанной обработке изображений, выполняется процесс повторного квантования, чтобы задавать все области в качестве 12-битовых данных изображений, число выходных битов может быть увеличено относительно числа битов пиксельных данных, в соответствии с верхним предельным числом интегрирований. Например, если верхнее предельное число интегрирований задается как 16 (четыре этапа), все области могут задаваться, для 12-битовых пиксельных данных, в качестве 16-битовых данных изображений. Посредством выполнения обработки таким способом, данные изображений могут быть сформированы без стирания разрядов.

[0520] Далее поясняется последовательность процессов при операциях формирования изображений. Фиг. 85 является блок-схемой последовательности операций способа, показывающей обработку операций формирования изображений. Последовательность операций начинается, когда включается источник питания устройства 3500 формирования изображений.

[0521] На этапе S3201, модуль 3501 управления системой ожидает нажатия переключателя SW1, которое представляет собой инструкцию для перехода в режим готовности к формированию изображений. Когда считывается нажатие переключателя SW1, последовательность операций переходит к этапу S3202.

[0522] На этапе S3202, модуль 3501 управления системой выполняет фотометрическую обработку. В частности, после получения вывода фотометрического модуля 3503, вычислительный модуль 3512 вычисляет распределение яркости сцены. Затем, последовательность операций переходит к этапу S3203, и, как описано выше, определяются скорость срабатывания затвора, разделение на области, число интегрирований и т.п.

[0523] При завершении операции перехода в режим готовности к формированию изображений последовательность операций переходит к этапу S3204 и ожидает нажатия переключателя SW2, которое представляет собой инструкцию по формированию изображений. В это время, когда истекшее время превышает предварительно определенное время Tw ("Да" на этапе S3205), последовательность операций возвращается к этапу S3201. Когда нажатие переключателя SW2 считывается до того, как истекшее время превышает время Tw ("Нет" на этапе S3205), последовательность операций переходит к этапу S3206.

[0524] На этапе S3206, модуль 3502 возбуждения, который принимает инструкцию модуля 3501 управления системой, выполняет процесс накопления электрического заряда и процесс считывания сигналов, которые поясняются посредством использования фиг. 83. Затем, при полном завершении считывания сигналов, последовательность операций переходит к этапу S3207, выполняется обработка изображений, поясненная посредством использования фиг. 84, и выполняется процесс записи для записи сформированных данных изображений в модуле записи.

[0525] При завершении процесса записи, последовательность операций переходит к этапу S3208 и определяется то, выключен или нет источник питания устройства 3500 формирования изображений. Когда источник питания не выключен, последовательность операций возвращается к этапу S3201, а когда источник питания выключен, последовательность процессов при операциях формирования изображений завершается.

[0526] Фиг. 86 является блок-схемой, которая иллюстрирует конкретную конфигурацию микросхемы 3111 обработки сигналов в качестве одного примера. Области на чертеже, которые окружаются посредством пунктирных линий, указывают модуль 3910 обработки пиксельных данных, который предоставляется для каждого пиксельного блока 3131.

[0527] Микросхема 3111 обработки сигналов выполняет функции модуля 3502 возбуждения. Микросхема 3111 обработки сигналов включает в себя модуль 3441 управления датчика, модуль 3442 поблочного управления, модуль 3443 управления синхронизацией и модуль 3444 управления сигналами, которые выполняют разделенные функции управления, и модуль 3420 управления возбуждением, который выполняет централизованное управление для соответствующих модулей управления. Модуль 3420 управления возбуждением преобразует инструкции из модуля 3501 управления системой в управляющие сигналы, которые могут быть выполнены посредством соответствующих модулей управления, и передает их в соответствующие модули управления.

[0528] Модуль 3441 управления датчика выполняет управление передачей для импульсов управления, которые должны быть переданы в микросхему 3113 формирования изображений и связаны с накоплением электрического заряда и считыванием электрического заряда каждого пиксела. В частности, модуль 3441 управления датчика управляет началом и завершением накопления электрического заряда посредством передачи импульсов сброса и импульсов переноса в целевые пикселы и вызывает вывод пиксельных сигналов в выходное межсоединение 3309 посредством передачи импульсов выбора в считываемые пикселы.

[0529] Модуль 3442 поблочного управления выполняет передачу указывающих импульсов, которые должны быть переданы в микросхему 3113 формирования изображений, и указывает пиксельный блок 3131, который должен управляться. Как пояснено посредством использования фиг. 82B и т.д., разделенные области могут включать в себя множество взаимно смежных пиксельных блоков 3131. Пиксельные блоки 3131, принадлежащие той же области, формируют один блок. Пикселы, которые включаются в тот же блок, начинают накопление электрического заряда при одном и том же тактировании и завершают накопление электрического заряда при одном и том же тактировании. Чтобы разрешать эту проблему, модуль 3442 поблочного управления выполняет роль формирования блоков пиксельных блоков 3131 посредством передачи указывающих импульсов в пиксельные блоки 3131, которые должны быть целями, на основе обозначения посредством модуля 3420 управления возбуждением. Импульсы переноса и импульсы сброса, которые каждый пиксел принимает через TX межсоединение 3307 и межсоединение 3306 сброса, являются логическим "AND" каждого импульса, передаваемого посредством модуля 3441 управления датчика, и указывающих импульсов, передаваемых посредством модуля 3442 поблочного управления.

[0530] Таким образом, посредством управления каждой областью в качестве взаимно независимого блока, может реализовываться управление накоплением электрического заряда, поясненное посредством использования фиг. 83. Ниже подробно описывается обозначение формирования блоков посредством модуля управления возбуждением. Следует отметить, что пикселы, включенные в тот же блок, могут не начинать накопление электрического заряда при одном и том же тактировании. Иными словами, модуль 3420 управления возбуждением может применять импульсы сброса и импульсы переноса к пикселам, включенным в тот же блок, при разном тактировании. Кроме того, после прекращения накопления электрического заряда пикселов, включенных в тот же блок, после одного и того же периода накопления, модуль 3420 управления возбуждением может последовательно применять импульсы выбора к пикселам в блоке и последовательно считывать их соответствующие пиксельные сигналы.

[0531] Модуль 3443 управления синхронизацией передает сигнал синхронизации в микросхему 3113 формирования изображений. Каждый импульс становится активным в микросхеме 3113 формирования изображений при синхронизации с сигналом синхронизации. Например, посредством регулирования сигнала синхронизации, может реализовываться случайное управление, управление прореживанием и т.п. только для конкретных пикселов из числа пикселов, принадлежащих одному и тому же пиксельному блоку 3131.

[0532] Модуль 3444 управления сигналами, главным образом, выполняет управление тактированием для аналого-цифрового преобразователя 3412. Пиксельные сигналы, выводимые через выходное межсоединение 3309, вводятся в аналого-цифровой преобразователь 3412 через CDS-схему 3410 и мультиплексор 3411. Аналого-цифровой преобразователь 3412 управляется посредством модуля 3444 управления сигналами, чтобы преобразовывать входные пиксельные сигналы в цифровые пиксельные данные. Пиксельные данные, преобразованные в цифровые сигналы, передаются в демультиплексор 3413 и сохраняются в качестве пиксельного значения цифровых данных в пиксельном запоминающем устройстве 3414, соответствующем каждому пикселу. Пиксельное запоминающее устройство 3414 является одним примером блока 3730 хранения.

[0533] Микросхема 3111 обработки сигналов имеет запоминающее устройство 3430 тактирования, в качестве запоминающего устройства для управления накоплением, которое сохраняет информацию разделения на блоки относительно того, какие пиксельные блоки 3131 должны быть комбинированы для того, чтобы формировать блок, и информацию относительно числа накоплений относительно того, сколько раз каждый сформированный блок повторяет накопление электрического заряда. Запоминающее устройство 3430 тактирования сконфигурировано, например, с флэш-RAM.

[0534] Как описано выше, то, какие пиксельные блоки 3131 должны быть комбинированы для того, чтобы формировать блок, определяется посредством модуля 3501 управления системой на основе результата определения для определения распределения яркости сцены, которое выполняется до рядов последовательности формирования изображений. Определенные блоки разделяются, например, на первый блок, второй блок, ..., и задаются посредством того, какие пиксельные блоки 3131 включаются в них. Модуль 3420 управления возбуждением принимает информацию разделения на блоки из модуля 3501 управления системой и сохраняет ее в запоминающем устройстве 3430 тактирования.

[0535] Кроме того, модуль 3501 управления системой определяет то, сколько раз каждый блок повторяет накопление электрического заряда, на основе результата определения распределения яркости. Модуль 3420 управления возбуждением принимает информацию относительно числа накоплений из модуля 3501 управления системой и сохраняет ее в запоминающем устройстве 3430 тактирования посредством спаривания информации относительно числа накоплений с соответствующей информацией разделения на блоки. Посредством сохранения информации разделения на блоки и информации относительно числа накоплений в запоминающем устройстве 3430 тактирования таким способом, модуль 3420 управления возбуждением может выполнять последовательность управления накоплением электрического заряда независимо посредством последовательного обращения к запоминающему устройству 3430 тактирования. Иными словами, при управлении получением одного изображения, когда модуль 3420 управления возбуждением принимает сигнал инструкции по формированию изображений из модуля 3501 управления системой, модуль 3420 управления возбуждением после этого имеет возможность выполнять управление накоплением без приема инструкции относительно управления для каждого пиксела из модуля 3501 управления системой каждый раз.

[0536] Модуль 3420 управления возбуждением принимает, из модуля 3501 управления системой, информацию разделения на блоки и информацию относительно числа накоплений, которые обновляются на основе результатов фотометрии (результатов определения распределения яркости), выполняемой при синхронизации с инструкцией для перехода в режим готовности к формированию изображений, и надлежащим образом обновляет сохраненный контент запоминающего устройства 3430 тактирования. Например, модуль 3420 управления возбуждением обновляет запоминающее устройство 3430 тактирования при синхронизации с инструкцией для перехода в режим готовности к формированию изображений или инструкцией по формированию изображений. При этой конфигурации, реализуется более быстрое управление накоплением электрического заряда, и модуль 3501 управления системой может выполнять другую обработку параллельно с управлением накоплением электрического заряда, выполняемым посредством модуля 3420 управления возбуждением.

[0537] Модуль 3420 управления возбуждением, который выполняет управление накоплением электрического заряда для микросхемы 3113 формирования изображений, дополнительно обращается к запоминающему устройству 3430 тактирования при выполнении управления считыванием. Например, модуль 3420 управления возбуждением обращается к информации относительно числа накоплений каждого блока для того, чтобы сохранять пиксельные данные, выводимые из демультиплексора 3413, в соответствующем адресе пиксельного запоминающего устройства 3414.

[0538] Модуль 3420 управления возбуждением считывает целевые пиксельные данные каждого пиксельного блока из пиксельного запоминающего устройства 3414 согласно запросу на доставку из модуля 3501 управления системой и передает их в модуль 3511 обработки изображений. В это время, модуль 3420 управления возбуждением совместно передает дополнительные данные, соответствующие надлежащим фрагментам целевых пиксельных данных, в модуль 3511 обработки изображений. Пиксельное запоминающее устройство 3414 имеет пространство в запоминающем устройстве, которое может сохранять пиксельные данные, соответствующие максимальному числу интегрирований относительно каждого пиксельного блока, как описано выше, и сохраняет, в качестве пиксельных значений, соответствующие фрагменты пиксельных данных, соответствующих выполняемому числу накоплений. Например, поскольку, когда накопление электрического заряда повторяется четыре раза в блоке, пикселы, включенные в блок, выводят пиксельные сигналы, которые соответствуют четырем разам, пространство в запоминающем устройстве в пиксельном запоминающем устройстве 3414 для каждого пиксела сохраняет четыре пиксельных значения. После приема, из модуля 3501 управления системой, запроса на доставку, который запрашивает пиксельные данные конкретного пиксела, модуль 3420 управления возбуждением указывает адрес конкретного пиксела в пиксельном запоминающем устройстве 3414, считывает все фрагменты сохраненных пиксельных данных и передает их в модуль 3511 обработки изображений. Например, когда сохраняются четыре пиксельных значения, последовательно передаются все четыре пиксельных значения, а когда сохраняется только одно пиксельное значение, передается пиксельное значение.

[0539] Модуль 3420 управления возбуждением может считывать пиксельные данные, сохраненные в пиксельном запоминающем устройстве 3414, передавать их в арифметическую схему 3415 и заставлять арифметическую схему 3415 выполнять вышеописанный процесс интегрирования. Пиксельные данные, подвергнутые процессу интегрирования, сохраняются в адресе целевого пиксела пиксельного запоминающего устройства 3414. Адрес целевого пиксела может предоставляться рядом с адресным пространством перед процессом интегрирования или может быть тем же адресом, так что пиксельные данные записываются поверх пиксельных данных перед процессом интегрирования. Кроме того, может предоставляться выделенное пространство, которое совместно сохраняет пиксельные значения соответствующих пикселов после процесса интегрирования. После приема, из модуля 3501 управления системой, запроса на доставку, который запрашивает пиксельные данные конкретного пиксела, модуль 3420 управления возбуждением может передавать пиксельные данные после процесса интегрирования в модуль 3511 обработки изображений в зависимости от формы запроса на доставку. Конечно, фрагменты пиксельных данных до и после процесса интегрирования могут передаваться совместно.

[0540] Интерфейс передачи данных, который передает пиксельные данные согласно запросу на доставку, предоставляется для пиксельного запоминающего устройства 3414. Интерфейс передачи данных соединяется с линией передачи данных, которая соединяется с модулем 3511 обработки изображений. Линия 3920 передачи данных сконфигурирована, например, с последовательной шиной. В этом случае, запрос на доставку из модуля 3501 управления системой в модуль 3420 управления возбуждением выполняется посредством адресации, которая использует адресную шину.

[0541] Передача пиксельных данных посредством интерфейса передачи данных не ограничивается системой адресации, а может приспосабливать различные системы. Например, во время передачи данных может приспосабливаться система по стандарту с удвоенной скоростью передачи данных, в которой фронт и спад синхросигнала, используемого для синхронизации каждой схемы, используются для того, чтобы выполнять обработку. Кроме того, может приспосабливаться система пакетной передачи для передачи данных сразу посредством частичного опускания процедур, таких как адресация и попытка ускорения. Кроме того, система шин с использованием линий, которые соединяют модуль управления, запоминающее устройство и модуль ввода-вывода в параллельной и последовательной системе для последовательной передачи данных на побитовой основе, может приспосабливаться в комбинации.

[0542] При этой конфигурации, поскольку модуль 3511 обработки изображений может принимать только необходимые фрагменты пиксельных данных, модуль 3511 обработки изображений может выполнять обработку изображений на высокой скорости, в частности, при формировании изображения низкого разрешения. Кроме того, поскольку, когда арифметическую схему 3415 заставляют выполнять процесс интегрирования, модуль 3511 обработки изображений не должен выполнять процесс интегрирования, ускорение обработки изображений может быть предпринято посредством функционального разделения и параллельной обработки.

[0543] Посредством использования микросхемы 3111 обработки сигналов на фиг. 86, обработка изображений может выполняться после получения пиксельных данных посредством использования различных параметров управления между исследуемой областью 3172 и периферийной областью 3176. Например, хотя на фиг. 67-70, движущееся изображение формируется из изображений, которые получаются на частотах кадров, которые отличаются между исследуемой областью 3172 и периферийной областью 3176, вместо этого, отношение "сигнал-шум" может улучшаться посредством выполнения обработки изображений для усреднения изображений, полученных на высокой частоте кадров. В этом случае, модуль 3420 управления возбуждением получает пиксельные сигналы, которые соответствуют нескольким разам, например, четырем разам, из исследуемой области 3172, например, при получении пиксельных сигналов, которые соответствуют одному разу, из периферийной области 3176 и сохраняет пиксельные данные в пиксельном запоминающем устройстве 3414. Арифметическая схема 3415 считывает множество фрагментов полученных пиксельных данных, из пиксельного запоминающего устройства 3414, для каждого пиксела исследуемой области 3172 и усредняет их для соответствующих пикселов. В силу этого, уменьшаются случайные шумы каждого пиксела исследуемой области 3172, и может улучшаться отношение "сигнал-шум" исследуемой области 3172.

[0544] Следует отметить, что запоминающее устройство 3930 может соединяться с линией 3920 передачи данных. Запоминающее устройство 3930 может представлять собой энергозависимое запоминающее устройство, которое последовательно сохраняет пиксельные данные из пиксельного запоминающего устройства 3414 в обозначенных адресах. Например, запоминающее устройство 3930 представляет собой DRAM. Скорость передачи пиксельных данных из пиксельного запоминающего устройства 3414 в запоминающее устройство 3930 может быть идентичной или меньшей опорной частоты кадров. Запоминающее устройство 3930 выступает в качестве буфера для передачи данных из пиксельного запоминающего устройства 3414 в модуль 3511 обработки изображений. Иными словами, запоминающее устройство 3930 буферизует, по меньшей мере, часть пиксельных данных, выводимых посредством пиксельного запоминающего устройства 3414, когда скорость передачи данных из множества пиксельных запоминающих устройств 3414 превышает скорость обработки данных в модуле 3511 обработки изображений. Например, запоминающее устройство 3930 сохраняет пиксельные данные каждой опорной частоты кадров и пиксельные данные пиксельного блока 3131, который работает на высокой частоте кадров, из пиксельного запоминающего устройства 3414.

[0545] Хотя описаны варианты осуществления настоящего изобретения, объем изобретения не ограничен вышеописанными вариантами осуществления. Специалистам в данной области техники должно быть очевидным, что различные изменения и усовершенствования могут добавляться в вышеописанный вариант(ы) осуществления. Также из объема формулы изобретения очевидно то, что варианты осуществления, дополненные такими изменениями или усовершенствованиями, могут быть включены в объем изобретения.

[0546] Операции, процедуры, этапы и стадии каждого процесса, выполняемого посредством устройства, системы, программы и способа, показанных в формуле изобретения, в вариантах осуществления или на схемах, могут выполняться в любом порядке при условии, что порядок не указывается посредством "до", "перед" и т.п., и при условии, что вывод из предыдущего процесса не используется в последующем процессе. Даже если последовательность операций обработки описывается с использованием таких фраз, как "первый" или "следующий" в формуле изобретения, в вариантах осуществления или на схемах, это не обязательно означает то, что процесс должен выполняться в этом порядке.

Изобретение относится к устройству формирования изображений. Технический результат заключается в обеспечении линии управления для каждой ячейки в модуле формирования изображений. Предложен элемент формирования изображений, содержащий: модуль формирования изображений, который имеет: множество групп, каждая из которых включает в себя, по меньшей мере, один пиксель; и множество модулей считывания сигналов, каждый из которых обеспечен для каждой из групп и считывает сигнал из пикселя; и модуль управления, который управляет модулем считывания сигналов в, по меньшей мере, одной группе из множества групп. Каждая из множества групп может включать в себя множество пикселей. Модуль управления может выбирать, по меньшей мере, одну группу из множества групп и управлять модулем считывания сигналов посредством использования параметра управления, который отличается от параметра управления, который используется для другой группы из множества групп. 3 н. и 21 з.п. ф-лы, 92 ил.

1. Датчик изображений, содержащий:

модуль формирования изображений, который имеет первую группу, включающую в себя по меньшей мере один пиксель, и вторую группу, включающую в себя по меньшей мере один пиксель;

модуль считывания, который считывает сигнал из пикселя, включенного в модуль формирования изображений; и

модуль управления, который уложен стопой на модуль формирования изображений и управляет каждым из считывания сигнала пикселя, включенного в первую группу, и считывания сигнала пикселя, включенного во вторую группу, на основании сигнала, считанного модулем считывания.

2. Датчик изображений по п. 1, в котором каждая из первой группы и второй группы включает в себя множество пикселей.

3. Датчик изображений по п. 1 или 2, в котором модуль управления управляет модулем считывания с разными считываниями сигналов между первой группой и второй группой.

4. Датчик изображений по п. 1, в котором модуль управления управляет модулем считывания, так что сигнал пикселя, включенного в первую группу, считывается с первой частотой кадров, а сигнал пикселя, включенного во вторую группу, считывается со второй частотой кадров, которая отличается от первой частоты кадров.

5. Датчик изображений по п. 1, в котором модуль управления управляет модулем считывания, так что сигнал пикселя, включенного в первую группу, считывается с первым показателем прореживания, а сигнал пикселя, включенного во вторую группу, считывается со вторым показателем прореживания, который отличается от первого показателя прореживания.

6. Датчик изображений по п. 1, в котором модуль управления управляет модулем считывания, так что количество добавленных пикселей в первой группе отличается от количества добавленных пикселей во второй группе.

7. Датчик изображений по п. 1, в котором модуль управления управляет периодом накопления электрического заряда пикселя, включенного в первую группу, чтобы являлся первым периодом, и периодом накопления электрического заряда пикселя, включенного во вторую группу, чтобы являлся вторым периодом, который отличается от первого периода.

8. Датчик изображений по п. 1, дополнительно содержащий аналого-цифровой (A/D) преобразователь, который преобразует аналоговый сигнал, который считан модулем считывания, в цифровой сигнал, и

модуль управления управляет A/D преобразователем, так что аналоговый сигнал, считанный из пикселя, включенного в первую группу, преобразуется в цифровой сигнал с первым количеством битов, а аналоговый сигнал, считанный из пикселя, включенного во вторую группу, преобразуется в цифровой сигнал со вторым количеством битов, которое отличается от первого количества битов.

9. Датчик изображений по п. 1, дополнительно содержащий:

модуль обнаружения, который обнаруживает объект на основе изображения, сгенерированного из сигнала, считанного модулем считывания; при этом

модуль управления управляет каждым из считывания сигнала в первой группе и считыванием сигнала во второй группе на основе сигнала объекта, обнаруженного модулем обнаружения.

10. Датчик изображений по п. 9, в котором модуль управления управляет модулем считывания, так что, когда изображение объекта, обнаруженного модулем обнаружения, формируется в первой группе, частота кадров, при которой считывается сигнал пикселя, включенного в первую группу, выше, чем частота кадров, при которой считывается сигнал пикселя, включенного во вторую группу.

11. Датчик изображений по п. 9, в котором модуль управления управляет модулем считывания, так что, когда изображение объекта, обнаруженного модулем обнаружения, формируется в первой группе, показатель прореживания первой группы ниже, чем показатель прореживания второй группы.

12. Датчик изображений по п. 9, в котором модуль управления управляет модулем считывания, так что, когда изображение объекта, обнаруженного модулем обнаружения, формируется в первой группе, количество добавленных пикселей в первой группе меньше, чем количество добавленных пикселей во второй группе.

13. Датчик изображений по п. 9, дополнительно содержащий A/D преобразователь, который преобразует аналоговый сигнал, который считан модулем считывания, в цифровой сигнал, при этом

модуль управления управляет A/D преобразователем, так что, когда изображение объекта, обнаруженного модулем обнаружения, формируется в первой группе, количество битов, с которым аналоговый сигнал, считанный из пикселя, включенного в первую группу, преобразуется в цифровой сигнал, больше, чем количество битов, с которым аналоговый сигнал, считанный из пикселя, включенного во вторую группу, преобразуется в цифровой сигнал.

14. Датчик изображений по п. 1, в котором модуль управления управляет первой группой и второй группой с разными параметрами управления и управляет группой между первой группой и второй группой со значением между значением параметра управления первой группы и значением параметра управления второй группы.

15. Датчик изображений по п. 1, в котором микросхема, в которой расположены первая группа и вторая группа, и микросхема, в которой расположена по меньшей мере часть модуля считывания, уложены стопой.

16. Датчик изображений по п. 15, в котором микросхема, в которой расположены первая группа и вторая группа, сформирована КМОП-микросхемой с освещением с задней стороны.

17. Датчик изображений по п. 1, дополнительно содержащий A/D преобразователи, каждый из которых обеспечен для каждой из первой группы и второй группы и преобразует аналоговый сигнал, считанный из пикселя, в цифровой сигнал.

18. Датчик изображений по п. 1, в котором

первая группа включает в себя первую линию управления, которая управляет пикселем, и первую линию вывода, которая выводит сигнал пикселя, и

вторая группа включает в себя вторую линию управления, которая отличается от первой лини управления и управляет пикселем, и вторую линию вывода, которая отличается от первой линии вывода и выводит сигнал пикселя.

19. Датчик изображений по п. 18, в котором

первая группа и вторая группа размещены в первом направлении, и

первая линия управления и вторая линия управления размещены в первом направлении.

20. Датчик изображений по п. 19, в котором первая линия вывода и вторая линия вывода расположены во втором направлении, которое пересекается с первым направлением.

21. Устройство формирования изображений, содержащее:

датчик изображений по п. 4; и

модуль генерации изображений, который генерирует первые данные изображения на основе сигнала, считанного из первой группы с первой частотой кадров, и генерирует вторые данные изображения на основе сигнала, считанного из второй группы со второй частотой кадров.

22. Устройство формирования изображений по п. 21, дополнительно содержащее модуль хранения, который хранит информацию области, указывающую область, изображение которой формируется пикселем, включенным в первую группу области, изображение которой формируется посредством модуля формирования изображений, информацию тактирования, указывающую взаимосвязь между тактированием, при котором сигнал считывается из пикселя, включенного в первую группу, и тактированием, при котором сигнал считывается из пикселя, включенного во вторую группу, первые данные изображения и вторые данные изображения в ассоциации друг с другом.

23. Устройство формирования изображений, содержащее:

датчик изображений по п. 5; и

модуль генерации изображений, который генерирует первые данные изображения на основе сигнала, считанного из первой группы с первым показателем прореживания, и генерирует вторые данные изображения на основе сигнала, считанного из второй группы со вторым показателем прореживания.

24. Устройство формирования изображений по п. 23, дополнительно содержащее модуль хранения, который хранит информацию области, указывающую область, изображение которой формируется пикселем, включенным в первую группу области, изображение которой формируется посредством модуля формирования изображений, информацию прореживания, указывающую взаимосвязь между первым показателем прореживания и вторым показателем прореживания, первые данные изображения и вторые данные изображения в ассоциации друг с другом.