МУЛЬТИСПЕКТРАЛЬНЫЕ ФОТОЧУВСТВИТЕЛЬНЫЕ УСТРОЙСТВА И СПОСОБЫ ДЛЯ ИХ ДИСКРЕТИЗАЦИИ Российский патент 2014 года по МПК H04N5/347 H01L27/148 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Заявка относится к считыванию фоточувствительных пикселов в фоточувствительных кристаллах, конкретно, к считыванию субдискретизированных данных фоточувствительных пикселов в фоточувствительных кристаллах с большой матрицей. В частности, заявка относится к мультиспектральным фоточувствительным устройствам и способам для их дискретизации.

УРОВЕНЬ ТЕХНИКИ

Данная заявка является продолжением заявок, называемых "Multi-Spectrum Photosensitive Devices and Methods for manufacturing the Same" (PCT/CN2007/071262) и "Multi-Spectrum Photosensitive Devices and Methods for manufacturing the Same" (заявка (Китай) номер 200810217270.2), поданных автором(ами) настоящего изобретения, и направлена на предоставление более конкретных и предпочтительных реализаций на уровне полупроводниковых схем и на уровне кристаллов.

Предшествующие фоточувствительные устройства связаны со считыванием цветного видимого света или инфракрасного света при редком одновременном считывании их обоих. Хотя некоторые другие изобретения или заявки, к примеру, полупроводниковая технология на основе кадмия и индия ("Silicon infrared focal plane arrays", M. Kimata, в Handbook of Infrared Detection Technologies, под редакцией M, Henini и M. Razeghi, стр. 352-392, Elsevier Science Ltd., 2002), также могут быть использованы для того, чтобы реализовывать одновременное фотосчитывание как для невидимого света, так и для инфракрасного света, но цвет не достигается. Предшествующие способы для одновременного получения фоточувствительности окрашенного света и инфракрасного света состоят в том, чтобы физически накладывать друг на друга цветное фоточувствительное устройство и инфракрасное фоточувствительное устройство (к примеру, "Backside-hybrid Photodetector for trans-chip detection of NIR light" авторов T. Tokuda и др., на IEEE Workshop on Charge-coupled Devices and Advanced Image Sensors, Elmau, Germany, май 2003 года, и "A CMOS image sensor with eye-safe detection function backside carrier injection", T. Tokuda и др., J. Inst Image Information and Television Eng.(3): 366-372, март 2006 года).

Новый способ для изготовления мультиспектрального фоточувствительного устройства, чтобы одновременно получать цветные и инфракрасные изображения, предлагается в предшествующей заявке, называемой "Multi-Spectrum Photosensitive Devices and Methods for manufacturing the Same" (PCT/CN2007/071262) и "Multi-Spectrum Photosensitive Devices and Methods for manufacturing the Same" (заявка (Китай) номер 200810217270.2), поданной автором настоящего изобретения. В фоточувствительных устройствах нового типа значительно расширяются динамические фоточувствительные диапазоны фоточувствительных устройств так, что они удовлетворяют строгим требованиям по производительности в областях техники транспортных средств, безопасности и наблюдения и т.д. Кроме того, они могут быть использованы в цветных фоточувствительных устройствах небольшого размера, таких как камеры сотовых телефонов, и качество изображения может значительно повышаться. Помимо этого они могут изготавливаться посредством применения технологий изготовления существующих CMOS, CCD или других полупроводниковых фоточувствительных устройств и множества эффективных способов изготовления, и структурные конструкции могут быть использованы в этих технологиях. Некоторые способы изготовления с использованием CMOS/CCD-полупроводниковых технологий предоставляются в настоящей заявке.

Тем не менее новая проблема, возникающая вследствие этого нового двухслойного или многослойного фоточувствительного устройства, состоит в том, что объем данных в два раза или еще больше превышает объем данных традиционных однослойных фоточувствительных устройств. Хотя только полупикселы могут быть необходимы для того, чтобы получать разрешение двухслойных фоточувствительных устройств, идентичное разрешению однослойных фоточувствительных устройств, обработка данных для большой матрицы в фоточувствительных устройствах на высокой скорости остается проблемой, которая должна быть разрешена.

В последнее время некоторые превосходные способы для субдискретизации изображений для большой матрицы с высокой производительностью, такие как совместно используемая схема считывания, технологии дискретизации с группировкой по строкам и группировкой по столбцам предлагаются в некоторых заявках, например в патентах (США) номера 6801258B1, 6693670B1, 7091466B2, 7319218B2 и т.д. Из этих заявок заслуживают внимание патенты (США) номера 6693670B1, 7091466B2 и 7319218B2, которые предоставляют некоторые эффективные и простые подходы, чтобы реализовывать группировку N столбцов или N строк или группировку M столбцов и N строк.

Тем не менее эти технологии по-прежнему не являются оптимальными. Например, отношение "сигнал-шум" (SNR) изображения улучшается только в затем $$\sqrt{N}$$ раз посредством комбинирования N точек в одну через использование операций субдискретизации с группировкой по строкам и группировкой по столбцам (см. патенты (США) номера 7091466B2 и 7319218B2). Это обусловлено тем, что сигналы просто усредняются в операциях группировки по строкам и/или по столбцам, тем самым снижая дисперсию случайного шума только в $$\sqrt{N}$$ раз, в то время как сами полезные сигналы не усиливаются и просто заменяются посредством среднего значения нескольких точек. Кроме того, обычно существует медленно варьирующийся и низкочастотный шум в сигналах изображений, который вообще не снижается.

Помимо этого существующие технологии субдискретизации рассматривают только требования субдискретизации фоточувствительного кристалла, размещаемого в шаблоне Байера или CYMG-шаблоне отдельно, и не обеспечивают упрощения при обработке постдискретизации. Например, цветное изображение шаблона Байера остается изображением шаблона Байера за счет использования операций дискретизации с группировкой по строкам и группировкой по столбцам (см. патенты (США) номера 7091466B2 и 7319218B2), используемых посредством U.S Micron Technologies Inc., и в таком случае для того, чтобы получать YUV-изображения, которые предпочитаются на стадиях предварительного просмотра и хранения, по-прежнему требуются сложные процессы. Хотя некоторые другие схемы субдискретизации могут улучшать SNR, для них требуются сложные интегрирующие схемы и модули сравнения, тем самым повышая число вспомогательных схем и частоту.

Другое значительное ограничение существующих технологий субдискретизации состоит в том, что операции группировки по строкам и группировки по столбцам применяются только в пикселах, считывающих один цвет, при этом пикселы не являются непосредственно смежными в пространстве (т.е. другие пикселы могут быть размещены между ними). Для шаблонов Байера или цветовых CYMG-шаблонов, пикселы одного цвета не являются непосредственно смежными в пространстве, и характеристика равномерного пространственного распределения исходных изображений нарушается за счет операций группировки по строкам и группировки по столбцам. Следовательно, эффекты наложения спектров легко формируются на краях линий, если окончательная обработка не адаптирована специально к этому случаю.

В частности, для двухслойных или многослойных фоточувствительных устройств, которые рассматриваются в настоящей заявке, предшествующий уровень техники выглядит достаточно неудобным и посредственным, поскольку двухслойные или многослойные фоточувствительные устройства предоставляют множество превосходных, но полностью новых компоновок цветового шаблона, для которых считывание и субдискретизация сигналов должны использовать характеристики двухслойных или многослойных фоточувствительных устройств с тем, чтобы выполнять усовершенствования.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Цель настоящей заявки заключается в том, чтобы предоставлять более совершенный принцип субдискретизации и усовершенствованную схему субдискретизации и оптимизировать субдискретизацию наряду с последующей обработкой изображений. Настоящая заявка предоставляет мультиспектральное фоточувствительное устройство и способ для его дискретизации, чтобы преодолевать небольшой недостаток большого объема данных, внутренне присущего двухслойному или многослойному мультиспектральному фоточувствительному кристаллу. В данном документе способ дискретизации, главным образом, включает в себя субдискретизацию, но также и включает в себя дискретизацию полных изображений. Следует понимать, что данная заявка не ограничивается двухслойным или многослойным мультиспектральным фоточувствительным устройством, но также применима к однослойному фоточувствительному устройству.

ТЕХНИЧЕСКОЕ РЕШЕНИЕ

Чтобы описывать заявку и пояснять отличие от предшествующего уровня техники, для удобства "двухслойное фоточувствительное устройство", "двустороннее фоточувствительное устройство" и "двунаправленное фоточувствительное устройство" задаются следующим образом. Двухслойное фоточувствительное устройство означает, что его фоточувствительный пиксел физически разделяется на два слоя (аналогично двухуровневому фоточувствительному устройству, ранее описанному в заявке, называемой "Multi-spectrum Photosensitive Devices and Methods for manufacturing the Same" (PCT/CN2007/071262) автора настоящего изобретения), и каждый слой включает в себя фоточувствительные пикселы, считывающие конкретные спектры. Двустороннее фоточувствительное устройство означает фоточувствительное устройство, имеющее две фоточувствительных поверхности, каждая из которых может считывать свет, по меньшей мере, в одном направлении. Двунаправленное фоточувствительное устройство означает, что фоточувствительное устройство может считывать свет из двух направлений (которые типично образуют угол в 180 градусов), т.е. считывать свет как из передней, так и из задней стороны фоточувствительного устройства.

Фоточувствительное устройство может иметь, по меньшей мере, одну из следующих характеристик: двухслойное, двустороннее и двунаправленное.

Технические решения согласно настоящей заявке заключаются в следующем.

Мультиспектральное фоточувствительное устройство, содержащее:

- пикселную матрицу, размещаемую в строках и в столбцах;

- первый блок комбинирования для комбинирования и дискретизации двух соседних пикселов в пикселной матрице, которые находятся в идентичной строке, но в различных столбцах, или в различных строках, но в идентичном столбце, или в различных строках и различных столбцах, чтобы получать данные дискретизации первого комбинированного пиксела; и

- второй блок комбинирования для комбинирования и дискретизации дискретизированных данных первого комбинированного пиксела, полученного в первом блоке комбинирования, чтобы получать данные дискретизации второго комбинированного пиксела.

Мультиспектральное фоточувствительное устройство дополнительно содержит третий блок комбинирования для комбинирования и дискретизации данных дискретизации второго комбинированного пиксела, полученного во втором блоке комбинирования, чтобы получать данные дискретизации третьего комбинированного пиксела.

Согласно мультиспектральному фоточувствительному устройству первый или второй блок комбинирования формируется посредством наложения зарядов между пикселами с идентичными или различными цветами или усреднения сигналов пикселов с различными цветами, при этом пикселы с различными цветами (включающие в себя способ наложения зарядов и способ усреднения сигналов) комбинируются согласно преобразованию цветового пространства, чтобы удовлетворять требованиям восстановления цветов.

Согласно мультиспектральному фоточувствительному устройству наложение зарядов пикселов выполняется в считывающем конденсаторе (FD).

Согласно мультиспектральному фоточувствительному устройству комбинирование и дискретизация на основе цвета, выполняемое в первом или втором блоке комбинирования, включает в себя комбинирование по одному цвету, комбинирование по различным цветам, гибридное комбинирование или избирательное исключение избыточных цветов, и комбинирование и дискретизация, выполняемое в первом и втором блоках комбинирования, одновременно не выполняется посредством комбинирования по одному цвету, т.е. по меньшей мере, один из первого и второго процесса комбинирования не выполняется посредством комбинирования по одному цвету.

Согласно мультиспектральному фоточувствительному устройству комбинирование и дискретизация на основе позиции, выполняемое в первом или втором блоках комбинирования, включает в себя, по меньшей мере, один из следующих трех способов: автоматическое усреднение сигналов, одновременно выводимых непосредственно в шину, пропуск строк или пропуск столбцов и дискретизация по одному элементу. Другими словами, эти виды комбинирования и дискретизации на основе позиции могут быть использованы по отдельности или в комбинации.

Согласно мультиспектральному фоточувствительному устройству комбинирование и дискретизация в третьем блоке комбинирования выполняется посредством, по меньшей мере, одного из преобразования цветового пространства и окончательного масштабирования цифрового изображения.

Согласно мультиспектральному фоточувствительному устройству преобразование цветового пространства включает в себя преобразование из RGB в CyYeMgX-пространство, преобразование из RGB- в YUV-пространство или преобразование из CyYeMgX в YUV-пространство, где X является любым из R (красного цвета), G (зеленого цвета) и B (синего цвета).

Согласно мультиспектральному фоточувствительному устройству пикселная матрица состоит из множества макропикселов, включающих в себя, по меньшей мере, один базовый пиксел, при этом базовый пиксел может быть пассивным пикселом или активным пикселом.

Согласно мультиспектральному фоточувствительному устройству базовый пиксел макропиксела размещается в квадратном шаблоне или в гексагональном шаблоне.

Согласно мультиспектральному фоточувствительному устройству макропиксел может состоять, по меньшей мере, из активного пиксела 3T без считывающего конденсатора (FD) и активного пиксела 4T, имеющего один считывающий конденсатор (FD).

Согласно мультиспектральному фоточувствительному устройству активный пиксел 4T с одним считывающим конденсатором (FD) в каждом макропикселе использует считывающую схему, при этом считывающая схема совместно используется посредством 4, 6 или 8 точек.

Согласно мультиспектральному фоточувствительному устройству макропиксел может состоять из четырех пикселов, размещаемых в квадратном шаблоне, и двух непрозрачных считывающих конденсаторов (FD), расположенных между двумя строками, при этом один считывающий конденсатор (FD) совместно используется посредством пикселов в предыдущей строке и пикселов в следующей строке, заряды могут переноситься между двумя считывающими конденсаторами (FD), и, по меньшей мере, один из считывающих конденсаторов подключается к считывающей схеме.

Макропиксел может состоять, по меньшей мере, из одного базового пиксела, имеющего активный пиксел 3T или 4T со считывающим конденсатором (FD), совместно используемым посредством двух точек, или трех точек, или четырех точек, при этом базовый пиксел использует считывающую схему, которая приспосабливает режим 4-точечного параллельного совместного использования, или режим 6-точечного параллельного совместного использования, или режим 8-точечного параллельного совместного использования.

Согласно мультиспектральному фоточувствительному устройству каждый макропиксел может состоять, по меньшей мере, из одного базового пиксела, имеющего активный пиксел 4T со считывающим конденсатором (FD), совместно используемым посредством двух точек, или трех точек, или четырех точек, при этом базовый пиксел использует считывающую схему, которая приспосабливает режим 4-точечного параллельного совместного использования, или режим 6-точечного параллельного совместного использования, или режим 8-точечного параллельного совместного использования.

Согласно мультиспектральному фоточувствительному устройству дискретизация полных изображений, приспосабливаемая в фоточувствительном устройстве, выполняется посредством построчного сканирования и построчного считывания или построчного сканирования, но чересстрочного считывания.

Согласно дополнительному аспекту настоящей заявки раскрывается способ дискретизации для мультиспектрального фоточувствительного устройства, который включает в себя:

- первый процесс комбинирования для комбинирования и дискретизации двух соседних пикселов в пикселной матрице, которые находятся в идентичной строке, но в различных столбцах или в различных строках, но в идентичном столбце, или в различных строках и различных столбцах, чтобы получать данные дискретизации первого комбинированного пиксела; и

- второй процесс комбинирования для комбинирования и дискретизации дискретизированных данных первого комбинированного пиксела, полученного в первом процессе комбинирования, чтобы получать данные дискретизации второго комбинированного пиксела.

Способ дискретизации дополнительно может включать в себя третий процесс комбинирования для комбинирования и дискретизации данных дискретизации второго комбинированного пиксела, полученного во втором процессе комбинирования, чтобы получать данные дискретизации третьего комбинированного пиксела.

Согласно способу дискретизации первый или второй процесс комбинирования выполняется посредством наложения зарядов между пикселами с идентичными или различными цветами или усреднения сигналов пикселов с различными цветами, при этом пикселы с различными цветами (включающие в себя способ наложения зарядов и способ усреднения сигналов) комбинируются согласно преобразованию цветового пространства, чтобы удовлетворять требованиям восстановления цветов.

Согласно способу дискретизации комбинирование и дискретизация на основе цвета, выполняемое в первом или втором процессе комбинирования, включает в себя комбинирование по одному цвету, комбинирование по различным цветам, гибридное комбинирование или избирательное исключение избыточных цветов, и, по меньшей мере, один из первого и второго процесса комбинирования не выполняется посредством комбинирования по одному цвету.

Согласно способу дискретизации комбинирование и дискретизация на основе позиции, выполняемое в первом или втором процессе комбинирования, включает в себя, по меньшей мере, одно из автоматического усреднения сигналов, выводимых непосредственно в шину, пропуска строк или пропуска столбцов и дискретизации по одному элементу.

Согласно способу дискретизации третий процесс комбинирования выполняется посредством, по меньшей мере, одного из преобразования цветового пространства и окончательного масштабирования цифрового изображения.

Согласно способу дискретизации преобразование цветового пространства включает в себя преобразование из RGB в CyYeMgX-пространство, преобразование из RGB- в YUV-пространство или преобразование из CyYeMgX в YUV-пространство, где X является любым из R (красного цвета), G (зеленого цвета) и B (синего цвета).

Согласно способу дискретизации дискретизация полных изображений выполняется посредством построчного сканирования и построчного считывания или построчного сканирования, но чересстрочного считывания.

ТЕХНИЧЕСКИЕ ПРЕИМУЩЕСТВА

Настоящая заявка имеет следующие преимущества.

В настоящей заявке процесс субдискретизации разделяется, по меньшей мере, на два процесса, т.е. вышеуказанный первый процесс комбинирования и дискретизации и второй процесс комбинирования и дискретизации. Первый и второй процессы комбинирования и дискретизации обычно осуществляются между (комбинированием) дискретизацией строк и (комбинированием) дискретизацией столбцов пикселов и главным образом осуществляются для аналоговых сигналов, в которых порядок и операции являются в общем изменяемыми, за исключением наложения зарядов, которое обычно выполняется только в первом процессе комбинирования и дискретизации. Помимо этого дополнительно может быть включен третий процесс комбинирования и дискретизации, который осуществляется, главным образом, для цифровых сигналов после аналого-цифрового преобразования.

В первом процессе комбинирования и дискретизации комбинируются два непосредственно соседних пиксела в пикселной матрице. С одной стороны, осуществляется комбинирование непосредственно соседних пикселов. В данном документе пиксел, полученный после комбинирования, упоминается как первый комбинированный пиксел. Следует понимать, что понятие первого комбинированного пиксела для удобства описания используется для того, чтобы указывать пиксел, полученный после первого процесса комбинирования. Это не имеет намерения указывать, что "первый комбинированный пиксел" физически существует в пикселной матрице. Данные, полученные посредством комбинирования и субдискретизации для двух соседних пикселов, упоминаются как данные дискретизации первого комбинированного пиксела. Термин "непосредственно соседний", используемый в данном документе, означает, что два пиксела примыкают при просмотре из горизонтального, вертикального или диагонального направления без размещения других пикселов между ними. Случаи непосредственно соседних включают в себя два пиксела, находящиеся в идентичной строке, но в различных столбцах или в различных строках, но в идентичном столбце или в различных строках и различных столбцах. Вообще говоря, в этом комбинировании сигнал получается посредством среднего, по меньшей мере, двух сигналов, так что шум уменьшается в $$\sqrt{N}$$ раз. Следовательно, SNR будет увеличено, по меньшей мере, в $$\sqrt{N}$$ раз после комбинирования, и комбинирование может выполняться между пикселами с идентичными или различными цветами. С другой стороны, пикселы, которые должны быть комбинированы, могут иметь различные цвета, т.е. выполняется сложение или вычисление среднего цветов. Как известно из теории трех основных цветов, цвет, сформированный посредством сложения двух основных цветов, является комплементарным с другим основным цветом. Требуется только преобразование цветового пространства для того, чтобы выполнять перенос из основного цветового пространства в дополнительное цветовое пространство. Таким образом, восстановление цветов также может быть выполнено посредством различных дополнительных цветов. Другими словами, комбинирование пикселов с различными цветами может выполняться для того, чтобы улучшать SNR, и восстановление цветов также может быть реализовано согласно настоящей заявке. Общий процесс субдискретизации оптимизируется так, что он удовлетворяет высокоскоростному требованию пикселной матрицы с большим объемом данных. Базовое требование для преобразования цветового пространства состоит в том, что комбинирование цветов после преобразования допускает восстановление требуемых RGB-(либо YUV- или CYMK-) цветов (посредством технологии интерполяции и т.д.).

Следует отметить, что множество пикселов обычно содержатся в пикселной матрице, и только два пиксела комбинируются в первом комбинировании и дискретизации. Очевидно, множество первых комбинированных пикселов получаются посредством комбинирования. Для различных первых комбинированных пикселов могут быть использованы идентичные или различные способы комбинирования. Первый процесс комбинирования упоминается как режим комбинирования по одному цвету, когда он выполняется полностью между пикселами, имеющими один цвет. Первый процесс комбинирования упоминается как режим комбинирования по различным цветам, когда он выполняется полностью между пикселами, имеющими различные цвета. Первый процесс комбинирования упоминается как режим гибридного комбинирования, когда он выполняется частично в пикселах, имеющих один цвет, и частично в пикселах, имеющих различные цвета. Первый процесс комбинирования упоминается как режим избирательного исключения избыточных цветов, когда некоторые пикселы избыточных цветов в пикселной матрице исключаются (безусловно, такое исключение является избирательным и не должно влиять, например, на восстановление цветов).

Очевидно, второй процесс комбинирования является операцией для множества первых комбинированных пикселов. Аналогично, можно комбинировать первые комбинированные пикселы с идентичными или различными цветами (конечно, принудительно все три основных цвета могут складываться, так что восстановление цветов не может выполняться).

Вышеуказанные режимы комбинирования, т.е. комбинирование по одному цвету, комбинирование по различным цветам и гибридное комбинирование, классифицируются на основе цвета. Помимо этого, с точки зрения выбора позиции комбинирования и дискретизации, режимы комбинирования и дискретизации первого и второго процесса комбинирования включают в себя: автоматическое усреднение сигналов, выводимых непосредственно в одну шину, пропуск строк или пропуск столбцов, дискретизация по одному элементу и комбинирование двух или трех из этих режимов. За исключением наложения зарядов, которое выполняется только в первом процессе комбинирования и дискретизации, первый и второй процесс комбинирования являются идентичными и изменяемыми (за исключением их различного порядка).

Режим так называемого автоматического усреднения сигналов, выводимых непосредственно в шину, состоит в том, что сигналы (один цвет или различные цвета), которые должны быть комбинированы, одновременно выводятся в шину сбора данных посредством автоматической балансировки сигналов (напряжения), чтобы достигать среднего значения сигналов, которые должны быть комбинированы. Режим пропуска строк или пропуска столбцов состоит в том, что некоторые строки или столбцы пропускаются так, что (комбинирование и) дискретизация выполняется посредством уменьшенного объема данных. Режим дискретизации по одному элементу состоит в том, что исходные пикселы или первый комбинированный пиксел считываются поочередно без комбинирования. Несколько из этих трех режимов могут использоваться одновременно. Например, режим пропуска строк или пропуска столбцов может быть использован одновременно с режимом автоматического усреднения сигналов, выводимых непосредственно в шину, или режимом дискретизации по одному элементу.

Режим субдискретизации третьего процесса комбинирования и дискретизации включает в себя преобразование цветового пространства, окончательное масштабирование цифровых изображений и последовательное использование двух режимов. Первый и второй процессы комбинирования, главным образом, применяются к аналоговым сигналам, в то время как третий процесс комбинирования, главным образом, применяется к цифровым сигналам, т.е. применяется после аналого-цифрового преобразования. Посредством обработки трех или четырех цветных пикселов в различных пространственных местоположениях в качестве значений для идентичной точки и преобразования значений в другое цветовое пространство данные в горизонтальном и (или) вертикальном направлении должны быть уменьшены, чтобы достигать преимущества субдискретизации. Кроме того, режим масштабирования цифровых изображений является наиболее интуитивным режимом субдискретизации, который обычно используется.

Наложение зарядов реализуется сначала в комбинировании и дискретизации настоящей заявки. Почти вся субдискретизация в предшествующем уровне техники выполняется посредством усреднения сигналов напряжения или тока, при котором SNR может быть увеличено вплоть до $$\sqrt{N}$$ раз, когда комбинируются N точек. Причина состоит в том, что N пикселов, имеющие один цвет, совместно используются посредством выходной линии в существующем комбинировании и дискретизации и тем самым сигналы напряжения или тока каждого пиксела в этой выходной линии должны быть (автоматически) усреднены. Следовательно, улучшение SNR состоит только в том, что шум будет снижаться в $$\sqrt{N}$$ раз после комбинирования, и тем самым SNR будет увеличиваться самое большее в $$\sqrt{N}$$ раз. Тем не менее SNR может быть увеличено в N раз посредством использования способа наложения зарядов настоящей заявки, например посредством сохранения всех связанных зарядов в конденсаторе считывания, с тем чтобы достигать наложения зарядов, так что SNR должно быть улучшено, по меньшей мере, в N раз, что в $$\sqrt{N}$$ раз выше, чем в способе для усреднения сигналов. Другими словами, комбинирование N сигналов посредством способа наложения зарядов позволяет теоретически достигать преимущества усреднения N² или большего числа сигналов (как описано ниже), что является способом, значительно улучшающим SNR.

Другое значительное преимущество, обеспечиваемое в результате наложения смежных (непосредственно соседних) пикселов, состоит в том, что перекрестные помехи между пикселами снижаются. Это обусловлено тем, что все цвета, которые первоначально создают помехи друг другу, теперь могут обоснованно принадлежать комбинированному сигналу. Другими словами, часть сигналов, первоначально принадлежащих шуму, теперь становятся эффективной частью сигналов. Таким образом, улучшение SNR, вызываемое посредством наложения N сигналов, может быть теоретически близким к пределу, т.е. составлять N $$\sqrt{N}$$ раз, тем самым достигая преимущества усреднения N³ сигналов.

Наложение зарядов является режимом комбинирования и дискретизации со значительным преимуществом, в котором пикселы, которые должны быть комбинированы, должны быть пространственно смежными. Причина, по которой такое преимущество не может достигаться посредством предшествующей субдискретизации, состоит в том, что предшествующая субдискретизация выполняется только между пикселами с одним цветом, и пикселы, которые должны быть комбинированы, несмежно отделяются посредством других пикселов. Относительно просто реализовывать наложение зарядов для многослойного фоточувствительного устройства, поскольку его цветовые шаблоны являются очень насыщенными. Тем не менее также просто достигать наложения зарядов в однослойном фоточувствительном устройстве при условии, что выполняется способ преобразования цветового пространства настоящей заявки.

В ходе дискретизации полных изображений (т.е. дискретизации одного изображения в наибольшем разрешении) в настоящей заявке используется режим построчного сканирования и чересстрочного считывания, и тем самым частота кадров при считывании полных изображений изображения для большой матрицы удваивается в ходе съемки одной фотографии без увеличения тактовой частоты и использования буфера кадров. Если добавляются аналого-цифровой преобразователь и буфер столбцов, то частота кадров при считывании полных изображений будет значительно повышена. Способ является важным для исключения механических затворов.

Следует отметить, что режим построчного сканирования и чересстрочного считывания в настоящей заявке отличается от способа чересстрочного сканирования в традиционной телевизионной системе. Традиционный способ чересстрочного сканирования является чересстрочным сканированием и чересстрочным считыванием. Следовательно, время (неважно, время считывания или время восприятия) между четными и нечетными полями представляет разность в одно поле, т.е. разность в половину кадра. Тем не менее временная последовательность считывания пикселов в режиме построчного сканирования и чересстрочного считывания настоящей заявки является идентичной временной последовательности считывания в способе построчного сканирования и построчного считывания, за исключением того, что последовательность считывания строки изменяется.

Новое фоточувствительное устройство и его способ субдискретизации с большим возможностями и более широкой применимостью согласно вариантам осуществления настоящей заявки поясняются посредством примерных вариантов осуществления. Предпочтительные способы реализации являются только примерами для демонстрации его реализаций и преимуществ согласно настоящей заявке, но никоим образом не для того, чтобы ограничивать объем заявки.

Для специалистов в данной области техники вышеуказанные и другие цели, а также преимущества настоящей заявки должны становиться очевидными из последующего описания и множества иллюстраций предпочтительных вариантов осуществления со ссылкой на прилагаемые чертежи, как показано ниже.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 иллюстрирует схему считывания (дискретизации) для пассивного CMOS-пиксела.

Фиг. 2 иллюстрирует схему считывания (дискретизации) для активного CMOS-пиксела 3T.

Фиг. 3 иллюстрирует схему считывания (дискретизации) для активного CMOS-пиксела 4T.

Фиг. 4(a) и 4(b) иллюстрируют взаимосвязь между схемой считывания (дискретизации) и схемой выбора адреса столбца для активных и пассивных CMOS-пикселов, соответственно.

Фиг. 5 является структурной принципиальной схемой схемы считывания (дискретизации), соединенной со схемой выбора строк и схемой выбора столбцов для CMOS-пиксела.

Фиг. 6 иллюстрирует типичную принципиальную схему схемы считывания (дискретизации), имеющей буферы столбцов для практического CMOS-пиксела.

Фиг. 7 иллюстрирует сравнение между способом считывания CCD-пиксела (см. фиг. 7(a)) и способом считывания CMOS-пиксела (см. фиг. 7(b)), в котором CCD-пикселы в вертикальном направлении сканируются один за другим, как показано на фиг. 7(a).

Фиг. 8 иллюстрирует основные принципы в патенте (США) номер 7091466B2, в котором средние значения комбинированных пикселов получаются посредством одновременного открытия переключателей идентичных пикселов, которые должны быть комбинированы, одновременного вывода связанных сигналов в шину дискретизации, чтобы получать баланс.

Фиг. 9 иллюстрирует основные принципы в патенте (США) номер 7319218B2, в котором средние значения комбинирования пикселов получаются посредством одновременного открытия переключателя идентичных пикселов, которые должны быть комбинированы, одновременного вывода связанных сигналов в шину дискретизации, чтобы получать баланс. Основной принцип этого патента является аналогичным основному принципу патента (США) номер 7091466B2, за исключением только различных приспосабливаемых схем.

Фиг. 10 показывает основные идеи существующей технологии комбинирования по одному цвету пикселов, т.е. комбинируются пикселы смежных макропикселов, считывающих один цвет (в способе усреднения сигналов). Фиг. 10(a) является принципиальной схемой комбинирования строк, тогда как фиг. 10(b) является принципиальной схемой одновременного комбинирования строк и столбцов.

Фиг. 11 иллюстрирует используемую в данный момент считывающую схему для активного фоточувствительного пиксела 4T, совместно используемого посредством 4 точек, при этом в среднем 1,75 затвора используются для каждого пиксела.

Фиг. 12 иллюстрирует считывающую схему для активного фоточувствительного пиксела 4T, совместно используемого посредством 6 точек, при этом в среднем только 1,5 затвора используются для каждого пиксела. Эта считывающая схема является подходящей для двустороннего двухслойного фоточувствительного устройства, в котором пикселы размещаются в гексагональном шаблоне (см. заявку на патент (Китай) номер 2008102172702, называемую "Multi-spectrum Photosensitive Devices and Methods for manufacturing the Same"), т.е. фоточувствительные диоды как в верхних, так и в нижних слоях всех трех составных пикселов в макропикселе могут совместно использовать идентичный считывающий конденсатор (FD) и идентичную считывающую схему 3T.

Фиг. 13 иллюстрирует считывающую схему для активного фоточувствительного пиксела 4T, совместно используемого посредством 8 точек, при этом в среднем только 1,375 затвора используются для каждого пиксела. Эта считывающая схема является подходящей для двустороннего двухслойного фоточувствительного устройства, в котором четырехпикселные макропикселы размещаются в квадратном шаблоне, т.е. фоточувствительные диоды как в верхних, так и в нижних слоях всех четырех составных пикселов в макропикселе могут совместно использовать идентичный считывающий конденсатор (FD) и идентичную считывающую схему 3T.

Фиг. 14 показывает основные идеи технологий комбинирования по различным цветам и гибридного комбинирования согласно настоящей заявке, в которых сначала комбинируются два пиксела, имеющие различный или один цвет в одном макропикселе (в способе для усреднения или суммирования сигналов), а затем комбинируются два смежных пиксела, имеющие один цвет. Фиг. 14(a) является принципиальной схемой, показывающей комбинирование двух столбцов фоточувствительного устройства на основе шаблона Байера, в то время как фиг. 14(b) является принципиальной схемой, показывающей одновременное комбинирование двух столбцов и двух строк фоточувствительного устройства на основе шаблона Байера. В данном документе комбинирование по различным цветам формируется при комбинировании G и B или комбинировании G и R; в то время как гибридное комбинирование формируется при смешении комбинаций G и B, G и R, B и R, а также G и G, поскольку некоторые из них осуществляются между одним цветом (G и G), в то время как другие - между различными цветами. После гибридного комбинирования изображение с основными цветами (RGB) шаблона Байера преобразуется в изображение с дополнительными цветами (CyYeMgG). На этом чертеже комбинации G и B, G и R, B и R, а также G и G составляют первый процесс комбинирования. Второй процесс комбинирования реализуется посредством одновременного вывода значений Cy, Ye, Mg и G в различных позициях в шину, после чего выполняется комбинирование с помощью способа комбинирования по одному цвету или пропуска некоторых пикселов посредством использования способа пропуска линий или столбцов и считывания один за другим.

Фиг. 15 иллюстрирует технологию гибридного комбинирования согласно настоящей заявке, используемую в более общем комбинировании M строк и N столбцов (5×3, как показано на чертеже, т.е. в комбинировании пяти строк и трех столбцов). Множество различных случаев, аналогичных фиг. 15, может быть получено посредством комбинирования способов пропуска или пересечения строк и столбцов. Комбинирование трех строк и трех столбцов может выполняться посредством комбинирования двух строк и двух столбцов при пропуске одной строки и одного столбца.

Следует отметить, что пара сигналов (Mg и G), расположенная в идентичной средней позиции, формируется, когда перекрестное комбинирование осуществляется в третьей и четвертой строках. Чтобы упрощать комбинирование вторых столбцов, Mg или G может рассматриваться в передней позиции, с тем чтобы поддерживать равномерность.

При свойстве симметрии строк и столбцов, фиг. 15 легко расширяется до различных комбинаций 3×5, 2×3, 3×2, 2×4, 4×2, 5×2, 2×5, 2×6, 6×2, 3×4, 4×3, 3×6, 6×3, 4×4, 4×5, 5×4, 4×6, 6×4, 5×6, 6×5, 6×6, 7×6, 6×7, 7×7, 8×8 и т.д. Более полезными являются коэффициенты комбинирования 2×2, 2×4, 4×2, 4×4, 3×6, 6×3, 6×6, 4×8, 8×4 и 8×8, посредством которых должно легко поддерживаться соотношение сторон (ширина к длине) изображения. Аналогично, на этом чертеже комбинации G и B, G и R, B и R, а также G и G составляют первый процесс комбинирования. Второй процесс комбинирования реализуется посредством одновременного вывода значений Cy, Ye, Mg и G в различных позициях в шину, после чего выполняется процесс комбинирования согласно способу комбинирования по одному цвету и пропуска некоторых недоступных пикселов между ними (к примеру, пятой строки и десятого столбца на чертеже). Пропущенные цвета больше не должны присоединяться к следующему третьему процессу комбинирования и дискретизации, если датчик имеет функцию третьего процесса комбинирования и дискретизации.

Фиг. 16 иллюстрирует дополнительное уменьшающее масштабирование изображений 2×2, вызываемое посредством преобразования матрицы цветового пространства. Независимо от того, CyYeMgG-изображение является исходным изображением или изображением, полученным из RGM-изображения на основе принципа Байера через способ гибридного комбинирования настоящей заявки, может быть получено дополнительное уменьшающее масштабирование изображений 2×2, когда CyYeMgG-изображение преобразуется в YUV-изображение. Способ уменьшающего масштабирования состоит в том, что макропиксел CyYeMgG рассматривается в качестве четырех пикселов в общей точке, так что он преобразуется в пиксел (Y, U, V), и затем YUV422-изображение (типично требуемое для предварительного просмотра и JPEG/MPEG-сжатия) реализуется посредством усреднения значений смежных (в горизонтальном направлении) U- и V-пикселов.

Фиг. 17 иллюстрирует превосходную считывающую схему заявки, в которой непрозрачный считывающий конденсатор FD (например, FD1 и FD2, показанные на фиг. 1) совместно используется посредством фоточувствительных пикселов в четных и нечетных строках. Переключатель TG1 используется для избирательного перемещения зарядов фоточувствительного диода Gr в FD1. Аналогично, переключатели TG2, TG3 и TG4 также используются для перемещения значений заряда R, B и Gb в FD2, FD1 или FD2 соответственно. Другой переключатель TG5 используется для считывания значений емкости считывающего конденсатора FD1 в FD2 (или из FD2 в FD1) в способе суммирования. Фоточувствительные пикселы, имеющие эту компоновку, могут использовать считывающую схему на основе четырехточечного параллельного совместного использования, показанную на фиг. 18. В этой схеме свойство непрозрачности, требуемое посредством считывающего конденсатора FD, необходимо для реализации построчного сканирования и чересстрочного считывания или считывания с пропусками, как показано на фиг. 21.

Фиг. 18 иллюстрирует считывающую схему на основе четырехточечного параллельного совместного использования, используемую для четырехточечного матричного шаблона макропиксела настоящей заявки, в которой каждый пиксел использует два транзистора. Хотя схема не является считывающей схемой на основе совместного использования минимальных затворов, она имеет множество преимуществ в некоторых других областях техники. Одно преимущество состоит в том, что в ходе субдискретизации пикселное значение Gr в нечетной линии и пикселное значение B в четной линии могут быть наложены в способе суммирования посредством одновременного открытия TG1/TG3 или TG2/TG4, так что сигналы увеличиваются, в то время как шум может быть снижен. Аналогично, пикселы в диагональной линии могут быть считаны с помощью способов суммирования посредством управления временной последовательностью, чтобы одновременно открывать TG1/TG4/TG5 или TG2/TG3/TG5. Другое преимущество состоит в том, что чересстрочное считывание или считывание с пропусками, как показано на фиг. 21, может быть реализовано посредством сохранения пикселных значений в следующей строке в FD в ходе дискретизации полных изображений.

Фиг. 19 иллюстрирует считывающую схему на основе шеститочечного совместного использования, используемую в двухслойном фоточувствительном устройстве, имеющем трехпикселный гексагональный шаблон макропиксела согласно настоящей заявке. В этой схеме считывающий конденсатор FD1 совместно используется посредством трех пикселов в верхнем слое, в то время как считывающий конденсатор FD2 совместно используется посредством трех пикселов в нижнем слое, и усилительная и считывающая схема совместно используется как посредством трех пикселов в верхнем слое, так и посредством трех пикселов нижнего слоя. Способ совместно использования считывающей схемы посредством верхнего и нижнего слоя может упрощать конструкции и упрощать управляющую логику субдискретизации. Эта схема отличается от схемы по фиг. 12 тем, что в ней считывающий конденсатор не используется совместно посредством верхних и нижних слоев, с тем чтобы делать проще изготовление двусторонних фоточувствительных устройств.

Фиг. 20 иллюстрирует считывающую схему на основе восьмиточечного совместного использования, используемую в двухслойном фоточувствительном устройстве, имеющем четырехпикселный гексагональный шаблон макропиксела согласно настоящей заявке. В этой считывающей схеме считывающий конденсатор FD1 совместно используется посредством четырех пикселов в верхнем слое, в то время как считывающий конденсатор FD2 совместно используется посредством четырех пикселов в нижнем слое, и усилительная и считывающая схема совместно используется как посредством четырех пикселов в верхнем слое, так и посредством четырех пикселов нижнего слоя. Эта схема отличается от схемы по фиг. 13 тем, что в ней считывающий конденсатор не используется совместно посредством верхних и нижних слоев, с тем чтобы упрощать изготовление двусторонних фоточувствительных устройств.

Очевидно, для двустороннего двухслойного фоточувствительного устройства четыре макропиксела в верхних и нижних слоях могут использовать считывающую схему на основе параллельного совместного использования с двойным FD, показанную на фиг. 18, соответственно, так что считывающие схемы для верхних и нижних слоев являются относительно независимыми и могут считываться в чересстрочных способах или способах с пропусками, чтобы повышать скорости работы затвора при съемке изображения с полным разрешением.

Фиг. 21 иллюстрирует принципиальную схему считывающей схемы дискретизации, показанной на фиг. 17, которая используется в способе чересстрочного считывания (фиг. 21(a)) или способе считывания с пропусками (фиг. 21(b)) в ходе дискретизации полных изображений.

Когда первая строка (GrRgGrR...) считывается в ходе чересстрочного считывания на фиг. 21(a), каждое пикселное значение во второй строке (BGBG...) переносится в пустой FD после того, как значение соответствующей позиции в первой строке считано. Т.е. когда пиксел в столбце N в первой строке считывается, пиксел в столбце N-1 (или N-2 и т.д.) во второй строке переносится в вертикально соответствующую FD-область, ассоциированную с первой и второй строками. Т.е. сразу после первой строки затем считываются именно пикселные значения в третьей строке, а не пикселные значения во второй строке, теперь сохраненной в FD, совместно используемых посредством первой и второй строк. Аналогичным образом, в ходе считывания пикселных значений в третьей строке пикселные значения четвертой строки одновременно переносятся в FD-области. Другими словами, все значения пикселов в четных строках сдвигаются к буферным FD-областям до тех пор, пока пикселные значения в нечетных строках не считываются полностью. В завершение, пикселные значения четных строк считываются построчно поочередно из буферных FD-областей.

Когда первая строка (GrRgGrR...) считывается в ходе считывания с пропусками на фиг. 21(b), значения второй строки (BGBG...) переносятся в освобожденные FD после того, как значения соответствующих позиций в первой строке считаны. Т.е. когда пиксел в столбце N в первой строке считывается, пиксел в столбце N-1 (или N-2 и т.д.) во второй строке переносится в вертикально соответствующую FD-область. После первой строки далее считывается пикселное значение в четвертой строке, отличное от пикселного значения третьей строки, тогда как пикселное значение в третьей строке переносится в FD-область. Идентично, тогда как пикселные значения в третьей строке считываются, пикселные значения четвертой строки одновременно переносятся в FD-области. Другими словами, строки считываются согласно порядку 1, 4, 5, 8,..., 2, 3, 6, 7. Одно из преимуществ по фиг. 21(b) состоит в том, что первая половина кадра по-прежнему размещается в шаблоне Байера и затем изображение для предварительного просмотра миниатюры может быть быстро получено в момент фотосъемки согласно этому способу.

Способ чересстрочного считывания или считывания с пропусками на фиг. 21 отличается от способа полевого сканирования, используемого в предшествующей телевизионной системе. Основное отличие состоит в том, что время считывания второй половины кадра, сохраненной в буферной области, является практически идентичным времени считывания первой половины кадра. Поэтому скорость работы затвора удваивается по сравнению с построчным считыванием, тогда как ситуация задержки в одно поле (половину кадра) между четными и нечетными полями, вызываемой посредством способа полевого сканирования в телевизионной системе, не допускается. Эта ситуация является подходящей для случая захвата одной фотографии, отличной от непрерывной видеозаписи.

Это очень эффективный способ для того, чтобы повышать скорость электрического затвора в ходе съемки фотографий через чересстрочное считывание или считывание с пропусками. Например, если тактовый сигнал считывания для пикселов задается равным 96 МГц и число пикселов фоточувствительного кристалла составляет 8 миллионов, то скорость работы затвора составляет (96/8)=12 кадров/секунду или 1/12 секунды в ходе съемки полного изображения. Если используется способ чересстрочного считывания или считывания с пропусками, показанный на фиг. 19, один интересующий кадр мгновенно повышается до 24 кадров/секунду или 1/24 секунды, т.е. скорость удваивается. Затвор для фотосъемки ускоряется до 1/24 секунды, что означает то, что механический затвор в модуле фотосъемки мобильных телефонов может опускаться, в то время как механический затвор необходим для фотосъемки со скоростью 1/12 секунды, чтобы предотвращать искажение изображения, вызываемое посредством тряски рук.

Фиг. 22 иллюстрирует ситуацию упрощенной обработки для двухслойного фоточувствительного устройства в ходе субдискретизации: в первом процессе комбинирования способ комбинирования или исключения используется для пикселов избыточных цветов верхних и нижних слоев, и затем резервируются только цветовые компоненты, необходимые для восстановления цветов, например, Cy, Mg (полученный посредством комбинирования B и R), G и Ye. YUYV422-изображение получается в третьем процессе комбинирования, в ходе которого способ преобразования цветового пространства, показанный на фиг. 16, используется для того, чтобы преобразовывать смежные пикселы CyYeMgG в пикселы YUV-цвета, и две субдискретизации в горизонтальном направлении выполняются для смежных UV-компонентов. Субдискретизация 2×2 выполняется во время этого процесса. Если изображение по-прежнему является слишком большим, усреднение одного цвета в CyYeMgG вместо способа дискретизации полных изображений, показанного на чертеже, выполняется в ходе второго процесса перед преобразованием цветового CyYeMgG-пространства в цветовое YUV-пространство.

В ходе дискретизации полных изображений двухслойное фоточувствительное устройство может игнорировать некоторые пикселы или считывать все пикселы, которые должны обрабатываться посредством внутреннего процессора. Объем данных для считывания всех пикселов удваивается. Теперь с помощью способа чересстрочного считывания или считывания с пропусками, показанного на фиг. 18 и 22, частота кадров удваивается и после этого равна скорости существующего однослойного фоточувствительного устройства.

Фиг. 22 является достаточной для того, чтобы иллюстрировать сложность и разнообразие двухслойных или многослойных фоточувствительных устройств в ходе субдискретизации. Поскольку предусмотрены тысячи вариантов для распределений цветов макропикселов для двухслойного или многослойного фоточувствительного устройства, большее число соответствующих вариантов предусмотрено для субдискретизации. Далее здесь перечисляются только несколько способов, чтобы иллюстрировать сущность настоящей заявки.

Фиг. 23 иллюстрирует другую ситуацию упрощенной обработки для двухслойного фоточувствительного устройства в ходе субдискретизации: макропикселы CyYeMgB получаются через сложение (или усреднение) пикселов в первом процессе комбинирования. Четыре точки преобразуются в YUV-цвет через преобразование цвета в третьем процессе комбинирования, и затем осуществляется субдискретизация 2×2. Конечно, перед преобразованием цвета может быть выполнено комбинирование по одному цвету для макропикселов CyYeMgG (посредством способа для усреднения сигналов) вместо способа дискретизации полных изображений, чтобы выполнять большее число субдискретизаций в ходе второго процесса. Очевидно то, что макропикселы CyYeMgB на чертеже также могут заменяться посредством макропикселов BRGB, аналогично шаблону Байера. Здесь CyYeMgB используется в качестве примера, аналогично, CyYeMgB, CyYeMgG, CyYeMgR могут быть использованы для того, чтобы получать YUV или восстанавливать RGB, т.е. CyYeMgG является просто частным случаем CyYeMgX, где X может быть R, G или B.

Фиг. 24 иллюстрирует другую ситуацию упрощенной обработки для двухслойного фоточувствительного устройства в ходе субдискретизации: смежные пикселы комбинируются (с помощью способа для усреднения или суммирования сигналов) в горизонтальном направлении в первом процессе комбинирования, и затем комбинированные пикселы дополнительно комбинируются (с помощью способа для усреднения или суммирования сигналов или игнорирования строк) в вертикальном направлении во втором процессе комбинирования. Комбинирования в горизонтальном и вертикальном направлениях могут одновременно выполняться посредством надлежащего управления временной последовательностью. Этот вид способа субдискретизации не только является более универсальным, чем существующий способ субдискретизации, но также позволяет обеспечивать намного лучшее SNR.

Фиг. 25 иллюстрирует, что схематичную блок-схему базовой системы схемы для считывания и субдискретизации пикселов, которая реализует настоящую заявку, которая используется для того, чтобы описывать реализацию для различных функциональных модулей в фоточувствительных устройствах по данной заявке. Базовая система содержит пикселную матрицу, контроллер декодера адресов строк, контроллер декодера адресов столбцов, схему управления дискретизацией, модуль усиления и аналого-цифрового преобразования, модуль преобразования и субдискретизации цветов и обработки изображений, модуль управления выводом, модуль управления главным кристаллом (CC-модуль на фиг. 25) и другие возможные модули. Пикселное считывание и субдискретизация достигаются посредством соответствующих управляющих сигналов, сформированных посредством контроллеров декодеров адресов строк и столбцов (сигнала Row[i] выбора строки, сигнала RS[i] вектора управления строками, сигнала Col[j] выбора столбца и сигнала T[j] вектора управления столбцами, где i и j указывают номер строки и номер столбца, соответственно). Взаимодействие других модулей в системе, главным образом, достигается посредством модуля управления главным кристаллом. Третий комбинированный процесс дискретизации, если он предусмотрен, должен быть выполнен в модуле преобразования и субдискретизации цветов и обработки изображений.

Фиг. 26 иллюстрирует взаимосвязь между каждым из управляющих сигналов, показанных на фиг. 25 (выбор строки, вектор управления строками, выбор столбца, вектор управления столбцами), и управляющих сигналов в соответствующих фоточувствительных пикселах посредством конкретного примера (фоточувствительного пиксела, показанного на фиг. 17). Фиг. 26 иллюстрирует сигналы, совместно используемые посредством обоих пикселов Gr и B (TG5 опускается), показанных на фиг. 17, при этом сигналы Row[i] и Col[j] выбора строки указаны четко. В этой схеме сигнал RS1 сброса и управляющий сигнал RS2 затвора (TG1 или TG3) переноса являются сигналами управления строками. Следует отметить, что RS1 совместно используется посредством двух строк, в то время как RS2 используется в каждой строке (например, TG1 принадлежит RS[i], в то время как TG3 принадлежит RS[i+1]). Тем не менее TG5 (который опускается на фиг. 26), показанный на фиг. 17, является сигналом T[j] управления столбцами. Т.е. предпринимается попытка выполнять только строковые операции (идентичные операции для пикселов в идентичной строке) и столбцовые операции (идентичные операции для пикселов в идентичном столбце), но не пикселную операцию (различные операции для различных пикселов) в максимально возможной степени, с тем чтобы снижать сложность.

Способы для дискретизации и субдискретизации согласно настоящей заявке проиллюстрированы в следующих вариантах осуществления со ссылкой на фиг. 25 и 26.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В мультиспектральном фоточувствительном устройстве согласно вариантам осуществления настоящей заявки различные схемы для считывания и субдискретизации могут быть реализованы посредством схемы, аналогичной схеме, показанной на фиг. 25, содержащей: пикселную матрицу, включающую в себя множество макропикселов, контроллер декодера адресов строк, контроллер декодера адресов столбцов, схему управления дискретизацией, модуль усиления и аналого-цифрового преобразования, модуль преобразования и субдискретизации цветов и обработки изображений, модуль управления выводом, модуль управления главным кристаллом (например, CC-модуль на фиг. 25) и другие возможные модули.

Согласно потребностям макропикселы на основе четырех пикселов или трех пикселов сначала размещаются в квадратных или гексагональных шаблонах. Эти пикселы могут быть активными пикселами, пассивными пикселами, пикселами, имеющими считывающий конденсатор (FD), или пикселами без считывающего конденсатора (FD).

Выше процесс субдискретизации разделен на первый, второй и необязательный третий процесс комбинирования и дискретизации. Первый, второй и третий блоки комбинирования, соответствующие этим процессам, соответственно используются для того, чтобы реализовывать вышеуказанные процессы комбинирования и дискретизации. Безусловно, эти блоки являются модулями устройства, разделенного просто с точки зрения функций. Физически эти функциональные блоки могут быть реализованы в одном физическом модуле функционально, реализованы в комбинации множества модулей или интегрированы в физическом модуле. Словом, первый, второй и третий блоки комбинирования описаны только функционально в данном документе. Их описание не имеет намерением ограничивать их физическую реализацию.

В частности, в примере, как показано на фиг. 12, контроллер декодера адресов строк и контроллер декодера адресов столбцов используются для того, чтобы реализовывать функцию субдискретизации. Контроллер декодера адресов строк должен выводить два вида сигнала, т.е. сигнал Row[i] выбора строки (одну линию в каждой строке) и сигнал RS[i] вектора управления строками (одну или более линий в каждой строке), где i обозначает номер строки. Аналогично, контроллер декодера адресов столбцов должен выводить два вида сигнала, т.е. сигнал Col[j] выбора столбца (одну линию в каждом столбце) и сигнал T[j] вектора управления столбцами (одну или более линий в каждом столбце), где j обозначает номер столбца.

Сигнал Row[i] выбора строки используется для выбора строки, в то время как сигнал Col[j] выбора столбца используется для выбора столбца. Это два набора относительно стандартных сигналов. Сигнал Row[i] выбора строки является расширением существующего сигнала управления CMOS-строками (от линии в каждой строке до множества линий в каждой строке), в то время как сигнал T[j] вектора управления столбцами вообще не существует в некоторых фоточувствительных CMOS-устройствах, даже если имеется только один сигнал в одном столбце. Фиг. 26 показывает конкретную реализацию Row[i], RS[i], Col[j] и T[j] на основе фоточувствительных пикселов, показанных на фиг. 17, в которой Row[i] совместно используется посредством двух строк, в то время как RS[i] включает в себя сигналы RS1[i] (который также является сигналом сброса, совместно используемым посредством двух строк) и RS2[i] управления строками (который является сигналом управления переносом заряда).

В настоящей заявке можно одновременно выбирать несколько строк, несколько столбцов или несколько строк и столбцов. Хотя несколько строк или несколько столбцов выбираются одновременно в некоторых предшествующих технологиях (к примеру, патенты (США) номера 6801258B1, 6693670B1, 7091466B2, 7319218B2 и т.д.), временные последовательности и формы сигнала выбора строки и сигнала выбора столбца отличаются вследствие различных способов комбинирования и дискретизации. Например, во время комбинирования и дискретизации на фиг. 14(a) первая строка, первый столбец и вторая строка, второй столбец первой строки выбираются одновременно. Эта ситуация никогда не возникает в способе субдискретизации в предшествующем уровне техники.

RS[i] и T[j] используются для того, чтобы управлять сбросом, очисткой до нуля, управлением фоточувствительным временем, переносом заряда, комбинированием и считыванием фоточувствительных пикселов. Существует множество видов конкретных реализаций для RS[i] и T[j] вследствие свойства симметрии строки и столбца. Сигналы TG1-TG5, V_b1-V_b4 и т.д., показанные на фиг. 17, а также сигналы RS, S и SF, показанные на фиг. 18, могут быть включены в RS[i] и T[j], и настоящая заявка не должна быть ограничена в конкретных реализациях этих сигналов.

Более конкретно, в ходе субдискретизации с любыми коэффициентами M×N (M≥2, N≥2), сначала выполняется первый процесс комбинирования и дискретизации, в котором две строки или два столбца или две строки и два столбца комбинируются и дискретизируются, и затем субдискретизация M строк×N столбцов выполняется на основе первого процесса комбинирования и дискретизации.

Субдискретизация после первого процесса комбинирования и дискретизации, т.е. второй процесс комбинирования и дискретизации, может быть выполнена посредством любого или комбинации следующих способов: автоматическое усреднение сигналов, выводимых непосредственно в шину, пропуск строк или пропуск столбцов или дискретизация по одному элементу. Тем не менее третий процесс комбинирования и дискретизации, если таковой имеется, может быть выполнен посредством одного или комбинации следующих двух способов: преобразование цветового пространства и окончательное масштабирование цифровых изображений.

Известно, что существует достаточно много фоточувствительных пикселов в пикселной матрице. Конкретно для двухслойного или многослойного фоточувствительного устройства существует множество типов и геометрических распределений цветов. Очевидно, первый процесс комбинирования и дискретизации направлен на множество первых комбинированных пикселов. Таким образом, во время первого процесса комбинирования и дискретизации выбор цвета для комбинирования этих первых комбинированных пикселов является различным с точки зрения комбинирования по цветам пиксела, включающего в себя комбинирование по одному цвету, комбинирование по различным цветам, гибридное комбинирование (некоторые пикселы имеют один цвет, а другие имеют различные цвета) или избирательное исключение избыточных цветов.

Преобразование цветового пространства включает в себя преобразование из RGB- в CyYeMgG-пространство, преобразование из CyYeMgG- в YUV-пространство и преобразование из RGB- в YUV-пространство.

Следует отметить, что преобразование из RGB- в CyYeMgG-пространство может быть выполнено в пространстве аналоговых сигналов или в цифровом пространстве. Следовательно, это преобразование может быть выполнено в любом из первого, второго или третьего процесса комбинирования и дискретизации. Тем не менее преобразование из CyYeMgG- в YUV-пространство и преобразование из RGB- в YUV-пространство может выполняться только в пространстве цифровых сигналов, т.е. в третьем процессе комбинирования и дискретизации.

Более конкретно, пикселная матрица состоит из множества макропикселов, каждый из которых содержит три или четыре базовых пиксела, при этом базовые пикселы размещаются в квадратном шаблоне. Базовые пикселы в макропикселе могут быть пассивными пикселами или активными пикселами 3T без FD или активными пикселами 4T с FD.

Если базовые пикселы макропиксела являются активными пикселами 4T с FD, считывающая схема к тому же может использовать режим 4-точечного совместного использования (фиг. 11), режим 6-точечного совместного использования (фиг. 12) и режим 8-точечного совместного использования (фиг. 13).

Более предпочтительно каждый макропиксел может состоять из активных пикселов 4T, имеющих два непрозрачных FD, и считывающая схема к тому же может использовать режим 4-пикселного параллельного совместного использования (как показано на фиг. 18). Соответственно, фоточувствительные устройства используют способ наложения зарядов во время комбинирования по цветам при субдискретизации с двумя строками или двумя столбцами либо двумя строками и двумя столбцами в первый раз. Этот вид макропиксела предоставляет варианты для следующего построчного сканирования и чересстрочной дискретизации или дискретизации с пропусками полного изображения.

Для двухслойного или многослойного фоточувствительного устройства, помимо более богатого выбора цветов в первом процессе комбинирования и дискретизации, когда каждый макропиксел может состоять из активных пикселов 4T, имеющих два непрозрачных FD, считывающая схема, к тому же, может использовать режим 4-пикселного параллельного совместного использования (фиг. 18), режим 6-пикселного параллельного совместного использования (фиг. 19) или режим 8-пикселного параллельного совместного использования (фиг. 20). Соответственно, фоточувствительные устройства используют способ наложения зарядов во время комбинирования по цветам при субдискретизации с двумя строками, или двумя столбцами, либо двумя строками и двумя столбцами в первый раз.

Следует отметить, что верхний предел улучшения отношения SNR составляет N $$\sqrt{N}$$ раз, когда N сигналов комбинируются путем применения наложения зарядов, тогда как верхний предел улучшения отношения SNR составляет $$\sqrt{N}$$ раз, когда N сигналов комбинируются посредством усреднения сигналов. Во-вторых, когда дискретизация полных изображений выполняется в этом фоточувствительном устройстве, в котором четыре точки совместно используются посредством двух FD (или FD совместно используется посредством пикселов в двух строках), режим построчного сканирования и чересстрочного считывания также может быть использован в дополнение к обычному режиму построчного сканирования и построчного считывания.

Например, в ходе дискретизации полных изображений согласно требованиям запрошенной области изображения контроллер декодера адресов строк и контроллер декодера адресов столбцов, во-первых, последовательно задают значения Row[i] и RS[i] как высокие или низкие и, во-вторых, последовательно задают значения Col[j] и T[j] как высокие или низкие при согласовании посредством устройств, так что требуемое значение пикселов (заряд/напряжение) может выводиться в выходную шину (через схему считывания/записи) в соответствии с порядком считывания.

В ходе субдискретизации для каждого поддерживаемого коэффициента дискретизации M×N (посредством которого строка должна быть уменьшена в M раз, а столбец должен быть уменьшен в N раз) согласно коэффициенту дискретизации M×N и требованию по области изображения, контроллер декодирования адресов строк и контроллер декодирования адресов столбцов одновременно задают значения всех Row[i] и RS[i] строк, которые должны быть комбинированы согласно каждой выходной строке как высокие или низкие, и затем одновременно задают значения всех Col[j] и T[j] столбцов, которые должны быть комбинированы согласно каждому выходному столбцу как высокие или низкие, так что значения (заряд/напряжение) всех пикселов, которые должны быть комбинированы, могут выводиться в выходную шину (через считывающую схему) в соответствии с порядком считывания. Между тем, при необходимости контроллер декодирования адресов строк и контроллер декодирования адресов столбцов также выполняют необходимую операцию пропуска столбцов или строк или исключают избыточные цвета согласно коэффициенту дискретизации M×N и требованию по области изображения.

Для различных коэффициентов дискретизации M×N, различные цвета могут быть получены на выходной шине в различные моменты времени. Соответственно, другие функциональные модули, такие как модуль усиления и аналого-цифрового преобразования, модуль преобразования и субдискретизации цветов и обработки изображений и модули управления выводом, возможно, должны координироваться соответствующим образом. Общее управление этой системой может выполняться посредством модуля управления главным кристаллом (в качестве CC-модуля на фиг. 25). Следует отметить, что большинство модулей, за исключением модуля усиления и аналого-цифрового преобразования и пикселной матрицы, являются цифровыми схемами обработки и тем самым могут быть легко реализованы на периферии устройств, так что межсоединение фоточувствительного устройства упрощается.

Далее приводится более конкретная последовательность операций управления сигналами в сочетании со считывающей схемой, показанной на фиг. 26, и другими модулями фоточувствительного устройства, показанного на фиг. 25, при этом считывающая схема, показанная на фиг. 26, используется посредством фоточувствительных пикселов, показанных на фиг. 17.

Во-первых, выполняется управление сбросом и считыванием: один простой способ для управления сбросом состоит в том, чтобы обнулять Vb1 и Vb2, где Vb1 и Vb2 являются сигналами вектора управления строками. Другой способ состоит в том, что FD1 и FD2 сначала сбрасываются (т.е. RS1 обнуляется на фиг. 26), и TG1 и TG2 открываются одновременно (т.е. RS2 задается равным высокому уровню на фиг. 26), чтобы удалять заряды в Gr и R фоточувствительного пиксела. Затем RS1 задается равным высокому уровню, в то время как RS2 обнуляется. При излучении света фотодиоды Gr и R затем начинают накопление заряда.

Существует три способа для считывания зарядов Gr. Первый способ состоит в том, что TG1/RS2 и Row[i] открываются непосредственно, заряды Gr переносятся в FD1 и после этого (через преобразование из заряда в напряжение) считывается значение заряда Gr. Второй способ состоит в том, что после того, как значение заряда Gr считывается на последней стадии первого способа, FD1 сбрасывается и считывается заряд (напряжение) FD1 в состоянии сброса, с тем чтобы выполнять перекрестную дискретизацию для значения заряда считывания Gr. Третий способ состоит в том, что до того, как считывается значение заряда Gr, FD1 сначала дискретизируется со сбросом. Третий способ не обеспечивает такую выгоду, как второй способ, поскольку он колеблет значение Gr. Здесь сигнал Col[j] выбора столбца, соответствующий Gr, должен быть открыт посредством контроллера декодера адресов столбцов, с тем чтобы выводить измерение Gr (может измеряться два раза, причем один из них в состоянии сброса) в модуль усиления и аналого-цифрового преобразования.

Согласно значениям Row[i], Col[j] и RS2[i], модуль CC управления главным кристаллом может выяснять цвета считываемых пикселов и выполнять соответствующий процесс для цветов. Различные цвета могут вводиться в различные усилительные схемы и выполняться посредством различных процессов аналого-цифрового преобразования, тем самым получая цифровые сигналы.

Цифровые сигналы фоточувствительных пикселов сохраняются в буфере и дополнительно обрабатываются посредством модуля преобразования и субдискретизации цветов и обработки изображений. В случае дискретизации полных изображений субдискретизация не выполняется, и, в общем, преобразование цветов для датчиков изображений для большой матрицы не выполняется. Следовательно, модуль CC управления главным кристаллом может осуществлять соответствующее управление в этом режиме, так что цифровые сигналы фоточувствительных пикселов могут поступать непосредственно в модуль обработки изображений вместо модуля преобразования и субдискретизации цветов. После обработки изображений в фоточувствительных устройствах цифровые сигналы могут выводиться во внешний интерфейс фоточувствительного устройства через модуль вывода.

В ходе дискретизации полных изображений следует отметить режим построчного сканирования и чересстрочного считывания или считывания с пропусками. В этом случае управление сбросом и фоточувствительным временем в четных и нечетных строках может осуществляться одновременно. В ходе чересстрочного считывания после того, как пикселы в четных строках (первой строке) считаны полностью, контроллер декодера адресов строк не считывает сразу следующую строку, но переносит пикселы в следующей нечетной строке (второй строке) в FD, которые совместно используются посредством четной строки, и затем начинает считывать третью строку. В ходе считывания с пропусками, если первая строка нумеруется от 0, порядок считывания строк первой половины кадра - это 0, 3, 4, 7, 8, 11, 12, 15,..., тогда как порядок считывания строк второй половины кадра - это 1, 2, 5, 6, 9, 10, 13, 14,.... Также могут быть более сложные порядки. Например, строка, которая не считана в ходе считывания первой половины кадра, временно сохраняется в FD, который использован один раз, и должна считываться до тех пор, пока последняя половина кадра не считана.

Отличие между способом построчного сканирования и чересстрочного считывания или считывания с пропусками и традиционным способом полевого сканирования, приспосабливаемым в телевизионных приемниках, состоит в том, что временная последовательность пикселов является полностью построчной в способе построчного сканирования и чересстрочного считывания или считывания с пропусками согласно настоящей заявке.

Это более сложно в ходе субдискретизации, но возможно то, что только несколько коэффициентов субдискретизации M×N поддерживаются для конкретного фоточувствительного устройства. Соответственно, модуль CC управления главным кристаллом, контроллер декодирования адресов строк и контроллер декодирования адресов столбцов могут рассматривать только поддерживаемые коэффициенты субдискретизации M×N. Например, фоточувствительное устройство с разрешением в 5 миллионов пикселов может рассматривать только четыре случая 2×2, 2×1, 4×4 и 8×8.

Второй процесс комбинирования и дискретизации в общем не заключает в себе наложение зарядов, и обычно применяются следующие три способа: автоматическое усреднение сигналов, выводимых непосредственно в шину, пропуск строк или пропуск столбцов или дискретизация по одному элементу. Три способа являются традиционными и простыми и являются известными для специалистов в данной области техники. Таким образом, их описание опускается. Третий процесс комбинирования и дискретизации может быть выполнен в пространстве цифровых изображений посредством использования технологии масштабирования цифровых изображений, которая является относительным стандартом. Ниже подробно описана только последовательность операций управления сигналами в первом процессе комбинирования и дискретизации, чтобы делать способ использования заявки более понятным.

Для макропикселов, как показано на фиг. 17, существует два способа комбинирования в первом процессе комбинирования, один из которых заключается в комбинировании Gr с B и комбинировании R с Gb; а другой заключается в комбинировании Gr с Gb и комбинировании R с B.

Для первого способа комбинирования согласно временной последовательности:

1. Время t0: RS1, соответствующий FD1, как показано на фиг. 26, обнуляется (сбрасывается) посредством контроллера декодера адресов строк.

2. Время t1: TG1 и TG3 (RS2[i] и RS2[i+1]) открываются, в то время как заряды фоточувствительных диодов (PD) Gr и B одновременно переносятся в FD1 соответственно. Здесь, RS1 может задаваться равным высокому уровню.

3. Время t2: Row[i] и Col[j] открываются (при условии, что Gr находится в i-той строке и j-том столбце), заряд (значение напряжения) FD1 выводится в выходную шину.

4. Время t3: нулевое значение FD1 может быть считано, чтобы использоваться для коррелированной дискретизации.

Все пикселы в i-той и (i+1)-вой строках могут быть одновременно выполнены на первых двух этапах (т.е. в моменты t0 и t1 времени), и комбинированные пикселы могут быть считаны поочередно на третьем и четвертом этапах (т.е. в моменты t2 и t3 времени). Следовательно, один пиксел может быть считан в расчете на один тактовый импульс в среднем без коррелированной дискретизации; в противном случае при выполнении коррелированной дискретизации один пиксел может быть считан в расчете на два тактовых импульса в среднем. Это осуществляется согласно приоритету пикселной позиции. Способ комбинирования может применяться согласно следующему приоритету цветов.

Для второго способа комбинирования временная последовательность является более сложной. Существует два способа обработки, один из них основан на приоритете цветов, т.е. на комбинировании и дискретизации сначала Gr и Gb во всей строке и затем на комбинировании и дискретизации B и R или в обратном порядке. Это простой способ, и временная последовательность управляющих сигналов следующая:

5. Время t0: RS1, соответствующий FD1 и FD2, как показано на фиг. 17 и фиг. 26, обнуляется (сбрасывается) посредством контроллера декодера адресов строк.

6. Время t1: TG1 и TG4 (RS2[i] и RS2[i+1]) открываются, в то время как заряды фоточувствительных диодов (PD) Gr и B одновременно переносятся в FD1 соответственно. В данном документе RS1 может задаваться равным высокому уровню.

7. Время t2: TG5 открывается, и заряд FD2 переносится в FD1.

8. Время t3: затем Row[i] и Col[j] открываются (при условии, что Gr находится в i-той строке и j-тым столбцом), и заряд (значение напряжения) FD1 выводится в выходную шину.

9. Время t4: нулевое значение FD1 может быть считано, чтобы использоваться для коррелированной дискретизации.

Все пикселы в i-той и (i+1)-вой строках могут быть одновременно выполнены на первых трех этапах (т.е. в моменты t0, t1 и t2 времени), и комбинированные пикселы могут быть считаны поочередно на четвертом и пятом этапах (т.е. в моменты t0, t1 и t2 времени). Следовательно, один пиксел может быть считан в расчете на один тактовый импульс в среднем без коррелированной дискретизации; в противном случае при выполнении коррелированной дискретизации один пиксел может быть считан в расчете на два тактовых импульса в среднем. Способ считывания нарушает естественный порядок согласно позициям пиксела, и требуется коррекция окончательной обработки. Чтобы поддерживать согласованность, первый способ комбинирования может осуществляться согласно приоритету цветов.

Второй способ обработки основан на приоритете позиции: сначала выполняется комбинирование и дискретизация первого Gr и Gb, и затем осуществляется комбинирование и дискретизация первого B и R, и это выполняется многократно. Временная последовательность этого вида управления сигналами является аналогичной временной последовательности первого способа обработки, в то время как последовательная обработка может быть выполнена между пикселами вместо параллельной обработки. Т.е. второй комбинированный пиксел не может быть обработан в моменты t0-t5 времени в ходе обработки первого комбинированного пиксела. Ему требуется системный тактовый сигнал с более высокой частотой. Удачно, что число пикселов сокращается после субдискретизации. Следовательно, частота системного тактового сигнала может не быть слишком высокой.

Для предпочтительной схемы настоящей заявки в ходе субдискретизации коррелированная дискретизация может опускаться вследствие своего ограниченного преимущества. Следовательно, вышеуказанная временная последовательность является более простой.

Для выбранного порядка дискретизации пикселов модуль CC управления главным кристаллом может управлять модулем усиления и аналого-цифрового преобразования соответственно, чтобы переносить различные цвета через различные схемы усилителя в модуль преобразования и субдискретизации цветов и обработки изображений, а также в модуль управления выводом, так что различные цвета могут быть обработаны по-разному. Более подробное описание выходит за пределы объема настоящей заявки.

Предшествующая субдискретизация, главным образом, выполняется между пикселами одного цвета и, главным образом, достигается посредством операций усреднения пикселов и пропуска строк или пропуска столбцов. Эти способы могут быть не применимыми для сдвоенных фоточувствительных устройств или мультифоточувствительных устройств. Способ субдискретизации, предложенный в настоящей заявке, может быть выполнен посредством способа преобразования цветового пространства между пикселами одного цвета или различных цветов. Альтернативно, способ субдискретизации, предложенный в настоящей заявке, может быть выполнен в гибридной схеме (т.е. субдискретизация частично выполняется между некоторыми пикселами одного цвета и частично выполняется между другими пикселами различных цветов). Кроме того, согласно комбинированию сигналов наложения зарядов, предложенному в настоящей заявке, преимущество суммирования N³ сигналов может практически достигаться посредством комбинирования только N сигналов. Следовательно, способ субдискретизации в настоящей заявке должен обеспечивать более высокое качество изображений по сравнению с типичным способом субдискретизации в предшествующем уровне техники. В частности, когда настоящая заявка используется для двухслойных фоточувствительных устройств или многослойных фоточувствительных устройств, предоставляется большое число простых и превосходных способов субдискретизации.

Вышеуказанное описание предоставляется для того, чтобы иллюстрировать сущность и объем настоящей заявки посредством однослойных и двухслойных фоточувствительных устройств и некоторых активных пикселов 3T/4T. Эти конкретные условия не имеют намерения ограничивать настоящую заявку. Наоборот, если настоящая заявка используется для более сложных конструкций, таких как активные пикселы 5T/6T или многослойное фоточувствительное устройство, то преимущества являются более очевидными.

Изобретение относится к мультиспектральным считывающим фоточувствительным устройствам для считывания субдискретизированных данных фоточувствительных пикселов в фоточувствительных кристаллах с большой матрицей. Техническим результатом является обеспечение субдискретизации с высокой производительностью и эффективной обработки изображений. Указанный технический результат достигается тем, что мультиспектральное фоточувствительное устройство и способ дискретизации пикселов включает: первый процесс комбинирования для комбинирования и дискретизации двух смежных пикселов в идентичной строке и различном столбце, или в различной строке и идентичном столбце, или в различной строке и различном столбце в пикселной матрице, чтобы получать данные дискретизации первого комбинированного пиксела; второй процесс комбинирования для комбинирования и дискретизации данных дискретизации первого комбинированного пиксела, полученного из первого блока комбинирования, чтобы получать данные дискретизации второго комбинированного пиксела; и третий процесс комбинирования, данные дискретизации третьего комбинированного пиксела получаются посредством способа для преобразования цветов и масштабирования изображений в цифровом пространстве. 2 н. и 16 з.п. ф-лы, 26 ил.

1. Мультиспектральное фоточувствительное устройство, содержащее:
пикселную матрицу, размещаемую в строках и в столбцах;
первый блок комбинирования для комбинирования и дискретизации двух соседних пикселов в пикселной матрице, которые находятся в идентичной строке, но в различных столбцах, или в различных строках, но в идентичном столбце, или в различных строках и различных столбцах, чтобы получать данные дискретизации первого комбинированного пиксела, причем по меньшей мере включая комбинирование пикселов с различными цветами; и
второй блок комбинирования для комбинирования и дискретизации дискретизированных данных первого комбинированного пиксела, полученного в первом блоке комбинирования, чтобы получать данные дискретизации второго комбинированного пиксела,
при этом первый или второй блок комбинирования выполняется наложением зарядов между пикселами с идентичными или различными цветами или усреднением сигналов напряжения или тока пикселов с различными цветами, при этом пикселы с различными цветами комбинируются согласно преобразованию цветового пространства.

2. Мультиспектральное фоточувствительное устройство по п.1, дополнительно содержащее третий блок комбинирования для комбинирования и дискретизации данных дискретизации второго комбинированного пиксела, полученного во втором блоке комбинирования, чтобы получать данные дискретизации третьего комбинированного пиксела.

3. Мультиспектральное фоточувствительное устройство по п.1, в котором наложение зарядов выполняется в считывающем конденсаторе.

4. Мультиспектральное фоточувствительное устройство по п.1, в котором комбинирование и дискретизация на основе цвета, выполняемое в первом или втором блоке комбинирования, включает в себя комбинирование по одному цвету, комбинирование по различным цветам, гибридное комбинирование или избирательное исключение избыточных цветов, и по меньшей мере один из первого и второго блока комбинирования не выполняется комбинированием по одному цвету.

5. Мультиспектральное фоточувствительное устройство по п.1, в котором комбинирование и дискретизация на основе позиции, выполняемое в первом или втором блоке комбинирования, включает в себя по меньшей мере одно из автоматического усреднения сигналов, выводимых непосредственно в шину, пропуска строки или пропуска столбца и дискретизации по одному элементу.

6. Мультиспектральное фоточувствительное устройство по п.2, в котором третий блок комбинирования выполняется по меньшей мере одним из преобразования цветового пространства и окончательного масштабирования цифрового изображения; преобразование цветового пространства включает в себя преобразование из RGB в CyYeMgX пространство, преобразование из RGB в YUV пространство или преобразование из CyYeMgX в YUV пространство, где X является любым из красного цвета, зеленого цвета и синего цвета.

7. Мультиспектральное фоточувствительное устройство по любому из пп.1-6, в котором пикселная матрица состоит из множества макропикселов, включающих в себя по меньшей мере один базовый пиксел, при этом базовый пиксел является пассивным пикселом или активным пикселом.

8. Мультиспектральное фоточувствительное устройство по п.7, в котором базовый пиксел макропиксела размещается в квадратном шаблоне или в гексагональном шаблоне.

9. Мультиспектральное фоточувствительное устройство по п.7, в котором макропиксел состоит из по меньшей мере одного из следующего: активный пиксел 3Т без считывающего конденсатора и активный пиксел 4Т с одним считывающим конденсатором.

10. Мультиспектральное фоточувствительное устройство по п.9, в котором активный пиксел 4Т с одним считывающим конденсатором использует считывающую схему, которая приспосабливает режим 4-пикселного совместного использования, или режим 6-пикселного совместного использования, или режим 8-пикселного совместного использования.

11. Мультиспектральное фоточувствительное устройство по п.7, в котором макропиксел состоит из четырех пикселов, размещаемых в квадратном шаблоне, и двух непрозрачных считывающих конденсаторов, расположенных между двумя строками, при этом один считывающий конденсатор совместно используется посредством пикселов в предыдущей строке и пикселов в следующей строке, заряды переносятся между двумя считывающими конденсаторами и по меньшей мере один из считывающих конденсаторов подключается к считывающей схеме.

12. Мультиспектральное фоточувствительное устройство по п.7, в котором макропиксел состоит из по меньшей мере одного базового пиксела, имеющего активный пиксел 3Т или 4Т со считывающим конденсатором, совместно используемым двумя точками, тремя точками или четырьмя точками, при этом базовый пиксел использует считывающую схему, которая приспосабливает режим 4-точечного параллельного совместного использования, или режим 6-точечного параллельного совместного использования, или режим 8-точечного параллельного совместного использования.

13. Способ дискретизации для мультиспектрального фоточувствительного устройства, содержащий:
первый процесс комбинирования для комбинирования и дискретизации двух соседних пикселов в пикселной матрице, которые находятся в идентичной строке, но в различных столбцах, в различных строках, но в идентичном столбце или в различных строках и в различных столбцах, чтобы получать данные дискретизации первого комбинированного пиксела, причем по меньшей мере включая комбинирование пикселов с различными цветами; и
второй процесс комбинирования для комбинирования и дискретизации дискретизированных данных первого комбинированного пиксела, полученного в первом процессе комбинирования, чтобы получать данные дискретизации второго комбинированного пиксела,
при этом первый или второй процесс комбинирования выполняется наложением зарядов между пикселами с идентичными или различными цветами или усреднением сигналов напряжения или тока пикселов с различными цветами, при этом пикселы с различными цветами комбинируются согласно преобразованию цветового пространства.

14. Способ дискретизации по п.13, дополнительно содержащий третий процесс комбинирования для комбинирования и дискретизации данных дискретизации второго комбинированного пиксела, полученного во втором процессе комбинирования, чтобы получать данные дискретизации третьего комбинированного пиксела.

15. Способ дискретизации по п.13, в котором комбинирование и дискретизация на основе цвета, выполняемое в первом процессе комбинирования или втором процессе комбинирования, включает в себя комбинирование по одному цвету, комбинирование по различным цветам, гибридное комбинирование или избирательное исключение избыточных цветов и по меньшей мере один из первого и второго процессов комбинирования не выполняется комбинированием по одному цвету.

16. Способ дискретизации по п.13, в котором комбинирование и дискретизация на основе позиции, выполняемое в первом или втором процессе комбинирования, включает в себя по меньшей мере одно из автоматического усреднения сигналов, выводимых непосредственно в шину, пропуска строки или пропуска столбца и дискретизации по одному элементу.

17. Способ дискретизации по п.14, в котором третий процесс комбинирования выполняется по меньшей мере одним из преобразования цветового пространства и окончательного масштабирования цифрового изображения; преобразование цветового пространства включает в себя преобразование из RGB в CyYeMgX пространство, преобразование из RGB в YUV пространство или преобразование из CyYeMgX в YUV пространство, где X является любым из красного цвета, зеленого цвета и синего цвета.

18. Способ дискретизации по любому из пп.13-17, в котором дискретизация полных изображений выполняется посредством построчного сканирования и построчного считывания или построчного сканирования и чересстрочного считывания.