Способ управления чувствительностью телевизионной камеры на матрице ПЗС в условиях сложной освещённости и/или сложной яркости объектов Российский патент 2019 года по МПК H04N5/225 

Предлагаемое изобретение относится к телевизионной технике и ориентировано на использование в телевизионных камерах, выполненных на базе матричных телевизионных сенсоров по технологии приборов с зарядовой связью (ПЗС), в которых обеспечена электронная регулировка чувствительности за счет изменения внутрикадрового времени накопления.

Наиболее близким по технической сущности к заявляемому изобретению следует считать способ управления чувствительностью телевизионной камеры на матрице ПЗС [1], основанный на том, что параллельно поэлементному считыванию видеосигнала на выходе фотоприемника выполняют неразрушающее измерение уровня зарядового рельефа в секции накопления (мишени) сенсора путем преобразования в напряжение токового сигнала в цепи первого фазного электрода мишени, причем одновременно с формированием этого сигнала периодически, непосредственно в течение времени накопления заряда каждого кадра, монотонно изменяют напряжение обеднения второго фазного электрода мишени от нулевого до удвоенного значения потенциала накопления, а после преобразования в напряжение токового сигнала из него вычитают с соответствующим весовым коэффициентом монотонно изменяющееся напряжение обеднения второго фазного электрода мишени, при этом полученный разностный сигнал дифференцируют и инвертируют.

Данный способ управления чувствительностью принципиально способен решить задачу адаптации в условиях быстро изменяющейся освещенности наблюдаемой сцены.

Однако при работе в условиях сложной освещенности и/или сложной яркости объектов, когда высокой освещенности (яркости) на одних участках поля зрения сопутствует низкая освещенность (яркость) на других его участках, реализованный в телевизионной камере способ управления чувствительностью прототипа [1] принципиально не может справиться с ситуацией.

Это объясняется тем, что в этих условиях автоматическая регулировка времени накопления (АРВН) телевизионной камеры, работающая по этому сигналу управления чувствительности, выполняет отсчет его напряжения при помощи амплитудного детектора по пиковому или по среднему значению видеосигнала. Но распространяет свой полученный результат, а именно: длительность времени накопления, - на все элементы (пикселы) мишени.

Недостаток способа управления чувствительностью в прототипе [1] заключается в том, что возникает режим ограниченного накопления (по времени) для тех участков изображения, которые наблюдаются при низкой освещенности (яркости) соответствующих им объектов.

Задачей изобретения является организация в автоматическом режиме повышения чувствительности для этих фрагментов телевизионного кадра путем увеличения для них времени накопления и с возможностью правильного выбора их пространственного положения на мишени фотоприемника.

Поставленная задача в заявляемом способе управления чувствительностью телевизионной камеры на матрице ПЗС, который основан на том, что параллельно поэлементному считыванию видеосигнала на выходе фотоприемника, имеющего схемотехническую организацию «кадровый перенос» и состоящего из последовательно связанных зарядовой связью секции накопления, секции памяти, выходного регистра сдвига и БПЗН, выход которого является выходом «видео» фотоприемника, выполняют опережающее и неразрушающее измерение уровня зарядового рельефа в секции накопления сенсора путем преобразования в напряжение токового сигнала в цепи первого фазного электрода мишени, причем одновременно с формированием этого сигнала периодически, непосредственно в течение времени накопления заряда каждого кадра, монотонно изменяют напряжение обеднения второго фазного электрода мишени от нулевого до удвоенного значения потенциала накопления, а после преобразования в напряжение токового сигнала из него вычитают с соответствующим весовым коэффициентом монотонно изменяющееся напряжение обеднения второго фазного электрода мишени, решается тем, что секция накопления матрицы ПЗС имеет формат (отношение ширины секции к ее высоте) 1:1 и разделена по горизонтали на n изолированных друг от друга мишеней с одинаковым форматом, которые имеют параллельно действующее управление процессами фотоприема и развертки, при этом пиковое значение разностного сигнала, полученное путем опережающего и неразрушающего измерения уровня зарядового рельефа на каждой из n мишеней, используется в качестве управляющего напряжения по определению текущей длительности накопления за кадр для каждой этой отдельно взятой мишени, при этом сенсор снабжен дополнительным (вторым) БПЗН, а в выходном регистре сдвига выполняют поэлементный перенос зарядов по направлению к первому БПЗН или ко второму БПЗН в противоположном направлении, причем для оптимизации выбора режима накопления матрицы ПЗС реализуют пространственный поворот фотоприемника вокруг центральной точки его мишени на угол 90°.

Сопоставительный анализ с прототипом [1] показывает, что заявляемый способ отличается наличием следующих признаков:

условием осуществления предварительных действий с матрицей ПЗС телевизионной камеры, а именно: разделения секции накопления фотоприемника на n изолированных друг от друга мишеней с одинаковым форматом, которые управляются параллельно;

выбором одного из двух возможных пространственных положений матрицы ПЗС путем поворота ее мишени, имеющей формат 1:1, на угол 90° относительно предыдущего положения;

выполнением в телевизионной камере параллельных действий по установке длительности накопления зарядов за кадр для каждой из n мишеней сенсора;

введением в состав матрицы ПЗС второго БПЗН и реализацией поэлементного переноса зарядов вдоль выходного регистра сдвига в двух противоположных направлениях.

Совокупность известных и новых признаков не известна из уровня техники, поэтому заявляемый способ отвечает требованию новизны.

По техническому результату и методу его достижения предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена схемотехническая организация матрицы ПЗС с тремя изолированными мишенями (n=3); на фиг. 2 показаны два рабочих положения матричного фотоприемника, в которых относительно друг друга реализован пространственный поворот мишени на угол 90°; на фиг. 3 представлена структурная схема устройства, поясняющая реализацию заявляемого способа управления чувствительностью телевизионной камеры для одной отдельно взятой (изолированной) мишени; на фиг. 4 - схематический поперечный разрез фрагмента мишени этого сенсора при трехфазном переносе зарядовых пакетов; на фиг. 5 - временные диаграммы (упрощенные осциллограммы) сопутствующих сигналов; на фиг. 6б) - эпюра, иллюстрирующая импульсный сигнал, подаваемый на электронный затвор отдельно взятой мишени для управления ее чувствительностью; на фиг. 6а) - циклограмма кадрового гасящего импульса, необходимая для оценки временного положения импульса на фиг. 6б); на фиг. 7а) и 7б) показано положение трех «окон» фотометрирования секции накопления матрицы ПЗС в условиях ее сложной освещенности и/или сложной яркости применительно к двум рабочим положениям фотоприемника.

Способ управления чувствительностью может быть реализован для телевизионной матрицы ПЗС применительно к двухфазному, трехфазному или четырехфазному зарядовому переносу. Отметим, что здесь далее при изложении происходящих процессов в сенсоре рассматривается только механизм трехфазного переноса зарядов, приведенный в описании прототипа [1].

Матрица 1 на ПЗС (фиг. 1) с организацией «кадровый перенос» выполнена на кремниевом кристалле и состоит из связанных последовательно зарядовой связью секции 1-1 накопления, секции 1-2 памяти, выходного регистра сдвига 1-3, первого БПЗН 1-4-(1) и второго БПЗН 1-4-(2). Штрихпунктирные линии на фиг. 1 показывают выделение на секции 1-1 накопления фотоприемника трех изолированных мишеней с одинаковым форматом, т.е. n=3. Введем обозначение этих сенсоров соответственно как: 1-1-1, 1-1-2 и 1-1-3.

Предполагается, что для всех трех изолированных мишеней действует параллельное управление, которое обеспечивает:

процесс неразрушающего измерения уровня зарядового рельефа для получения опережающего сигнала управления;

процесс текущего накопления зарядового рельефа в соответствии с длительностью, задаваемой выходным импульсом на входе электронного затвора каждой мишени, т.е. через GA1, GA2 и GA3, как показано на фиг. 1.

Организация этого параллельного управления может быть осуществлена за счет «размножения» импульсных сигналов при помощи внешних буферных каскадов для готовых микросхем, реализующих набор (комплект) необходимых управляющих напряжений.

Предлагаемый в настоящем техническом решении способ управления чувствительностью телевизионной камеры может быть реализован и для двух других технологических вариантов матрицы ПЗС, т.е. для сенсоров, изготовленных соответственно по методу «строчный перенос» и «строчно-кадровый перенос» [2, с. 134-137]. При этом фотоприемная область этих приборов, в которой вертикально расположенные линейки светочувствительных элементов чередуются с вертикальными линейками изолированных от света пикселов, должна иметь формат 1:1 и быть технологически подготовлена аналогично секции накопления, т.е. путем разделения по горизонтали на n изолированных друг от друга мишеней с одинаковым форматом. Выходной регистр сдвига этих матриц ПЗС должен выполнять поэлементный перенос зарядовых пакетов на первый БПЗН или при изменении направления (реверсе) переноса - на второй БПЗН.

Рассмотрим анонсированную ранее структурную схему на фиг. 3. Она содержит фотоприемник 1-1-1, а все его фазные электроды, за исключением электродов первой и второй фазы мишени, подключены непосредственно к соответствующим выходам блока 2 управляющих напряжений мишени; первый фазный электрод мишени сенсора 1-1-1 подключен к входу преобразователя 3 «ток - напряжение», выход которого подключен к неинвертирующему входу блока 4 вычитания; второй фазный электрод мишени сенсора 1-1-1 - к выходу генератора 5 линейно изменяющегося напряжения, который стробируется по входу «Запуск развертки»; выход генератора 5 линейно изменяющегося напряжения дополнительно через делитель 6 напряжения подключен к инвертирующему входу блока 4 вычитания, выход которого соединен с информационным входом пикового детектора 7, управляющий вход которого подключен к импульсу сброса, а выход - к входу преобразователя 8 «напряжение - заряд». Отметим, что блок 8 является по сути широтно-импульсным модулятором (ШИМ), а его выходной сигнал (см. фиг. 6б) подключен к управляющему входу GA1 сенсора 1-1-1 - его «электронному» затвору.

Пунктирные линии на фиг. 3 отражают наличие имеющихся электрических связей между первыми и соответственно вторыми фазными электродами сенсора 1-1-1 и блоком 2 управляющих напряжений мишени, которые далее не комментируются.

Для упрощения будем полагать, что фрагмент сенсора 1-1-1, показанный на фиг. 4, отображает всю эту мишень, которая состоит из четырех трехфазных элементов, которые выполнены на кремниевом кристалле по технологии ПЗС с каналом проводимости р-типа. Это означает, что для выполнения переноса зарядовых пакетов управляющие смещения на фазных электродах фотоприемника должны иметь отрицательную полярность относительно подложки кристалла. Именно такую проводимость канала имела отечественная матрица ПЗС, серийно выпускавшаяся в СССР как изделие под маркой К1200ЦМ1, которая была использована авторами работ [1, 3] в экспериментальных исследованиях.

В нашем примере будем считать, что во время развертки к третьему фазному электроду мишени приложено нулевое напряжение подложки кристалла сенсора 1-1-1, которое необходимо для создания барьеров, препятствующих растеканию зарядов в соседние потенциальные ямы.

Рассмотрим режим работы устройства, когда перед разверткой напряжения на первом и втором фазных электродах мишени устанавливаются одинаковыми и равными минус U_н относительно подожки. При этом в каждом элементе мишени накопленный заряд делится на две равные части: половина заряда находится под правым (вторым) фазным электродом, вторая половина - под левым (первом) фазным электродом. Очевидно, что при неравномерной засветке мишени в каждом ее пикселе накапливается разное количество заряда.

В некоторый момент включается генератор 5 линейно изменяющегося напряжения, предназначенный для осуществления этой быстродействующей развертки зарядового сигнала, и потенциал на втором фазном электроде мишени начинает плавно возрастать (фиг. 5а). При этом в каждом пикселе глубина потенциальных ям под вторыми фазными электродами уменьшается (см. фиг. 4), поэтому во всех элементах мишени начинается процесс переноса заряда из правого электрода под левый электрод. В результате движения заряда в цепи левого (первого) фазного электрода мишени возникает ток, равный сумме токов в каждом ее пикселе, как показано на фиг. 5б. Сначала этот ток (I₁) максимален, т.к. заряд есть в каждом пикселе. По мере роста потенциала на втором фазном электроде наступает момент, когда в пикселе с наименьшим количеством зарядовых носителей весь заряд перетекает из правого фазного электрода в левый фазный электрод. При этом суммарный ток уменьшается (фиг. 5б). Затем кончается заряд под правым фазным электродом в следующем пикселе, и суммарный ток снова уменьшается. Так продолжается до тех пор, пока не кончится заряд под правым фазным электродом мишени в пикселе, содержащем перед началом процесса зарядового переноса наибольшее количество зарядовых носителе. После этого ток (I₁) становится равным нулю, и весь заряд мишени оказывается в потенциальных ямах первого фазного электрода.

В сформированном так токе (фиг. 5б) заключена информация о распределении зарядов по всей поверхности мишени 1-1-1.

Следует признать, что точность этой информации ограничена помехой (см. эпюру I_п на фиг. 5б), возникающей из-за перезаряда ПЗС-структуры развертывающим линейно изменяющимся напряжением, т.е. в действительности величина возникающего тока составляет I₁+I_п.

Для вычитания этой помехи служит делитель 6 напряжения и блок 4 вычитания.

При реализации настоящего изобретательского решения можно использовать не только линейно возрастающее напряжение, но и линейно убывающее напряжение. Например, при использовании удвоенного размаха линейно изменяющегося напряжения (см. пунктир на фиг. 5а) напряжение на втором фазном электроде за время развертки уменьшается относительно подложки кристалла фотоприемника от минус U_н до минус 2U_н. Тогда возникающий ток изменяет свое направление, т.к. заряд перетекает не из правых электродов под левые электроды, а наоборот.

Интересующий нас информационный уровень напряжения, появляющийся на выходе блока 4 вычитания в течение телевизионного кадра, будет фиксироваться пиковым детектором 7, который перед этим измерением должен быть обязательно обнулен при помощи импульса сброса.

Полученное таким образом управляющее напряжение для блока 8 определяет на его выходе цифровой сигнал накопления в сенсоре 1-1-1, (см. фиг. 6б), который может изменяться в течение кадра от максимального значения отсчета до его минимального отсчета в зависимости от уровня освещенности контролируемой сцены. Для выполнения этой функции цифровой сигнал накопления подается на управляющий вход сенсора 1-1-1, являющийся его «электронным» затвором GA1 (см. фиг. 3).

Важно отметить, что период упомянутой нами линейной развертки микро может составлять всего лишь 20 мкс, что подтверждено экспериментально в работе [3, с. 101], а это является гарантом повышения точности управления (слежения) за параметром чувствительность телевизионной камеры в условиях и быстро изменяющейся освещенности контролируемой сцены.

Фотоприемник 1 на фиг. 1 работает следующим образом.

Допустим, что по умолчанию матрица ПЗС занимает пространственное положение, показанное на фиг. 2а.

Оптическое изображение наблюдаемой сцены в условиях сложной освещенности и/или сложной яркости объектов проецируется на секцию накопления 1-1 матрицы ПЗС, а, следовательно, и на все три составляющие ее мишени (1-1-1, 1-1-2, 1-1-3).

Пусть в нашем примере, показанном на фиг. 7а, в условиях высокой освещенности наблюдаемого сюжета оказывается область, которую занимает «Окно» 1; в условиях слабо пониженной освещенности - «Окно» 2; а в условиях существенно пониженной освещенности - «Окно» 3.

В интервале прямого хода каждого телевизионного кадра происходит процесс оптимизированного накопления зарядов в светочувствительных пикселах всех трех мишеней 1-1-1, 1-1-2 и 1-1-3 пропорционально освещенности контролируемого сюжета.

В течение промежутка последующего интервала обратного хода кадровой развертки заряды всех строк, участвовавших в накоплении, переносятся в экранированные от света пикселы, расположенные в секции 1-2 памяти.

Затем в новом кадровом цикле выполняется накопление другой зарядовой «картины», а накопленные в предыдущем кадре зарядовые пакеты переносятся на периферию кристалла сенсора, загружая в интервале обратного хода строчной развертки новыми зарядами выходной регистр сдвига 1-3 фотоприемника. Зарядовые пакеты каждой строки в последующем кадровом цикле поэлементно считываются в первом БПЗН 1-4-(1), формируют на его выходе аналоговый видеосигнал. Далее он конвертируется в цифровое изображение, записываемое в электронную память устройства.

Технический результат заявляемого решения обеспечивается тем, что в телевизионной камере будут в полностью автоматическом режиме получены оптимальные показатели для времени накопления (Т_н) применительно ко всем n участкам площади мишени матрицы ПЗС.

Следовательно, по сравнению с прототипом [1], будет достигнуто повышенное отношение сигнал/шум (ψ) формируемого видеосигнала и соответственно увеличение чувствительности для тех участков изображения, которые регистрируются при низкой освещенности (яркости) соответствующих им объектов.

Допустим, что условия сложной освещенности наблюдаемой сцены и/или сложной яркости контролируемых объектов существенно изменились с позиции пространственного расположения. А именно, проецируемые на секцию 1-1 накопления фрагменты изображений из «расположенных вертикально» становятся фрагментами «расположенными горизонтально».

Очевидно, что в этой ситуации неизбежна потеря чувствительности телевизионной камеры на ПЗС за счет ошибки в отсчете времени накопления фотоприемника для фрагментов изображений, наблюдаемых в условиях пониженной освещенности.

Но заявляемый способ успешно преодолевает эту «ситуационную» трудность. Для этого необходимо выполнить пространственный поворот фотоприемника (против часовой стрелки) вокруг центральной точки его мишени на угол 90°, т.е. матрица ПЗС будет занимать пространственное положение, показанное на фиг. 2б.

В результате для сенсора «окна» фотометрирования становятся ориентированными в пространстве не вертикально, а горизонтально, как представлено на фиг. 8б.

В рассматриваемом примере в условиях высокой освещенности наблюдаемого сюжета там оказывается область, которую занимает «Окно» 3; в условиях слабо пониженной освещенности - «Окно» 2; а в условиях существенно пониженной освещенности - «Окно» 1. Поэтому отсчет времени накопления для каждого из этих фрагментов изображений, осуществляемый за счет пикового детектирования видеосигнала, будет правильным, т.е. реализующим искомый рост чувствительности сенсора.

В результате выходной регистр сдвига 1-3 будет переносить заряды в противоположном направлении, т.е. в сторону второго БПЗН 1-4-(2), где они аналогичным образом регистрируются.

В результате этого чувствительность фотоприемника будет повышена. Отметим, что реверсивное движение зарядов в регистре и введение в состав фотоприемника второго БПЗН необходимо для того, чтобы избежать «зеркальности» формируемого изображения.

Далее, как и при исходном положении фотоприемника, формируемый аналоговый видеосигнал преобразуется в телевизионной камере в цифровой видеосигнал. Но перед считыванием видеосигнала из памяти здесь для полученного цифрового изображения средствами программирования дополнительно выполняется его поворот на 90° (против часовой стрелки).

Заявляемый способ управления чувствительностью рекомендуется использовать в мобильных устройствах, в которых теле- и/или фотокамера конструктивно объединяется с монитором в один прибор.

При этом необходимый пространственный поворот матрицы ПЗС на угол 90° осуществляется аналогично выбору ориентации прибора в смартфонах, где предлагается «книжная» или «альбомная» ориентация экрана.

Заметим, что в мониторе нашего прибора для видеосигнала, который формируется телевизионной камерой, осуществляется необходимый поворот экрана, что соответствует реализации в смартфоне опции «Адаптивный дисплей».

В настоящее время все блоки и элементы комментируемой структурной схемы, реализующей предлагаемый способ управления чувствительностью телевизионной камеры на матрице ПЗС в условиях сложной освещенности и/или яркости объектов освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Авторское свидетельство СССР №1417210. МПК H04N 5/228. Способ формирования сигнала управления чувствительностью телевизионной камеры на матрице ПЗС. / А.Н. Куликов и Л.И. Хромов // Б.И. - 1988. - №30.

2. Владо Дамьяновски. CCTV. Библия видеонаблюдения. Цифровые и сетевые технологии. Перевод с англ. - М.: «Ай-Эс-Эс Пресс», 2006.

3. Хромов Л.И., Цыцулин А.К., Куликов А.Н. Видеоинформатика. Передача и компьютерная обработка видеоинформации. - М.: «Радио и связь», 1991.

Изобретение относится к телевизионной технике и ориентировано на использование в телевизионных камерах, выполненных на базе матричных телевизионных сенсоров по технологии приборов с зарядовой связью (ПЗС), в которых обеспечена электронная регулировка чувствительности за счет изменения внутрикадрового времени накопления. Техническим результатом является организация в автоматическом режиме повышения чувствительности для этих фрагментов телевизионного кадра путем увеличения для них времени накопления и с возможностью правильного выбора их пространственного положения на мишени фотоприемника. Результат достигается тем, что секция накопления матрицы ПЗС имеет формат 1:1 и разделена по горизонтали на n изолированных друг от друга мишеней с одинаковым форматом, которые имеют параллельно действующее управление процессами фотоприема и развертки, при этом пиковое значение разностного сигнала, полученное путем опережающего и неразрушающего измерения уровня зарядового рельефа на каждой из n мишеней, используется в качестве управляющего напряжения по определению текущей длительности накопления за кадр для каждой этой отдельно взятой мишени. 7 ил.

Способ управления чувствительностью телевизионной камеры на матрице ПЗС в условиях сложной освещенности и/или сложной яркости объектов, основанный на том, что параллельно поэлементному считыванию видеосигнала на выходе фотоприемника, который имеет схемотехническую организацию «кадровый перенос» и состоит из последовательно связанных зарядовой связью секции накопления, секции памяти и выходного регистра сдвига, заканчивающегося блоком преобразования «заряд - напряжение» (БПЗН), а его выход является выходом «видео» фотоприемника, выполняют опережающее и неразрушающее измерение уровня зарядового рельефа в секции накопления сенсора путем преобразования в напряжение токового сигнала в цепи первого фазного электрода мишени, причем одновременно с формированием этого сигнала периодически, непосредственно в течение времени накопления заряда каждого кадра, монотонно изменяют напряжение обеднения второго фазного электрода мишени от нулевого до удвоенного значения потенциала накопления, а после преобразования в напряжение токового сигнала из него вычитают с соответствующим весовым коэффициентом монотонно изменяющееся напряжение обеднения второго фазного электрода мишени, отличающийся тем, что секция накопления матрицы ПЗС имеет формат (отношение ширины секции к ее высоте) 1:1 и разделена по горизонтали на n изолированных друг от друга мишеней с одинаковым форматом, которые имеют параллельно действующее управление процессами фотоприема и развертки, при этом пиковое значение разностного сигнала, полученное путем опережающего и неразрушающего измерения уровня зарядового рельефа на каждой из n мишеней, используется в качестве управляющего напряжения по определению текущей длительности накопления за кадр для каждой этой отдельно взятой мишени, при этом сенсор снабжен дополнительным (вторым) БПЗН, а в выходном регистре сдвига выполняют поэлементный перенос зарядов по направлению к первому БПЗН или ко второму БПЗН в противоположном направлении, причем для оптимизации выбора режима накопления матрицы ПЗС реализуют пространственный поворот фотоприемника вокруг центральной точки его мишени на угол 90°.