Способ управления поэлементным переносом зарядовых пакетов в "кольцевом" фотоприёмнике на ПЗС для панорамного телевизионно-компьютерного наблюдения Российский патент 2019 года по МПК H04N5/00 

Предполагаемое изобретение имеет отношение к панорамному компьютерному наблюдению, которое выполняется телевизионной камерой кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места, при помощи «кольцевого» фотоприемника, изготовленного по технологии приборов с зарядовой связью (ПЗС).

Наиболее близким по технической сущности к заявляемому изобретению следует считать способ управления поэлементным переносом зарядовых пакетов в «кольцевом» фотоприемнике на ПЗС [1], заключающийся в том, что в «кольцевом» фотоприемнике, изготовленном по технологии ПЗС, который имеет кристалл в виде кругового кольца и содержит в его пределах фотоприемную область (мишень), «кольцевой» выходной регистр и блок преобразования «заряд - напряжение» (БПЗН) с организацией «плавающая диффузия», при этом на фотоприемной области линейки светочувствительных элементов, чередующиеся с линейками экранированных от света элементов, расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» выходному регистру, а число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов (пикселов) в «кольцевом» выходном регистре, причем площадь светочувствительных и экранированных элементов на фотоприемной области от строки к строке различна, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь пиксела его «кольцевого» выходного регистра, при этом в телевизионном интервале прямого хода кадровой развертки накапливают зарядовое изображение информационного кадра на светочувствительных элементах фотоприемной области, затем в телевизионном интервале обратного хода кадровой развертки накопленные зарядовые пакеты переносят за один шаг поворота в экранированные от света пикселы на той же мишени; в последующем интервале прямого хода кадровой развертки на светочувствительных элементах фотоприемной области накапливают новое зарядовое изображение информационного кадра, а зарядовое изображение предыдущего информационного кадра построчно переносят из экранированных элементов мишени в направлении к «кольцевому» выходному регистру, загружая его зарядовыми пакетами каждой накопленной строки в телевизионном интервале обратного хода строчной развертки τ_о.х.с., а в последующем телевизионном интервале прямого хода строчной развертки выполняют перенос этих зарядовых пакетов вдоль регистра и считывание в БПЗН с частотой поэлементного переноса ƒ_э, при этом в процессе получения сигнала изображения управляют площадью считывающей апертуры видеосигнала пропорционально изменению площади светочувствительных элементов мишени фотоприемника.

В прототипе [1] обеспечивается выравнивание разрешающей способности формируемого цветного изображения за счет управления площадью считывающей апертуры видеосигнала. Отметим, что для этого БПЗН фотоприемника прототипа организован по типу «плавающая диффузионная область» [2], а поэтому имеет управляющий вход, обеспечивающий поэлементный сброс напряжения формируемого видеосигнала.

Применительно к отдельно взятой строке в прототипе [1] выполняется традиционная загрузка зарядовыми пакетами «кольцевого» выходного регистра в пределах временного промежутка, который по телевизионному стандарту занимает интервал τ_о.х.с. - длительность обратного хода строчной развертки.

Из монографии [3, с. 153] известно, что в n-канальном ПЗС с размером ячейки 30 мкм, работающем на частоте 1 МГц, зарядовый пакет величиной 0,5 пКл потребляет удельную мощность около 2,8 нВт/элемент. И эта величина растет как квадрат рабочей частоты. Отсюда следует, что мощность энергопотребления фотоприемника на ПЗС в первом приближении определяется затратами по организации в нем поэлементного переноса зарядов.

Недостаток способа прототипа - повышенное энергопотребление «кольцевого» фотоприемника, связанное с высокой частотой поэлементного переноса зарядов ƒ_э в «кольцевой» строке, которым сопровождается существенное наращивание числа светочувствительных пикселов, необходимое для достижения желаемой разрешающей способности выходного видеосигнала.

Задачей изобретения является сокращение энергопотребления фотоприемника за счет двойного снижения частоты поэлементного переноса зарядов ƒ_э в «кольцевой» строке, путем выполнения выходного «кольцевого» регистра в виде двух «кольцевых» регистров, каждый из которых содержит число пикселов, равное (половине) по отношению к их количеству у прототипа.

Поставленная задача в заявляемом способе управления поэлементным переносом зарядовых пакетов в «кольцевом» фотоприемнике на ПЗС для панорамного телевизионно-компьютерного наблюдения решается тем, что по сравнению с прототипом [1] частоту поэлементного переноса ƒ_э снижают в два раза, а «кольцевой» выходной регистр выполняют в виде двух смежных «кольцевых» регистров, действующих поочередно на двухканальный БПЗН, при этом каждый из этих «кольцевых» регистров содержит половину элементов от числа пикселов для каждой фотоприемной строки, а в интервале τ_о.х.с. загружают зарядовыми пакетами текущей информационной строки оба «кольцевых» регистра последовательно во времени и раздельно для нечетных и четных пикселов этой строки, причем для зарядовых пакетов, поступающих по второму входу БПЗН, выполняют, как и по первому входу, управление площадью считывающей апертуры видеосигнала, а число фазных электродов для отдельно взятого пиксела в обоих «кольцевых» регистрах должно быть четным, составляя показатель 2 или 4.

По отношению к прототипу [1] заявляемый способ отличается показателем частоты поэлементного переноса ƒ_э в «кольцевом» фотоприемнике, которая уменьшена в два раза, а также новой организацией в нем составляющих его блоков: выходного регистра и БПЗН. Согласно заявляемому способу выходной «кольцевой» регистр состоит из двух параллельно действующих «кольцевых» регистров, а БПЗН из одноканального блока становится двухканальным. При этом зарядовые сигналы будут регистрироваться БПЗН в правильном фазовом соотношении за счет выбора четного показателя для числа фазных электродов применительно к отдельно взятому элементу этих регистров.

Совокупность известных и новых признаков для этого способа не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.

При организации в телевизионной камере для «кольцевого» фотоприемника такого режима управления поэлементным переносом зарядовых пакетов разрешающая способность видеосигнала панорамного сюжета остается неизменной, а энергопотребление от блока развертки сокращается почти в два раза.

Поэтому заявляемый способ управления поэлементным переносом зарядовых пакетов в «кольцевом» фотоприемнике на ПЗС способен при тех же энергетических затратах прототипа [1] реализовать повышенную разрешающую способность видеосигнала, т.е. повышенную четкость формируемого изображения.

Очевидно, что предлагаемый способ может быть использован как в «кольцевых» фотоприемниках монохромного изображения, так и в «кольцевых» фотоприемниках цветного видеосигнала, получаемых путем покрытия мишени сенсора цветным мозаичным фильтром в форме кольца.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена схемотехническая организация «кольцевого» фотоприемника, реализующая заявляемый способ; на фиг. 2 - эпюры, поясняющие управление первым и вторым «кольцевыми» регистрами фотоприемника, в котором управление поэлементным переносом осуществляется согласно заявляемому способу; на фиг. 3, по данным [2, с. 19], представлена структурная схема БПЗН с организацией «плавающая диффузионная область»; на фиг. 4 изображена эпюра выходного сигнала блока формирования апертуры (БФА) в составе телевизионной камеры с использованием новой организации «кольцевого» фотоприемника, на фиг. 5 - структурная схема компьютерной системы цветного изображения по данным [4] для ведения панорамного телевизионного наблюдения с этим фотоприемником; на фиг. 6, по данным [5], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 7 - предлагаемое оператору панорамное изображение текущего «кольцевого» кадра в виде последовательности из 6-ти «прямоугольных» кадров.

«Кольцевой» фотоприемник, см. фиг. 1, в позиции 1-3, выполнен по технологии ПЗС, на кристалле которого, имеющего форму кругового кольца, расположены: «кольцевая» фотоприемная область 1-3-1, первый «кольцевой» регистр 1-3-2-(1), второй «кольцевой» регистр 1-3-2-(2) и БПЗН 1-3-3.

Каждый из этих «кольцевых» регистров имеет входное управление через затвор загрузки, который по импульсному сигналу может быть открыт, обеспечивая поступление зарядовых пакетов в ячейки своего регистра, или наоборот - закрыт, изолируя тем самым ячейки своего регистра от поступления зарядов.

Фотоприемник 1-3 реализует «кольцевую» развертку зарядового изображения на фотоприемной области 1-3-1 с последующим поэлементным считыванием зарядов параллельно в обоих «кольцевых» регистрах 1-3-2-(1) и 1-3-2-(2) и формированием на выходе БПЗН 1-3-3 напряжения видеосигнала в аналоговой форме.

При этом в интервале прямого хода по кадру происходит процесс накопления зарядовых пакетов пропорционально освещенности панорамного сюжета в светочувствительных пикселах мишени 1-3-1. В течение кратковременного промежутка последующего интервала обратного хода кадровой развертки открывается затвор мишени, и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на той же области мишени 1-3-1.

Затем затвор мишени закрывается и в новом кадровом цикле на мишени выполняется накопление другой зарядовой «картины», а накопленные в предыдущем кадре зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в интервале обратного хода по строке новыми зарядами оба «кольцевых» регистра.

Рассмотрим подробнее «механизм» этой зарядовой загрузки, используя временные диаграммы сигналов, представленные на фиг. 2.

На фиг. 2а изображена эпюра сигнала для строчного гасящего импульса телевизионной развертки, активно действующего в течение интервала τ_о.х.с. с периодом строк Т_с.

На фиг. 2б, фиг. 2в показаны эпюры импульсных сигналов, управляющие затворами загрузки второго «кольцевого» регистра 1-3-2-(2) и первого «кольцевого» регистра 1-3-2-(1) соответственно.

Отметим, что первый «кольцевой» регистр 1-3-2-(1) является универсальным, обеспечивая перенос зарядовых пакетов двух направлениях, а именно: как вдоль регистра, так и поперек (насквозь), т.е. в ячейки второго «кольцевого регистра 1-3-2-(2).

Для реализации второй функции в зазоры между элементами регистра 1-3-2-(1), имеющие ширину пиксела, устанавливаются дополнительные электроды (на фиг. 1 они отмечены пунктиром), соединенные между собой и подключенные к постоянному напряжению, величина которого не менее управляющего потенциала зарядового переноса. Эти дополнительные электроды выполняют одновременно и другую важную роль, а именно: исключают зарядовые потери при «кольцевом» переносе в регистре 1-3-2-(1). По этой причине точно такие же дополнительные электроды устанавливаются и в зазоры между элементами регистра 1-3-2-(2).

На фиг. 2г, фиг. 2д представлены эпюры импульсных сигналов, управляющие работой обоих «кольцевых» регистров параллельно применительно для двухфазной системы переноса зарядов, где Т_э=1/ƒ_э - период поэлементного переноса зарядовых пакетов. В промежутке τ_о.х.с. - интервале активного действия импульса на фиг. 2б через открытый затвор загрузки в регистр 1-3-2-(2) будут поступать заряды первого, третьего, пятого и других нечетных элементов строки.

А в последующем интервале τ_о.х.с. - интервале активного действия импульса, изображенного на фиг. 2в, через открытый затвор будет загружаться зарядами регистр 1-3-2-(1), но применительно для второго, четвертого, шестого и других четных элементов этой строки. Отметим, что в этом временном промежутке зарядовые пакеты, загруженные ранее в «кольцевой» регистр 1-3-2-(2), остаются там «на своих местах», находясь в ячейках (потенциальных ямах) регистра в режиме хранения.

Телевизионная камера цветного изображения, выполненная на базе «кольцевого» фотоприемника, см. фиг. 5, содержит последовательно расположенные и оптически связанные панорамный объектив 1-1, инфракрасный отсекающий фильтр (ИК-фильтр) 1-2 и фотоприемник 1-3, мишень которого накрыта мозаичным цветным фильтром, являющимся«кольцевым» по форме, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты; в состав телевизионной камеры также входят следующие блоки: сигнальный процессор 1-4, блок 1-5 «кольцевой» развертки, аналого-цифровой преобразователь (АЦП) 1-6 и БФА 1-7; выход БПЗН фотоприемника 1-3 подключен к информационному входу сигнального процессора 1-4, соединенному последовательно с АЦП 1-6; выход управления экспозицией сигнального процессора 1-4 подключен к первому управляющему входу блоку 1-5 «кольцевой» развертки видеосигнала, первый выход которого подключен к управляющим входам мишени фотоприемника 1-3, второй выход блока 1-5 - к управляющим входам «кольцевого» регистра фотоприемника 1-3, третий выход блока 1-5 - к входу синхронизации сигнального процессора 1-4, а четвертый выход блока 1-5 - к тактовому входу АЦП 1-6, выход которого является выходом телевизионной камеры; информационный вход БФА 1-7 подключен к выходу импульсов сброса блока 1-5 «кольцевой» развертки, синхронизирующий вход БФА 1-7 - к соответствующему выходу блока 1-5 «кольцевой» развертки, а выход БФА 1-7 - ко второму управляющему входу блока 1-5 «кольцевой» развертки.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе [1], предназначен для формирования оптического изображения кругового обзора («кольцевого» изображения). В качестве технического решения для панорамного объектива 1-1 может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [5].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 6. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

ИК-фильтр 1-2 изменяет спектральную характеристику «кольцевого» фотоприемника 1-3, обеспечивая согласование со спектральной чувствительностью человеческого глаза.

Отметим, что период управляющих импульсов формируемых на выходе БФА 1-7, как и у прототипа [1], определяется соотношением:

где Т_р - период считывания элемента в фотоприемнике;

n_m - коэффициент, целое число, величина которого для текущей строки считывания в фотоприемнике равна отношению:

где Δ₁ - площадь светочувствительного элемента для первой строки считывания в фотоприемнике;

Δ_m - площадь светочувствительного элемента для текущей строки считывания в фотоприемнике.

На фиг. 3 показана возможная структурная схема БПЗН «кольцевого» фотоприемника 1-3 с организацией «плавающая диффузионная область», которая полностью совпадает со схемой, применяемой в настоящее время в матрицах ПЗС для реализации прямоугольной развертки видеосигнала, см. например, [2]. На этом чертеже приняты следующие обозначения: U_ф1, U_ф2, -напряжения на шинах для двухфазного управления «кольцевым» регистром; U_выхз - напряжение на выходном затворе; Д_вых, Д_сбр - выходной и сбрасывающие диоды соответственно.

Перед считыванием информационного заряда очередного элемента в процессе его преобразования в напряжение видеосигнала информационный заряд предыдущего элемента должен быть сброшен в стирающий диод Д_сбр.

Эта процедура осуществляется в «кольцевом» фотоприемнике параллельно, как для первого, так и для второго «кольцевых» регистров при помощи импульсов сброса которые подаются на соответствующую шину управления БПЗН 1-3-4 (см. фиг. 1).

Блок формирования апертуры (БФА) 1-7 принимает здесь непосредственное участие, обеспечивая управления считывающей апертурой сенсора. В результате для всех строк фотоприемника обеспечивается одинаковая по полю площадь считывающей апертуры видеосигнала при различной от строки к строке площади электродов светочувствительных элементов сенсора.

Эпюра выходного сигнала T_r, вырабатываемая на выходе БФА 1-7, представлена на фиг. 4.

В физическом плане управление площадью апертуры осуществляется за счет суммирования зарядовых пакетов в соседних элементах каждой текущей «кольцевой» строки сенсора до выполнения процедуры преобразования «заряд - напряжение».

Поэтому это зарядовое сложение не может быть дополнительным источником шумов для видеосигнала на выходе телевизионной камеры.

Рассмотрим работу телевизионной камеры цветного изображения с «кольцевым» фотоприемником в составе компьютерной системы панорамного наблюдения, см. фиг. 5.

Система содержит телевизионную камеру в позиции 1 и сервер в позиции 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3.

В разъем расширения на материнской плате сервера 2 установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольный» (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров (k), соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем, априори означающее оптимизированное использование мишени фотоприемника.

Предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 5 он не показан).

Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение наблюдаемой сцены, проецируя его через ИК-фильтр 1-2 на мишень 1-3-1 фотоприемника.

В результате фотоэлектрического и последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения.

По интерфейсу (например, USB 2,0) в оперативную память сервера 2 строка за строкой будет транслироваться цифровой видеосигнал «кольцевого» кадра контролируемого панорамного сюжета.

Предположим, что текущий угол поля зрения (γ_г) предъявляемого панорамного изображения составляет 60 градусов по горизонтали, тогда «кольцевой» кадр записи согласно соотношению (3) включает 6 (шесть) условных областей.

Очевидно, что в этом случае оперативная память сервера 2, куда заносится видеоинформация о панорамном цветном изображении, должно содержать 6 областей для записи входного видеосигнала текущего «кольцевого» кадра.

Далее, как и у прототипа [1], в сервере 2 осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера 2.

Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 7) операторам персональных компьютеров.

Это означает, что в реальном масштабе времени может быть реализован контроль шести изображений с одинаковой по полю (повышенной) четкостью наблюдаемой «картины», как у прототипа [1], но с уменьшенным почти в два раза энергопотреблением фотоприемника.

В настоящее время все элементы структурной схемы устройства «кольцевого» фотоприемника (все элементы его схемотехнической организации), в котором должны быть реализованы все признаки заявляемого способа управления поэлементным переносом зарядовых пакетов, освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2611421. МПК H04N 5/225. Телевизионная камера и ее «кольцевой» фотоприемник для компьютерной системы панорамного наблюдения. / В.М. Смелков // Б.И. -2017. - №6.

2. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение. - «Радио и связь», 1986.

3. Секен К., Томпсет М. Приборы с переносом заряда. Перевод с англ. - «Мир», 1978.

4. Патент РФ №2641284. МПК H04N 5/225. Телевизионная камера цветного изображения для панорамного компьютерного наблюдения. / В.М. Смелков // Б.И.-2018.-№2.

5. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

Изобретение относится к панорамному компьютерному наблюдению, которое выполняется телевизионной камерой кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места, при помощи «кольцевого» фотоприемника, изготовленного по технологии приборов с зарядовой связью (ПЗС). Техническим результатом является сокращение энергопотребления фотоприемника. Результат достигается за счет двойного снижения частоты поэлементного переноса зарядов ƒ_э в «кольцевой» строке путем выполнения выходного «кольцевого» регистра в виде двух «кольцевых» регистров. 7 ил.

Способ управления поэлементным переносом зарядовых пакетов в «кольцевом» фотоприемнике на ПЗС для панорамного телевизионно-компьютерного наблюдения, заключающийся в том, что в «кольцевом» фотоприемнике, изготовленном по технологии приборов с зарядовой связью (ПЗС), который имеет кристалл в виде кругового кольца и содержит в его пределах фотоприемную область (мишень), «кольцевой» выходной регистр и блок преобразования «заряд-напряжение» (БПЗН) с организацией «плавающая диффузия», при этом на фотоприемной области линейки светочувствительных элементов, чередующиеся с линейками экранированных от света элементов, расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» выходному регистру, а число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов (пикселов) в «кольцевом» выходном регистре, причем площадь светочувствительных и экранированных элементов на фотоприемной области от строки к строке различна, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь пиксела его «кольцевого» выходного регистра, при этом в телевизионном интервале прямого хода кадровой развертки накапливают зарядовое изображение информационного кадра на светочувствительных элементах фотоприемной области, затем в телевизионном интервале обратного хода кадровой развертки накопленные зарядовые пакеты переносят за один шаг поворота в экранированные от света пикселы на той же мишени, в последующем интервале прямого хода кадровой развертки на светочувствительных элементах фотоприемной области накапливают новое зарядовое изображение информационного кадра, а зарядовое изображение предыдущего информационного кадра построчно переносят из экранированных элементов мишени в направлении к «кольцевому» выходному регистру, загружая его зарядовыми пакетами каждой накопленной строки в телевизионном интервале обратного хода строчной развертки τ_о.х.с., а в последующем телевизионном интервале прямого хода строчной развертки выполняют перенос этих зарядовых пакетов вдоль регистра и считывание в БПЗН с частотой поэлементного переноса ƒ_э, при этом в процессе получения сигнала изображения управляют площадью считывающей апертуры видеосигнала пропорционально изменению площади светочувствительных элементов мишени фотоприемника, отличающийся тем, что частоту поэлементного переноса ƒ_э снижают в два раза, а «кольцевой» выходной регистр выполняют в виде двух смежных «кольцевых» регистров, действующих поочередно на двухканальный БПЗН, при этом каждый из этих «кольцевых» регистров содержит половину элементов от числа пикселов для каждой фотоприемной строки, а в интервале τ_о.х.с. загружают зарядовыми пакетами текущей информационной строки оба «кольцевых» регистра последовательно во времени и раздельно для нечетных и четных пикселов этой строки, причем для зарядовых пакетов, поступающих по второму входу БПЗН, выполняют, как и по первому входу, управление площадью считывающей апертуры видеосигнала, а число фазных электродов для отдельно взятого пиксела в обоих «кольцевых» регистрах должно быть четным, составляя показатель 2 или 4.