Датчик видеосигнала основных цветов для панорамного телевизионно-компьютерного наблюдения цветного изображения Российский патент 2019 года по МПК H04N5/374 G06T3/20 

Предлагаемое изобретение относится к панорамному телевизионно-компьютерному наблюдению цветного изображения, которое выполняется телевизионной камерой в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места, при помощи трех датчиков видеосигнала основных цветов (R, G, В), изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП).

Наиболее близким по технической сущности к заявляемому изобретению следует считать датчик видеосигнала основных цветов [1], оптический вход которого расположен в одном из трех выходов оптической светоделительной призмы, установленной между панорамным объективом и тремя этими датчиками, каждый из которых содержит «кольцевой» фотоприемник, на мишень которого проецируется панорамное оптическое изображение в одном из трех основных цветов, т.е. или в красном - R, или в зеленом - G, или в синем - В, а также блок «кольцевой» развертки, сигнальный процессор, выход которого является выходом видеосигнала датчика, и блок формирования апертуры (БФА), при этом «кольцевой» фотоприемник, выполненный по технологии приборов с зарядовой связью (ПЗС), имеет кристалл виде кругового кольца из кремния и состоит из последовательно связанных зарядовой связью фотоприемной области (мишени), «кольцевого» регистра сдвига и преобразователя «заряд - напряжение» (БПЗН) с организацией «плавающая диффузия», причем на мишени линейки светочувствительных элементов, чередующиеся с линейками экранированных от света элементов, расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру сдвига, число элементов которого равно числу элементов в каждой «кольцевой» строке мишени, причем информационный вход сигнального процессора подключен к выходу БПЗН «кольцевого» фотоприемника, первый выход блока «кольцевой» развертки - к управляющим входам фотоприемной области «кольцевого» фотоприемника, второй выход блока «кольцевой» развертки - к управляющим входам «кольцевого» регистра сдвига «кольцевого» фотоприемника, третий выход блока «кольцевой» развертки - к управляющему входу БПЗН «кольцевого» фотоприемника, четвертый выход блока «кольцевой» развертки - к входу синхронизации сигнального процессора, при этом информационный вход БФА подключен к пятому выходу блока «кольцевой» развертки, синхронизирующий вход БФА - к шестому выходу блока «кольцевой» развертки, а выход БФА - к управляющему входу блока «кольцевой» развертки, при этом площадь светочувствительных элементов и равная ей площадь экранированных элементов мишени различны от строки к строке, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента «кольцевого» регистра сдвига, причем период управляющих импульсов T_r, формируемых на выходе БФА определяется соотношением:

где Т_р - период считывания элемента в «кольцевом» фотоприемнике;

- коэффициент, целое число, величина которого для текущей строки считывания в «кольцевом» фотоприемнике, равна отношению:

где Δ₁ и - соответственно площадь светочувствительного элемента для первой и текущей строк считывания в «кольцевом» фотоприемнике, обеспечивая, реализацию в выходном видеосигнале сенсора одинаковой площади считывающей апертуры.

Недостаток прототипа - ограниченная степень интеграции датчика видеосигнала основных цветов из-за применяемой технологии ПЗС для изготовления, принципиально не позволяющей разместить на его кристалле электронное «обрамление» фотоприемника.

Здесь под этим термином конкретно подразумевается блоковая совокупность, включающая в себя блок «кольцевой» развертки, сигнальный процессор и БФА.

Задачей изобретения является повышение степени интеграции датчика видеосигнала основных цветов за счет выполнения его по технологии КМОП и с размещением на его кристалле электронного «обрамления» фотоприемника.

Поставленная задача в заявляемом датчике видеосигнала основных цветов решается тем, что в устройство его прототипа [1], содержащее «кольцевой» фотоприемник, на мишень которого проецируется панорамное оптическое изображение в одном из трех основных цветов (или в красном -R, или в зеленом - G, или в синем - В), причем «кольцевой» фотоприемник имеет форму кругового кольца и содержит на кристалле «кольцевую» мишень, выполненную в виде линеек светочувствительных пикселов, расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии фотоприемника, но при этом, в отличие от прототипа [1], сам фотоприемник выполнен на кристалле, изготовленном по технологии КМОП, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки, и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» фотоприемника, причем коэффициент усиления активного пиксела для каждой текущей «кольцевой» строки сенсора изменяется по соотношению:

где Δ₁ и - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения.

Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени заявляемого фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.

Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.

Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра здесь определяется произведением коэффициента усиления пиксела на величину его светочувствительной площади

.Как следует из соотношения (3), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов заявляемого фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела сенсора, что является обязательным условием для реализации чувствительности фотоприемника и его отношения сигнал/шум.

Отметим, что в прототипе [1] этот принцип также соблюдается, но реализуется по другому методу, см. опубликованные выше соотношения (1) и (2).

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена схемотехническая организация заявляемого датчика видеосигнала основных цветов для панорамного телевизионно-компьютерного наблюдения цветного изображения; на фиг. 2 показан фрагмент этой организации, иллюстрирующий подробности конструкции его «кольцевой» мишени; на фиг. 3, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.

Предлагаемый «кольцевой» фотоприемник 1 (см. фиг. 1) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» мишень 1-1 сенсора, «кольцевой» регистр 1-2 кадровой развертки, «кольцевой» коммутатор 1-3 видеосигналов и «кольцевой» мультиплексор 1-4 строчной развертки.

Как показано на фиг. 1..2 активные пикселы на мишени сенсора объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.

Каждый активный пиксел мишени (см. фиг. 2) имеет в своем составе светочувствительную область (площадь) 1-1-1, усилитель 1-1-2 с коэффициентом усиления для каждой текущей «кольцевой» строки сенсора и встроенный АЦП 1-1-3.

«Кольцевой» коммутатор 1-3 видеосигналов состоит из отдельных коммутаторов 1-3-1 видеосигнала, число которых соответствует числу активных пикселов на мишени, объединенных «кольцевой» шиной видео 1-3-2.

Отметим, что показанная на фиг. 1 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 2 - латинской буквы L -являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.

Управление АЦП 1-1-3 пиксела для каждой «кольцевой» строки мишени фотоприемника осуществляется при помощи отдельной (своей) строчной шины 1-1-4, передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2 кадровой развертки.

Видеосигнал с выхода каждого АЦП 1-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-3-1, управляемого с одного из выходов мультиплексора 1-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-3-2. Здесь осуществляется выход готового цифрового видеосигнала «кольцевого» фотоприемника для одного из основных цветов передаваемой сцены.

Отметим, что на фиг. 1 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-1-4 фотоприемника со стороны «кольцевого» регистра 1-2 кадровой развертки. То, что здесь, как и на фиг. 2 изображены лишь четыре строчные шины является условностью чертежа.

В действительности, число шин 1-1-4 соответствует показателю числа «кольцевых» строк в заявляемом сенсоре.

Поясним дополнительно на фиг. 1 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-1-5 в направлении к «кольцевому» коммутатору 1-3 видеосигналов.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.

Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры.

Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями не предлагалась.

Наличие пассивной (неинформативной) области в центре оптического кадра панорамного изображения, см. фиг. 3, подтверждает целесообразность выбора формы фотоприемника 1, как и в прототипе, в пользу кругового кольца.

Заявляемый датчик видеосигнала основных цветов для панорамного телевизионно-компьютерного наблюдения цветного изображения (см. фиг. 1..2) работает следующим образом.

Пусть в составе телевизионной камеры (здесь не показано) три таких датчика видеосигнала, воспринимающих в качестве входного оптического изображения соответственно изображение R - красного цвета, G - зеленого цвета и В - синего цвета, располагаются на выходах оптической светоделительной призмы, которая установлена за панорамным объективом и связана с ним оптически. Отметим, что конструкция светоделительной призмы совершенно аналогична той, которая используется в трехматричных цветных камерах вещательного телевидения, см. например, [4, с. 154].

Каждый из трех датчиков видеосигнала R, G и В реализует «кольцевую» развертку зарядового изображения на фотоприемной области 1-1 по методу «координатная адресация» и формирование на выходе напряжения видеосигнала соответствующей цветовой компоненты в цифровой форме.

Благодаря реализации априори зависимости коэффициента усиления активного пиксела для каждой текущей «кольцевой» строки сенсора с его светочувствительной площадью по соотношению (3), обеспечивается одинаковая величина площади считывающей апертуры сенсора.

Следовательно, для каждого из трех датчиков видеосигнала основных цветов будет достигаться выравнивание параметра разрешающей способности непосредственно в фотоприемнике.

Далее, используя видеосигналы R, G и В от этих трех датчиков, через интерфейс телевизионной камеры формируют цифровой композитный видеосигнал цветного изображения телевизионной камеры.

Как известно, см. например [4, с. 155], для его получения нужно иметь сигнал яркости (Y), сигнал цветовой разности красного (R-Y) и сигнал цветовой разности синего (В-Y). Все необходимое для этого уже есть в цифровой форме составляющих сигналов.

Сигнал яркости определяется выражением:

Сигнал цветовой разности красного:

Сигнал цветовой разности синего:

Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в выходной видеосигнал телевизионной камеры..

Далее, как и в устройстве компьютерной системы прототипа [1], цифровой композитный видеосигнал цветного изображения передается с телевизионной камеры на сервер, где выполняется запись видеоинформации в его оперативную память на кадр.

В сервере компьютерной системы, реализуется преобразование «кольцевого» кадра цветного изображения в соответствующие «прямоугольные» кадры путем считывания видеосигнала из оперативной памяти, причем число «прямоугольных» кадров т, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения.

Пусть при проектировании телевизионно-компьютерной системы разработчиком заложено, что текущий угол поля зрения (γ_г) предъявляемого оператору панорамного изображения составляет 60° по горизонтали.

Тогда по соотношению (7) «кольцевой» кадр должен соответствовать шести «прямоугольным» кадрам (m=б). Это означает, что имеем 6 условных областей в пространстве «кольцевого» кадра.

Следовательно, каждый «кольцевой» кадр записи изображения конвертируется в 6 «прямоугольных» кадров, которые могут быть предложены в виде текущей последовательности операторам этой компьютерной системы панорамного телевизионного наблюдения.

Это означает, что в реальном масштабе времени может быть реализован контроль шести изображений с одинаковой по полю (повышенной) четкостью наблюдаемой «картины», как у прототипа [1].

Но при этом в заявляемом решении выполняется поставленная задача -повышение степени интеграции датчика видеосигнала основных цветов. Следует отметить, что реализация этой задачи сопровождается и мультипликативным эффектом в части упрощения структурной схемы самого датчика по сравнению с прототипом [1], а, следовательно, и трех сразу в составе телевизионной камеры цветного изображения.

В настоящее время все элементы структурной схемы датчика видеосигнала основных цветов для панорамного телевизионно-компьютерного наблюдения цветного изображения освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2611426. МПК H04N 5/335. Датчик видеосигнала основных цветов для панорамного телевизионного наблюдения цветного изображения. / В.М. Смелков // Б.И. - 2017. - №6.

2. Патент РФ №2185645. МПК G02B13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.

4. Владо Дамьяновски. СТУ. Библия видеонаблюдения, Цифровые и сетевые технологии. / Перевод с англ. М.: ООО «Ай-Эс-Эс Пресс», 2006.

Изобретение относится к панорамному телевизионно-компьютерному наблюдению цветного изображения. Технический результат заключается в повышении степени интеграции датчика видеосигнала основных цветов. Датчик видеосигнала основных цветов для панорамного телевизионно-компьютерного наблюдения содержит «кольцевой» фотоприемник, выполненный на кристалле, изготовленном по технологии КМОП, на мишень которого проецируется панорамное оптическое изображение в одном из трех основных цветов (R, G, В), причем «кольцевой» фотоприемник имеет форму кругового кольца и содержит на кристалле «кольцевую» мишень, выполненную в виде линеек светочувствительных пикселов, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m. Датчик видеосигнала также содержит встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, «кольцевой» коммутатор видеосигналов, «кольцевой» мультиплексор строчной развертки. 1 з.п. ф-лы, 3 ил.

1. Датчик видеосигнала основных цветов для панорамного телевизионно-компьютерного наблюдения, содержащий «кольцевой» фотоприемник, на мишень которого проецируется панорамное оптическое изображение в одном из трех основных цветов (или в красном - R, или в зеленом - G, или в синем - В), причем «кольцевой» фотоприемник имеет форму кругового кольца и содержит на кристалле «кольцевую» мишень, выполненную в виде линеек светочувствительных пикселов, расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии фотоприемника, отличающийся тем, что сам фотоприемник выполнен на кристалле, изготовленном по технологии КМОП, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки, и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки сенсора изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения.

2. Датчик видеосигнала основных цветов по п. 1, отличающийся тем, что электроды зарядового накопления активных пикселов мишени выполнены с геометрической формой в виде части кругового кольца.