Телевизионная камера и её "кольцевой" фотоприёмник для компьютерной системы панорамного наблюдения Российский патент 2020 года по МПК H04N5/374 

Предлагаемое изобретение относится к телевизионной технике и ориентировано на использование в телевизионных камерах, выполненных на базе однокристального «кольцевого» телевизионного сенсора по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП). Такие камеры обеспечивают формирование цифрового видеосигнала «кольцевого» кадра и предназначены для телевизионно-компьютерного наблюдения панорамных сюжетов, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.

Наиболее близким по технической сущности к заявляемому изобретению следует считать телевизионную камеру и ее «кольцевой фотоприемник для компьютерной системы панорамного наблюдения [1], формирующую «кольцевой» растр изображения, состоящую из последовательно расположенных и оптически связанных панорамного объектива и фотоприемника, блока «кольцевой» развертки видеосигнала, блока формирования апертуры (БФА) и соединенных последовательно сигнального процессора и аналого-цифрового преобразователя (АЦП), выход которого является выходом «Видео» телевизионной камеры, причем ее «кольцевой» фотоприемник, изготовленный по технологии приборов с зарядовой связью (ПЗС), имеет форму кругового кольца и содержит на общем кристалле фотоприемную область (мишень), секцию памяти и «кольцевой регистр сдвига, заканчивающийся блоком преобразования «заряд - напряжение» (БПЗН) с организацией «плавающая диффузия», при этом линейки светочувствительных элементов (пикселов) мишени и линейки экранированных от света пикселов секции памяти расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру сдвига, причем число пикселов в каждой «кольцевой» строке мишени и в каждой «кольцевой» строке секции памяти равно числу пикселов в «кольцевом» регистре сдвига; всю площадь мишени фотоприемника занимают линейки светочувствительных элементов, которые непосредственно и последовательно связаны зарядовой связью с линейками пикселов секции памяти, а площадь светочувствительных пикселов от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора до максимальной величины, не превышающей площадь пиксела секции памяти, при реализации в выходном видеосигнале сенсора одинаковой площади считывающей апертуры, при этом информационный вход сигнального процессора подключен к выходу БПЗН «кольцевого» фотоприемника, первый выход блока «кольцевой» развертки - к управляющим входам фотоприемной области «кольцевого» фотоприемника, второй выход блока «кольцевой» развертки - к управляющим входам секции памяти «кольцевого» фотоприемника, третий выход блока «кольцевой» развертки - к управляющим входам «кольцевого» регистра сдвига «кольцевого» фотоприемника, четвертый выход блока «кольцевой» развертки - к управляющему входу БПЗН «кольцевого» фотоприемника, пятый выход блока «кольцевой» развертки - к входу синхронизации сигнального процессора, шестой выход блока «кольцевой» развертки - к тактовому входу АЦП; информационный вход БФА подключен к седьмому выходу блока «кольцевой» развертки, синхронизирующий вход БФА - к восьмому выходу блока «кольцевой» развертки, а выход БФА - к управляющему входу блока «кольцевой» развертки, при этом период управляющих импульсов T_r, формируемых на выходе БФА определяется соотношением:

где T_p - период считывания элемента в «кольцевом» фотоприемнике;

n_m - коэффициент, целое число, величина которого для текущей строки считывания в «кольцевом» фотоприемнике, равна отношению:

где и - соответственно площадь светочувствительного элемента для первой и текущей строк считывания в «кольцевом» фотоприемнике. Недостаток прототипа телевизионной камеры - ограниченная степень интеграции из-за применяемой технологии ПЗС для изготовления ее «кольцевого» сенсора, принципиально не позволяющей разместить на кристалле электронное «обрамление» фотоприемника.

Здесь под этим термином конкретно подразумевается блоковая совокупность, включающая в себя блок «кольцевой» развертки видеосигнала, сигнальный процессор, АЦП и БФА.

Задачей изобретения является повышение степени интеграции телевизионной камеры за счет выполнения «кольцевого» сенсора по технологии КМОП и с размещением на его кристалле электронного «обрамления» фотоприемника.

Поставленная задача в заявляемой телевизионной камере и ее «кольцевом» фотоприемнике для компьютерной системы панорамного наблюдения решается тем, что в камере прототипа [1], формирующей на выходе Видео» в «кольцевом» растре изображения цифровой видеосигнал и состоящей из последовательно расположенных и оптически связанных панорамного объектива и имеющего форму кругового кольца «кольцевого» фотоприемника (сенсора), содержащего на мишени линейки светочувствительных пикселов, расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов к каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, но при этом, в отличие от прототипа [1], сам сенсор телевизионной камеры выполнен на кристалле, изготовленном по технологии КМОП, путем реализации метода «координатная адресация», причем мишень сенсора

состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки, и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» фотоприемника, причем коэффициент усиления активного пиксела для каждой текущей «кольцевой» строки сенсора изменяется по соотношению:

где и - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения,

при этом выход «Видео» фотоприемника является выходом «Видео» телевизионной камеры.

Совокупность известных и новых признаков для заявляемой группы устройств (в количестве двух) не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.

Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени заявляемого фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.

Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.

Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления пиксела на величину его светочувствительной площади

Как следует из соотношения (3), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов заявляемого фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела сенсора, что является обязательным условием для реализации чувствительности фотоприемника и его отношения сигнал/шум.

Отметим, что в прототипе [1] этот принцип также соблюдается, но реализуется по другому методу, см. опубликованные выше соотношения (1) и (2).

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема заявляемой телевизионной камеры в составе компьютерной системы панорамного наблюдения; на фиг. 2

приведена схемотехническая организация заявляемого «кольцевого» фотоприемника; на фиг.3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.

Заявляемая телевизионная камера 1 (см. фиг. 1) содержит последовательно расположенные и оптически связанные панорамный объектив 1-1 и «кольцевой» фотоприемник 1-2, причем заявляемый «кольцевой» фотоприемник (см. фиг. 2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» мишень 1-2-1 сенсора, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4.

Как показано на фиг. 2, активные пикселы на мишени сенсора объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.

Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления K_m для каждой текущей «кольцевой» строки сенсора и АЦП 1-2-1-3. «Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.

Отметим, что показанная на фиг.3 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг.3 - латинской буквы L - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.

Управление АЦП 1-2-1-3 пиксела для каждой «кольцевой» строки фотоприемника осуществляется при помощи отдельной (своей) строчной шины 1-2-1-4, передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.

Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход сенсора.

То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 предлагаемого сенсора.

Отметим, что на фиг.2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.

Поясним дополнительно на фиг. 2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала заявляемого сенсора. Выход «Видео» «кольцевого» фотоприемника 1-2 является одновременно и выходом «Видео» телевизионной камеры 1.

Благодаря принятой для изготовления предлагаемого сенсора технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры, которые могут быть реализованы с существенным понижением их энергопотребления.

Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с.67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» сенсора с аналогичными возможностями не предлагалась.

Заявляемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать в телевизионных камерах полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.

Рассмотрим конкретный пример этого использования. Данная телевизионно-компьютерная система [4], см. фиг.1, содержит последовательно соединенные заявляемую телевизионную камеру 1 и сервер в позиции 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом на материнской плате сервера 2 установлена плата видео, выполняющая программным путем запись «кольцевого» видеосигнала в оперативную память сервера и преобразование «кольцевых» кадров в «прямоугольные» кадры, причем число «прямоугольных» кадров k, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

Где - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.

Заявляемые в настоящем решении устройства, а именно: телевизионная камера и ее «кольцевой» фотоприемник (см. фиг. 1-3), - работают следующим образом.

Как и в прототипе [1], предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 1 он не показан).

Панорамный объектив 1-1 телевизионной камеры предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами [2]. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места. Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива, см. фиг. 4, подтверждает целесообразность выбора формы фотоприемника 1-2 в пользу кругового кольца.

На выходе «Видео» фотоприемника 1-2, а, следовательно, и на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал (ЦТС)

Далее ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2 компьютерной системы, где выполняется запись видеоинформации в его оперативную память на кадр.

Предположим, что горизонтальный угол поля зрения предъявляемого оператору изображения должен составлять 60°. Тогда одна шестая часть каждой «кольцевой» строки из «кольцевого» кадра записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.

В сервере 2 программным путем осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера 2.

В результате цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в k «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности операторам персональных компьютеров 3 локальной вычислительной сети. В нашем примере эта последовательность содержит 6 различных изображений, а оператор каждого персонального ноутбука 3 может осуществить селекцию предлагаемого сервером 2 изображения и его вывод на экран дисплея.

Очевидно, что координатная адресация к каждому пикселу в КМОП-фотоприемнике вместо неизбежного для ПЗС-сенсора протаскивания заряда каждого элемента сначала по всему столбцу, а затем по всей строке, позволяет избежать специфичных искажений, связанных с неэффективностью переноса зарядовых пакетов в прототипе [1].

Это означает возможность реализации в КМОП-сенсорах более высокой частоты опроса, превышающей частоту считывания зарядовых пакетов в ПЗС-фотоприемниках, или при той же частоте опроса существенно увеличить число пикселов по строке и по кадру. В результате можно добиться выигрыша в разрешающей способности, как для нового сенсора, так и для телевизионной камеры, выполненной на его базе.

В настоящее время отдельные блоки и элементы, входящие в состав предлагаемой телевизионной камеры и ее «кольцевого фотоприемника, освоены отечественной промышленностью, а все остальные - потенциально могут быть ею освоены в ближайшее время.

Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.

Источники информации

1. Патент РФ №2625163. МПК H04N 7/00. Телевизионная камера и ее «кольцевой» фотоприемник для компьютерной системы панорамного наблюдения. / В.М. Смелков // Б.И. - 2017. - №20.

2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.

4. Патент РФ №2552101. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения и организация фотоприемника для его реализации. / В.М. Смелков // Б.И. - 2015. - №16.

Изобретение относится к телевизионной технике и ориентировано на использование в телевизионных камерах, выполненных на базе однокристального «кольцевого» телевизионного сенсора по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП). Такие камеры обеспечивают формирование цифрового видеосигнала «кольцевого» кадра и предназначены для телевизионно-компьютерного наблюдения панорамных сюжетов, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Техническим результатом является повышение степени интеграции телевизионной камеры. Результат обеспечивается за счет выполнения «кольцевого» сенсора по технологии КМОП и с размещением на его кристалле электронного «обрамления» фотоприемника. 1 з.п. ф-лы, 4 ил.

1. Телевизионная камера для компьютерной системы панорамного телевизионного наблюдения, формирующая на выходе «Видео» в «кольцевом» растре изображения цифровой видеосигнал, состоящая из последовательно расположенных и оптически связанных панорамного объектива и имеющего форму кругового кольца «кольцевого» фотоприемника (сенсора), содержащего на мишени линейки светочувствительных пикселов, расположенные вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, отличающаяся тем, что сам сенсор выполнен на кристалле, изготовленном по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), путем реализации метода «координатная адресация», причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления , а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки, и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» фотоприемника, причем коэффициент усиления активного пиксела для каждой текущей «кольцевой» строки сенсора изменяется по соотношению:

где Δ₁ и - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, при этом выход «Видео» фотоприемника является выходом «Видео» телевизионной камеры.

2. Телевизионная камера по п. 1, отличающаяся тем, что электроды зарядового накопления активных пикселов мишени сенсора, совпадающие по площади с их светочувствительной областью, выполнены с геометрической формой в виде части кругового кольца.