Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью Российский патент 2022 года по МПК H04N7/00 

Предполагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Телевизионная камера такой системы имеет два сенсора: «кольцевой» и «прямоугольный» (матричный) фотоприемники, -изготовленные по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП).

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), который заменяет БЭВИ при переводе компьютерной системы в режим последовательного обзора панорамного сюжета, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется тоже программным путем,

при этом телевизионная камера, формирующая «кольцевой» растр изображения, содержит последовательно расположенные панорамный объектив и светоделитель, воспринимающий на входе выходное оптическое изображение панорамного объектива и обеспечивающий формирование на первом выходе оптического изображения одного из фрагментов «кольцевого» кадра, проецируемого на мишень матричного фотоприемника, а на втором выходе - оптического изображения всего «кольцевого» кадра, проецируемого на мишень «кольцевого» фотоприемника, причем сам светоделитель содержит последовательно расположенные и оптически связанные полупрозрачное зеркало, коллективную линзу, отражающее зеркало и дополнительный объектив, причем вход светоделителя оптически связан с входом полупрозрачного зеркала, первый выход светоделителя - с выходом полупрозрачного зеркала, а второй выход светоделителя - с выходом дополнительного объектива; при этом «кольцевой» фотоприемник (сенсор) выполнен на кристалле, изготовленном по технологии КМОП, и содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, т.е. светочувствительная площадь активного пиксела для первой строки (Δ₁) является максимальной, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» «кольцевого» фотоприемника, при этом второй сенсор телевизионной камеры - матричный фотоприемник, установленный на блоке наведения, как и «кольцевой» сенсор, выполнен по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем число его «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, но в отличие от него, число пикселов в строке превышает показатель, равный числу пикселов в строке у «кольцевого» сенсора, деленному на m, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления K_m активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным по величине; причем блок наведения осуществляет плавное пространственное перемещение матричного фотоприемника в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой, которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения выполняется по команде оператора системы с компьютера; управление режимом «Видео» тоже выполняется по команде оператора, которая подается на управляющий вход коммутатора-смесителя, первый информационный вход которого подключен к выходу «Видео» «кольцевого» фотоприемника, второй информационный вход коммутатора-смесителя - к выходу «Видео» матричного фотоприемника, а третий информационный вход коммутатора-смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» «кольцевого» фотоприемника подключен к входу селектора синхроимпульсов, выход кадровых синхроимпульсов (КСИ) которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации коммутатора-смесителя, выход строчных синхроимпульсов (ССИ) селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход смеси синхроимпульсов приемника (ССП) селектора синхроимпульсов - к входу внешней синхронизации матричного сенсора, при этом коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре;

K₁ - коэффициент усиления активного пиксела для первой строки в «кольцевом» сенсоре;

D/ƒ - относительное отверстие второго объектива светоделителя;

τ₁ - коэффициент пропускания второго объектива светоделителя;

τ₂ - коэффициент пропускания коллективной линзы светоделителя, причем, если величина показателя Δ₁ в «кольцевом» сенсоре больше показателя Δ в матричном фотоприемнике, то для выравнивания чувствительностей «кольцевого» и матричного каналов должна быть увеличена в Δ₁/Δ раз величина номинального коэффициента K_m активного пиксела матричного сенсора, при этом в качестве сервера компьютерной системы используется системный блок одного из компьютерных пользователей.

В прототипе [1] обеспечивается возможность наблюдения панорамного сюжета полностью и отдельных его фрагментов с типовой и повышенной разрешающей способностью изображения, а также гарантируется повышенная степень интеграции телевизионной камеры за счет выполнения «кольцевого» и матричного сенсоров по технологии КМОП, позволяющей разместить на их кристаллах и необходимое электронное «обрамление фотоприемников.

Однако необходимо учитывать, что в прототипе [1] формат мишени «кольцевого» фотоприемника априори меньше оптического кадра панорамного объектива в соответствии с условием постановки задачи для разработчика телевизионной камеры данной системы. Отсюда вытекала и необходимость организации оптического светоделения в телевизионной камере путем введения в ее состав светоделителя.

Поэтому недостаток прототипа - ограничение возможности использования в составе телевизионной камеры компьютерной системы «кольцевых» фотоприемников, не отвечающих этому условию, т.е. когда размеры их «кольцевой» мишени совпадают с размерами оптического кадра панорамного объектива.

Задачей изобретения является расширение номенклатуры применяемой комплектации в составе телевизионной камеры системы путем использования в качестве кольцевых» фотоприемников таких сенсоров, которые имеют формат «кольцевой» мишени равный формату кадра панорамного объектива.

Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения с повышенной разрешающей способностью решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БЭВИ, который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также БПКП, который заменяет БЭВИ при переводе компьютерной системы в режим последовательного обзора панорамного сюжета, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), при этом телевизионная камера содержит в своем составе панорамный объектив, «кольцевой» фотоприемник, матричный фотоприемник, блок наведения матричного фотоприемника, коммутатор-смеситель, генератор электронной отметки и селектор синхроимпульсов; при этом «кольцевой» фотоприемник (сенсор) выполнен на кристалле, изготовленном по технологии КМОП, который содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, т.е. светочувствительная площадь активного пиксела для первой строки (Δ₁) является максимальной, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» «кольцевого» фотоприемника, а второй сенсор телевизионной камеры - матричный фотоприемник, установленный на блоке наведения, как и «кольцевой» сенсор, выполнен по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем число его «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, но в отличие от него, число пикселов в строке превышает показатель, равный числу пикселов в строке у «кольцевого» сенсора, деленному на m, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления K_m активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным, причем величина показателя Δ в матричном фотоприемнике меньше показателя Δ₁ в «кольцевом» сенсоре, размеры мишени которого совпадают с размерами оптического кадра панорамного объектива, при этом блок наведения осуществляет плавное пространственное перемещение матричного фотоприемника в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой, которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения выполняется по команде оператора системы с компьютера; управление режимом «Видео» тоже выполняется по команде оператора, которая подается на управляющий вход коммутатора-смесителя, первый информационный вход которого подключен к выходу «Видео» «кольцевого» фотоприемника, второй информационный вход коммутатора-смесителя - к выходу «Видео» матричного фотоприемника, а третий информационный вход коммутатора-смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» «кольцевого» фотоприемника подключен к входу селектора синхроимпульсов, выход КСИ которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации коммутатора-смесителя, выход ССИ селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход ССП селектора синхроимпульсов - к входу внешней синхронизации матричного сенсора, при этом в качестве сервера компьютерной системы используется системный блок одного из компьютерных пользователей, а по сравнению с прототипом [1], в состав телевизионной камеры введена электромеханическая турель с поворотом на два положения, управляемая по команде с компьютера оператора системы, при этом на турели на регулируемом по высоте фланце расположен «кольцевой» фотоприемник и с разнесением на 180° - блок наведения, на котором установлен на регулируемом по высоте фланце матричный фотоприемник, причем в первом положении турели оптическое изображение панорамного объектива проецируется на мишень «кольцевого фотоприемника, а во втором положении турели фрагмент оптического кадра панорамного объектива проецируется на мишень матричного фотоприемника, при этом коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:

а для выравнивания чувствительностей «кольцевого» и матричного каналов должна быть увеличена в Δ₁/Δ раз величина номинального коэффициента K_m активного пиксела матричного сенсора.

Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.

Важно отметить следующее. Светочувствительная площадь пикселов мишени «кольцевого» фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» сенсора, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.

Но в заявляемом решении телевизионной камеры компьютерной системы, в отличие от прототипа [1], в качестве «кольцевого» фотоприемника может быть применен сенсор, у которого площадь мишени совпадает с размерами площади оптического кадра панорамного объектива, а величина показателя Δ₁ «кольцевого» сенсора больше показателя Δ матричного датчика.

В данном решении обеспечено и необходимое выравнивание чувствительности обоих каналов («кольцевого» и прямоугольного) телевизионного наблюдения, использующих такие сенсоры.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже - структурная схема телевизионной камеры в ее составе; на фиг. 2 приведена схемотехническая организация «кольцевого» фотоприемника; на фиг. 3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 представлено размещение «кольцевого» и матричного фотоприемников на поворотной турели, штриховкой на этом чертеже показаны котировочные фланцы, которые раздельно регулируются по высоте, обеспечивая точную настройку заднего отрезка объектива (заднего фокуса) для каждого из фотоприемников; на фиг. 5 - иллюстрация возможных положений мишени матричного фотоприемника на платформе блока наведения; на фиг. 6 - иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра в прямоугольный растр компьютерного монитора; на фиг. 7 - пример выполнения электрической схемы блока наведения; на фиг. 8, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.

Заявляемая компьютерная система панорамного телевизионного наблюдения (см. фиг. 1) содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), который является узлом локальной вычислительной сети, с возможностью подключения к ней двух или более персональных компьютеров в позиции 3.

В качестве сервера, как и в прототипе [1], использован системный блок компьютера 4 оператора системы.

Телевизионная камера 1, см. фиг. 1, содержит панорамный объектив 1-1, «кольцевой» фотоприемник 1-2, электромеханическую турель 1-3, на которой расположены «кольцевой» фотоприемник 1-2 и матричный фотоприемник 1-4, установленный на блок наведения 1-5, также в состав телекамеры 1 входит коммутатор-смеситель 1-6, генератор 1-7 электронной отметки и селектор синхроимпульсов 1-8. Выход коммутатора-смесителя 1-6 является выходом «Видео» телевизионной камеры.

По линии связи одна команда управления телевизионной камерой с компьютера 4 оператора системы поступает на управляющий вход коммутатора-смесителя 1-6, вторая команда - на турель 1-3, а третья команда - на блок наведения 1-5. Первый информационный вход блока 1-6 подключен к выходу «Видео» «кольцевого» фотоприемника 1-2, его второй информационный вход - к выходу «Видео» матричного фотоприемника 1-4, а его третий информационный вход - к выходу генератора электронной отметки 1-7. На управляющий вход генератора 1-7 электронной отметки подается сигнал с датчика положения блока наведения 1-5. Выход «Видео» «кольцевого» фотоприемника 1-2 подключен также к входу селектора 1-8 синхроимпульсов, выход КСИ которого подключен к первому входу генератора 1-7 и соответственно к входу синхронизации коммутатора-смесителя 1-6, выход ССИ - ко второму входу генератора 1-7, а выход ССП - к входу внешней синхронизации матричного фотоприемника 1-4.

Как и в прототипе [1], плата видео выполняет программным путем следующие операции:

запись «кольцевого» видеосигнала в оперативную память сервера в автоматическом режиме;

электрическое вписывание изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора в режиме 1 работы системы (наблюдения панорамного сюжета полностью);

мониторинг фрагментов «кольцевого» кадра в режиме 2 работы системы с повышенной разрешающей способностью изображения выбранных участков при помощи матричного фотоприемника.

Важно отметить, что в режиме 2 принципиально исключаются пропуски видеоинформации на последовательных стыках (между соседними «прямоугольными» кадрами), см. фиг. 5, т.к. эти участки могут быть просмотрены дополнительно.

Как и в прототипе [1], в компьютерной программе применительно к операции по реализации электрического вписывания «кольцевого» кадра в «прямоугольный» растр монитора обеспечено соблюдение последовательности передачи телевизионных строк.

При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг. 6.

Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для «кольцевого» фотоприемника 1-2.

Пусть, как показано на фиг. 2, пиксел «А» считывается первым в первой «кольцевой» строке сенсора, а пиксел «В» - точно посередине этой строки.

Тогда в «прямоугольном» растре компьютерного монитора (см. фиг. 4) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» - положение центрального элемента его последней строки.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами [2].

Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Как и в прототипе [1], «кольцевой» фотоприемник 1-2 (см. фиг. 2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фотоприемную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4.

Как показано на фиг. 2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.

Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления K_m для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.

«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.

Отметим, что показанная на фиг. 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.

Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.

Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.

То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из двух фотоприемников сенсорного блока 1-2.

Отметим, что на фиг. 2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. На самом деле число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.

Поясним дополнительно на фиг. 2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.

Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.

Как и в прототипе [1], матричный фотоприемник 1-4 выполнен также по технологии КМОП и сохраняет все признаки прибора, реализованного по методу «координатная адресация» американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и подробно комментировалось в отечественной монографии [3, с.67, рис Л .21].

В той же работе [3, с.65] отмечалось, что применение активного усилителя в пикселе позволяет осуществить в таком сенсоре режим зарядового, т.е. докоммутационного усиления видеосигнала, добиваясь величины эквивалентного преобразования «свет - сигнал» до 250 мкВ/е.

Именно этот результат явился решающей предпосылкой заявляемого решения, т.к. его можно распространить и на «кольцевой» сенсор, работающий совместно (параллельно) с матричным фотоприемником.

Очевидно, что по технологии КМОП на кристалле матричного фотоприемника 1-4 также успешно реализуется задача по формированию цифрового видеосигнала «прямоугольного» растра с пониженным энергопотреблением.

К этому необходимо добавить, что «кольцевой» фотоприемник 1-3 и матричный фотоприемник 1-4 могут формировать телевизионный сигнал как монохромного (черно-белого), так и цветного изображения.

Устройство «кольцевого» фотоприемника цветного изображения было предложено в патенте РФ [4]. Отметим, что обязательный в этом решении инфракрасный светофильтр (ИК-фильтр), обеспечивающий согласование фотоприемника со спектральной чувствительностью человеческого глаза, может быть выполнен в составе панорамного объектива или интегрирован непосредственно в «кольцевой» сенсор.

Как и в прототипе [1], в заявляемом решении блок наведения 1-5 осуществляет плавное круговое пространственное перемещение мишени матричного фотоприемника 1-4 по проекции «кольцевого» изображения панорамной сцены, но здесь, - когда турель 1-3 занимает новое положение.

Электрическая схема блока 1-5 может быть реализована на базе технического решения, которое было использовано в описании к патенту РФ для прототипа [1].

Рассмотрим работу блока 1-5 (см. фиг. 7), электрическая схема которого выполнена на двух оптронах HSSR, обозначенных как VT1 и VT2.

Изделие HSSR-7111 согласно публикации [5] - однополюсный нормально разомкнутый оптрон с выходным каскадом на мощных МОП-транзисторах, имеет очень малое сопротивление во включенном состоянии и работает в точности как полупроводниковое реле.

Управление наведением осуществляется командами в соответствии с табл. 1, а подаваемые в телевизионную камеру с компьютера по двухпроводной линии связи сигналы управления блоком 1-5 наведения являются постоянными напряжениями положительной или отрицательной полярности величиной (5…12) Вольт, отсчитываемыми относительно провода «общий».

При отсутствии команд управления эти напряжений тоже отсутствуют. Поэтому оптроны VT1 и.VT2 разомкнуты, а электродвигатель М обесточен.

Пусть по линии связи на блок 1-5 наведения поступает команда «Управление поворотом» - «Вперед». Тогда оптрон VT2 замыкается, а электродвигатель М подключается к источнику переменного напряжения ~U и начинает вращаться. Если же взамен этой команды поступит команда «Управление поворотом» - «Назад», то замкнется оптрон VT1, а электродвигатель М будет вращаться в другом направлении.

Концевые выключатели SF1 и SF2 обеспечивают границы позиционирования в пределах одного кругового оборота матричного фотоприемника 1-4. Датчик положения выполнен на базе переменного резистора RP_n, имеющего линейную зависимость изменения сопротивления от угла поворота, а постоянный резистор служит для реализации настроечной работы по точному позиционированию. Движок резистора RP_n кинематически (через редуктор) связан с двигателем М.

Отметим, что сигнал датчика положения (напряжение U_n с потенциометра RP_n), поступает на управляющий вход генератора 1-7 электронной отметки, обеспечивая перемещение маркера на «кольцевом» изображении в соответствии с командами, поступающими с блока 1-5.

Управление поворотом турели 1-3 можно выполнить по этой же схеме (см. фиг. 7), при этом концевые выключатели SF1 и SF2 будут обеспечивать точное позиционирование каждого из двух фотоприемников относительно оптического кадра панорамного объектива 1-1. Команды управления турелью 1-3 в этом случае совершенно аналогичны тем, которые приведены в табл. 1.

Заявляемое устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью (см. фиг. 1) работает следующим образом. Как и в прототипе [1], предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 1 он не показан).

Характеристика сигналов управления телевизионной камерой 1 с компьютера 4, сопутствующих команде «Выбор режима видео», представлена в табл. 2. Они являются типовыми логическими сигналами в уровнях ТТЛ.

При включении компьютерная система начинает действовать по умолчанию в режиме 1. Тогда на мишень «кольцевого» фотоприемника 1-2 проецируется «кольцевое» оптическое изображение контролируемого панорамного сюжета.

По выходу «Видео» сформированный цифровой телевизионный сигнал (ЦТС) по интерфейсу (например, USB 2,0) передается на сервер 2, где выполняется запись видеоинформации в блок оперативной памяти на кадр.

В этом режиме оператор компьютера 4 наблюдает полное изображение панорамной сцены, формируемое «кольцевым» фотоприемником 1-2 и электронную отметку на нем, например «крест», который показывает текущее местоположение геометрического центра мишени матричного фотоприемника 1-4.

Будем считать, что наша электронная отметка («крест») априори располагается точно в середине «кольцевого» изображения по его ширине.

Затем оператор компьютера 4 выполнит переключение системы в режим 2 работы, а на турель 1-3 последует его команда поворота на 180°.

В результате в оптическом кадре панорамного объектива будет осуществлена замена фотоприемника 1-2 на фотоприемник 1-4, а оператору будет предложено телевизионное изображение фрагмента панорамной сцены, которое формируется в данный момент матричным сенсором 1-4 при его текущем местоположении.

Для того, чтобы коммутация режимов работы системы происходила без внесения искажений в наблюдаемые изображения, фотоприемники телевизионной камеры работают в режиме Genlock, который обеспечивается путем подачи на вход внешней синхронизации матричного сенсора 1-4 сигнала синхронизации приемника (ССП) от «кольцевого» сенсора 1-2.

Дополнительно к этому в коммутаторе-смесителе 1-6 обеспечивается «привязка» временного процесса переключения команд к интервалу кадрового синхроимпульса (КСИ), вырабатываемого на выходе селектора 1-8 синхроимпульсов.

Если число светочувствительных пикселов в строке матричного фотоприемника 1-4 равно числу пикселов для «кольцевой» строки сенсора 1-2, получаемый выигрыш в разрешающей способности (четкости) этого фрагмента панорамного изображения, составит m раз.

Благодаря выравниванию в телевизионной камере чувствительностей «кольцевого» и матричного фотоприемников, этот выигрыш достигается без потерь отношения сигнал/шум наблюдаемого изображения.

После завершения записи этого изображения в дополнительный блок памяти сервера 2 оно также становится доступным для всех пользователей компьютеров 3.

К этому следует добавить, что в заявляемом решении, как и в прототипе [1], сохраняется режим последовательного обзора панорамного сюжета с типовой (пониженной) разрешающей способностью, который заложен в плате видео сервера 2. компьютерной системы.

Целесообразность сохранения этого режима обзора определяется возможностью доступа к видеоинформации в реальном масштабе времени.

Важно отметить, что в заявляемом решении может быть реализовано точное позиционирование мишени матричного фотоприемника 1-4 в пределах всей площади панорамного изображения, формируемого «кольцевым» фотоприемником, но без использования светоделителя, применение которого неизбежно сопровождается световыми потерями при организации процесса оптического деления.

В настоящее время все элементы структурной схемы устройства компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2755809. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью. / В.М. Смелков // Б.И. - 2021. - №27.

2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.

4. Патент РФ №2710779. МПК H04N 5/374. Устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения. / В.М. Смелков // Б.И. - 2019 - №2.

5. www.avagotech.com.

Изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Телевизионная камера такой системы имеет два сенсора: «кольцевой» и «прямоугольный» (матричный) фотоприемники, изготовленные по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП). Техническим результатом является обеспечение использования в качестве «кольцевых» фотоприемников таких сенсоров, которые имеют формат «кольцевой» мишени, равный формату кадра панорамного объектива. Результат достигается тем, что в состав телевизионной камеры введена электромеханическая турель с поворотом на два положения, управляемая по команде с компьютера оператора системы, при этом на турели на регулируемом по высоте фланце расположен «кольцевой» фотоприемник и с разнесением на 180° - блок наведения, на котором установлен на регулируемом по высоте фланце матричный фотоприемник, при этом коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре; K₁ - коэффициент усиления активного пиксела для первой строки в «кольцевом» сенсоре, а для выравнивания чувствительностей «кольцевого» и матричного каналов должна быть увеличена в Δ₁/Δ раз величина номинального коэффициента K_m активного пиксела матричного сенсора. 2 з.п. ф-лы, 8 ил., 2 табл.

1. Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью, содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок электронного вписывания изображения (БЭВИ), который осуществляет программным путем вложение (вставку) «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), который заменяет БЭВИ при переводе компьютерной системы в режим последовательного обзора панорамного сюжета, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется тоже программным путем,

при этом телевизионная камера содержит в своем составе панорамный объектив, «кольцевой» фотоприемник, матричный фотоприемник, блок наведения матричного фотоприемника, коммутатор-смеситель, генератор электронной отметки и селектор синхроимпульсов; при этом «кольцевой» фотоприемник (сенсор) выполнен на кристалле, изготовленном по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), который содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, т.е. светочувствительная площадь активного пиксела для первой строки (Δ₁) является максимальной, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» «кольцевого» фотоприемника, а второй сенсор телевизионной камеры - матричный фотоприемник, установленный на блоке наведения, как и «кольцевой» сенсор, выполнен по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем число его «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, но в отличие от него, число пикселов в строке превышает показатель, равный числу пикселов в строке у «кольцевого» сенсора, деленному на m, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления K_m активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным, причем величина показателя Δ в матричном фотоприемнике меньше показателя Δ₁ в «кольцевом» сенсоре, размеры мишени которого совпадают с размерами оптического кадра панорамного объектива, при этом блок наведения осуществляет плавное пространственное перемещение матричного фотоприемника в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой, которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения выполняется по команде оператора системы с компьютера; управление режимом «Видео» тоже выполняется по команде оператора, которая подается на управляющий вход коммутатора-смесителя, первый информационный вход которого подключен к выходу «Видео» «кольцевого» фотоприемника, второй информационный вход коммутатора-смесителя - к выходу «Видео» матричного фотоприемника, а третий информационный вход коммутатора-смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» «кольцевого» фотоприемника подключен к входу селектора синхроимпульсов, выход КСИ которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации коммутатора-смесителя, выход ССИ селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход ССП селектора синхроимпульсов - к входу внешней синхронизации матричного сенсора, при этом в качестве сервера компьютерной системы используется системный блок одного из компьютерных пользователей, отличающееся тем, что в состав телевизионной камеры введена электромеханическая турель с поворотом на два положения, управляемая по команде с компьютера оператора системы, при этом на турели на регулируемом по высоте фланце расположен «кольцевой» фотоприемник и с разнесением на 180° - блок наведения, на котором установлен на регулируемом по высоте фланце матричный фотоприемник, причем в первом положении турели оптическое изображение панорамного объектива проецируется на мишень «кольцевого» фотоприемника, а во втором положении турели фрагмент оптического кадра панорамного объектива проецируется на мишень матричного фотоприемника, при этом коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре;

K₁ - коэффициент усиления активного пиксела для первой строки в «кольцевом» сенсоре,

а для выравнивания чувствительностей «кольцевого» и матричного каналов должна быть увеличена в Δ₁/Δ раз величина номинального коэффициента K_m активного пиксела матричного сенсора.

2. Устройство компьютерной системы панорамного телевизионного наблюдения по п. 1, отличающееся тем, что «кольцевой» и матричный фотоприемники телевизионной камеры являются датчиками монохромного или цветного телевизионного сигнала.

3. Устройство компьютерной системы панорамного телевизионного наблюдения по пп. 1 и 2, отличающееся тем, что в «кольцевом» фотоприемнике телевизионной камеры электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, выполнены с геометрической формой в виде части кругового кольца.