Устройство компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием изображения Российский патент 2021 года по МПК H04N7/00 

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей круговой обзор в сферической области пространства, занимающей два противоположно расположенных шаровых слоя. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.

Телевизионная камера такой системы имеет два сенсора: «кольцевой» и «прямоугольный» (матричный), каждый из которых содержит в своем составе по два фотоприемника, изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП). А на экране компьютерного монитора воспроизводится комбинированное изображение, которое по отношению к первоначально предъявляемому изображению состоит из априори выбранного участка с необходимым увеличением (масштабированием) и остальной его части с неизменным масштабом.

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая первый и второй блоки преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), а также блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, при этом плата видео выполняет демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память, причем в режиме «Последовательный обзор панорамного сюжета» осуществляется преобразование первого и второго «кольцевых» кадров в «прямоугольные» кадры при помощи первого и второго БПКП, входы которых подключены соответственно к выходам первого и второго блоков оперативной памяти сервера, а выходы - к выходу «сеть» сервера, причем число «прямоугольных» кадров n, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем,

причем в сервере при переводе компьютерной системы в режим «Наблюдение панорамного сюжета полностью» выполняется переключение выходов первого и второго блоков оперативной памяти на кадр соответственно на первый и второй входы БЭВИ, а его выхода - на выход «сеть» сервера, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, сенсорный блок, содержащий первый и второй фотоприемники, причем первый панорамный объектив оптически связан с первым фотоприемником, а второй панорамный объектив - со вторым фотоприемником, а также мультиплексор, причем первый и второй фотоприемники сенсорного блока выполнены в виде кругового кольца на кристалле, изготовленном по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), а каждый из фотоприемников содержит линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число элементов в каждой «кольцевой» строке мишени фотоприемников одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии, при этом мишень каждого из фотоприемников состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный аналого-цифровой преобразователь (АЦП)), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:

где Δ_l и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем выход «видео» первого фотоприемника сенсорного блока подключен к первому информационному входу мультиплексора, а выход «видео» второго фотоприемника сенсорного блока - ко второму информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры.

Предполагается, что в сенсорном блоке телевизионной камеры на синхронизирующий вход мультиплексора подан необходимый сигнал управления в виде кадровых синхроимпульсов (КСИ).

В прототипе [1] обеспечивается круговой обзор в сферической области пространства, занимающей два противоположно расположенных шаровых слоя, с возможностью наблюдения панорамного сюжета полностью (в режиме 1) и отдельных его фрагментов (в режиме 2). При этом гарантируется повышенная степень интеграции телевизионной камеры за счет выполнения «кольцевых» фотоприемников сенсорного блока по технологии КМОП, позволяющей разместить на кристалле каждого из них и необходимое электронное «обрамление.

Недостаток прототипа - отсутствие возможности визуального контроля выбираемых участков панорамного изображения в увеличенном масштабе одновременно с наблюдением панорамного сцены полностью по методу селективного масштабирования.

Задачей изобретения является предоставление возможности селективного масштабирования изображения для одновременно наблюдаемой полностью панорамной сцены.

Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения с селективным масштабированием изображения решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БЭВИ, который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем плата видео выполняет демультиплексирование входного мультиплексного «кольцевого» сигнала изображения «Видео 1» на два канала с последующей записью каждого из «кольцевых» видеосигналов соответственно в первый и второй блоки оперативной памяти на кадр, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу одного из блоков оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, первый мультиплексор, первый сенсорный блок, содержащий первый и второй фотоприемники, причем первый и второй фотоприемники первого сенсорного блока выполнены в виде кругового кольца на кристалле, изготовленном по технологии КМОП, а каждый из фотоприемников содержит линейки светочувствительных пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число элементов в каждой «кольцевой» строке мишени фотоприемников одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии, при этом мишень каждого из фотоприемников состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению: (2), обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, при этом по сравнению с прототипом [1] в состав телевизионной камеры дополнительно введены второй сенсорный блок, содержащий первый и второй матричные фотоприемники, который установлен на блоке наведения, первый светоделитель, расположенный на выходе первого панорамного объектива, второй светоделитель, расположенный на выходе второго панорамного объектива, селектор синхроимпульсов, генератор электронной отметки «крест», смеситель, выход которого является выходом «Видео 1» телевизионной камеры, и второй мультиплексор, выход которого является выходом «Видео 2» телевизионной камеры, при этом первый и второй матричные фотоприемники второго сенсорного блока, как и «кольцевые» фотоприемники первого сенсорного блока, выполнены по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем для каждого из них число «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления K_m активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным по величине; при этом первый светоделитель, воспринимающий на входе выходное оптическое изображение первого панорамного объектива, обеспечивает формирование на первом выходе оптического изображения всего «кольцевого» кадра, проецируемого на мишень первого «кольцевого» фотоприемника первого сенсорного блока, а на втором выходе - оптического изображения одного из фрагментов этого «кольцевого» кадра, проецируемого на мишень первого матричного фотоприемника второго сенсорного блока; второй светоделитель, воспринимающий на входе выходное оптическое изображение второго панорамного объектива, обеспечивает формирование на первом выходе оптического изображения всего «кольцевого» кадра, проецируемого на мишень второго «кольцевого» фотоприемника первого сенсорного блока, а на втором выходе - оптического изображения одного из фрагментов этого «кольцевого» кадра, проецируемого на мишень второго матричного фотоприемника второго сенсорного блока; блок наведения осуществляет плавное пространственное перемещение второго сенсорного блока в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой «крест», которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения телевизионной камеры выполняется по команде оператора системы с компьютера, системный блок которого является сервером заявляемой телевизионной системы; первый информационный вход смесителя подключен к выходу первого мультиплексора, а второй информационный вход смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» первого «кольцевого» фотоприемника первого сенсорного блока подключен к входу селектора синхроимпульсов, выход кадровых синхроимпульсов (КСИ) которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации первого и второго мультиплексоров, выход строчных синхроимпульсов (ССИ) селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход смеси синхроимпульсов приемника (ССП) селектора синхроимпульсов - к входу внешней синхронизации соответственно первого и второго матричных фотоприемников второго сенсорного блока; причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки первого и второго «кольцевых» фотоприемников первого сенсорного блока изменяется по соотношению:

где Δ_l и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в каждом из «кольцевых» фотоприемников;

β - коэффициент, определяющий отношение освещенности сцены на втором выходе первого и второго светоделителя соответственно к освещенности сцены на первом выходе каждого из этих светоделителей,

при этом в качестве сервера компьютерной системы используется системный блок одного из компьютерных пользователей, причем плата видео, установленная в разъем расширения на материнской плате сервера, обеспечивает дополнительно демультиплексирование входного мультиплексного «прямоугольного» сигнала изображения «Видео 2» на два канала с последующей записью каждого из «прямоугольных» видеосигналов соответственно в третий и четвертый блоки оперативной памяти на кадр, формирование сигнала «окошко» и выполнение коммутации демультиплексированных видеосигналов «Видео 1» и «Видео 2» по сигналу «окошко» с формированием комбинированного изображения, выход которого является выходом видеосигнала телевизионной системы.

Пусть каждый из двух светоделителей телевизионной камеры в типовом варианте его реализации содержит последовательно расположенные и оптически связанные полупрозрачное зеркало, коллективную линзу, отражающее зеркало и объектив, причем вход светоделителя оптически связан с входом полупрозрачного зеркала, первый выход светоделителя - с выходом с его объектива, а второй выход светоделителя - с выходом полупрозрачного зеркала.

Тогда соотношение (3) можно переписать в следующем виде:

где D/ƒ - относительное отверстие объектива светоделителя;

τ₁ - коэффициент пропускания объектива светоделителя;

τ₂ - коэффициент пропускания коллективной линзы светоделителя.

Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.

Важно отметить следующее. Светочувствительная площадь пикселов мишени для «кольцевыхо» фотоприемников первого сенсорного блока, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.

Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.

Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра в предлагаемом решении определяется произведением трех величин: коэффициента усиления K_m пиксела, его светочувствительной площади Δ_m и коэффициента β.

Как следует из соотношений (3) и (4), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов «кольцевого» фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела этого сенсора, что является обязательным условием для реализации одинаковой по полю чувствительности фотоприемника и его высокого отношения сигнал/шум.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием и на этом же чертеже - структурная схема телевизионной камеры в ее составе; на фиг. 2 приведена схемотехническая организация «кольцевого» фотоприемника; на фиг. 3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 - схемотехническая организация матричного фотоприемника; на фиг. 5 - пример выполнения электрической схемы блока наведения; на фиг. 6 - оптическая схема для первого и второго светоделителя; на фиг. 7 -иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра в прямоугольный растр компьютерного монитора; на фиг. 8 - иллюстрация формирования комбинированного изображения на экране компьютерного монитора; на фиг. 9, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.

Заявляемая компьютерная система панорамного телевизионного наблюдения (см. фиг. 1) содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), который является узлом локальной вычислительной сети, с возможностью подключения к ней двух или более персональных компьютеров в позиции 3.

В качестве сервера 2 использован системный блок компьютера 4 оператора системы.

Телевизионная камера 1, см. фиг. 1, содержит в своем составе первый панорамный объектив 1-1, первый сенсорный блок 1-2, имеющий в своем составе два «кольцевых» фотоприемника, первый светоделитель в позиции 1-3, второй панорамный объектив 1-4, второй сенсорный блок 1-5, имеющий в своем составе два матричных фотоприемника, второй светоделитель 1-6, блок наведения 1-7, генератор 1-8 электронной отметки «крест», селектор синхроимпульсов 1-9, первый мультиплексор 1-10, второй мультиплексор 1-11 и смеситель 1-12. Выход смесителя 1-12 является выходом «Видео 1» телевизионной камеры, а выход второго мультиплексора 1-11 - ее выходом «Видео 2».

По линии связи команда управления телевизионной камерой с компьютера 4 оператора системы поступает на блок наведения 1-7. Первый информационный вход смесителя 1-12 подключен к выходу первого мультиплексора 1-10, а его второй информационный вход - к выходу генератора 1-8 электронной отметки. На управляющий вход генератора 1-8 электронной отметки подается сигнал с датчика положения блока наведения 1-7. Выход «Видео» первого «кольцевого» фотоприемника первого сенсорного блока 1-2 подключен к первому информационному входу первого мультиплексора 1-10 и соответственно - ко входу селектора 1-9 синхроимпульсов, а выход «Видео» второго «кольцевого» фотоприемника блока 1-2 - ко второму информационному входу мультиплексора 1-10; выход КСИ селектора 1-9 синхроимпульсов подключен к первому входу генератора 1-9 электронной отметки и к входам синхронизации мультиплексоров 1-10 и 1-11 соответственно, выход ССИ селектора 1-9 - ко второму входу генератора 1-7, а выход ССП - к входу внешней синхронизации второго «кольцевого» фотоприемника первого сенсорного блока 1-2 и соответственно к входу внешней синхронизации матричных фотоприемников второго сенсорного блока 1-5. Выход «Видео» первого матричного фотоприемника блока 1-5 подключен к первому информационному входу второго мультиплексора 1-11, а выход «Видео» второго матричного фотоприемника блока 1-5 - ко второму информационному входу мультиплексора 1-11.

Как и в прототипе [1], плата видео в сервере 2 выполняет программным путем электрическое вписывание изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора.

Следует отметить, что в компьютерной программе применительно к операции по реализации электрического вписывания «кольцевого» кадра в «прямоугольный» растр монитора должно быть реализовано соблюдение последовательности передачи телевизионных строк.

При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг. 7.

Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для «кольцевого» фотоприемника.

Пусть, как показано на фиг. 2 и слева на фиг. 7, пиксел «А» считывается первым в первой «кольцевой» строке сенсора, а пиксел «В» - точно посередине этой строки.

Тогда в «прямоугольном» растре компьютерного монитора (см. фиг. 7, справа) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» - положение центрального элемента его последней строки.

Отметим, что в заявляемом решении компьютерной системы предусмотрена возможность мониторинга фрагментов «кольцевых» кадров, применительно как к верхнему, так и к нижнему шаровому слою сферического пространства, при помощи матричных фотоприемников. По сравнению с прототипом [1], здесь принципиально исключаются пропуски видеоинформации на последовательных стыках (между соседними «прямоугольными» кадрами), т.к. эти участки могут быть просмотрены дополнительно.

Первый 1-3 и второй 1-6 панорамные объективы телевизионной камеры предназначен для формирования оптического изображения кругового обзора (кольцевого изображения) в двух противоположно расположенных слоях наблюдаемого сферического пространства. В качестве технического решения для них, совпадающим с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами [2].

Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места. Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива, см. фиг. 9, подтверждает целесообразность выбора формы фотоприемников сенсорного блока 1-2 в пользу кругового кольца.

Светоделители 1-3 и 1-6 телевизионной камеры предназначен для направления светового потока с выхода первого панорамного объектива 1-1 и соответственно второго панорамного объектива 1-6 по двум каналам: на мишень «кольцевого» фотоприемника (выход 1) и на мишень матричного фотоприемника (выход 2).

Здесь использована оптическая схема светоделителя, которая была ранее экспериментально проверена и опубликована в описании к патенту РФ [3].

Первый светоделитель 1-3 (см. фиг. 6), как и аналогично второй светоделитель 1-6, содержит последовательно расположенные и оптически связанные полупрозрачное зеркало 1-3-1, коллективную линзу 1-3-2, отражающее зеркало 1-3-3 и объектив 1-3-4, причем вход светоделителя оптически связан с входом полупрозрачного зеркала 1-3-1, первый выход светоделителя - с выходом объектива 1-3-4, а второй выход светоделителя -с выходом полупрозрачного зеркала 1-3-1.

Оба «кольцевых» фотоприемника сенсорного блока 1-2 (см. фиг. 2) выполнены по технологии КМОП, а каждый из них содержит на общем кристалле «кольцевую» светочувствительную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4.

Как показано на фиг.2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.

Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления K_m для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.

«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.

Отметим, что показанная на фиг. 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.

Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.

Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.

То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из двух фотоприемников сенсорного блока 1-2.

Отметим, что на фиг. 2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. На самом деле число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.

Поясним дополнительно на фиг. 2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.

Как и в прототипе [1], благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.

Отметим, что обратные стороны кристаллов «кольцевых» фотоприемников в сенсорном блоке 1-2 расположены навстречу друг другу.

Оба матричный фотоприемника сенсорного блока 1-5, выполнены также по технологии КМОП. Каждый из них сохраняет все признаки прибора, реализованного по методу «координатная адресация» американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и подробно комментировалось в отечественной монографии [4, с. 67, рис. 1.21]. Очевидно, что по этой технологии на кристалле матричного фотоприемника также реализуется задача по формированию цифрового видеосигнала «прямоугольного» растра с пониженным энергопотреблением.

Матричный фотоприемник (см. фиг. 4) содержит на общем кристалле светочувствительную область (мишень) в позиции 5, регистр кадровой развертки в позиции 6, коммутатор видеосигналов в позиции 8 и мультиплексор строчной развертки в позиции 7.

Активные пикселы на мишени сенсора объединены в столбцы вертикальной шиной видео 5-5.

Каждый активный пиксел мишени имеет в своем составе светочувствительную область (площадь) 5-1, усилитель 5-2 с коэффициентом усиления K₁ и АЦП 5-3. Коммутатор видеосигналов 8 состоит из отдельных коммутаторов 8-1, число которых соответствует числу активных пикселов в строке, объединенных горизонтальной шиной видео 5-6.

Управление АЦП 5-3 пиксела для каждой строки фотоприемника осуществляется при помощи отдельной (своей) строчной шины 5-4, передающей сигнал управления с соответствующего выхода регистра 6 кадровой развертки.

Видеосигнал с выхода каждого АЦП 5-3 для каждого активного пиксела отдельного взятого столбца передается на горизонтальную шину видео 5-6. Для этого при помощи ключевого МОП-транзистора коммутатора 8-1, управляемого с одного из выходов мультиплексора 7, цифровой видеосигнал текущего пиксела передается на горизонтальную шину видео 5-6, а затем транслируется по ней на выход фотоприемника.

То же самое формирование цифрового видеосигнала происходит и в пределах других столбцов мишени 7 данного сенсора.

В результате в прямоугольном растре последовательно один за другим для каждого пиксела отдельно взятой строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника. Отметим, что в составе сенсорного блока 1-5 обратные стороны матричных кристаллов фотоприемников также расположены навстречу друг другу.

В заявляемом решении блок наведения 1-7 осуществляет плавное круговое пространственное перемещение сенсорного блока 1-5, а следовательно, и мишени первого и второго матричных фотоприемников по проекциям «кольцевых» изображений панорамной сцены, формируемого на первом выходе светоделителей 1-3 и 1-6.

Электрическая схема блока 1-7 может быть реализована на базе технического решения, которое ранее было использовано в описании к патенту РФ [3].

Рассмотрим работу блока 1-7 (см. фиг. 5), электрическая схема которого выполнена на двух оптронах HSSR, обозначенных как VT1 и VT2.

Изделие HSSR-7111 согласно [5] - однополюсный нормально разомкнутый оптрон с выходным каскадом на мощных МОП-транзисторах, имеет очень малое сопротивление во включенном состоянии и работает в точности как полупроводниковое реле.

Будем считать, что управление наведением осуществляется командами в соответствии с табл. 1.

Отметим, что подаваемые в телевизионную камеру с компьютера по двухпроводной линии связи сигналы управления блоком 1-5 наведения являются постоянными напряжениями положительной или отрицательной полярности. Величина этих напряжений (5…12) вольт отсчитывается относительно провода «общий».

При отсутствии команд управления данные напряжения тоже отсутствуют. Поэтому оптроны VT1 и VT2 разомкнуты, а электродвигатель М обесточен.

Пусть по линии связи на блок 1-7 наведения поступает команда «Управление поворотом» - «Вперед». Тогда оптрон VT2 замыкается, а электродвигатель М подключается к источнику переменного напряжения ~U и начинает вращаться. Если взамен этой команды поступит команда «Управление поворотом» - «Назад», то замкнется оптрон VT1, а электродвигатель М будет вращаться в другом направлении.

Концевые выключатели SF1 и SF2 обеспечивают границы позиционирования в пределах одного кругового оборота матричного фотоприемника.

Датчик положения выполнен на базе переменного резистора RP_n, имеющего линейную зависимость изменения сопротивления от угла поворота, а постоянный резистор R_n^* служит для реализации настроечной работы по точному позиционированию. Движок резистора RP_n кинематически (через редуктор) связан с двигателем М.

Отметим, что сигнал датчика положения (напряжение U_n с потенциометра RP_n), поступает на управляющий вход генератора 1-7 электронной отметки «крест», обеспечивая перемещение маркера на «кольцевом» изображении в соответствии с командами, поступающими с блока наведения 1-7.

Каждый из двух мультиплексоров 1-10 и 1-11 телевизионной камеры предназначен для синхронизации двух входных цифровых видеосигналов и объединения их на единственную линию связи путем разделения составляющих сигналов по времени. По техническому решению они ничем не отличаются от мультиплексора прототипа [1].

Устройство компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием изображения (см. фиг.1) работает следующим образом.

Предположим, что телевизионная камера 1, установленная на гексакоптере, расположена на некоторой высоте относительно Земли.

Заметим, что термином «гексакоптер» принято называть в технической литературе радиоуправляемую модель беспилотного летательного аппарата с шестью крыльями, предназначенного для выполнения аэровидеосъемки местности.

Пусть для этого конструкторское решение первого сенсорного блока 1-2 в составе телевизионной камеры 1 реализовано так, что ось визирования первого панорамного объектива 1-1, а следовательно, и оптическая ось первого «кольцевого» фотоприемника направлена по вертикали вверх.

Тогда, по отношению к этому направлению, ось визирования второго панорамного объектива 1-4 будет ориентирована вниз по вертикали. Это означает, что точно так же будет ориентирована и оптическая ось и второго «кольцевого» фотоприемника.

Экспонирование «кольцевых» мишеней первого и второго «кольцевых» фотоприемников производится непрерывно. На первом выходе сенсорного блока 1-2 формируется цифровой видеосигнал «кольцевого» кадра от первого фотоприемника, а на втором выходе сенсорного блока 1-2 - цифровой видеосигнал «кольцевого» кадра от второго фотоприемника.

Далее выходные видеосигналы первого сенсорного блока 1-2 при помощи первого мультиплексора 1-10 объединяются на одну линию, чередуясь с периодом кадров T_к*. Полученный мультиплексный цифровой телевизионный сигнал (мультиплексный ЦТС) «кольцевого» кадра поступает на первый информационный вход смесителя 1-12.

На второй информационный вход смесителя 1-12 подается сигнал электронной отметки «крест», который замешивается в мультиплексный «кольцевой» ЦТС на выходе «Видео 1» телевизионной камеры.

Затем этот ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2, где (на плате видео) выполняется его демультиплексирование на два канала с последующей записью видеоинформации каждого канала соответственно в первый и второй блоки оперативной памяти на кадр.

Одновременно мультиплексный ЦТС «прямоугольного» кадра с выхода «Видео 2» телевизионной камеры 1 по аналогичному интерфейсу поступает на другой вход сервера 2, а далее на плату видео, где аналогично выполняется его демультиплексирование на два канала и последующая запись видеоинформации каждого канала соответственно в третий и четвертый блоки оперативной памяти на кадр.

Отметим, что все эти операции осуществляются в автоматическом режиме.

Характеристика сигналов управления компьютером 4, сопутствующих режиму видео, заявляемой телевизионной системы представлена в табл. 2.

Подача всех сигналов управления осуществляется оператором с клавиатуры компьютера 4 и/или помощи его компьютерной мыши.

Добавим, что команды «Выбор режима видео» распространяются в пределах компьютера, а поэтому являются командами внутреннего пользования. Заметим, что в отличие от них команды управления наведением (см. табл.1) являются внешними командами.

Пусть при включении телевизионной системы она начинает действовать по умолчанию в режиме 1, а в компьютере 4 формируется логический сигнал «00» для команды «Выбор режима видео» - «Кольцевое» панорамное изображение и выбор интересующего в нем фрагмента».

Напомним, что «кольцевое» положение электронной отметки «крест» в пределах растра первого фотоприемника сенсорного блока 1-2 будет определяться в зависимости от положения движка потенциометра RP_n, установленного в блоке наведения 1-7.

По замыслу «крест» отмечает на изображении зону повышенного интереса оператора, а он, подавая с компьютера 4 в телекамеру 1 команду «Управление поворотом» - «Вперед», «Назад», может дистанционно установить эту отметку в пределах ее полного кругового перемещения.

Здесь также должно быть учтено, что электронная отметка «крест» при наведении на выбранный объект априори располагается точно в середине «кольцевого» изображения по его ширине (см. фиг. 8, слева).

Если оператор компьютера 4 далее путем подачи сигнала «01» перейдет в режим 2, то он может контролировать комбинированное изображение, которое формируется первым «кольцевым» фотоприемником сенсорного блока 1-2 и одновременно первым матричным фотоприеником сенсорного блока 1-5 при его текущем местоположении.

Отметим, что воспроизводимое «окошко» в комбинированном изображении может определять всю растровую зону выбираемого фрагмента изображения или быть ее меньше, но геометрические центры этих областей всегда совпадают.

Оператор компьютера 4 аналогично может перевести компьютерную систему и в режим видео для наблюдения изображения нижнего слоя сферического пространства, воспользовавшись сигналами управления «10» и «11» (см. табл. 2).

Отметим, что на плате видео, вводимой в состав сервера 2, изображение комбинированного изображения целесообразно выводить на центральную часть экрана компьютерного монитора, в котором изображение «окошка» (см. фиг. 8, справа) занимает центральное положение внутри свободной зоны «кольцевого» изображения.

Эта рекомендация диктуется созданием необходимых эргономических условий для работы оператора компьютера 4 и пользователей компьютеров 3.

Наличие же свободной зоны в центральной части кольцевого изображения (см. фиг. 9) является важной для этого предпосылкой.

Вернемся к оценке соотношений (3-4). Учитывая оптические свойства светоделителей 1-3 и 1-6, освещенность изображения на мишени каждого из двух «кольцевых» фотоприемников будет в β раз меньше, чем освещенность на мишени соответствующих матричных фотоприемников.

Но в типовом случае, когда площадь (Δ) светочувствительного пиксела матричного фотоприемника равна площади пиксела первой строки (Δ₁) «кольцевого» фотоприемника не возникает ситуации с различной чувствительность этих фотоприемных каналов. Это объясняется тем, что в заявляемом решении априори предусмотрено, что коэффициент усиления K_m для всех активных пикселов «кольцевого фотоприемника увеличен по сравнению с аналогичным показателем матричного фотоприемника в β раз.

При просмотре комбинированного изображения в заявляемом решении селективное масштабирование изображения обеспечивает не только увеличение геометрических размеров выбранного фрагмента панорамного телевизионного изображения, но и выигрыш в его разрешающей способности.

Пусть, например, число светочувствительных пикселов в строке матричного фотоприемника равно числу пикселов в строке у «кольцевого» фотоприемника. Тогда получаемый выигрыш в разрешающей способности (четкости) этого фрагмента панорамного изображения, по сравнению с прототипом [1], составит т раз согласно соотношению (1).

Добавим, что этот выигрыш достигается без потерь чувствительности и отношения сигнал/шум по всему полю наблюдаемого изображения.

В настоящее время все элементы структурной схемы заявляемого устройства компьютерной системы панорамного телевизионного наблюдения с селективным масштабирование изображения освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2708630. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2019. - №34.

2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

3. Патент РФ №2504100. H04N 5/225. Телевизионная система с селективным масштабированием изображения. / В.М. Смелков // Б.И. - 2014. - №1.

4. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.

5. www.avagotech.com.

Изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей круговой обзор в сферической области пространства, занимающей два противоположно расположенных шаровых слоя. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Техническим результатом является обеспечение возможности визуального контроля выбираемых участков панорамного изображения в увеличенном масштабе одновременно с наблюдением панорамной сцены полностью по методу селективного масштабирования. Результат достигается тем, что в состав телевизионной камеры дополнительно введены второй сенсорный блок, который установлен на блоке наведения и содержащий первый и второй матричные фотоприемники, изготовленные по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), первый светоделитель, расположенный на выходе первого панорамного объектива, второй светоделитель, расположенный на выходе второго панорамного объектива, селектор синхроимпульсов, генератор электронной отметки «крест», смеситель, выход которого является выходом «Видео 1» телевизионной камеры, и второй мультиплексор, выход которого является выходом «Видео 2» телевизионной камеры. Это обеспечивает воспроизведение на экране компьютерного монитора комбинированного изображения, которое по отношению к первоначально предъявляемому изображению состоит из априори выбранного участка с необходимым увеличением (масштабированием) и остальной его части с неизменным масштабом. 2 з.п. ф-лы, 2 табл., 9 ил.

1. Устройство компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием изображения, содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем плата видео выполняет демультиплексирование входного мультиплексного «кольцевого» сигнала изображения «Видео 1» на два канала с последующей записью каждого из «кольцевых» видеосигналов соответственно в первый и второй блоки оперативной памяти на кадр, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу одного из блоков оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, первый мультиплексор, первый сенсорный блок, содержащий первый и второй фотоприемники, причем первый и второй фотоприемники первого сенсорного блока выполнены в виде кругового кольца на кристалле, изготовленном по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), а каждый из фотоприемников содержит линейки светочувствительных пикселов, расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число элементов в каждой «кольцевой» строке мишени фотоприемников одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии, при этом мишень каждого из фотоприемников состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению

где Δ_l и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, отличающееся тем, что в состав телевизионной камеры дополнительно введены второй сенсорный блок, содержащий первый и второй матричные фотоприемники и который установлен на блоке наведения, первый светоделитель, расположенный на выходе первого панорамного объектива, второй светоделитель, расположенный на выходе второго панорамного объектива, селектор синхроимпульсов, генератор электронной отметки «крест», смеситель, выход которого является выходом «Видео 1» телевизионной камеры, и второй мультиплексор, выход которого является выходом «Видео 2» телевизионной камеры, при этом первый и второй матричные фотоприемники второго сенсорного блока, как и «кольцевые» фотоприемники первого сенсорного блока выполнены по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем для каждого из них число «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления K_m активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным по величине; при этом первый светоделитель, воспринимающий на входе выходное оптическое изображение первого панорамного объектива, обеспечивает формирование на первом выходе оптического изображения всего «кольцевого» кадра, проецируемого на мишень первого «кольцевого» фотоприемника первого сенсорного блока, а на втором выходе - оптического изображения одного из фрагментов этого «кольцевого» кадра, проецируемого на мишень первого матричного фотоприемника, второго сенсорного блока; второй светоделитель, воспринимающий на входе выходное оптическое изображение второго панорамного объектива, обеспечивает формирование на первом выходе оптического изображения всего «кольцевого» кадра, проецируемого на мишень второго «кольцевого» фотоприемника первого сенсорного блока, а на втором выходе - оптического изображения одного из фрагментов этого «кольцевого» кадра, проецируемого на мишень второго матричного фотоприемника второго сенсорного блока; блок наведения осуществляет плавное пространственное перемещение второго сенсорного блока в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой «крест», которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения телевизионной камеры выполняется по команде оператора системы с компьютера, системный блок которого является сервером заявляемой телевизионной системы; первый информационный вход смесителя подключен к выходу первого мультиплексора, а второй информационный вход смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» первого «кольцевого» фотоприемника первого сенсорного блока подключен к входу селектора синхроимпульсов, выход кадровых синхроимпульсов (КСИ) которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации первого и второго мультиплексоров, выход строчных синхроимпульсов (ССИ) селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход смеси синхроимпульсов приемника (ССП) селектора синхроимпульсов - к входу внешней синхронизации соответственно первого и второго матричных фотоприемников второго сенсорного блока; причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки первого и второго «кольцевых» фотоприемников первого сенсорного блока изменяется по соотношению

где Δ_l и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в каждом из «кольцевых» фотоприемников;

β - коэффициент, определяющий отношение освещенности сцены на втором выходе первого и второго светоделителя соответственно к освещенности сцены на первом выходе каждого из этих светоделителей;

при этом в качестве сервера компьютерной системы используется системный блок одного из компьютерных пользователей, причем плата видео, установленная в разъем расширения на материнской плате сервера, обеспечивает дополнительно демультиплексирование входного мультиплексного «прямоугольного» сигнала изображения «Видео 2» на два канала с последующей записью каждого из «прямоугольных» видеосигналов соответственно в третий и четвертый блоки оперативной памяти на кадр, формирование сигнала «окошко» и выполнение коммутации демультиплексированных видеосигналов «Видео 1» и «Видео 2» по сигналу «окошко» с формированием комбинированного изображения, выход которого является выходом видеосигнала телевизионной системы.

2. Устройство компьютерной системы панорамного телевизионного наблюдения по п. 1, отличающееся тем, что первый и второй светоделители телевизионной камеры содержат в отдельности последовательно расположенные и оптически связанные полупрозрачное зеркало, коллективную линзу, отражающее зеркало и объектив, причем вход каждого светоделителя оптически связан с входом полупрозрачного зеркала, первый выход каждого светоделителя - с выходом его объектива, а второй выход светоделителя - с выходом его полупрозрачного зеркала, при этом коэффициент β, определяющий отношение освещенности сцены на втором выходе светоделителя к его освещенности на первом выходе, вычисляется по соотношению

где D/ƒ - относительное отверстие объектива светоделителя;

τ₁ - коэффициент пропускания объектива светоделителя;

τ₂ - коэффициент пропускания коллективной линзы светоделителя.

3. Устройство компьютерной системы панорамного телевизионного наблюдения по п. 1, отличающееся тем, что на плате видео сервера изображение комбинированного изображения выводится на центральную часть компьютерного монитора, в котором изображение «окошка» занимает центральное положение внутри свободной зоны «кольцевого» изображения.