СПОСОБ ПАНОРАМНОГО ТЕЛЕВИЗИОННО-КОМПЬЮТЕРНОГО МОНИТОРИНГА (ВАРИАНТЫ) Российский патент 2016 года по МПК H04N7/00 

Группа изобретений относится к телевизионному мониторингу, который выполняется компьютерной системой по методу панорамного телевизионного сканирования при помощи изготовленных по технологии приборов с зарядовой связью (ПЗС) однострочного кольцевого фотоприемника монохромного (черно-белого) изображения или цветного сенсора, имеющего несколько «кольцевых» фоточувствительных строк.

Наиболее близким по технической сущности к заявляемому изобретению следует считать способ панорамного телевизионно-компьютерного мониторинга [1], заключающийся в том, что телевизионную камеру, реализованную на базе двумерного матричного ПЗС-фотоприемника, устанавливают в фиксированное положение, выполняют захват изображения в телевизионной камере панорамным объективом с угловым полем 360 градусов по азимуту, формируют в телевизионной камере аналоговый сигнал изображения наблюдаемого пространства, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал кольцевого панорамного изображения наблюдаемого пространства по интерфейсу в сервер, записывают цифровой видеосигнал в оперативную память сервера, осуществляют селективный контроль хранящегося в памяти сервера панорамного изображения на экранах видеомониторов двух и более подключенных к серверу персональных компьютеров путем преобразования в сервере панорамного телевизионного изображения в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи n «прямоугольных» кадров, число которых удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения.

Недостаток прототипа способа мониторинга - возникновение потерь кругового обзора по параметру угол места при вписывании прямоугольной мишени фотоприемника в кольцевое изображение панорамного объектива.

Если же для исключения потерь по углу места это кольцевое изображение вписать в прямоугольник мишени, то потребуется матрица ПЗС с увеличенным числом элементов (пикселов). При этом значительная часть пикселов является пассивной (бесполезной), т.к. не несет информации о наблюдаемом сюжете, но принудительно используется при формировании видеосигнала в телевизионной камере.

Задачей изобретения является сохранение (поддержание неизменным) параметра угол места и исключение пассивных пикселов за счет использования в качестве фотоприемника однострочного кольцевого монохромного сенсора или «малострочного» кольцевого цветного сенсора путем его механического сканирования в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива.

Поставленная задача решается тем, что в заявляемом способе панорамного телевизионно-компьютерного мониторинга по варианту 1 устанавливают телевизионную камеру в фиксированное положение, выполняют захват изображения в телевизионной камере панорамным объективом с угловым полем 360 градусов по азимуту, формируют в телевизионной камере аналоговый сигнал изображения наблюдаемого пространства, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал кольцевого панорамного изображения наблюдаемого пространства по интерфейсу в сервер, записывают цифровой видеосигнал в оперативную память сервера, осуществляют селективный контроль хранящегося в памяти сервера панорамного изображения на экранах видеомониторов двух и более подключенных к серверу персональных компьютеров путем преобразования в сервере панорамного телевизионного изображения в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи n «прямоугольных» кадров, число которых удовлетворяет соотношению (1), согласно предполагаемому изобретению для предоставления операторам компьютеров монохромного (черно-белого) изображения формирование аналогового видеосигнала в телевизионной камере выполняют при помощи изготовленного по технологии приборов с зарядовой связью (ПЗС) фотоприемника, имеющего форму кольца и содержащего на общем кристалле «кольцевую» однострочную фотоприемную область, «кольцевой» выходной регистр и преобразователь заряд-напряжение», при этом сам сенсор механически сканируют по кадру в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива, в пределах его углового поля по месту и с шагом, равным ширине фотоприемной строки, причем внешний диаметр фотоприемной области сенсора равен диаметру изображения на выходе панорамного объектива.

Поставленная задача в заявляемом способе панорамного телевизионно-компьютерного мониторинга по варианту 2 устанавливают телевизионную камеру в фиксированное положение, выполняют захват изображения в телевизионной камере панорамным объективом с угловым полем 360 градусов по азимуту, формируют в телевизионной камере аналоговый сигнал изображения наблюдаемого пространства, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал кольцевого панорамного изображения наблюдаемого пространства по интерфейсу в сервер, записывают цифровой видеосигнал в оперативную память сервера, осуществляют селективный контроль хранящегося в памяти сервера панорамного изображения на экранах видеомониторов двух и более подключенных к серверу персональных компьютеров путем преобразования в сервере панорамного телевизионного изображения в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи n «прямоугольных» кадров, число которых удовлетворяет соотношению (1), согласно предлагаемому изобретению для предоставления операторам компьютеров цветного изображения формирование аналогового видеосигнала в телевизионной камере выполняют при помощи изготовленного по технологии ПЗС фотоприемника, имеющего форму кольца и содержащего на общем кристалле «кольцевую» четырехстрочную фотоприемную область, накрытую кольцевыми по форме и последовательно расположенными соответственно инфракрасным (ИК) отсекающим фильтром и мозаичным цветным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты, а также содержащего на общем кристалле «кольцевой» выходной регистр и преобразователь заряд-напряжение», при этом сам сенсор механически сканируют по кадру в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива, в пределах его углового поля по месту и с шагом, равным ширине четырехстрочной фотоприемной области, причем внешний диаметр этой фотоприемной области сенсора равен диаметру изображения на выходе панорамного объектива.

Сопоставительный анализ с прототипом показывает, что заявляемый способ отличается наличием новых признаков, а именно наличием следующего действия - механического сканирования фотоприемника по кадру в перпендикулярном направлении относительно выходного окна панорамного объектива в пределах его угла места; условием проведения этого действия, заключающимся в выборе величины шага сканирования; а также используемом при этом материальном средстве - фотоприемнике на ПЗС, имеющем не прямоугольную, а кольцевую форму реализации.

Совокупность известных и новых признаков не известна из уровня техники, поэтому заявляемый способ отвечает требованию новизны.

В заявляемом решении сканирование по кадру осуществляется по воображаемой цилиндрической поверхности, благодаря чему регистрируется большая площадь оптического пространства, а следовательно, формируется и новая (дополнительная) видеоинформация.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема устройства, реализующего заявляемый способ; на фиг. 2 - схемотехническая организация монохромного фотоприемника телевизионной камеры; на фиг. 3 - схемотехническая организация цветного фотоприемника телевизионной камеры; на фиг. 4 показан фрагмент цветного фотоприемника, иллюстрирующий подробности его конструкции; на фиг. 5, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 6 - иллюстрация геометрических соотношений для мишени фотоприемника, имеющей «прямоугольную» и «кольцевую» форму; на фиг. 7 - предлагаемое оператору панорамное изображение в виде последовательности из 6-ти «прямоугольных» кадров.

Устройство системы телевизионно-компьютерного мониторинга, в котором реализован заявляемый способ, см. фиг. 1, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом телевизионная камера 1 содержит последовательно расположенные и оптически связанные панорамный объектив 1-1 и фотоприемник 1-2 монохромного или цветного изображения, изготовленный по технологии ПЗС, причем на кристалле монохромного сенсора, см. фиг. 2, расположены «кольцевая» однострочная фотоприемная область 1-2-1, «кольцевой» регистр 1-2-2 и преобразователь «заряд-напряжение» (БПЗН) 1-2-3, а на кристалле цветного сенсора, см. фиг. 3, - то же самое, за исключением фотоприемной области 1-2-1, которая становится четырехстрочной, а также имеет «двухслойное» оптическое покрытие в виде совокупности ИК-фильтра 1-7 и мозаичного цветного фильтра, см. его фрагмент на фиг. 4; в составе телевизионной камеры 1 блок 1-3 механического сканирования сенсора кинематически связан с фотоприемником 1-2 и осуществляет его механическое сканирование по кадру, в пределах угла места панорамного объектива 1-1 и в перпендикулярном направлении относительно неподвижной плоскости его выходного окна, при этом управляющие входы области 1-2-1 сенсора подключены к первому выходу блока 1-4 «кольцевой» развертки видеосигнала, второй выход которого подключен к управляющим входам «кольцевого» регистра 1-2-2 сенсора, третий выход блока 1-4 «кольцевой» развертки - к входу синхронизации сигнального процессора 1-5, четвертый выход блока 1-4 «кольцевой» развертки - к тактовому входу аналого-цифрового преобразователя (АЦП) 1-6, пятый выход блока 1-4 «кольцевой» развертки - к входу синхронизации блока 1-3 механического сканирования сенсора, а управляющий вход блока 1-4 «кольцевой» развертки - к выходу управления экспозицией сигнального процессора 1-5; выход АЦП 1-6 является выходом телевизионной камеры 1; в разъем расширения на материнской плате сервера 2 установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть».

В зависимости от варианта предлагаемого способа телевизионно-компьютерного мониторинга монохромный фотоприемник реализует однострочную «кольцевую» развертку, а цветной фотоприемник - четырехстрочную «кольцевую» развертку зарядового изображения на фотоприемной области 1-2-1 с последующим поэлементным считыванием зарядов в «кольцевом» регистре 1-2-2 с целью формирования на выходе БПЗН 1-2-3 напряжения видеосигнала в аналоговой форме.

При этом в течение одного интервала происходит процесс накопления зарядовых пакетов пропорционально освещенности панорамного сюжета в светочувствительных пикселах фотоприемной области 1-2-1. В течение кратковременного промежутка последующего интервала открывается фотозатвор, и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на той же области 1-2-1.

Затем фотозатвор закрывается и в новом цикле на мишени выполняется накопление другой зарядовой «картины», а накопленные в предыдущем цикле зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в промежуточных интервалах новыми зарядами «кольцевой» регистр 1-2-2.

Фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором, благодаря применению цветного «кольцевого» фильтра, пикселы ПЗС становятся чувствительными к голубой (Cy), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим. Конструкция этого фотоприемника представлена на фиг. 4.

Добавим, что со стороны объектива перед мозаичным фильтром располагается отсекающий ИК-фильтр (см. позицию 1-7 на фиг. 1), который изменяет спектральную характеристику сенсора, обеспечивая ее согласование со спектральной чувствительностью человеческого глаза.

Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета, помимо сигнала яркости (Y), достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R-Y) и сигнал цветовой разности синего (В-Y).

Отметим, что именно этот принцип реализован в конструкции мозаичного фильтра для фотоприемника в широко распространенных цветных одноматричных телевизионных камерах, см., например [3, с. 155].

Аналогично режиму, применяемому в одноматричных цветных камерах, здесь перед считыванием в «кольцевом» регистре 1-2-2 зарядовые пакеты соседних (в радиальном направлении) пикселов фотомишени объединяются попарно, причем по-разному для последовательно считываемых первой (нечетной) и второй (четной) «кольцевых» строк формируемого изображения, как показано на фиг. 4.

Первая строка содержит попарные отсчеты: (M_g+C_y), (G+Y_e), (M_g+C_y), (G+Y_e) и так далее.

Вторая строка: попарные отсчеты: (C_y+G), (Y_e+M_g), (C_y+G), (Y_e+M_g) и так далее.

Для получения яркостного сигнала для нечетной строки производится операция по аналогичному в [3, с. 155] алгоритму, который заключается в том, что выполняется задержка по времени на элемент разложения «кольцевого» поворота и суммирование попарных отсчетов:

Коэффициент в формуле (2) возвращает «должок», приобретенный за счет суммирования зарядов в попарных отсчетах.

Очевидно, что выражение (2) можно представить так:

Применив аналогичный алгоритм для четной строки, получим следующее выражение для яркостного сигнала:

Аналогично представим выражение (3) в основных цветах:

Для получения цветоразностного сигнала синего (В-Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетной строки выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:

Для получения цветоразностного сигнала красного (R-Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четной строки:

Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в сигнал CVBS в системе PAL точно так же, как это выполняется в одноматричных цветных телевизионных камерах с мозаичным фильтром. Поясним, что CVBS - аббревиатура от английских слов: «composite video bar signal», т.е. полный видеосигнал.

Важно отметить, что длина внешней окружности «кольцевого» фотоприемника, как монохромного, так и цветного, у которого внешний радиус R (см. фиг. 6), а мишень вписана в вертикальный размер матрицы ПЗС с форматом: l/h=4/3, превосходит размер по горизонтали для «прямоугольного» сенсора на величину, равную 3/4×π.

Это означает, что при одинаковой величине площади пиксела выигрыш в их количестве составляет показатель, который не менее 2,5 раз.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающего с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 5. Угловое поле для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора фотоприемника в пользу кругового кольца.

Блок 1-4 «кольцевой» развертки видеосигнала, сигнальный процессор 1-5 и АЦП 1-6 целесообразно выполнить с использованием комплекта специализированных микросхем высокого уровня интеграции, в т.ч. и программируемого комплекта, предназначенного для обслуживания цветных матриц ПЗС.

Блок 1-3 механического сканирования сенсора предназначен для выполнения сканирования по кадру фотоприемника 1-2. Пошаговое перемещение фотоприемника должно соответствовать ширине одной «кольцевой» строки для монохромного сенсора и соответственно четырех «кольцевых» строк для его цветного варианта. По физике работы такое перемещение является электромеханическим.

Важно отметить, что для исключения возникновения вертикального смаза формируемого изображения временной промежуток шагового перемещения фотоприемника должен быть достаточно малым относительно интервала накопления зарядов на фотомишени.

Способ панорамного телевизионно-компьютерного мониторинга (варианты) осуществляется следующим образом.

Телевизионная камера 1 размещается на штативе (на фиг. 1 он не показан).

Панорамный объектив 1-1 формирует «кольцевое» оптическое контролируемой сцены, проецируя его на мишень 1-2-1 фотоприемника телевизионной камеры. Фотоприемник 1-2 реализует «кольцевую» однострочную или четырехстрочную развертку зарядового изображения на фотоприемной области 1-2-1 с последующим поэлементным считыванием зарядовых пакетов в «кольцевом» регистре 1-2-2 и формированием на выходе БПЗН 1-2-3 напряжения видеосигнала в аналоговой форме.

В результате последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал черно-белого или цветного изображения для одной «кольцевой» строки реконструируемого растра. По интерфейсу (например, USB 2,0) в оперативную память сервера 2 будет транслироваться цифровой видеосигнал этой «кольцевой» строки фотоприемника 1-2 при пошаговом перемещении самого фотоприемника на ширину четырех строк его мишени.

В итоге в оперативную память сервера 2 будет занесена видеоинформация о «кольцевом» кадре, полученном при помощи «сканерной» записи составляющих его «кольцевых» строк.

Допустим, что, как и в прототипе, горизонтальный угол поля зрения (γ_г) предъявляемого панорамного изображения составляет 60 градусов.

Тогда должно быть предусмотрено, что одна шестая часть каждой «кольцевой» строки из «кольцевого» кадра записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.

Предположим, что полное число «кольцевых» строк в «кольцевом» кадре составляет m. Необходимость разнесения во времени процесса накопления зарядов в фотоприемнике и процесса шагового перемещения сенсора определяет режим формирования «кольцевого» кадра как медленный, т.е. малокадровый.

Поэтому требуемое время записи всех m строк в сервере 2 составит несколько секунд и, возможно, даже более высокую величину, но это вполне оправдано достигаемым результатом - поддержанием неизменного показателя угла места кругового обзора и оптимизацией фотоприемника для ведения такого обзора.

Далее, как и в прототипе, в сервере 2 при помощи элемента БПКП, реализующего возложенные на него функции программным путем, осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры вещательного телевидения и возможность предоставления этой информации на выходе «сеть» сервера 2.

Следовательно, цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 7) операторам компьютеров 3.

Отметим, что операция считывания «прямоугольных» кадров включает и коррекцию геометрических искажений соответствующего участка панорамного изображения аналогично тому, как это реализуется в прототипе.

В настоящее время все элементы структурной схемы устройства панорамного телевизионно-компьютерного мониторинга освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение на способ панорамного телевизионно-компьютерного мониторинга (варианты) соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2371880, МПК H04N 7/00. Способ панорамного телевизионного наблюдения и устройство для его осуществления / В.М. Смелков // Б.И. - 2009. - №30.

2. Патент РФ №2185645, МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

3. Владо Дамьяновски. CTV. Библия видеонаблюдения, Цифровые и сетевые технологии / Перевод с англ. М.: ООО «Ай-Эс-Эс Пресс», 2006.

Изобретение относится к телевизионному мониторингу, который выполняется компьютерной системой по методу панорамного телевизионного сканирования при помощи изготовленных по технологии приборов с зарядовой связью (ПЗС) однострочного кольцевого фотоприемника монохромного (черно-белого) изображения или цветного сенсора, имеющего несколько «кольцевых» фоточувствительных строк. Техническим результатом является сохранение (поддержание неизменным) параметра угол места и исключение пассивных пикселов. Результат достигается за счет использования в качестве фотоприемника однострочного кольцевого монохромного сенсора или «малострочного» кольцевого цветного сенсора путем его механического сканирования в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива. 2 н.п. ф-лы, 7 ил.

1. Способ панорамного телевизионно-компьютерного мониторинга (варианты) по варианту 1, заключающийся в том, что устанавливают телевизионную камеру в фиксированное положение, выполняют захват изображения в телевизионной камере панорамным объективом с угловым полем 360 градусов по азимуту, формируют в телевизионной камере аналоговый сигнал изображения наблюдаемого пространства, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал кольцевого панорамного изображения наблюдаемого пространства по интерфейсу в сервер, записывают цифровой видеосигнал в оперативную память сервера, осуществляют селективный контроль хранящегося в памяти сервера панорамного изображения на экранах видеомониторов двух и более подключенных к серверу персональных компьютеров путем преобразования в сервере панорамного телевизионного изображения в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи n «прямоугольных» кадров, число которых удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, отличающийся тем, что для предоставления операторам компьютеров монохромного (черно-белого) изображения формирование аналогового видеосигнала в телевизионной камере выполняют при помощи изготовленного по технологии приборов с зарядовой связью (ПЗС) фотоприемника, имеющего форму кольца и содержащего на общем кристалле «кольцевую» однострочную фотоприемную область, «кольцевой» выходной регистр и преобразователь «заряд-напряжение», при этом сам сенсор механически сканируют по кадру в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива, в пределах его углового поля по месту и с шагом, равным ширине фотоприемной строки, причем внешний диаметр фотоприемной области сенсора равен диаметру изображения на выходе панорамного объектива.

2. Способ панорамного телевизионно-компьютерного мониторинга (варианты) по варианту 2, заключающийся в том, что устанавливают телевизионную камеру в фиксированное положение, выполняют захват изображения в телевизионной камере панорамным объективом с угловым полем 360 градусов по азимуту, формируют в телевизионной камере аналоговый сигнал изображения наблюдаемого пространства, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал кольцевого панорамного изображения наблюдаемого пространства по интерфейсу в сервер, записывают цифровой видеосигнал в оперативную память сервера, осуществляют селективный контроль хранящегося в памяти сервера панорамного изображения на экранах видеомониторов двух и более подключенных к серверу персональных компьютеров путем преобразования в сервере панорамного телевизионного изображения в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи n «прямоугольных» кадров, число которых удовлетворяет соотношению (1), отличающийся тем, что для предоставления операторам компьютеров цветного изображения формирование аналогового видеосигнала в телевизионной камере выполняют при помощи изготовленного по технологии ПЗС фотоприемника, имеющего форму кольца и содержащего на общем кристалле «кольцевую» четырехстрочную фотоприемную область, накрытую кольцевыми по форме и последовательно расположенными соответственно инфракрасным отсекающим фильтром и мозаичным цветным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты, а также содержащего на общем кристалле «кольцевой» выходной регистр и преобразователь «заряд-напряжение», при этом сам сенсор механически сканируют по кадру в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива, в пределах его углового поля по месту и с шагом, равном ширине четырехстрочной фотоприемной области, причем внешний диаметр этой фотоприемной области сенсора равен диаметру изображения на выходе панорамного объектива.