Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата Российский патент 2024 года по МПК H04N23/13 H04N7/18 

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей одновременно или последовательно круговой обзор в четырех шаровых слоях окружающей сферической области пространства. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Сенсорный блок этой телевизионной камеры состоит из изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП) двух фотоприемников, которые имеют форму мишени в виде кругового кольца.

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника; а каждый из двух фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:

где - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» фотоприемнике, - коэффициент усиления активного пиксела его первой «кольцевой» строки, величина которого равна единице, а изменение коэффициента усиления активного пиксела для каждой текущей «кольцевой» строки сенсора обеспечивает одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения; причем на кристаллах обоих фотоприемников сенсорного блока имеется сквозной шлиц, выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, при этом первый фотоприемник установлен в консольное соединение со вторым фотоприемником в шлиц под углом 90°, причем в пространстве, которое состоит из свободной от пикселов области первого и второго фотоприемников установлен шарикоподшипник, а в состав телевизионной камеры входит демодулятор команд оператора, при этом в беспосадочном режиме летательного аппарата по командам, поступающим в телевизионную камеру с компьютера оператора системы, обеспечивается последовательное пространственное перемещение этих фотоприемников при помощи первого и второго блоков поворота якоря электромагнита, устанавливаемых на внешней периферии первого и второго фотоприемников соответственно, причем первый блок поворота реализует пространственный поворот первого фотоприемника на угол 180°, а второй блок поворота реализует пространственный поворот на угол 180° второго фотоприемника, так что мишень первого фотоприемника устанавливается симметрично в положение напротив третьего панорамного объектив, а мишень второго фотоприемника - симметрично в положение напротив четвертого панорамного объектива, при этом выход первого фотоприемника сенсорного блока подключен к первому информационному входу мультиплексора-модулятора, а выход второго фотоприемника - ко второму информационному входу мультиплексора-модулятора, выход которого является выходом «видео» телевизионной камеры; на материнской плате сервера установлена плата видео, выполняющая демодуляцию входного цифрового телевизионного сигнала и его демультиплексирование на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров n, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем, при этом в качестве сервера используется системный блок компьютера оператора системы.

В прототипе [1] обеспечивается возможность ведения последовательно раздельного мониторинга видеоинформации в каждом из четырех слоев окружающего пространства при помощи беспилотного летательного аппарата. Однако в нем исключена возможность панорамного наблюдения одновременно в двух слоях окружающего пространства путем совмещения двух изображений в одном «кольцевом» кадре.

Задачей изобретения является формирование совмещенного изображения панорамного сюжета для выполнения одновременного мониторинга в двух слоях окружающего пространства путем формирования совмещенного изображения в «кольцевом» кадре и без потерь во времени для каждого из составляющих изображений.

Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения для беспилотного летательного аппарата решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также модулятор видеосигнала и сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника; причем каждый из двух фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению (1), обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем на кристаллах всех обоих фотоприемников сенсорного блока имеется сквозной шлиц, выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, при этом первый фотоприёмник установлен в консольное соединение со вторым фотоприёмником в шлиц под углом 90°; на материнской плате сервера установлена плата видео, выполняющая демодуляцию входного цифрового телевизионного сигнала с последующей записью «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причём число «прямоугольных» кадров п, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (2); а модулятор видеосигналов является выходом телевизионной камеры, но при этом, в отличие от прототипа [1], в телевизионную камеру введены селектор синхроимпульсов и блок совмещения изображений (БСИ), причём вход селектора подключён к выходу первого фотоприёмника, а выход сигнала синхронизации приёмника (ССП) селектора - к входу синхронизации второго фотоприёмника, выход «видео» первого фотоприёмника подключён к первому информационному входу БСИ, второй информационный вход которого подключён к выходу «видео» второго фотоприёмника, на управляющий вход БСИ подаётся сигнал синхронизации двойной строчной частоты (2FCCH) от первого фотоприёмника сенсорного блока, а выход БСИ подключён к входу модулятора видеосигналов, при этом БСИ содержит в своём составе D-триггер, первый коммутатор видеосигналов и второй коммутатор видеосигналов, причём на вход CLK D-триггера подаётся сигнал 2FCCH, прямой выход (Q) D-триггера подключён к управляющему входу первого коммутатора видеосигналов, а инверсный выход (Q) D-триггера - к управляющему входу второго коммутатора видеосигналов, информационный вход первого коммутатора видеосигналов является первым информационным входом БСИ, к которому подключён выход «видео» первого фотоприёмника, информационный вход второго коммутатора видеосигналов является вторым информационным входом БСИ, к которому подключён выход «видео» второго фотоприёмника, а выходы обоих коммутаторов объединены между собой, являясь выходом БСИ, который подключен к входу модулятора видеосигналов, а в состав платы видео сервера введен блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера.

Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.

Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени всех четырех фотоприемников сенсорного блока, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического зазора между светочувствительными элементами вдоль каждой «кольцевой» строки.

Но при этом в заявляемом решении, как и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.

Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления пиксела на величину его светочувствительной площади

Как следует из соотношения (1), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов фотоприемника.

Не меняется и величина шумовой «дорожки» для каждого активного пиксела фотоприемника, что является обязательным условием реализации его высоких показателей по чувствительности и отношению сигнал/шум.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг.1а) приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже - структурная схема телевизионной камеры в ее составе, реализующая пространственный мониторинг одновременно в двух слоях (сверху и слева) окружающего пространства; на фиг.1б) - структурная схема заявляемой компьютерной системы и соответственно структурная схема телевизионной камеры, реализующая пространственный мониторинг одновременно в двух других слоях (снизу и справа) окружающего пространства; на фиг.1в) - структурная схема блока совмещения изображений в составе телевизионной камеры; на фиг.2 приведена схемотехническая организация для каждого из двух «кольцевых» фотоприемников сенсора; на фиг.3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг.4, по данным [2], представлена фотография изображения, полученного при помощи панорамного объектива; на фиг.5 - временная диаграмма, поясняющая работу блока совмещения изображений; на фиг.6 - пояснение к организации совмещенного «кольцевого» изображения с границей разделения по строке; на фиг.7 - иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра совмещенного изображения в прямоугольный растр компьютерного монитора; на фиг.8 изображена структурная схема первого (второго) блока поворота якоря электромагнита в составе телевизионной камеры.

Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом в состав телевизионной камеры 1 входит первый панорамный объектив 1-1, второй панорамный объектив 1-2, третий панорамный объектив 1-3 и четвёртый панорамный объектив 1-4, а также сенсорный блок 1-5, содержащий первый и второй фотоприёмники; модулятор видеосигнала 1-6, шарикоподшипник 1-7, первый блок поворота 1-8, второй блок поворота 1-9, демодулятор команд оператора 1-10, селектор синхроимпульсов 1-11, обеспечивающий режим синхронизации второго фотоприёмника от первого фотоприёмника, а также блок совмещения изображений (БСИ) 1-12, при этом фотоприёмники соединены между собой через консоль под углом 90°, причём первый панорамный объектив 1-1 оптически связан с первым фотоприёмником, а второй панорамный объектив 1-2 - со вторым фотоприёмником 7 (см. фиг. 1а) или третий панорамный объектив 1-3 оптически связан с первым фотоприёмником, а четвёртый панорамный объектив — со вторым фотоприёмником (см. фиг. 16); выход «видео» первого фотоприёмника подключён к первому информационному входу блока совмещения изображений БСИ 1-12, выход «видео» второго фотоприёмника - ко второму информационному входу БСИ 1-12, на управляющий вход которого с первого фотоприёмника подаётся импульсный сигнал 2FCCH; выход БСИ 1- 12 подключён к входу модулятора видеосигнала 1-6, выход которого является выходом «видео» телевизионной камеры 1, а совмещённое изображение в стандарте высокочастотного модулированного цифрового сигнала передаётся на сервер 2.

Панорамные объективы 1-1 и 1-2 и соответственно панорамные объективы 1-3 и 1-4 предназначены для формирования оптических изображений кругового обзора для четырёх противоположно расположенных шаровых слоёв контролируемого пространства, например для направления взгляда телевизионного оператора, это может быть соответствующее пространство сверху и снизу или спереди и сзади от него.

В качестве технического решения для панорамных объективов 1-1, 1-2, 1-3 и 1-4, совпадающего с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг.4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75 - 80) градусов по углу места.

Каждый из двух фотоприемников (см. фиг.2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фото приемную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4. Сквозной шлиц имеет позиционное обозначение 1-2-5.

Как показано на фиг.2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.

Каждый активный пиксел мишени (см. фиг.3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.

«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.

Отметим, что показанная на фиг.2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг.3 латинской буквы L являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.

Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3, передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.

Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.

То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из четырех фотоприемников сенсорного блока 1-2.

Отметим, что на фиг.2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг.3, изображены лишь четыре строчные шины является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.

Поясним дополнительно на фиг.2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.

Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.

Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями там не упоминалась.

Предлагаемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.

К этому необходимо добавить, что «кольцевой» фотоприемник 5 и «кольцевой» фотоприемник 6 могут формировать телевизионный сигнал как монохромного (черно-белого), так и цветного изображения.

Устройство «кольцевого» фотоприемника цветного изображения было предложено в патенте РФ [4]. Отметим, что обязательный в этом решении инфракрасный светофильтр (ИК-фильтр), обеспечивающий согласование фотоприемника со спектральной чувствительностью человеческого глаза, может быть выполнен в составе панорамного объектива или интегрирован непосредственно в «кольцевой» сенсор.

Модулятор 1-6, как и в прототипе [1], служит для преобразования выходного видеосигнала телевизионной камеры в форму, необходимую для передачи его по эфирному каналу (беспроводной сети).

Шарикоподшипник 1-7 предназначен для обеспечения плавности хода поворотного якоря нейтрального электромагнита в блоках 1-8 и 1-9.

Демодулятор команд оператора 1-10 предназначен для преобразования эфирных сигналов, поступающих с сервера 2 на телевизионную камеру 1, в логические сигналы «0» или «1», передаваемые по проводам.

Техническое решение первого (1-8) и второго (1-9) блоков поворота полностью повторяет блок поворота прототипа [1], выполненный на базе технического решения [5, с. 79]..

Нейтральный электромагнит содержит сердечник с обмоткой, имеющий цилиндрическую выточку, в которой помещен якорь в форме двух полуцилиндров, оси которых смещены в разные стороны относительно оси вращения. Поэтому при повороте цилиндра в направлении, указанном стрелкой, воздушный зазор между якорем и сердечником постепенно уменьшается.

Учитывая малые размеры «кольцевых» фотоприемников, тяговой характеристики электромагнита, возникающей за счет увеличения магнитодвижущей силы (м.д.с.) обмотки от нуля до 1500 ампер-вольт, будет достаточно, чтобы вызвать необходимый поворот якоря на 180°.

Отметим, что такой электромагнит называют нейтральным потому, что его работа не зависит от направления тока в обмотке.

Схема включения электромагнита выполнена с использованием буферного каскада на элементе КМОП с питанием от источника 15 В, а также транзистора VT1 типа 2N4401 и транзистора VT2 типа 2N685, реализующего схему Дарлингтона с питанием от напряжения 24 В.

При высоком управляющем уровне напряжения (логической «1») на входе КМОП-буфера обеспечивается ток базы транзистора VT1 8 мА, который в свою очередь вырабатывает ток 150 мА, поступающий в базу транзистора VT2 и вызывающий полное открывание последнего. Благодаря этому, обмотка электромагнита подключается к напряжению 24 В, а якорь электромагнита поворачивается на угол 180°.

При дальнейшем появлении низкого управляющего уровня напряжения (логического «0») на входе КМОП-буфера транзисторы VT1 и VT2 закрываются, электромагнит обесточивается, а его поворотный якорь возвращается в исходное положение.

Необходимо добавить, что поворотный якорь электромагнита для блока 1-8 должен быть жестко закреплен на внешней периферии первого фотоприемника, а поворотный якорь электромагнита для блока 1-9 - на внешней периферии второго фотоприемника, как показано на фиг.2.

Отметим, что блоки поворота 1-8 и 1-9, см. фиг.1а) и фиг.1б), показаны на чертежах в виде двойных фигурных стрелок с заливкой.

Блок совмещения изображений (БСИ) 1-12 предназначен для непосредственного формирования совмещенного изображения, содержащего в одном «кольцевом» телевизионном кадре видеоинформацию о происходящем одновременно в двух слоях окружающего пространства.

Структурная схема БСИ 1-12 представлена на фиг.1в). Она содержит в своем составе, D-триггер 1-12-1, первый коммутатор видеосигналов 1-12-2 и второй коммутатор видеосигналов 1-12-3. Временная диаграмма, поясняющая работу БСИ 1-12, представлена на фиг.5.

На вход CLK D-триггера 1-12-1 поступает импульсный сигнал двойной строчной частоты (2FCCH), эпюра которого представлена на фиг.5а).

В результате на выходе Q D-тригтера 1-12-1 будет получен импульсный сигнал, показанный на эпюре фиг.5б), а на выходе - импульсный сигнал, изображенный на эпюре фиг.5в).

Как сообщалось выше, плата видео в сервере 2 выполняет программным путем электрическое вписывание вставку изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора.

Важно отметить, что в компьютерной программе применительно к операции по реализации этой вставки должно быть реализовано соблюдение последовательности передачи телевизионных строк.

При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг.7.

Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для первого или второго «кольцевого» фотоприемника.

Пусть, как показано на фиг.7 (слева), в «кольцевом» растре фотоприемника пиксел «А» считывается первым в первой «кольцевой» строке, а пиксел «В» - точно посередине этой строки.

Тогда в «прямоугольном» растре компьютерного монитора (см. фиг.7, справа) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» -положение центрального элемента его последней строки.

Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата, см. фиг.1а) и фиг.1б), работает следующим образом.

Пусть телевизионная камера 1 установленная на гексакоптере и расположена на некоторой высоте относительно Земли.

Будем считать, что линии связи телевизионной камеры 1 с компьютером 4 оператора системы по видеосигналу и управлению реализованы в стандарте IEEE 802/11 для беспроводных сетей [6, с. 380-381]. Это означает, что передача данных осуществляется на одной из двух скоростей (1 или 2 Мбит/с) в полосе частот 2.4 ГГц.

В исходном положении управляющие сигналы с компьютера 4 на телевизионную камеру 1 не поступают, т.е. на входах блоков 1-8 и 1-9 присутствую логические «0».

Конструкторское решение сенсорного блока 1-5 в составе телевизионной камеры 1, см. фиг.1а), реализовано так, что ось визирования первого панорамного объектива 1-1, а, следовательно, и оптическая ось первого фотоприемника направлена по вертикали вверх.

Тогда, по отношению к этому направлению, ось визирования третьего панорамного объектива 1-3 будет ориентирована по вертикали вниз.

С другой стороны, в исходном положении ось визирования второго панорамного объектива 1-2 и оптическая ось второго фотоприемника, направлены по горизонтали влево, а ось визирования четвертого панорамного объектива 1-4 - по горизонтали вправо.

Отметим, что мишень первого фотоприемника и мишень второго фотоприемника в данной ситуации занимают положения, которые показаны линиями из квадратных точек, см. фиг. 1а).

Экспонирование «кольцевых» мишеней первого и второго фотоприемников производится непрерывно. Поэтому на первом выходе сенсорного блока 1-5 формируется цифровой видеосигнал «кольцевого» кадра от первого фотоприемника, а на втором выходе сенсорного блока 1-5 - цифровой видеосигнал «кольцевого» кадра от второго фотоприемника.

Благодаря наличию в составе телевизионной камеры селектора 1-11, видеосигнал второго фотоприемника синхронизируется в режиме Genlock при помощи импульсов ССП от видеосигнала первого фотоприемника.

Далее выходные видеосигналы сенсорного блока 1-5 объединяются в блоке 1-12 совмещения изображений на общую нагрузку.

Полученный совмещенный цифровой телевизионный сигнал (совмещенный ЦТС) «кольцевого» кадра, содержащий видеоинформацию о двух шаровых слоях окружающего пространства, потом подвергается высокочастотному модулированию в блоке 1-10, становясь доступным для эфира на выходе телевизионной камеры 1.

Затем этот совмещенный ЦТС по беспроводной сети передается на сервер 2, где на плате видео выполняется его демодулирование и последующая запись «кольцевой» видеоинформации в первый блок оперативной памяти на кадр.

Благодаря заложенной и реализуемой компьютерной программе, оператор заявляемой системы может вызвать на экран совмещенное изображение, (см. фиг.7, справа).

Пусть оба фотоприемника ориентированы так, что начало их «кольцевых» строк находится внизу на вертикальной оси (см. фиг.6).

Тогда левая половина этого «кольцевого» изображения будет формироваться сигналом «Видео 1» от первого фотоприемника, а правая его половина - сигналом «Видео 2» от второго фотоприемника.

Отметим, что эти составляющие видеосигналы совпадают по времени их создания, т.е. они не имеют искусственной задержки по времени друг относительно друга на период кадров, что свойственно прототипу [1] из-за реализации в его телевизионной камере функции мультиплексирования изображений.

Чтобы получить в телевизионной камере совмещенный ЦТС в двух других шаровых слоях окружающего пространства, достаточно подать через блок 1-9 телевизионной камеры 1 с компьютера 4 высокий уровень управляющего сигнала (логическую «1») и, тем самым, см. фиг.1б), переключить положения мишеней сенсорного блока 1-5 на угол 90°.

Поэтому мишень первого фотоприемника 5 и мишень второго фотоприемника 6 в данной ситуации будут занимать новые положения, т.е. напротив третьего 1-3 и соответственно напротив четвертого 1-4 панорамных объективов.

В результате, на плату видео сервера 2 будет передаваться совмещенный ЦТС применительно к двум другим шаровым слоям окружающего пространства, где он также, как и предыдущий ЦТС, будет подвергаться демодулированию и последующей записи «кольцевой» видеоинформации в другой (второй) блок оперативной памяти на кадр.

Возможность наблюдения оператором системы совмещенного «кольцевого» ЦТС является, несомненно, важным преимуществом предлагаемого технического решения, т.к. позволяет заранее определиться с выбором заслуживающих внимания областей для детального их рассмотрения.

Отсутствие временных потерь в совмещенном изображении для его составляющих изображений может быть решающим преимуществом при контроле динамичных сюжетов.

Последовательное преобразование по соотношению (2) в сервере 2 каждого из двух «кольцевых» кадров записи совмещенного ЦТС в «прямоугольные» кадры предоставляет возможность подробного рассмотрения выбранных фрагментов изображений в типовом прямоугольном растре и тем самым успешно завершает выполнение задачи мониторинга видеоинформации. И это достигается для всех четырех слоев окружающего пространства.

В настоящее время все блоки заявляемого решения устройства компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2780801. МПК H04N 5/2251 СПК H04N 5/2258. Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата. / В.М. Смелков // Б.И. - 2022. - №28.

2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. -№20.

3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. -М.: «Радио и связь», 2006.

4. Патент РФ №2710779. МПК H04N 5/374. Устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения. / В.М. Смелков // Б.И. - 2019 - №2.

5. Гинзбург С.А., Лехтман И.Я., Малов B.C. Основы автоматики и телемеханики. Под общ. ред. С.А. Гинзбурга. Изд. 4-е переработанное. Пер. с англ. - «Энергия», 1968.

6. Владо Дамьяновски. CCTV. Библия видеонаблюдения. Цифровые и сетевые технологии. Издание 2-е. Пер. с англ. ООО «Ай -Эс-ЭС Пресс», 2006.

Изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей последовательно круговой обзор в четырех шаровых слоях окружающей сферической области пространства путем воспроизведения на экране компьютерного монитора совмещенного изображения применительно к двум его слоям одновременно. Техническим результатом является обеспечение возможности формирования совмещенного изображения панорамного сюжета для выполнения одновременного мониторинга в двух слоях окружающего пространства путем формирования совмещенного изображения в «кольцевом» кадре с «кольцевой» границей его разделения и без потерь во времени для каждого из составляющих изображений. Результат достигается тем, что в телевизионную камеру введены селектор синхроимпульсов и блок совмещения изображений (БСИ), при этом БСИ содержит в своем составе D-триггер, первый коммутатор видеосигналов и второй коммутатор видеосигналов, при этом информационный вход первого коммутатора видеосигналов является первым информационным входом БСИ, к которому подключен выход «видео» первого фотоприемника, информационный вход второго коммутатора видеосигналов является вторым информационным входом БСИ, к которому подключен выход «видео» второго фотоприемника, а выходы обоих коммутаторов объединены между собой, являясь выходом БСИ, который подключен к входу модулятора видеосигналов. 2 з.п. ф-лы, 10 ил.

1. Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата, содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также модулятор видеосигнала и сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника; причем каждый из двух фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный аналого-цифровой преобразователь АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» фотоприемнике, K₁ - коэффициент усиления активного пиксела его первой «кольцевой» строки, величина которого равна единице, причем на кристаллах всех обоих фотоприемников сенсорного блока имеется сквозной шлиц, выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, при этом первый фотоприемник установлен в консольное соединение со вторым фотоприемником в шлиц под углом 90°; на материнской плате сервера установлена плата видео, выполняющая демодуляцию входного цифрового телевизионного сигнала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров n, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем, отличающееся тем, что в телевизионную камеру введены селектор синхроимпульсов и блок совмещения изображений (БСИ), причем вход селектора подключен к выходу первого фотоприемника, а выход сигнала синхронизации приемника (ССП) селектора - к входу синхронизации второго фотоприемника, выход «видео» первого фотоприемника подключен к первому информационному входу БСИ, второй информационный вход которого подключен к выходу «видео» второго фотоприемника, на управляющий вход БСИ подается сигнал синхронизации двойной строчной частоты (2FCCH) от первого фотоприемника сенсорного блока, а выход БСИ подключен к входу модулятора видеосигналов, при этом БСИ содержит в своем составе D-триггер, первый коммутатор видеосигналов и второй коммутатор видеосигналов, причем на вход CLK D-триггера подается сигнал 2FCCH, прямой выход (Q) D-триггера подключен к управляющему входу первого коммутатора видеосигналов, а инверсный выход D-триггера - к управляющему входу второго коммутатора видеосигналов, информационный вход первого коммутатора видеосигналов является первым информационным входом БСИ, к которому подключен выход «видео» первого фотоприемника, информационный вход второго коммутатора видеосигналов является вторым информационным входом БСИ, к которому подключен выход «видео» второго фотоприемника, а выходы обоих коммутаторов объединены между собой, являясь выходом БСИ, который подключен к входу модулятора видеосигналов, а в состав платы видео сервера введен блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вложение (вставку) «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера.

2. Устройство компьютерной системы панорамного телевизионного наблюдения по п.1, отличающееся тем, что первый «кольцевой» фотоприёмник и второй «кольцевой» фотоприёмник сенсорного блока телевизионной камеры являются датчиками монохромного или цветного телевизионного сигнала.

3. Устройство компьютерной системы панорамного телевизионного наблюдения по п.1, отличающееся тем, что в фотоприёмниках сенсорного блока телевизионной камеры электроды зарядового накопления активных пикселов мишени, совпадающие с площадью их светочувствительной площади, выполнены с геометрической формой в виде части кругового кольца.