Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата Российский патент 2024 года по МПК G03B37/00 H04N23/13 H04N23/58 H04N25/75 B64U10/00 

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей последовательно круговой обзор в четырех шаровых слоях окружающей сферической области пространства путем воспроизведения на экране компьютерного монитора совмещенного изображения применительно к двум его слоям одновременно. При этом телевизионный контроль ситуации осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места, а сенсорный блок телевизионной камеры такой системы содержит два фотоприемника, изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), которые имеют форму мишени в виде кругового кольца.

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника, при этом каждый из двух «кольцевых» фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП) и содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» «кольцевого» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» фотоприемнике, K₁ - коэффициент усиления активного пиксела его первой «кольцевой» строки, величина которого равна единице, а изменение коэффициента усиления K_m активного пиксела для каждой текущей «кольцевой» строки сенсора обеспечивает одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения; в состав телевизионной камеры входит мультиплексор видеосигнала, первый информационный вход которого подключен к выходу первого фотоприемника, второй информационный вход мультиплексора - к выходу второго фотоприемника, а выход мультиплексора является выходом телевизионной камеры, причем мультиплексор выполняет дополнительно высокочастотное модулирование выходного цифрового сигнала телевизионной камеры для осуществления его беспроводной передачи на сервер; оправа, в которой размещается шариковый подшипник и оба фотоприемника, которые стыкуются между собой обратными сторонами кристаллов; и блок поворота, который механически связан с оправой и предназначен для выполнения ее углового перемещения на 90° в пределах внутреннего пространства телевизионной камеры, а также демодулятор высокочастотных управляющих команд оператора системы для блока поворота, транслируемых по беспроводной линии связи от сервера на телевизионную камеру, при этом в беспосадочном режиме работы летательного аппарата по команде, поступающей в телевизионную камеру с компьютера оператора системы, осуществляется плавный пространственный поворот оправы на угол 90°, так что мишень первого фотоприемника устанавливается в положение напротив третьего панорамного объектива, а мишень второго фотоприемника - в положение напротив четвертого панорамного объектива, а если оператором системы будет подана на телевизионную камеру альтернативная команда, то оправа с фотоприемниками возвращается в исходное положение, причем величина коэффициента усиления активного пиксела K₁ для первой строки фотоприемника сенсорного блока телевизионной камеры может быть равна единице или быть больше ее, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения в режиме организации ручной или автоматической регулировки чувствительности фотоприемника в зависимости от освещенности объектов панорамного сюжета; на плате видео сервера осуществляется высокочастотное модулирование команд управления телевизионной камерой, а также демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых видеосигналов в блоки оперативной памяти сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «»прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем, при этом в качестве сервера используется системный блок компьютера оператора системы.

В прототипе [1] обеспечивается возможность ведения последовательно раздельного мониторинга видеоинформации в каждом из четырех слоев окружающего пространства при помощи беспилотного летательного аппарата. Однако в нем исключена возможность панорамного наблюдения одновременно в двух слоях окружающего пространства путем совмещения двух изображений в одном «кольцевом» кадре.

Задачей изобретения является формирование совмещенного изображения панорамного сюжета для выполнения одновременного мониторинга в двух слоях окружающего пространства путем формирования совмещенного изображения в «кольцевом» кадре и без потерь во времени для каждого из составляющих изображений.

Поставленная задача в заявляемом устройстве компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата решается тем, что, как и в устройстве прототипа [1], которое содержит последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника, при этом каждый из двух «кольцевых» фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП и содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» «кольцевого» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению (1); также в состав телевизионной камеры входит оправа, в которой размещается шариковый подшипник и оба фотоприемника, которые стыкуются между собой обратными сторонами кристаллов; и блок поворота, который механически связан с оправой и предназначен для выполнения ее углового перемещения на 90° в пределах внутреннего пространства телевизионной камеры; в состав телевизионной камеры входит также модулятор видеосигнала, обеспечивающий высокочастотное модулирование цифрового сигнала телевизионной камеры на ее выходе для осуществления его беспроводной передачи на сервер, а также демодулятор высокочастотных управляющих команд оператора системы для блока поворота, транслируемых по беспроводной линии связи от сервера на телевизионную камеру, при этом в беспосадочном режиме работы летательного аппарата по команде, поступающей в телевизионную камеру с компьютера оператора системы, осуществляется плавный пространственный поворот оправы на угол 90°, так что мишень первого фотоприемника устанавливается в положение напротив третьего панорамного объектива, а мишень второго фотоприемника - в положение напротив четвертого панорамного объектива, а если оператором системы будет подана на телевизионную камеру альтернативная команда, то оправа с фотоприемниками возвращается в исходное положение; на плате видео сервера осуществляется высокочастотное модулирование команд управления телевизионной камерой, а также запись входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых видеосигналов в блоки оперативной памяти сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров т, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (2), при этом в качестве сервера используется системный блок компьютера оператора системы, но при этом в отличие от прототипа [1], в состав телевизионной камеры введен селектор синхроимпульсов и блок совмещения изображений (БСИ), причем вход селектора подключен к выходу первого фотоприемника, а выход сигнала синхронизации приемника (ССП) селектора - к входу синхронизации второго фотоприемника или вход селектора синхроимпульсов телевизионной камеры подключен к выходу второго фотоприемника, а выход ССП селектора - к входу синхронизации первого фотоприемника; выход «видео» первого фотоприемника подключен к первому информационному входу БСИ, второй информационный вход которого подключен к выходу «видео» второго фотоприемника, на управляющий вход БСИ подается сигнал синхронизации двойной строчной частоты (2FCCH), а выход БСИ подключен к входу модулятора видеосигналов, при этом БСИ содержит в своем составе D-триггер, первый коммутатор видеосигналов и второй коммутатор видеосигналов, причем на вход CLK D-триггера подается сигнал 2FCCH, прямой выход (Q) D-триггера подключен к управляющему входу первого коммутатора видеосигналов, а инверсный выход (Q) D-триггера - к управляющему входу второго коммутатора видеосигналов, информационный вход первого коммутатора видеосигналов является первым информационным входом БСИ, к которому подключен выход «видео» первого фотоприемника, информационный вход второго коммутатора видеосигналов является вторым информационным входом БСИ, к которому подключен выход «видео» второго фотоприемника, а выходы обоих коммутаторов объединены между собой, являясь выходом БСИ, а в состав платы видео сервера введен блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера.

Совокупность известных и новых признаков заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.

Важно отметить следующее. Светочувствительная площадь пикселов мишени каждого из «кольцевых» фотоприемников, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами. Но при этом, как и в прототипе [1], не происходит межстрочного нарушения чувствительности фотоприемника по следующим обстоятельствам.

Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления K_m пиксела на величину его светочувствительной площади Δ_m.

Как следует из соотношения (1), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов фотоприемника.

Не меняется и величина шумовой «дорожки» для каждого активного пиксела фотоприемника, что является обязательным условием его высоких показателей по чувствительности и отношению сигнал/шум.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1а) приведена структурная схема заявляемого устройства компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата; на этом же чертеже - структурная схема телевизионной камеры в ее составе, реализующая пространственный мониторинг в двух слоях (слева и справа) окружающего пространства; на фиг 1б) - структурная схема заявляемой компьютерной системы и соответственно структурная схема телевизионной камеры, реализующая пространственный мониторинг в двух других слоях (снизу и сверху) окружающего пространства; на фиг. 1в) - структурная схема блока совмещения изображений в составе телевизионной камеры; на фиг. 2 приведена схемотехническая организация «кольцевого» фотоприемника; на фиг. 3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 5 - временная диаграмма, поясняющая работу блока совмещения изображений; на фиг. 6 - пояснение к организации совмещенного «кольцевого» изображения с границей разделения по строке; на фиг. 7 - иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра совмещенного изображения в прямоугольный растр компьютерного монитора.

Заявляемое устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата, см. фиг. 1а) и фиг. 1б), содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), который является узлом локальной вычислительной сети, с возможностью подключения двух или более персональных компьютеров в позиции 3.

В качестве сервера 2 использован системный блок компьютера 4 оператора системы.

Телевизионная камера 1, см. фиг. 1а)), содержит в своем составе первый панорамный объектив 1-1, второй панорамный объектив 1-2, третий панорамный объектив 1-3 и четвертый панорамный объектив 1-4; сенсорный блок 1-5 (отмечен линиями из квадратных точек), содержащий первый фотоприемник в позиции5 и второй фотоприемник в позиции 6; шариковый подшипник 1-6, блок поворота 1-7 (электрический джойстик), оправу 1-8, демодулятор команд 1-9, модулятор видеосигнала 1-10, селектор синхроимпульсов 1-11 и блок совмещения изображений 1-12, при этом фотоприемник 5 и фотоприемник 6 размещены в оправе 1-8, стыкуясь между собой обратными сторонами кристаллов, а блок поворота 1-7 по команде оператора, поступающей из сервера 2 через демодулятор команд 1-9, обеспечивает при помощи шарикового подшипника 1-6 плавный поворот оправы 1-8 с фотоприемниками на угол 90° в направлении против часовой стрелки, а при поступлении альтернативной команды - плавный поворот в обратном направлении на тот же угол 90°, см. фиг. 1б), при этом независимо от этих перемещений выход «видео» первого фотоприемника 5 подключен к первому информационному входу блока совмещения изображений (БСИ) в позиции 1-12, выход «видео» второго фотоприемника 6 - ко второму информационному входу БСИ 1-12, на управляющий вход которого с первого фотоприемника 5 подается импульсный сигнал 2FCCH; выход БСИ 1-12 подключен к входу модулятора видеосигнала 1-10, выход которого является выходом «видео» телевизионной камеры 1, а совмещенное изображение в стандарте высокочастотного модулированного цифрового сигнала передается на сервер 2.

Отметим, что блок поворота 1-7 на фиг. 1а) и на фиг. 1б) условно изображен в виде двойной фигурной стрелки.

Демодулятор команд оператора 1-9 предназначен для преобразования эфирных сигналов, поступающих с сервера 2 на телевизионную камеру 1, в логические сигналы «1» или «0», передаваемые по проводам.

Блок совмещения изображений (БСИ) 1-12 предназначен для непосредственного формирования совмещенного изображения, содержащего в одном «кольцевом» телевизионном кадре видеоинформацию о происходящем одновременно в двух слоях окружающего пространства.

Структурная схема БСИ 1-12 представлена на фиг. 1в). Она содержит в своем составе, D-триггер 1-12-1, первый коммутатор видеосигналов 1-12-2 и второй коммутатор видеосигналов 1-12-3. Временная диаграмма, поясняющая работу БСИ 1-12, представлена на фиг. 5.

На вход CLK D-триггера 1-12-1 поступает импульсный сигнал двойной строчной частоты (2БССИ), эпюра которого представлена на фиг. 5а).

В результате на выходе Q D-триггера 1-12-1 будет получен импульсный сигнал, показанный на эпюре фиг. 5б), а на выходе - импульсный сигнал, изображенный на эпюре фиг. 5в).

Как сообщалось выше, плата видео в сервере 2 выполняет программным путем электрическое вписывание (вставку) изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора.

Важно отметить, что в компьютерной программе применительно к операции по реализации этой вставки должно быть реализовано соблюдение последовательности передачи телевизионных строк.

При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг. 7.

Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для «кольцевого» фотоприемника 5 или 6.

Пусть, как показано на фиг. 2 и на фиг. 7 (слева), в «кольцевом» растре фотоприемника пиксел «А» считывается первым в первой «кольцевой» строке, а пиксел «В» - точно посередине этой строки.

Тогда в «прямоугольном» растре компьютерного монитора (см. фиг. 7, справа) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» - положение центрального элемента его последней строки.

Продолжим изложение технических особенностей отдельных блоков заявляемого решения. Панорамные объективы 1-1, 1-2, 1-3 и 1-4 предназначены для формирования оптических изображений кругового обзора последовательно для четырех шаровых слоев контролируемого пространства, соответствующих направлению взгляда телевизионного оператора, как показано на фиг. 1а) и на фиг. 1б).

В качестве технического решения для панорамных объективов 1-1, 1-2, 1-3 и 1-4, совпадающего с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].

Фотография «кольцевого» изображения, формируемого панорамным объективом, представлена на фиг. 4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

«Кольцевой» фотоприемник 5, как и «кольцевой» фотоприемник 6, (см. фиг. 2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фотоприемную область (мишень) 5-1, «кольцевой» регистр 5-2 кадровой развертки, «кольцевой» коммутатор 5-3 видеосигналов и «кольцевой» мультиплексор 5-4.

Как показано на фиг. 2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.

Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 5-1-1, усилитель 5-1-2 с коэффициентом усиления K_m для каждой текущей «кольцевой» строки и АЦП 5-1-3.

«Кольцевой» коммутатор 5-3 видеосигналов состоит из отдельных коммутаторов 5-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 5-3-2.

Отметим, что показанная на фиг. 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.

Видеосигнал с выхода каждого АЦП 5-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 5-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 5-3-1, управляемого с одного из выходов мультиплексора 5-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 5-3-2, а затем транслируется по ней на выход «кольцевого» фотоприемника.

То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 6-1 фотоприемника 6.

Отметим, что на фиг. 2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 5-1-4 фотоприемника со стороны «кольцевого» регистра 5-2 кадровой развертки. То, что здесь, как и на фиг. З, изображены лишь четыре строчные шины, является условностью чертежа. Напомним, что число шин 5-1-4 соответствует показателю действительного числа «кольцевых» строк в фотоприемнике.

Поясним дополнительно и другие особенности чертежа на фиг. 2. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 5-1-5 в направлении к «кольцевому» коммутатору 5-3 видеосигналов.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.

Как и в прототипе [1], благодаря принятой для изготовления предлагаемого «кольцевого» фотоприемника видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.

Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана в США в «нулевые» двухтысячные годы.

Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП для «кольцевого» фотоприемника с аналогичными возможностями не предполагалась, а она реально позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.

К этому необходимо добавить, что «кольцевой» фотоприемник 5 и «кольцевой» фотоприемник 6 могут формировать телевизионный сигнал как монохромного (черно-белого), так и цветного изображения.

Устройство «кольцевого» фотоприемника цветного изображения было предложено в патенте РФ [4]. Отметим, что обязательный в этом решении инфракрасный светофильтр (ИК-фильтр), обеспечивающий согласование фотоприемника со спектральной чувствительностью человеческого глаза, может быть выполнен в составе панорамного объектива или интегрирован непосредственно в «кольцевой» сенсор.

Демодулятор команд 1-9, как и в прототипе [1], предназначен для преобразования эфирных сигналов, поступающих с сервера 2 на телевизионную камеру 1, в логические сигналы «1» или «О», передаваемые по проводам.

Шарикоподшипник 1-6, как и в прототипе [1], предназначен для обеспечения плавности хода оправы 1-8 с фотоприемниками, которая механически связана с блоком поворота 1-7, а точнее с поворотным якорем его нейтрального электромагнита.

Техническое решение блока поворота 1-7 полностью повторяет аналогичный блок поворота прототипа [1], Учитывая малые размеры «кольцевого» фотоприемника, даже и для оправы 1-8, содержащей два таких сенсора, тяговой характеристики электромагнита (см. [5, с. 79], возникающей за счет увеличения магнитодвижущей силы (м.д.с.) обмотки от нуля до 1500 Вольт-ампер будет достаточно, чтобы вызвать необходимый поворот якоря на 90°.

Заявляемое устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата работает следующим образом.

Пусть телевизионная камера 1, установленная, например, на гексакоптере, расположена на некоторой высоте относительно Земли.

Будем считать, что линии связи телевизионной камеры 1 с сервером 2 компьютера 4 по видеосигналу и командному управлению реализованы в стандарте IEEE 802/11 для беспроводных сетей [см. 6, с. 380-381].

Это означает, что передача данных осуществляется на одной из двух скоростей (1 или 2 Мбит/с) в полосе частот 2,4 ГГц.

В исходном положении управляющий сигнал с компьютера 4 на телевизионную камеру 1 не поступает, т.е. на входе блока поворота 1-7 присутствует сигнал логического «0».

Пусть решение сенсорного блока 1-5 в составе телевизионной камеры, см. фиг. 1а), реализовано так, что в исходном положении ось визирования первого панорамного объектива 1-1, а, следовательно, и оптическая ось первого фотоприемника 5 направлена по горизонтали влево.

Тогда, по отношению к этому направлению, ось визирования второго панорамного объектива 1-2, а, следовательно, и оптическая ось второго фотоприемника 6 будет ориентирована по горизонтали вправо.

Отметим, что мишень первого фотоприемника 5 и мишень второго фотоприемника 6 занимаю в данной ситуации положения, которые показаны линиями из квадратных точек,

Экспонирование «кольцевых» мишеней первого и второго фотоприемников производится непрерывно. Поэтому на первом выходе сенсорного блока 1-5 формируется видеосигнал «кольцевого» кадра от первого фотоприемника 5, а на втором выходе сенсорного блока 1-5 -цифровой видеосигнал «кольцевого» кадра от второго фотоприемника 6.

Благодаря наличию в составе телевизионной камеры селектора 1-11, видеосигнал второго фотоприемника синхронизируется в режиме Genlock при помощи импульсов ССП от видеосигнала первого фотоприемника.

Очевидно, что режим внешней синхронизации Genlock может быть организован и по-другому, а именно по сигналу ССП от видеосигнала второго фотоприемника.

Далее выходные видеосигналы сенсорного блока 1-5 объединяются в блоке 1-12 совмещения изображений на общую нагрузку.

Полученный совмещенный цифровой телевизионный сигнал (совмещенный ЦТС) «кольцевого» кадра, содержащий видеоинформацию о двух шаровых слоях (слева и справа) окружающего пространства, потом подвергается высокочастотному модулированию в блоке 1-10, становясь доступным для эфира на выходе телевизионной камеры 1.

Затем этот совмещенный ЦТС по беспроводной сети передается на сервер 2, где на плате видео выполняется его демодулирование на два канала с последующей записью видеоинформации каждого канала соответственно в первый и второй блоки оперативной памяти на кадр.

Благодаря заложенной и реализуемой компьютерной программе, оператор заявляемой системы может вызвать на экран совмещенное изображение (см. фиг. 7, справа).

Пусть оба фотоприемника ориентированы так, что начало их «кольцевых» строк находится внизу на вертикальной оси (см. фиг. 6).

Тогда левая половина этого «кольцевого» изображения будет формироваться сигналом «Видео 1» от первого фотоприемника 5, а правая его половина - сигналом «Видео 2» от второго фотоприемника 6.

Отметим, что эти составляющие видеосигналы совпадают по времени их создания, т.е. они не имеют искусственной задержки по времени друг относительно друга на период кадров, что свойственно прототипу [1] из-за реализации в его телевизионной камере функции мультиплексирования изображений.

Чтобы получить в телевизионной камере совмещенный ЦТС в двух других шаровых слоях окружающего пространства, достаточно подать через блок 1-9 телевизионной камеры 1 с компьютера 4 высокий уровень управляющего сигнала (логическую «1») и, тем самым, см. фиг. 1б), переключить положения мишеней сенсорного блока 1-5 на угол 90°.

Поэтому мишень первого фотоприемника 5 и мишень второго фотоприемника 6 в данной ситуации будут занимать новые положения, т.е. напротив третьего 1-3 и соответственно напротив четвертого 1-4 панорамных объективов.

В результате, на плату видео сервера 2 будет передаваться совмещенный ЦТС применительно к двум другим шаровым слоям окружающего пространства (снизу и сверху), где он так же, как и предыдущий ЦТС, будет подвергаться демодулированию и последующей записи «кольцевой» видеоинформации в блок оперативной памяти на кадр.

Возможность наблюдения оператором системы совмещенного «кольцевого» ЦТС является, несомненно, важным преимуществом предлагаемого технического решения, т.к. позволяет заранее определиться с выбором заслуживающих внимания областей для детального их рассмотрения.

Отсутствие временных потерь в совмещенном изображении для его составляющих изображений может быть решающим преимуществом при контроле динамичных сюжетов.

Последовательное преобразование по соотношению (2) в сервере 2 каждого из двух «кольцевых» кадров записи совмещенного ЦТС в «прямоугольные» кадры предоставляет возможность подробного рассмотрения выбранных фрагментов изображений в типовом прямоугольном растре и тем самым успешно завершает выполнение задачи мониторинга видеоинформации. И это достигается для всех четырех слоев окружающего пространства.

В настоящее время все блоки заявляемого решения устройства компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2798684. МПК H04N 23/13, H04N 23/58, H04N 25/75. Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата. / В.М. Смелков // Б.И. - 2023. - №18.

2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.

4. Патент РФ №2710779. МПК H04N 5/374. Устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения. / В.М. Смелков // Б.И. - 2019 - №2.

5. Гинзбург С.А., Лехтман И.Я., Малов B.C. Основы автоматики и телемеханики. Под общ. ред. С.А. Гинзбурга. Изд. 4-е переработанное. Пер. с англ. - «Энергия», 1968.

6. Владо Дамьяновски. ССТУ. Библия видеонаблюдения. Цифровые и сетевые технологии. Издание 2-. Пер. с англ. 000»Ай-Эс-ЭС Пресс». 2006.

Изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей последовательно круговой обзор в четырёх шаровых слоях окружающей сферической области пространства путём воспроизведения на экране совмещённого изображения применительно к двум его слоям одновременно. Телевизионный контроль осуществляется в пространственном угле 360 градусов по азимуту и десятков градусов по углу места, а сенсорный блок телевизионной камеры такой системы содержит два фотоприёмника, изготовленных по технологии комплементарных структур «металл-окисел-полупроводник», которые имеют форму мишени в виде кругового кольца. Изобретение обеспечивает одновременный мониторинг в двух слоях окружающего пространства путём формирования совмещённого изображения в «кольцевом» кадре без потерь во времени для каждого из составляющих изображений. 3 з.п. ф-лы, 7 ил.

1. Устройство компьютерной системы панорамного телевизионного наблюдения для беспилотного летательного аппарата, содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника, при этом каждый из двух «кольцевых» фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии «металл-окисел-полупроводник» (КМОП) и содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K_m, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» «кольцевого» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» фотоприемнике, K₁ - коэффициент усиления активного пиксела его первой «кольцевой» строки, величина показателя которого равна единице, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения;

также в состав телевизионной камеры входит оправа, в которой размещается шариковый подшипник и оба фотоприемника, которые стыкуются между собой обратными сторонами кристаллов; и блок поворота, который механически связан с оправой и предназначен для выполнения ее углового перемещения на 90° в пределах внутреннего пространства телевизионной камеры; в состав телевизионной камеры входит также модулятор видеосигнала, обеспечивающий высокочастотное модулирование цифрового сигнала телевизионной камеры на ее выходе для осуществления его беспроводной передачи на сервер, а также демодулятор высокочастотных управляющих команд оператора системы для блока поворота, транслируемых по беспроводной линии связи от сервера на телевизионную камеру, при этом в беспосадочном режиме работы летательного аппарата по команде, поступающей в телевизионную камеру с компьютера оператора системы, осуществляется плавный пространственный поворот оправы на угол 90°, так что мишень первого фотоприемника устанавливается в положение напротив третьего панорамного объектива, а мишень второго фотоприемника - в положение напротив четвертого панорамного объектива, а если оператором системы будет подана на телевизионную камеру альтернативная команда, то оправа с фотоприемниками возвращается в исходное положение; на плате видеосервера осуществляется высокочастотное модулирование команд управления телевизионной камерой, а также запись входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых видеосигналов в блоки оперативной памяти сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем,

при этом в качестве сервера используется системный блок компьютера оператора системы, отличающееся тем, что в состав телевизионной камеры введен селектор синхроимпульсов и блок совмещения изображений (БСИ), причем вход селектора подключен к выходу «видео» первого фотоприемника, а выход сигнала синхронизации приемника (ССП) селектора - к входу синхронизации второго фотоприемника или вход селектора синхроимпульсов телевизионной камеры подключен к выходу второго фотоприемника, а выход ССП селектора - к входу синхронизации первого фотоприемника; выход «видео» первого фотоприемника подключен к первому информационному входу БСИ, второй информационный вход которого подключен к выходу «видео» второго фотоприемника, на управляющий вход БСИ подается сигнал синхронизации двойной строчной частоты (2FCCИ), а выход БСИ подключен к входу модулятора видеосигналов, при этом БСИ содержит в своем составе D-триггер, первый коммутатор видеосигналов и второй коммутатор видеосигналов, причем на вход CLK D-триггера подается сигнал 2FCCИ, прямой выход (Q) D-триггера подключен к управляющему входу первого коммутатора видеосигналов, а инверсный выход D-триггера - к управляющему входу второго коммутатора видеосигналов, информационный вход первого коммутатора видеосигналов является первым информационным входом БСИ, к которому подключен выход «видео» первого фотоприемника, информационный вход второго коммутатора видеосигналов является вторым информационным входом БСИ, к которому подключен выход «видео» второго фотоприемника, а выходы обоих коммутаторов объединены между собой, являясь выходом БСИ, а в состав платы видеосервера введен блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера.

2. Устройство компьютерной системы панорамного телевизионного наблюдения по п. 1, отличающееся тем, что первый «кольцевой» фотоприемник и второй «кольцевой» фотоприемник сенсорного блока телевизионной камеры являются датчиками монохромного или цветного телевизионного сигнала.

3. Устройство компьютерной системы панорамного телевизионного наблюдения по п. 1, отличающееся тем, что в первом «кольцевом» фотоприемнике и втором «кольцевом» фотоприемнике сенсорного блока телевизионной камеры электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, выполнены с геометрической формой в виде части кругового кольца.

4. Устройство компьютерной системы панорамного телевизионного наблюдения по п. 1, отличающееся тем, что в телевизионной камере сигнал синхронизации двойной строчной частоты (2FCCИ) подается на управляющий вход блока совмещения изображений (БСИ) со второго фотоприемника.