СПОСОБ ВИДЕОСОПРОВОЖДЕНИЯ С УЛУЧШЕННЫМИ ДИНАМИЧЕСКИМИ ХАРАКТЕРИСТИКАМИ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2020 года по МПК H04N7/18 F41G7/26 

Область техники

Предлагаемое изобретение относится к системам видеосопровождения объектов, построенных на телевизионном (ТВ) или тепловизионном (ТПВ) принципе. В системах видеосопровождения для удержания изображения объекта (или его фрагмента) в заданном поле зрения камеры используется автоматическое слежение за объектом.

Уровень техники

Известны системы автоматического видеосопровождения [1, 2], которые включают в себя датчик изображения, устанавливаемый на стабилизированной платформе, анализатор изображения, получаемого от датчика, модуль взаимодействия с потребителем, служащий для выявления на изображении объекта слежения (автоматизированный или по указанию потребителя информации) и устройство управления платформой, вырабатывающее сигналы управления платформой на основе информации, получаемой от модуля взаимодействия с потребителем, и обеспечивающее изменение направления оптической оси датчика изображения с целью поддержания направления на заданный объект (на его центр). Под координатами центра объекта может пониматься, например, центр прямоугольного окна, в которое вписывается изображение объекта.

В качестве датчика изображения используется ТВ- или ТПВ-камера (далее - камера). Объем информации, получаемой от датчика изображения, определяется количеством элементов светочувствительной матрицы датчика (пикселов) и частотой кадров в датчике.

Модуль взаимодействия с потребителем реализует интерфейс, с помощью которого может выполняться выбор объекта для сопровождения человеком-оператором. В этом случае модуль взаимодействия должен иметь в своем составе видеомонитор.

Известна система видеосопровождения для беспилотного летательного аппарата (БПЛА) [3]. В этой системе имеется камера, установленная на платформе с приводом. Платформа управляется датчиками угловых координат. Вычислительное устройство, содержащее блок определения координат, на который поступает видеосигнал от датчика изображения, и блок формирования сигналов управления, выполняет оценку координат сопровождаемого объекта и обеспечивает постоянное совмещение оптической оси с направлением на объект по данным блока определения координат.

Еще одним примером известных решений (аналогом, выбираемым в качестве прототипа) является запатентованная система автоматического видеосопровождения [4], которая в основном пункте формулы описывается следующим образом:

«Способ слежения за объектом, заключающийся в том, что преобразуют аналоговый телевизионный видеосигнал от изображения объекта в цифровой телевизионный видеосигнал от изображения объекта, который запоминают на первом кадре в качестве эталонного, а на всех последующих кадрах в качестве текущего, формируют взаимно корреляционную функцию текущего и эталонного изображений и определяют экстремум взаимно корреляционной функции, координаты которого принимают в качестве координат, точки слежения, отличающийся тем, что производят предварительную обработку цифрового телевизионного видеосигнала от изображения объекта путем селекции в нем участков, соответствующих яркостным аномалиям в изображении объекта, затем выделяют в цифровом телевизионном видеосигнале информативные элементы, формируют эталонную маску, при этом взаимно корреляционную функцию формируют только по элементам, определяемым эталонной маской».

Заметим, что в данном пункте формулы не упомянуты датчик изображения, привод платформы датчика и видеомонитор, которые необходимы для работы системы и практически всегда присутствуют в любой системе видеосопровождения.

Как следует из анализа данного изобретения, используемая в нем предварительная обработка видеосигнала (с использованием двумерных направленных операторов дифференцирования) может быть сведена к эквивалентной частотной коррекции сигнала, обеспечивающей относительное усиление деталей изображения, в результате которого в изображении могут быть выделены экстремальные значения и на их основе определены информационные элементы изображения объекта. Блок управления с учетом выделенных информационных элементов формирует эталонную маску прямоугольной формы (строб), которая используется для управления записью в блоки памяти только относительно небольших прямоугольных фрагментов текущего и эталонного кадров, содержащих объект сопровождения. Вычисление взаимно корреляционной функции (или другой функции сходства изображений - например, суммы разностей абсолютных значений яркости пикселов сравниваемых фрагментов изображения) позволяет определить геометрическое смещение пика корреляционной функции, которое в данном случае является мерой смещения объекта сопровождения, и сформировать сигналы, которые корректируют положение строба и направление оптической оси датчика изображения.

Недостаток известных систем. Общим недостатком рассматриваемых систем являются возможные срывы сопровождения, возникающие из-за ограничений по относительной скорости перемещения и особенно ускорению наблюдаемых объектов. Основным фактором, обуславливающим эти ограничения, является обычно используемая стандартная частота кадров телевизионных датчиков изображения [3]. Фактически кадры являются двумерными отсчетами изображения, и в соответствии с теоремой отсчетов В.А. Котельникова их частота определяет (при прочих фиксированных параметрах) допустимую для дискретной передачи ширину временного спектра изображения, и, следовательно, скорость изменения телевизионного изображения во времени, которая и определяет допустимые значения угловой скорости и ускорения наблюдаемых объектов.

Целью предлагаемого изобретения является устранение указанного недостатка известных систем, т.е. предотвращение срывов сопровождения, вызываемых ограниченными допустимыми значениями относительной скорости и ускорения объектов слежения. Эта цель достигается тем, что в датчике изображения производится кратное повышение частоты кадров. При этом частота кадров видеомонитора оставляется стандартной по следующим причинам.

Во-первых, человеческое зрение имеет определенную инерционность, ограничивающую наблюдаемую скорость изменения изображений, что и являлось основанием для выбора существующей стандартизованной частоты кадров (для ТВ-систем с прогрессивной разверткой) или полей (для ТВ-систем с чересстрочной разверткой), равной 50 Гц.

Во-вторых, в авиационных системах видеосопровождения используются специально разработанные видеомониторы со стандартной частотой кадров (полей) 50 Гц, которые удовлетворяют жестким требованиям по стойкости к внешним воздействиям.

В-третьих, в случае необходимости дистанционного контроля изображения, получаемого от датчика изображения, требуется радиоканал для передачи широкополосного видеосигнала, в котором обязательно используются системы информационного сжатия, рассчитанные на входной сигнал с обычной частотой кадров (полей) 50 Гц.

Раскрытие изобретения

Предлагаемое изобретение позволяет обеспечить улучшение динамических характеристик системы видеосопровождения объектов при сохранении стандартизованной частоты кадров изображения, наблюдаемого оператором на экране видеомонитора. Эта цель достигается тем, что в системе видеосопровождения используется датчик изображения с кратно повышенной частотой кадров, благодаря чему достигается существенное улучшение динамических характеристик системы, и вводится операция преобразования этой повышенной частоты кадров в стандартную путем прореживания последовательности кадров от датчика изображения.

Таким образом, предлагается способ видеосопровождения, при котором для получения информации о положении и перемещении объекта используется цифровой видеосигнал последовательных кадров от датчика изображения, производится выделение и запоминание фрагментов текущего и эталонного кадров изображения, содержащих объект, причем положение фрагментов определяется специально формируемыми строб-сигналами, вычисляется функция сходства (например, корреляционная функция) фрагментов текущего и эталонного кадров, на основе которой вычисляются параметры смещения фрагмента текущего кадра относительно соответствующего фрагмента эталонного кадра и на основе анализа изображения вырабатываются сигналы, управляющие положением фрагмента в каждом кадре видеопоследовательности, и сигналы, управляющие направлением оптической оси датчика изображения, отличающийся тем, что в датчике изображения используется кратно повышенная частота кадров (полей) и вводится операция преобразования видеосигнала повышенной частоты кадров (полей) в видеосигнал со стандартной частотой кадров (полей) 50 Гц путем прореживания последовательности кадров от датчика изображения, запоминания сохраняемых кадров и кратного понижения скорости считывания цифрового видеосигнала сохраняемых кадров видеопоследовательности для сопряжения с параметрами видеомонитора со стандартной частотой кадров (полей).

Краткое описание чертежей. Дальнейшее описание поясняется следующими чертежами.

Фиг. 1 - Вариант 1 структурной схемы предлагаемого устройства.

Фиг. 2 - Вариант 2 структурной схемы предлагаемого устройства.

Фиг. 3 - Диаграммы, поясняющие работу преобразователя частоты кадров.

Фиг. 4 - Блок-схема блока наложения экранной графики.

Осуществление изобретения

Осуществление изобретения обеспечивается тем, что в системе видеосопровождения используется датчик изображения (телевизионная или тепловизионная камера) с кратно повышенной частотой кадров, обеспечивающей существенное улучшение динамических характеристик системы видеосопровождения, и вводится операция преобразования этой повышенной частоты кадров в стандартную путем прореживания последовательности кадров от датчика изображения, запоминания сохраняемых кадров и кратного понижения скорости считывания цифрового видеосигнала сохраняемых кадров видеопоследовательности, обеспечивающей сопряжение с параметрами видеомонитора.

Таким образом, предлагается способ видеосопровождения объекта, при котором для получения информации о положении и перемещении объекта используется цифровой видеосигнал последовательных кадров от датчика изображения, производится выделение и запоминание фрагментов текущего и эталонного кадров изображения, содержащих объект, причем положение фрагментов определяется специально формируемыми строб-сигналами, вычисляется функция сходства (например, корреляционная функция) фрагментов текущего и эталонного кадров, на основе которой вычисляются параметры смещения фрагмента текущего кадра относительно фрагмента эталонного кадра и вырабатываются сигналы, управляющие положением фрагментов в кадрах изображении, и сигналы, управляющие направлением оптической оси датчика изображения. Предлагаемый способ отличается тем, что в датчике изображения используется кратно повышенная частота кадров (полей) для улучшения динамических характеристик автосопровождения объекта и вводится операция преобразования видеосигнала повышенной частоты кадров в видеосигнал со стандартной частотой кадров (полей) 50 Гц путем прореживания последовательности кадров от датчика изображения, запоминания сохраняемых кадров и кратного понижения скорости считывания цифрового видеосигнала сохраняемых кадров видеопоследовательности для сопряжения с параметрами видеомонитора со стандартной частотой кадров (полей).

Предлагается вариант 1 устройства для реализации описанного способа видеосопровождения объекта, блок-схема которого представлена на фигуре 1. Устройство содержит датчик изображения 1 с повышенной частотой кадров (ПЧК), установленный на платформе с приводом 2, блок памяти фрагмента текущего кадра 3 и блок памяти фрагмента эталонного кадра 4, входы которых соединены с выходом датчика изображения 1, выходы блоков памяти 3 и 4 соединены со входами блока оценки сходства двух фрагментов (например, коррелятора) 5, выход которого соединен со входом блока управления 6, один из выходов блока управления 6 соединен с управляющим входом преобразователя частоты кадров 7, видеосигнальный вход которого соединен с выходом датчика изображения 1, выход преобразователя 7 соединен с видеосигнальным входом блока наложения экранной графики 8, второй вход которого соединен с выходом формирователя экранной графики 9, вход которого соединен со вторым выходом блока управления 6, выходы «строб-сигнал» блока управления 6 соединены с соответствующими входами блоков памяти 3 и 4, а выход блока наложения экранной графики 8 соединен с видеосигнальным входом видеомонитора 10.

Предлагается также вариант 2 устройства для реализации описанного способа, в котором формирование и ввод экранной графики производится в цепи видеосигнала повышенной частоты кадров (ПЧК), получаемого от датчика изображения 1. Соответствующий вариант структурной схемы устройств приводится на фиг. 2. Здесь в блоке 11, соединенном с блоком управления 6, формируется экранная графика ПЧК, а в блоке 12 производится наложение этой графики на видеосигнал ПЧК. Видеосигнал ПЧК со встроенной графикой с выхода блока 12 подается на вход преобразователя частоты кадров 7, где преобразовывается в видеосигнал с частотой кадров (полей) 50 Гц так же, как в структурной схеме на фиг. 1.

Современные датчики изображения - ТВ и ТПВ камеры обеспечивают возможность работы при повышенной частоте кадров (полей). В качестве примера можно привести источники информации [5-7].

В частности, КМОП-видеокамера Fastvideo-500M [5] фирмы Астек (РФ) обеспечивает частоту съемки до 500 кадр/с при разрешении 1280×1024 пикселов и до 1300 кадр/с при разрешении 800×600 пикселов.

Практически при реализации изобретения можно использовать частоту кадров (полей) 150 Гц, что должно обеспечить соответственное расширение диапазона допустимых скоростей и ускорений сопровождаемого объекта по сравнении с достигаемыми при частоте 50 Гц.

Преобразователь частоты кадров 7, обеспечивающий переход от ПЧК к стандартной частоте 50 Гц, выполняется на основе кадровой памяти, т.е. запоминающего устройства емкостью в 1 видеокадр, значение которой определяется числом пикселов в изображении и точностью кодирования значений яркости пикселов (практически часто используется точность 8, 10 или 12 бит/пиксел). При размере матрицы в камере, например, 702×576 и 8-битовом кодировании потребуется память 8×404,352 Кбит, т.е. при видеосигнале от датчика изображения, передаваемом в параллельном коде, потребуется 8 параллельно работающих ОЗУ (оперативных запоминающих устройств) емкостью приблизительно 404 Кбит (т.е. всего 404 Кбайт). Практически удобно использовать широко распространенные микросхемы ОЗУ с организацией памяти 8×512 Кбит.

Примерами таких микросхем ОЗУ являются следующие изделия:

CY7C1049D - микросхема компании Cypress (США), время выборки по адресу - не более 10 не, диапазон рабочих температур -55…+125°С [8];

1645РУ5 - микросхема компании «Миландр» (РФ), время выборки по адресу - не более 20 нс, диапазон температур -60…+125°С [9];

- 1S61WV5128BLL-10TLI - микросхема компании ISSI (США), тактовый период 10 нс, диапазон температур (для версии A3) -40…+125°С [10].

На фиг. 3 представлена диаграмма преобразования с использованием совмещенного режима запись-считывание в микросхему памяти (в ОЗУ). Здесь сплошными черными линиями представлены процессы записи кадров ПЧК в память, а штриховыми линиями - процессы считывания кадров 50 Гц из памяти. Красным пунктиром показаны кадры ПЧК, которые при записи пропускаются. В совмещенном режиме записи и считывания к ОЗУ предъявляются повышенные требования по быстродействию, поскольку за один цикл обращения к пикселу требуется выполнить оба действия - запись значения яркости пиксела входного изображения ПЧК и считывание значения яркости пиксела выходного изображения со стандартной частотой кадров.

Для снижения требований к быстродействию запоминающего устройства может быть использован режим с разделенными процессами записи и считывания, что иллюстрирует фиг. 4. Для реализации этого режима необходимо использовать две микросхемы памяти ОЗУ, работающие попеременно в режиме записи и считывания.

В данном случае за один цикл обращения к пикселу производится только запись или только считывание значения яркости. В каждую микросхему памяти записывается каждый шестой кадр ПЧК и из нее считывается каждый второй кадр для частоты 50 Гц.

Проверка эффективности предложенного способа была выполнена с использованием разработанной ранее математической модели системы видеосопровождения [11].

Модель позволяет анализировать свойства блока управления системы автосопровождения, который управляет положением стробов и направлением оптической оси датчика изображения при помощи привода платформы. Данные, получаемые от коррелятора, используются для формирования приращений координат. Ограниченные размеры стробов не позволяют обеспечить слежение за объектами, имеющими высокое (линейное или угловое) ускорение перемещения. Для увеличения допустимого ускорения перемещения объекта требуется повышать скорость обновления данных, поступающих от коррелятора, которая определяется частотой кадров датчика изображения. В модели воспроизводятся реальные ограничения по угловому ускорению, достигаемые при заданных размерах электронного следящего строба и при заданном угле зрения оптического средства датчика изображения. При достижении этих ограничений происходит срыв автосопровождения.

Как показано в таблице 1, повышение частоты кадров датчика изображения (при прочих равных условиях) увеличивает значения допустимого углового ускорения перемещения объекта.

Как видно из таблицы, увеличение частоты кадров обеспечивает приблизительно пропорциональный рост допустимого углового ускорения.

Источники информации

1. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление // М.: Радиотехника, 2008. - 176 с.

2. Алпатов Б.А., Бабаян П.В. Методы обработки и анализа изображений в бортовых системах обнаружения и сопровождения объектов. // Цифровая обработка сигналов. - 2006. - №2. - С. 45-51.

3. Скидан Д.Е. Системы видеосопровождения для беспилотного летательного аппарата // Молодой ученый. - 2015. - №22. - С. 187-191. [Электронный ресурс!] URL: https://moluch.ru/archive/102/23109/

4. Шахрай В.И., Каракозов Ю.А., Иванов И.В., Андрианов Г.П., Дятков С.Ю. Способ слежения за объектом и устройство для его осуществления. Патент РФ №2153235. Опубликован 20.07.2000 Бюл. №20.

5. Сеулеков А.В.. Аналитический обзор видеокамер на ПЗС и КМОП фотоприемниках, применяемых для исследования параметров динамических процессов. // Ползуновский альманах (г. Барнаул).- 2013. - №1 [Электронный ресурс] - С. 106-112. URL: http://elib.altstu.ru/elib/books/Files/pa2013_1/pdf/106seulekov.pdf

6. Willems Pieter. КМОП-сенсоры на пути постоянного роста [Электронный ресурс] URL: kmop-sensory-na-puti-postoyannogo-rosta-pdf143959. - 8 с.

7. Датчик изображения CMOSIS CMV12000 выдает 300 кадров в секунду [Электронный ресурс!]. URL: https://www.ixbt.com/news/hard/index.shtml?13/98/44

8. 4 Mbit (512 K×8) Static RAM // [Электронный ресурс] URL: CY7C1049D_38-05474_0H_V

9. Микросхема асинхронного статического ОЗУ (512К×8) бит 1645РУ5У, К1645РУ5У, К1645РУ5УК, 1645РУ5Н4, К1645РУ5Н4 // [Электронный ресурс] URL:https://ic.milandr.ru/upload/iblock/c1a/c1ad19f79e19dd0d53e17d5142c3e4dd

10. 512K×8 high-speed CMOS static RAM // [Электронный ресурс] URL: docs-apac.rs-online.com/webdocs/0a59/0900766b80a598c1.pdf

11. Арзуманян Э.Л., Миколайчук Д.В. Принцип управления приводом ТВ-камеры в системах наблюдения и безопасности. // Нелинейный мир. - 2015. - т. 13. - №7. - С. 69-75.

Изобретение относится к системам видеосопровождения объектов, построенных на телевизионном (ТВ) или тепловизионном (ТПВ) принципе. Техническим результатом является предотвращение срывов сопровождения, вызываемых ограниченными допустимыми значениями относительной скорости и ускорения объектов слежения Предложен способ видеосопровождения объекта, при котором в датчике изображения используется кратно повышенная частота кадров (полей) и вводится операция преобразования видеосигнала повышенной частоты кадров (полей) в видеосигнал со стандартной частотой кадров (полей) 50 Гц путем прореживания последовательности кадров от датчика изображения, запоминания сохраняемых кадров и кратного понижения скорости считывания цифрового видеосигнала сохраняемых кадров видеопоследовательности для сопряжения с параметрами видеомонитора со стандартной частотой кадров (полей). 2 н.п. ф-лы, 1 табл., 4 ил.

1. Способ видеосопровождения объекта, при котором для получения информации о положении и перемещении объекта используется цифровой видеосигнал последовательных кадров от датчика изображения, работающего с кратно повышенной частотой кадров относительно стандартизованной частоты кадров вещательного телевидения, производится выделение и запоминание фрагмента эталонного кадра, за который принимается первый кадр видеопоследовательности, и фрагмента текущего кадра, содержащих изображение объекта, причем положение фрагментов определяется специально формируемыми строб-сигналами, вычисляется функция сходства фрагментов текущего и эталонного кадров, на основе которой вычисляются параметры смещения фрагмента текущего кадра относительно фрагмента эталонного кадра, и вырабатываются сигналы, управляющие направлением оптической оси датчика изображения, и сигналы, управляющие положением фрагмента в каждом кадре видеопоследовательности, на основе этих сигналов формируется экранная графика, отображающая положение объекта на экране видеомонитора, а для сопряжения датчика изображения с повышенной частотой кадров и видеомонитора с частотой кадров вещательного телевидения используется преобразование видеопоследовательности с повышенной частотой кадров, включающее в себя прореживание последовательности кадров, запоминание сохраняемых кадров и кратное понижение скорости считывания цифрового видеосигнала сохраняемых кадров, отличающийся тем, что экранная графика формируется с частотой кадров вещательного телевидения, видеопоследовательность с повышенной частотой кадров от датчика изображения преобразовывается в видеопоследовательность с частотой кадров вещательного телевидения, сформированная экранная графика накладывается на видеопоследовательности с частотой кадров вещательного телевидения, и видеопоследовательность с наложенной экранной графикой используется для отображения на видеомониторе, работающем с частотой кадров вещательного телевидения.

2. Способ видеосопровождения объекта, при котором для получения информации о положении и перемещении объекта используется цифровой видеосигнал последовательных кадров от датчика изображения, работающего с кратно повышенной частотой кадров относительно стандартизованной частоты кадров вещательного телевидения, производится выделение и запоминание фрагмента эталонного кадра, за который принимается первый кадр видеопоследовательности, и фрагмента текущего кадра, содержащих изображение объекта, причем положение фрагментов определяется специально формируемыми строб-сигналами, вычисляется функция сходства фрагментов текущего и эталонного кадров, на основе которой вычисляются параметры смещения фрагмента текущего кадра относительно фрагмента эталонного кадра, и вырабатываются сигналы, управляющие направлением оптической оси датчика изображения, и сигналы, управляющие положением фрагмента в каждом кадре видеопоследовательности, на основе которых формируется экранная графика, отображающая положение объекта на экране видеомонитора, а для сопряжения датчика изображения с повышенной частотой кадров и видеомонитора с частотой кадров вещательного телевидения используется преобразование видеопоследовательности с повышенной частотой кадров, включающее в себя прореживание последовательности кадров, запоминание сохраняемых кадров и кратное понижение скорости считывания цифрового видеосигнала сохраняемых кадров, отличающийся тем, что экранная графика формируется с повышенной частотой кадров, накладывается на видеопоследовательность с повышенной частотой кадров от датчика изображения, полученная видеопоследовательность с наложенной экранной графикой преобразовывается в видеопоследовательность с частотой кадров вещательного телевидения, и видеопоследовательность с наложенной экранной графикой используется для отображения на видеомониторе, работающем с частотой кадров вещательного телевидения.