СПОСОБ ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ МАТРИЦ ФОТОЧУВСТВИТЕЛЬНЫХ ПРИБОРОВ С ЗАРЯДОВОЙ СВЯЗЬЮ И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ Российский патент 2003 года по МПК H04N5/14 

Изобретение относится к телевидению и может быть использовано при создании прикладных систем.

Известен способ выделения движущихся объектов в изображении (Пресс Ф.П. Формирователи видеосигнала на приборах с зарядовой связью. - М.: Радио и связь, 1981. - 136 с.), основанный на формировании межкадровой разности с использованием двух матричных фоточувствительных приборов с зарядовой связью (ФПЗС). Структурная схема устройства, реализующего известный способ, приведена на фиг.1. Устройство состоит из оптической системы 1, устройства управления 2, вычитающего устройства 3, блоков ФПЗС-1 4 и ФПЗС-2 5. Оптическая связь показана штриховой линией. Недостатком данного способа является невозможность выделения движущихся целей при наличии в изображении подвижного фона.

Наиболее близким к заявляемому является способ выделения движущихся объектов в изображении (Пресс Ф.П. Фоточувствительные приборы с зарядовой связью. - М.: Радио и связь, 1991. - 264 с.), основанный на использовании ФПЗС в режиме временной задержки с накоплением (ВЗН), в котором осуществляется дискретное накопление зарядов, фотогенерированных под воздействием проецируемого изображения зарядов в потенциальных ямах линейки ФПЗС, а между отдельными накоплениями выполняется перенос электрическим способом с тактовой частотой управляющих импульсов вдоль линейки ФПЗС. В случае перемещения зарядов синхронно с перемещением объекта (скорость и направление перемещения зарядов в ФПЗС должны совпадать с аналогичными параметрами движения объекта) происходит увеличение отношения сигнал/фон за счет когерентного накопления. Недостатками данного способа являются: невозможность выполнения пространственно-временной фильтрации, учитывающей особенности не только параметров движущегося объекта, но и характеристик мешающего наблюдению фона изображения; большие потери зарядовых пакетов из-за роста неэффективности переноса электрическим способом в случае быстро перемещающихся объектов.

Техническим результатом изобретения является выполнение пространственно-временной обработки изображения, обеспечивающей выделение движущихся объектов на сложном подвижном фоне, одновременно с его формированием при снижении потерь зарядовых пакетов.

Сущность изобретения состоит в том, что пространственно-временную обработку выполняют путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах ФПЗС, и перемещают в пространстве изображение относительно матрицы ФПЗС, а время накопления в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации и условий наблюдения, например освещенности сцены.

Способ реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью состоит в том, что пространственно-временную обработку осуществляют в виде свертки проецируемого на ФПЗС изображения с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, следующим образом: в режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики с последующим сдвигом по пространству после каждого цикла, затем организуется режим хранения накопленного заряда до начала следующего этапа дискретного накопления. Количество циклов накопления-пространственного сдвига в режиме дискретного накопления соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов дискретного накопления-хранения - размерности апертуры во времени. Сдвиг по пространству между соседними точками накопления соответствует интервалу дискретизации импульсной характеристики по пространству, интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени. Хранение накопленных зарядовых пакетов до начала следующего этапа дискретного накопления организуют путем экранирования фоточувствительной поверхности матрицы ФПЗС на время хранения с помощью обтюратора на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 10¹³ Гц (Верещагин И. К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И.К. Верещагин, Л.А. Косяченко, С.М Конин. - М.: Высш. шк., 1991. - 191 с. ). Взаимное перемещение матрицы ФПЗС и оптического изображения реализуют путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение (Верещагин И. К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И. K. Верещагин, Л.А. Косяченко, С.М Конин. - М.: Высш. шк., 1991. - 191 с.).

С помощью перемещения светового потока относительно фоточувствительного датчика можно задавать практически любой порядок направленного переноса при отсутствии потерь зарядовых пакетов, связанных с неэффективностью переноса электрическим способом. Следовательно, ФПЗС в предлагаемом способе реализации пространственно-временной обработки будет обладать более широкими функциональными возможностями, т.к. при этом становится возможным менять характеристики реализуемого пространственно-временного фильтра, изменяя параметры движения светового потока относительно датчика (траектория, направление, величина смещения по пространству между точками накопления на траектории движения). При этом возможно, кроме выделения движущихся объектов подобно режиму ВЗН, реализовывать другие виды фильтрации: низкочастотную пространственно-временную и режекторную фильтрацию пространственно-временных частот, подобную винеровской и учитывающую характеристики мешающего наблюдению фона. Определение отсчетов импульсной характеристики выполняют на основе хорошо разработанных методов синтеза дискретных фильтров.

На фиг.2 показана структурная схема устройства для реализации предлагаемого способа пространственно-временной обработки изображений. Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, а также дополнительно введенных обтюратора 6, устройства взаимного смещения ОС и блоков ФПЗС (УВС) 7. Оптическая связь показана штриховой линией. На обтюратор проецируется изображение сцены, формируемое ОС, а на вход поступает сигнал управления с выхода УУ. С обтюратора сигнал изображения проецируется на УВС, на вход которого поступает сигнал управления с выхода УУ. С выхода УВС сигнал изображения проецируется на секции накопления ФПЗС-1 и ФПЗС-2. На входы секций накопления, памяти и выходные регистры ФПЗС-1 и ФПЗС-2 поступают фазные импульсы управления ФН_1,2,3, ФП_1,2,3, ФР_1,2,3 с выхода УУ. С выходных регистров ФПЗС-1 и ФПЗС-2 сигналы изображения поступают на входы ВУ, формирующего выходной сигнал.

Реализация пространственно-временной обработки на основе блоков ФПЗС, обтюратора, УВС под управлением УУ осуществляется следующим образом. ФПЗС выполняет дискретное накопление зарядов, фотогенерированных под воздействием проецируемого ОС изображения сцены, и хранение накопленных зарядовых пакетов между отдельными этапами дискретного накопления при экранировании секции накопления ФПЗС от светового потока с помощью обтюратора на основе электрооптического модулятора. Блок ФПЗС-1 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 - с отрицательными. Необходимость использования двух отдельных матриц ФПЗС обусловлена тем, что отсчеты импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). Вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства обработки. УВС в соответствии с управляющими сигналами УУ осуществляет взаимное пространственное смещение оптического потока и ФПЗС. Синхронизацию работы устройства обработки при фильтрации изображений осуществляет УУ путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюратором, сигналов управления УВС.

Применение предложенного способа позволит реализовать широкий круг задач пространственно-временной обработки изображений одновременно с их формированием в реальном масштабе времени на основе устройства, обладающего характерными для ФПЗС минимальными массогабаритными и энергетическими показателями.

Изобретение относится к телевидению и может быть использовано при создании прикладных систем. Техническим результатом изобретения является выполнение пространственно-временной обработки изображения, обеспечивающей выделение движущихся объектов на сложном подвижном фоне одновременно с его формированием при снижении потерь зарядовых пакетов. Пространственно-временную обработку выполняют путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах матрицы фоточувствительных приборов с зарядовой связью (ФЗПС), взаимного пространственного смещения изображения и матрицы ФЗПС, при этом время накопления зарядов в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации и условий наблюдения. Заявленное устройство обладает характерными для ФЗПС минимальными массогабаритными и энергетическими показателями. 2 с.п. ф-лы, 2 ил.

1. Способ пространственно-временной обработки изображений, осуществляемой в виде свертки проецируемого на матрицу фоточувствительных приборов с зарядовой связью изображения с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, заключающийся в использовании дискретного накопления зарядов, фотогенерированных в потенциальных ямах матрицы фоточувствительных приборов под воздействием проецируемого изображения, отличающийся тем, что осуществляют взаимное пространственное смещение изображения и матрицы фоточувствительных приборов с зарядовой связью, при этом параметры перемещения определяются частотными характеристиками реализуемого пространственно-временного фильтра, а время накопления зарядов в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра. 2. Устройство пространственно-временной обработки изображений, содержащее оптическую систему, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью (ФПЗС), причем на входы секций накопления, памяти и выходные регистры блоков фоточувствительных приборов с зарядовой связью поступают фазные импульсы управления с выхода устройства управления, а вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства пространственно-временной обработки изображений, отличающееся тем, что в него дополнительно введены обтюратор и устройство взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью, причем оптическая система оптически соединена с обтюратором, обтюратор оптически соединен с устройством взаимного смещения, устройство взаимного смещения оптически соединено с секциями накопления блоков фоточувствительных приборов с зарядовой связью, при этом вход обтюратора связан со вторым выходом устройства управления, вход устройства взаимного смещения связан с третьим выходом устройства управления.