УСТРОЙСТВО ДЛЯ РЕАЛИЗАЦИИ ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ МАТРИЦ ФОТОЧУВСТВИТЕЛЬНЫХ ПРИБОРОВ С ЗАРЯДОВОЙ СВЯЗЬЮ Российский патент 2013 года по МПК H04N5/335 

Изобретение относится к телевидению и может быть использовано при создании прикладных систем, в частности для пространственно-временной обработки изображений.

Известно устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью (ФПЗС) /Патент РФ 2358408, МКИ⁵ H04N 5/335. № 2007114669/09; заявл. 18.04.2007; опубл. 10.06.2009/, взятое за прототип, содержащее оптическую систему, светоделительную систему, измеритель уровня освещенности, два обтюратора, устройство управления, два устройства взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью, два блока фоточувствительных приборов с зарядовой связью, вычитающее устройство, причем выход оптической системы оптически соединен через светоделительную систему со входом первого и второго обтюратора и измерителем уровня освещенности, электрический выход измерителя уровня освещенности соединен с входом устройства управления, электрический вход первого и второго обтюратора соединен с первым и вторым выходом устройства управления, выход первого и второго обтюратора оптически соединен с входом первого и второго устройства взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью соответственно, электрический вход первого и второго устройства взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью соединен с третьим и четвертым выходом устройства управления, оптический выход первого и второго устройства взаимного смещения оптически соединен с секцией накопления первого и второго блока фоточувствительных приборов с зарядовой связью соответственно, электрические входы секций накопления, памяти и выходные регистры блоков фоточувствительных приборов с зарядовой связью соединены с пятым выходом устройства управления, электрические выходы выходного регистра каждого блока фоточувствительных приборов с зарядовой связью соединены со входами вычитающего устройства, на выходе которого формируется электрический сигнал. Измеритель уровня освещенности обеспечивает преобразование среднего уровня освещенности проецируемого изображения в электрический сигнал, поступающий на вход устройства управления, которое по уровню сигнала на входе определяет уровень освещенности проецируемого изображения и осуществляет адаптацию устройства пространственно-временной обработки изображений к изменению условий наблюдения путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра каждого блока фоточувствительных приборов с зарядовой связью, сигналов управления обтюраторами, сигналов управления первым и вторым устройством взаимного смещения.

Недостаток данного устройства, принятого за прототип, заключается в нарушении адаптации устройства пространственно-временной обработки изображений к изменению условий наблюдения и, следовательно, уменьшении вероятности обнаружения неподвижных и движущихся объектов на нестационарном фоне, так как в этом случае на матрицы ФПЗС через устройства взаимного смещения и светоделительную систему будут проецироваться разные сцены, характеризующиеся различной освещенностью, что может привести к переполнению потенциальных ям матрицы ФПЗС в процессе дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения, и внесению искажений при осуществлении пространственно-временной обработки.

Техническим результатом изобретения является исключение нарушений адаптации устройства к изменению уровня освещенности при выделении движущихся объектов и, соответственно, повышение вероятности выделения движущихся объектов на нестационарном фоне, а также исключению искажений результатов обработки, связанных с переполнением потенциальных ям матрицы фоточувствительного прибора с зарядовой связью.

Технический результат достигается тем, что в устройстве для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, содержащем оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, устройство взаимного смещения (УВС) проецируемого изображения сцены и приемников изображения (ФПЗС-1, ФПЗС-2 и измеритель освещенности), светоделительную систему (СДС), причем выход оптической системы оптически соединен со входом УВС, электрический вход УВС соединен с первым выходом устройства управления, оптический выход УВС соединен с оптическим входом СДС, первый выход СДС оптически соединен со входом первого обтюратора, второй выход СДС оптически соединен со входом измерителя освещенности, третий выход СДС оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, выход первого обтюратора оптически связан с входом блока фоточувствительных приборов с зарядовой связью ФПЗС-1, выход второго обтюратора оптически связан с входом второго блока фоточувствительных приборов с зарядовой связью ФПЗС-2. Электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью (ФН_I1,2,3, ФП_I1,2,3, ФР_I1,2,3, ФН_II1,2,3, ФП_II1,2,3, ФР_II1,2,3) связаны с четвертым выходом устройства управления. Выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход которого является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью формирующего выходной сигнал.

В процессе работы устройства на матрицы ФПЗС и измеритель освещенности через общее УВС будут проецироваться одинаковые сцены, что исключит нарушений адаптации устройства к изменению уровня освещенности при выделении движущихся объектов.

На чертеже показана структурная схема устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью.

Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, обтюраторов 6 и 9, светоделительной системы 8, устройства взаимного смещения проецируемого изображения сцены и приемников изображения (ФПЗС-1, ФПЗС-2 и измеритель освещенности) 7, измерителя освещенности 10. Оптическая связь показана штриховой линией.

Устройство работает следующим образом.

При поступлении на вход устройства изображения сцены над ним выполняется пространственно-временная обработка, реализуемая в виде свертки входного изображения с импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию на две матрицы фоточувствительных приборов с зарядовой связью, путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах секций накопления матриц фоточувствительных приборов с зарядовой связью, в сочетании с взаимным пространственным смещением изображения и матриц фоточувствительных приборов с зарядовой связью.

Необходимость использования двух обтюраторов, двух блоков ФПЗС и вычитающего устройства обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице ФПЗС нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). Блок ФПЗС-1 совместно с обтюратором 6 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 совместно с обтюратором 9 - с отрицательными. Соответственно, во время реализации свертки изображения с положительными коэффициентами импульсной характеристики фильтра и в интервалах времени пауз между этапами накопления блок ФПЗС-2 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-2 от светового потока с помощью обтюратора 9, а во время реализации свертки с отрицательными коэффициентами и в интервалах времени пауз между этапами накопления ФПЗС-1 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-1 от светового потока с помощью обтюратора 6.

Изображение сцены, формируемое ОС, проходя через УВС и светоделительную систему, проецируется на измеритель освещенности и оба обтюратора. С выхода измерителя уровня освещенности на вход УУ поступает электрический сигнал, соответствующий уровню освещенности проецируемого изображения. С выхода первого обтюратора изображение проецируется на секцию накопления ФПЗС-2, а с выхода второго - на секцию накопления ФПЗС-1. В режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики и уровню освещенности, с последующим сдвигом по пространству после каждого цикла, причем накопление в каждом цикле осуществляется секцией накопления ФПЗС-1 или ФПЗС-2 в зависимости от знака отсчета импульсной характеристики, с которым реализуется свертка, затем организуется режим хранения накопленного заряда до начала следующего этапа дискретного накопления. Количество циклов накопления пространственного сдвига в режиме дискретного накопления соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов дискретного накопления-хранения - размерности апертуры во времени. Сдвиг по пространству между соседними точками накопления соответствует интервалу дискретизации импульсной характеристики по пространству, временной интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени.

В течение времени реализации свертки для накопления и хранения фотогенерированных зарядов обеспечивается создание потенциальных ям в секциях накопления обеих матриц ФПЗС путем подачи с УУ на одну из трех фазных шин управления секций накопления / Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ импульса ФН_I на ФПЗС-1 и импульса ФН_II на ФПЗС-2 соответственно.

Управление переходом секций накопления блоков ФПЗС из режима дискретного накопления в режим хранения осуществляется с помощью выдачи на обтюраторы с УУ импульсов управления обтюратором. При поступлении импульса управления обтюратор обеспечивает экранирование секции накопления от проецируемого изображения. Управление переходом секций накопления блоков ФПЗС из режима хранения в режим дискретного накопления осуществляется путем снятия УУ с обтюраторов импульсов управления обтюратором. При отсутствии импульса управления обтюратор обеспечивает прохождение проецируемого изображения на секцию накопления ФПЗС. В зависимости от знака отсчета импульсной характеристики, с которым в данный момент выполняется свертка, УУ снимает импульс управления с соответствующего обтюратора на время цикла накопления.

Хранение во время стадий хранения накопленных в потенциальных ямах секций накопления ФПЗС фотогенерированных зарядов организуют путем экранирования фоточувствительной поверхности секций накопления ФПЗС посредством обтюратора в виде электрооптического модулятора, который может быть реализован на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 10¹³ Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И.К. Верещагин, Л.А. Косяченко, С.М. Конин. - М.: Высш. шк., 1991. - 191 с./. Для обеспечения постоянства временного интервала Т_отсч между соседними этапами дискретного накопления-хранения, которое должно быть равно интервалу дискретизации импульсной характеристики по времени /Гольденберг Л.М. и др. Цифровая обработка сигналов: Справочник / Л.М. Гольденберг, Б.Д. Матюшкин, М.Н. Поляк. - М.: Радио и связь, 1985. - 312 с./, по окончании последнего в данном этапе дискретного накопления-хранения цикла накопления вводится режим хранения необходимой длительности.

Взаимное перемещение матриц ФПЗС, измерителя освещенности и проецируемого изображения производится УВС и реализуется путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И.К. Верещагин, Л.А. Косяченко, С.М. Конин. - М.: Высш. шк., 1991. - 191 с./. Для управления перемещением проецируемого изображения на УВС при реализации свертки подаются сигналы управления с УУ, причем изменение этих сигналов происходит скачком по окончании цикла дискретного накопления на величину, обеспечивающую перемещение проецируемого изображения на расстояние, необходимое для осуществления обработки.

По окончании реализации свертки проецируемого изображения с импульсной характеристикой накопленные фотогенерированные заряды выводятся из секций накоплений ФПЗС-1 и ФПЗС-2 в секции памяти путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФН_I и ФН_II в секции накопления ФПЗС-1 и ФПЗС-2 соответственно, импульсов управления ФП_I и ФП_II в секции памяти ФПЗС-1 и ФПЗС-2 соответственно.

По окончании переноса накопленных зарядов в секции памяти ФПЗС-1 и ФПЗС-2 осуществляется их вывод в выходные регистры ФПЗС-1 и ФПЗС-2 соответственно путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФП_I и ФП_II в секции памяти ФПЗС-1 и ФПЗС-2 соответственно с последующим синхронным выводом зарядов из выходных регистров ФПЗС-1 и ФПЗС-2 в вычитающее устройство путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления выходными регистрами ФР_I и ФР_II.

Синхронизацию работы устройства обработки и его адаптацию к уровню освещенности сцены осуществляет УУ путем задания порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюраторами, сигналов управления УВС.

Устройство управления может быть реализовано в виде микропроцессорной системы на основе микроконтроллера / Микропроцессорные системы: Учебное пособие для вузов / Е.К. Александров, Р.И. Грушвицкий, М.С. Куприянов, О.Е. Мартынов, Д.И. Панфилов, Т.В. Ремизевич, Ю.С. Татаринов, Е.П. Угрюмов, И.И. Шагурин; Под общ. ред. Д.В.Пузанкова. - СПб.: Политехника, 2002 г. - 935 с.1, характерной особенностью структуры которого является размещение на одном кристалле с центральным процессором внутренней памяти и большого набора периферийных устройств (порты ввода-вывода данных, программируемые интервальные таймеры, АЦП, ЦАП). Устройство управления в соответствии с описанными выше принципами построения узлов устройства для реализации пространственно-временной обработки изображений обеспечивает формирование необходимых управляющих сигналов.

Применение предложенного устройства реализации пространственно-временной обработки изображений на основе матриц ФПЗС позволит реализовать широкий круг задач обработки изображений одновременно с их формированием в реальном масштабе времени при минимальных массогабаритных и энергетических показателях, а корректный учет уровня освещенности наблюдаемой сцены обеспечивает адаптацию устройства к изменению условий наблюдения.

Изобретение относится к телевидению и может быть использовано при создании прикладных систем, в частности для пространственно-временной обработки изображений. Техническим результатом изобретения является исключение нарушений адаптации устройства к изменению уровня освещенности при выделении движущихся объектов и, соответственно, повышение вероятности выделения движущихся объектов на нестационарном фоне, а также исключению искажений результатов обработки, связанных с переполнением потенциальных ям матрицы фоточувствительного прибора с зарядовой связью. Результат достигается тем, что устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, содержащее оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, устройство взаимного смещения (УВС) проецируемого изображения сцены и приемников изображения (ФПЗС-1, ФПЗС-2 и измеритель освещенности), светоделительную систему (СДС), причем выход оптической системы оптически соединен со входом УВС, электрический вход УВС соединен с первым выходом устройства управления, оптический выход УВС соединен с оптическим входом СДС, первый выход СДС оптически соединен со входом первого обтюратора, второй выход СДС оптически соединен со входом измерителя освещенности, третий выход СДС оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, выход первого обтюратора оптически связан с входом блока фоточувствительных приборов с зарядовой связью ФПЗС-1, выход второго обтюратора оптически связан с входом второго блока фоточувствительных приборов с зарядовой связью ФПЗС-2. Электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью (ФН_I1,2,3, ФП_I1,2,3, ФР_I1,2,3, ФН_II1,2,3, ФП_II1,2,3, ФР_II1,2,3) связаны с четвертым выходом устройства управления. Выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход которого является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью формирующего выходной сигнал. 1 ил.

Устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, содержащем оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, устройство взаимного смещения проецируемого изображения сцены и приемников изображения, светоделительную систему, причем выход оптической системы оптически соединен со входом устройства взаимного смещения проецируемого изображения сцены и приемников изображения, электрический вход устройства взаимного смещения проецируемого изображения сцены и приемников изображения соединен с первым выходом устройства управления, оптический выход устройства взаимного смещения проецируемого изображения сцены и приемников изображения соединен с оптическим входом светоделительной системы, первый выход светоделительной системы оптически соединен со входом первого обтюратора, второй выход светоделительной системы оптически соединен со входом измерителя освещенности, третий выход светоделительной системы оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, выход первого обтюратора оптически связан с входом первого блока фоточувствительных приборов с зарядовой связью, выход второго обтюратора оптически связан с входом второго блока фоточувствительных приборов с зарядовой связью, электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью связаны с четвертым выходом устройства управления, выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход вычитающего устройства является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, отличающееся тем, что выход оптической системы оптически соединен со входом устройства взаимного смещения проецируемого изображения сцены и приемников изображения, а выход устройства взаимного смещения проецируемого изображения сцены и приемников изображения оптически соединен со входом светоделительной системы, выход первого обтюратора оптически связан с секцией накопления второго блока фоточувствительных приборов с зарядовой связью, выход второго обтюратора оптически связан с секцией накопления первого блока фоточувствительных приборов с зарядовой связью.