СПОСОБ ФОРМИРОВАНИЯ СИГНАЛА ИЗОБРАЖЕНИЯ Российский патент 1994 года по МПК H04N5/14 

Изобретение относится к телевидению, в частности к способам формирования и предварительной обработки изображения.

Цель изобретения - выделение изображения движущихся в заданном направлении объектов на неподвижном фоне. Это позволит существенно упростить анализ формируемых изображений оператором или автоматом.

Поставленная цель достигается благодаря тому, что при способе формирования сигнала изображения, включающем формирование оптического изображения из светового потока при помощи оптической системы, проецирование оптического изображения на фоточувствительную поверхность ПЗС, преобразование оптического изображения в зарядовый рельеф, направленный перенос изображения и преобразование зарядового рельефа в видеосигнал изображения, направленный перенос оптического изображения осуществляют путем взаимного смещения ПЗС и оптического изображения друг относительно друга на расстояние, равное длине целого числа светочувствительных ячеек ПЗС по горизонтали и вертикали, преобразование оптического изображения в зарядовый рельеф и направленный перенос чередуют, а преобразование зарядового рельефа в видеосигнал изображения осуществляют после нескольких циклов преобразования оптического изображения в зарядовый рельеф и направленного переноса.

В варианте способа предусмотрено с целью выделения изображения удаленных объектов, движущихся в заданном направлении, охлаждение светочувствительной поверхности ПЗС и ослабление светового потока.

При анализе известных технических решений не обнаружены решения, имеющие признаки, сходные с совокупностью отличительных признаков предполагаемого способа.

На основе проведенного анализа можно сделать вывод, что заявленное техническое решение обладает существенными отличиями.

Наличие совокупности существенных признаков обеспечит выделение изображения движущихся в заданном направлении объектов на неподвижном фоне.

На фиг. 1 приведена структурная электрическая схема устройства для осуществления способа.

Она содержит фоточувствительную матрицу ПЗС 1, состоящую из входного регистра 2, секции накопления 3, секции памяти 4 и выходного регистра 5, синхрогенератор 6, видеоконтрольный блок 7, устройство 8 взаимного смещения ПЗС и оптического изображения, блок управления 9, блок задания вида амплитудно-частотной характеристики (АЧХ) 10 и оптическую систему 11. Электрические связи показаны сплошными линиями, связи, приводящие к смещениям оптического изображения относительно ПЗС - двойными линиями, оптическая связь - штриховой линией.

На поверхность секции 3 матрицы 1 проецируют оптическое изображение, сформированное оптической системой 11. В матрице 1 производится оптоэлектронное преобразование оптического изображения в зарядовый рельеф в течение времени τ₁. По окончании этого времени с блока управления 9 поступает сигнал управления на устройство взаимного смещения ПЗС и оптического изображения 8, которое смещает матрицу ПЗС 1 относительно оптического изображения или оптическое изображение относительно матрицы ПЗС на расстояние, равное целому числу пространственных периодов светочувствительных ячеек ПЗС в горизонтальном направлении, в вертикальном направлении или и в горизонтальном, и в вертикальном направлениях в зависимости от сигнала, поступающего из блока управления 9. Затем вновь осуществляется оптоэлектронное преобразование оптического изображения в зарядовый рельеф в течение времени τ₂. По окончании этого времени с блока управления 9 вновь поступает управляющий сигнал, служащий причиной нового взаимного смещения ПЗС и оптического изображения на расстояние, равное целому числу пространственных периодов светочувствительных ячеек ПЗС в горизонтальном, вертикальном или и в горизонтальном, и в вертикальном направлениях.

По окончании нескольких рассмотренных циклов оптоэлектронного преобразования и взаимного смещения ПЗС и оптического изображения накопленной зарядовый рельеф преобразуется в видеосигнал изображения путем сдвига из секции накопления 3 в секцию памяти 4, построчного сброса в нижний регистр 5 матрицы 1 и поэлементного вывода из нижнего регистра 5, который затем поступает на вход видеоконтрольного блока 7, где и служит для модуляции электронного луча кинескопа с целью получения на экране кинескопа изображения. С этой же целью от синхрогенератора 6 в видеоконтрольный блок 7 подаются строчный (ССИ) и кадровый (КСИ) синхроимпульсы.

Количество циклов оптоэлектронного преобразования и взаимного смещения ПЗС и оптического изображения, а также направление взаимного смещения и его величину задает блок 10 задания вида АЧХ.

Блок 10 задания вида АЧХ может быть заранее настроен на формирование конкретной АЧХ либо может перестраиваться в процессе анализа изображений оператором. Если способ применяется при реализации системы машинного зрения с целью последующего анализа изображения системой искусственного интеллекта, то блок 10 задания вида АЧХ может перестраиваться системой искусственного интеллекта.

В варианте способа для возможности выделения изображения удаленных объектов необходимо времена τ₁, τ₂ , . . . выбирать большими во столько раз, во сколько раз увеличилось удаление движущегося объекта. Поэтому с целью уменьшения влияния паразитной термогенерации матрицу ПЗС охлаждают, а световой поток уменьшают путем, например, диафрагмирования оптической системы.

Для демонстрации возможностей предложенного решения найдем АЧХ, характеризующую способ. На фиг. 2 схематически изображена светочувствительная поверх- ность ПЗС. Светочувствительные ячейки ПЗС показаны прямоугольниками, внутри которых написан номер ячейки по горизонтали (i) и вертикали (j). Тогда для любой ячейки ПЗС, в том числе и с номерами i= j= 0, в момент времени t= 1 можно записать для выходного значения q_0,01 накопленного заряда
q_0,0,1= α_-i,-j,-sq_-i,-j,-s, (1) где α_-i,-j,-S - часть зарядового пакета q_-i,-j,-S соответствующего светочувствительной ячейке ПЗС с номерами (-i) и (-j) в момент времени (-S), накопленная в ячейке ПЗС с номерами 0 и 0 из-за взаимного смещения ПЗС и оптического изображения;
d - количество циклов оптоэлектронного преобразования и взаимного смещения ПЗС и оптического изображения;
а₁, а₂ - номера наиболее удаленных ячеек ПЗС по горизонтали или вертикали, световой поток, соответствующий которым при первом оптоэлектронном преобразовании еще участвует в оптоэлектронном преобразовании в ячейке ПЗС с номерами 0 и 0.

Выполняя трехмерное Z-преобразование выражения (1), получим для передаточной функции выражение
(Z_x, Z_y, Z_t)= α_-i,-j,-sΖ-x

ⁱΖ-y^jΖ-t^s, откуда можно получить выражение для АЧХ в зависимости от пространственных ω_х, ω_y и временной ω_t частот
Η(ω_x, ω_y, ω_t)= α_-i,-j,-scos(iω_x+jω_y+sω_t)+
+ α_-i,-j,-ssin(iω_x+jω_y+sω_t), (2) где периоды дискретизации по пространственным и временной координатам выбраны единичными, поэтому все частоты измеряют в единицах π.

При реализации способа достаточно выбирать времена τ₁, τ₂, . . . одинаковыми. При этом характеристики способа практически не ухудшаются, зато существенно упрощается реализация устройств для выполнения способа.

В силу многомерности выражения (2) и зависимости его от большого числа параметров теряется наглядность демонстрации характеристик способа в общем случае. Поэтому исключительно с целью обеспечения наглядности рассмотрим наиболее простой случай, когда а₁= 0, а₂= 1, d= 2 и обработка ведется по координатам х и t. В этом случае выражение (1) приобретает вид
q_0,0,+1= α_0,0+Z-x

¹+α_0,-1Ζ-t¹+α_-1,-1Z-x¹Z-t¹,
а выражение (2) - вид
H(ω_x, ω_t)=

. (3)
Для того, чтобы способ позволял выделять изображения, движущихся в заданном положительном или отрицательном направлении оси ОХ, необходимо, чтобы АЧХ обладала симметрией только относительно начала координат, но не обладала симметрией относительно частотных осей. Это надо обеспечить вследствие того, что спектр изображения, движущегося в положительном направлении оси от OX, характеризуется преимущественно положительными частотами ω_хиω_t и отрицательными частотами ω_хиω_t, а спектр изображения, движущегося в отрицательном направлении оси ОХ - частотами ω_хиω_t противоположных знаков.

Анализ выражения (3) показывает, что АЧХ будет обладать симметрией только относительно начала координат при выполнении неравенства
α_0,0α_-1,-1≠α_-1,0α_0,-1, (4)
при этом способ обладает наиболее простой реализацией при равенстве правой либо левой части выражения (4) нулю. Поэтому рассмотрим далее два случая: α_0,0= α_-1,-1= 0 α_-1,0= α_0,-1= α; α_-1,0= α_0,-1= 0, α_0,0= α_1,-1= α.

На фиг. 3 схематически показана частотная плоскость.

В первом случае Н( ω_х, ω_t)= 1 при ω_х= ω_t и Н( ω_х, ω_t)= 0 при ω_х= ω_t±π . При ω_х= ω_t±2π (отмечены точками) Н( ω_х, ω_t= 1. Это значит, что при реализации первого случая происходит эффективное подавление объектов, движущихся в отрицательном направлении оси ОХ при полной передаче изображения объектов, движущихся в положительном направлении оси ОХ.

Во втором случае Н( ω_х, ω_t)= 1 при ω_х= -ω_t и ω_х= -ω_t±2π , a Н( ω_х, ω_t)= 0 при ω_х= -ω_t±π (соответствующие линии на фиг. 2 показаны штрихами). В этом случае происходит формирование изображения объектов, движущихся в отрицательном направлении оси ОХ при подавлении изображения объектов, движущихся в положительном направлении оси ОХ.

На фиг. 4, а показана АЧХ, соответствующая случаю 1, а на фиг. 4, б - фазочастотная характеристика ( α = 0,5). Вид АЧХ свидетельствует о том, что значительная область пространственно-временных частот изображения формируется данным способом практически с коэффициентом, равным 1, в то время, как частоты, соответствующие изображениям движущихся объектов в отрицательном направлении оси ОХ, эффективно подавляются. Вид ФЧХ свидетельствует о том, что способ не вносит фазочастотных искажений в формируемое изображение.

На фиг. 5, а показана АЧХ при α_0,0= 0, α_0,-1= 0,4, α_1,0= 0,4, α_-1,-1= 0,2, а на фиг. 5, б - при α_0,0= 0,3, α_0,-1= 0,2, α_-1,0= 0,2, α_-1,-1= 0,3. Анализ всех приведенных АЧХ свидетельствует о хорошей управляемости устройств, реализующих способ, однако для большинства практических применений достаточны два рассмотренные случая. При взаимной смещении ПЗС и оптического изображения на расстояние, равное пространственным периодам двух, трех и т. д. светочувствительных ячеек ПЗС, линии максимумов и минимумов на частотной плоскости идут в соответствующее число раз чаще, что позволяет применять способ для автоматического анализа более сложных изображений.

Таким образом, блок 10 задания АЧХ может быть выполнен в простейшем случае в виде четырех дешифраторов, входы которых управляются с помощью переключателей типа П2К с зависимой фиксацией при работе с оператором либо цифровым автоматом при автоматическом анализе изображений. Два дешифратора задают коэффициенты α_i,j для управления АЧХ по координате х, а два других - по координате y. Один из дешифраторов управляет сдвигом изображения относительно ПЗС в положительном направлении оси Х, другой - в отрицательном, аналогично задействованы и два других дешифратора по оси Y.

Блок управления 9 должен иметь устройство возвращения в исходное состояние и устройство отработки перемещений. После прихода с выхода синхрогенератора 6 КСИ запускается устройство возвращения в исходное состояние, которое вырабатывает управляющие сигналы, по которым устройство 8 взаимного смещения ПЗС и оптического изображения восстанавливает начальное взаимное соответствие ПЗС и оптического изображения. По окончании этого процесса через время накопления τ устройство отработки перемещений отрабатывает сигналы, поступающие с блока 10 задания вида АЧХ.

На фиг. 6 показан фрагмент возможной реализации устройства возвращения в исходное состояние. Сигналы с соответствующих выходов дешифратора ДС1 сдвига изображения в положительном направлении оси (например, х) и дешифратора ДС2 сдвига изображения в отрицательном направлении оси, находящихся в блоке 10, поступают на элемент неравнозначности m2. В случае неравенства входных сигналов он вырабатывает единичный сигнал, поступающий на входы элементов И, на другие входы которых поступают сигналы с выходов дешифраторов ДС1 и ДС2. Сигнал, соответствующий Вых. 1 коммутирует времязадающую цепь генератора импульсов, управляющего перемещением изображения относительно ПЗС в отрицательном направлении, а сигнал с Вых. 2 коммутирует времязадающую цепь генератора импульсов, управляющего перемещением изображения относительно ПЗС в положительном направлении. Генераторы импульсов работают в ждущем режиме и запускаются КСИ с выхода синхрогенератора 6. Аналогично фиг. 6 объединены все соответствующие выходы дешифраторов блока 10 задания АЧХ. В результате по приходу КСИ с выхода синхрогенератора 6 устройство возвращения вырабатывает сигналы для возвращения начального соответствия оптического изображения и ПЗС. Задним фронтом КСИ запускается генератор прямоугольных импульсов длительностью τ, задним фронтом которого запускаются генераторы импульсов устройства отработки перемещений, времязадающие цепи которых коммутируют выходы дешифраторов блока 10 задания АЧХ. В результате устройство вырабатывает управляющие сигналы на отработку взаимного смещения оптического изображения и ПЗС. Генераторы в устройствах возвращения в исходное состояние и устройстве обработки перемещений (в каждом по четыре) могут представлять собой генераторы прямоугольных импульсов длительностью (сотни мкс. . . единицы мс) со стандартной частотой заполнения порядка десятков кГц, если в устройстве 8 применены шаговые реверсивные двигатели.

Однако наиболее просто и эффективно блок управления 9 можно реализовать в микропроцессорном варианте.

Синхрогенератор 6 не имеет особенностей по сравнению со стандартными синхрогенераторами для телекамер на матрицах ПЗС в обычном режиме либо в малокадровом режиме для реализации варианта способа. Он формирует помимо ССИ и КСИ импульсы, управляющие процессом накопления в секции накопления 3 матрицы ПЗС 1, сдвига накопленного кадра из секции 3 в секцию памяти 4 матрицы ПЗС 1 и построчного вывода накопленного кадра через выходной регистр 5 матрицы ПЗС 1.

Устройство 8 взаимного смещения ПЗС и оптического изображения может быть выполнено различными способами. Самым простым является каретка, подобная сканирующему столику микроскопа, привод которой составляют два шаговых двигателя типа ШДР521, один из которых перемещает каретку с матрицей ПЗС по горизонтали, а другой - по вертикали в плоскости изображения. Двигатели управляются сигналами с выходов соответствующих генераторов импульсов блока управления 9. При данной реализации оптическая система 11 остается такой же, как у стандартных телевизионных камер на ПЗС.

При другом варианте реализации матрица ПЗС не перемещается, а оптическая система 11 дополняется двумя парами оптических клиньев, одна из которых изображена на фиг. 7 и осуществляет сдвиг оптического изображения относительно матрицы ПЗС по вертикали, а вторая пара имеет точно такой же вид, но развернута в плоскости, перпендикулярной рисунку на 90^о, осуществляет сдвиг оптического изображения по горизонтали. Сдвиг оптического изображения h зависит от величины d расстояния между клиньями, угла оптического клина α и показателей преломления клиньев n₂и среды между ними n₁ по формуле
h = d (5)
Анализ выражения (5) показывает, что при углах α порядка единиц градусов дисперсия не будет оказывать существенного значения.

Изменять величину d можно при помощи тех же шаговых реверсивных двигателей, что и в предыдущем случае. В данном случае допустима большая величина шагового перемещения, чем в предыдущем случае (миллиметры против десятков микрон) и меньшая точность шагового перемещения.

Наиболее приемлемой может явиться реализация, при которой смещение по одной координате осуществляется одним способом, а по другой - другим. При этом уменьшается громоздкость устройства 8.

Помимо рассмотренных вариантов возможно смещение оптического изображения относительно матрицы ПЗС путем качания плоскопараллельной стеклянной пластинки или зеркала, а также применением электрооптического эффекта Керра.

При осуществлении варианта способа для охлаждения матрицы ПЗС можно использовать стандартные микрохолодильники, которые применяют при построении малокадровых телевизионных систем на ПЗС.

Использование: в телевидении, в частности при способах формирования и предварительной обработки изображений, а также при построении систем машинного зрения и телевизионных устройств прикладного назначения. Сущность изобретения: способ включает формирование оптического изображения из светового потока при помощи оптической системы, проецирование оптического изображения на фоточувствительную поверхность ПЗС, преобразование оптического изображения в зарядовый рельеф, направленный перенос изображения и преобразование зарядового рельефа в видеосигнал изображения, причем направленный перенос оптического изображения осуществляют путем взаимного смещения ПЗС и оптического изображения др г относительно друга на расстояние, равное длине целого числа светочувствительных ячеек ПЗС по горизонтали и вертикали, преобразование оптического изображения в зарядовый рельеф и направленный перенос чередуют, а преобразование зарядового рельефа в видеосигнал изображения осуществляют после нескольких циклов преобразования оптического изображения в зарядовый рельеф и направленного переноса. 7 ил.

1. СПОСОБ ФОРМИРОВАНИЯ СИГНАЛА ИЗОБРАЖЕНИЯ, включающий прием отраженного светового потока, формирование оптического изображения, проецирования оптического изображения на фоточувствительную поверхность прибора с зарядовой связью (ПЗС), преобразование оптического изображения в зарядовый рельеф, перенос зарядового рельефа из секций накопления в секцию памяти ПЗС, преобразование зарядового рельефа в видеосигнал, отличающийся тем, что, с целью выделения изображения движущихся в заданном направлении объектов на неподвижном фоне, одновременно с переносом зарядового рельефа из секции накопления в секцию памяти ПЗС, осуществляют взаимное смешение оптического изображения и ПЗС друг относительно друга на расстояние, равное длине целого числа светочувствительных ячеек ПЗС по горизонтали и вертикали, при этом преобразование оптического изображения в зарядовый рельеф и перенос зарядового рельефа из секции накопления в секцию памяти осуществляют неоднократно, а преобразование зарядового рельефа в видеосигнал осуществляют после нескольких циклов преобразования зарядового рельефа и переноса. 2. Способ по п. 1, отличающийся тем, что, с целью выделения удаленных объектов, движущихся в заданном направлении, фоточувствительную поверхность ПЗС охлаждают, а входной световой поток ослабляют.