СПОСОБ ОБНАРУЖЕНИЯ ОБЪЕКТОВ Российский патент 2005 года по МПК G01S17/06 H04N7/18 

Изобретение относится к обработке изображений и может быть использовано для автоматического обнаружения, выделения изображений и измерения параметров объектов на сложных фонах. Предлагаемый способ обнаружения объектов может быть также использован для контроля охраняемых территорий и помещений от несанкционированного проникновения с регистрацией, при необходимости, изображения объекта-нарушителя; в системах автоматического распознавания и слежения и других системах обработки изображений.

Аналогом изобретения по функциональному назначению - обнаружение и выделение объектов - является способ, основанный на эффекте выпрямления тока в структурах типа металл - диэлектрик -полупроводник - жидкий кристалл (МДПЖК) [1, стр.235-236].

При питании такой структуры двуполярным (например, синусоидальным) напряжением происходит выпрямление проходящего через структуру тока, что приводит к возникновению постоянной составляющей напряжения на слое жидкого кристалла (ЖК). Измерение фото-ЭДС, возникающей при освещении ПВМС с той или другой стороны пластины фотополупроводника, указывает на наличие искривлений энергетических зон полупроводника на его границах. Области искривлений играют в электрическом отношении роль диодов, включенных навстречу друг другу. При освещении одного из диодов, т.е. соответствующей стороны структуры, обратное сопротивление диода уменьшается, что приводит к асимметрии структуры и к появлению выпрямляющего эффекта.

Выпрямляющие свойства структуры обуславливают особенности оптического отклика. После приложения переменного напряжения выпрямленная составляющая в первый момент распределяется обратно пропорционально емкостям диэлектрических слоев С_д и ЖК С_жк. С учетом их реальных значений ясно, что в этот момент большая часть напряжения падает на слое ЖК, и лишь спустя время, равное времени разрядки С_жк, через собственное сопротивление R_жк оно примет свое стационарное значение, которое очень мало. Таким образом, при изменении переменного напряжения происходит бросок составляющей выпрямленного напряжения на ЖК-слое. Такое изменение происходит при освещении структуры, когда резко уменьшается сопротивление освещаемого диода и сопротивление объема полупроводникового кристалла R_пп.

Длительность броска напряжения определяется временем разрядки ЖК-слоя и составляет обычно 1... 10 мс для использовавшихся ЖК (удельное сопротивление 10¹⁰ Ом· см). Величину питающего напряжения всегда можно выбрать так, чтобы ЖК находился на пороге переориентации; тогда бросок напряжения, выпрямленного структурой в момент ее освещения, обусловит возникновение оптического отклика. Таким образом, оптический отклик существует только на изменение освещенности и поэтому структуры обладают указанными динамическими свойствами.

Чувствительность таких структур к нестационарным (движущимся, мерцающим) объектам на 2-3 порядка выше, чем к стационарным (фон), что и позволяет обнаруживать и селектировать изображения нестационарных объектов на сложных стационарных фонах, так как устройство реагирует только на движущиеся и мерцающие (меняющие яркость) объекты.

Недостатком данного способа является возможность обнаружения только подвижных (пространственная нестационарность) или меняющих яркость, “мерцающих” объектов (временная нестационарность). Отсюда следует и другой существенный недостаток - жесткие требования к пространственной и временной стабилизации фона, что особенно сложно при работе на естественных, “природных” фонах.

Наиболее близким аналогом-прототипом является способ обнаружения и селекции изображений на сложных фонах, основанный на вычитании изображений [1, стр.240-245], [2, стр.111-112].

В соответствии с этим способом записывают (и, при необходимости, перезаписывают) в память и определяют как опорное одно из текущих изображений. При вычитании опорного и последующих текущих изображений на выходе формируют разностное изображение. Если в фоно-целевой обстановке (ФЦО) произошли изменения, например появление нового объекта, то полученное разностное изображение будет соответствовать изображению этого объекта. Постоянная составляющая (фон) при этом исключается.

Данный способ позволяет обнаруживать практически любой объект на сложных фонах, однако, в то же время он имеет и ряд существенных недостатков, среди которых:

- низкое качество выделенного изображения объекта, так как при вычитании каждая точка изображения объекта формируется как разность “фон-объект” и поэтому возможны сильные искажения - “разрывы”, “потеря цвета”, “пятнистость” и др.;

- высокие требования к стабильности фона и относительным сдвигам “система-фон”, так как при изменениях фона и относительных сдвигах возникает несоответствие между сигналами в опорном и текущем кадрах и при вычитании разностный сигнал фона не обращается в ноль, то есть появляются шумы.

Задачей предлагаемого изобретения является разработка способа, обеспечивающего высокое качество полученного изображения обнаруженного объекта.

Сущность изобретения заключается в том, что в известном способе обнаружения объектов, содержащем предобработку сигналов представленной временной последовательности изображений сцены, на которой возможно появление объекта, запоминание опорных, характеризующих изображение сцены сигналов, а также вычитание из соответствующих текущих соответствующих опорных сигналов, после предобработки каждое представленное в оптическом или видеосигнальном виде, например в виде телевизионного сигнала, изображение рассматриваемой последовательности изображений разделяют на фрагменты, затем измеряют величины значений признаков каждого фрагмента, например величины оптической плотности фрагментов для оптического изображения или суммарных амплитуд фрагментов видеосигнала для телевизионного изображения, и запоминают соответствующие им сигналы, после чего из соответствующих величин сигналов, соответствующих фрагментам текущего изображения, вычитают величины соответствующих опорных сигналов соответствующих фрагментов и полученные разностные сигналы сравнивают с заданным пороговым значением сигнала, а затем формируют управляющие сигналы, с помощью которых осуществляют фрагментарную фильтрацию временной последовательности текущих изображений, при этом для фрагментов, абсолютные значения разностных сигналов которых превышают пороговое значение, формируют управляющие сигналы, пропускающие соответствующие сигналы изображения, а для фрагментов, абсолютные значения разностных сигналов которых меньше или равны пороговому значению, формируют управляющие сигналы, блокирующие соответствующие сигналы изображения.

Кроме того, фрагменты изображения выбирают одинаковыми по конфигурации и равным по площади с размерностью k пикселей на каждом фрагменте, где к_i=1,... , n, n≤ N, причем N - число пикселей в изображении, причем фрагменты изображения выбирают различными по конфигурации и по площади с размерностью k_i пикселей на каждом i-ом фрагменте, где k=1,... , n, n_i≤_{N/2, причем N - число пикселей в изображении, а также фрагменты изображения выбирают частично одинаковыми, а частично различными по конфигурации и по площади с размерностью ki пикселей на каждом i-ом фрагменте и для каждого фрагмента изображения ki=k.}

К тому же, для каждого изображения временной последовательности изображений выбирают одинаковыми соответствующие фрагменты изображений, а также фрагменты изображений выбирают различными по площади и конфигурации, причем площадь и конфигурацию фрагментов выбирают с учетом возможности при сравнении соответствующих текущего и опорного изображений размещения и совпадения конфигурации набора соответствующих фрагментов меньшей площади на соответствующем фрагменте большой площади. Кроме того, предобработку осуществляют в виде спектральной фильтрации изображения.

В качестве опорных сигналов выбирают характеризующие величины сигналов фрагментов изображений, или, например, каждого предыдущего для последующего, или, например, первого изображения для все временной последовательности изображений. Кроме того, в качестве сигналов для каждого фрагмента изображения выбирают сигналы, соответствующие величине, полученной путем среднестатистической обработки сигналов, полученных путем измерения значений признаков соответствующих фрагментов для заданного числа изображений рассматриваемой временной последовательности изображений, а также сигналы, соответствующие инвертированным изображениям соответствующих сигналов. Параметры сцены и объекта получают путем измерения числа, порядка расположения и яркости фрагментов, размещенных на объекте и заданных участках сцены. Данный способ в сравнении с прототипом обеспечивает:

- Высокое качество изображения выделенного целевого объекта, соответствующее тому, которое обеспечивает данная система восприятия. Тем более, что фильтрация может осуществляться на оптической несущей, т.е. непосредственно после входного объектива - с максимальным разрешением, сохранением цветов и т.д.;

- Снижение чувствительности к нестабильности фона и системы;

- Возможность измерения геометрических параметров объекта и фоновой обстановки путем подсчета числа фрагментов на изображении объекта и фона, измерения контраста фон-объект и т.д.;

- Возможность выбора оптимального соотношения между обнаружительной способностью, соотношением сигнал/шум и точностью определения области существования и границ объекта путем выбора размеров фрагментов изображения и др.;

- Возможность предварительного распознавания и классификации изображения объекта путем измерения меры сходства признаков фрагментов с типовым (обобщенным) изображением, принадлежащим к данному классу объектов и записанным в качестве опорного.

На фигуре 1(а-д) показаны результаты обработки способом вычитания (прототип). Здесь на фигуре 1(а, б) представлены опорный и текущей кадры соответственно; на фигуре 1(в) показан выделенный объект в стабильных условиях; на фигуре 1(г) показано влияние относительных сдвигов “система-фон”; на фигуре 1(д) представлены результаты селекции объекта с использованием операций способа. Следует отметить (на фиг.не показано), что при фильтрации непосредственно после объектива сохраняются и цвета изображения.

На фигуре 2(а-г) приведен пример обработки предлагаемым способом (границы фрагментов показаны для наглядности). Порядок нумерации фрагментов (5× 5) последовательный, слева-направо, сверху-вниз.

Здесь: на фигуре 2(а, б) показаны опорный и текущий кадры соответственно; на фигуре 2(в) дано графическое представление разницы яркостей фрагментов (разностные сигналы); на фигуре 2(г) показан выделенный объект. Точность границ определяется размером фрагментов.

На фигуре 3(а-г) в качестве примера реализации предлагаемого способа показан вариант схемы устройства с параллельно-оптическим вводом, фрагментацией и выводом изображения.

Здесь на фигуре 3(а) представлена схема устройства с параллельно-оптической фрагментацией и выводом выделенного изображения объекта непосредственно после входного объектива. На фигурах 3(6, в) представлены варианты блоков схемы.

На фигуре 4 показан пример реализации способа с помощью схем обработки видеосигнала для телевизионного изображения.

Входной объектив 1₁ (фиг.3) оптически связан с оптическим делителем 2, выполненным в виде светоделительной призмы, спектральным светофильтром 3 и блоком, содержащим световолоконный фокон 4 [2, стр.114-115, приложение 1], оптически связанный с фоточувствительной матрицей 5, выполненной в виде ПЗС-матрицы типа ФМЗС MB с межкадровым вычитанием [2, стр.111-112, Приложение 2], электрически соединенной с блоком 6 пороговой обработки, выполненным в виде амплитудного селектора на базе, например, микросхемы 564СА1 [3, стр.562]. Блок 6 пороговой обработки электрически соединен с блоком 7 формирования управляющих сигналов, выполненным, например, в виде микросхемы КIТШ 221Г или 133 серии [3, стр.272-274] и электрически соединен с блоком 8 пространственной фильтрации фрагментов, в качестве которого использован электрически управляемый пространственно-временной модулятор света на жидких кристаллах (ПВМСЖК) [4, стр.1, 11. Приложение 3]. Блок 8 оптически связан с входным и выходным объективами 1₁ и 1₂ и оптическим делителем 2, а электрически подключен также к электрическому выходу матрицы 5.

На фигуре 3(б, в) показаны варианты построения узла, выполненного на фигуре 3(а) в виде фокона 4 и матрицы 5 и обеспечивающего плавную регулировку размеров фрагментов, на которые “разбивается” изображение. На фигуре 3(6) между фоконом 4 и матрицей 5 введен оптически связанный с ними электронно-оптический преобразователь (ЭОП) 9, обеспечивающий возможность плавного изменения масштаба изображения [5, стр.1. Приложение 4]. На фигуре 3(в) ЭОП 9 оптически через объектив 1 связан с матрицей 5 [6, стр.1, 7. Приложение 5].

Устройство работает следующим образом. Входной объектив 1_i формирует изображение, поступающее от источника изображения в виде реального объекта, от ЭОПа, или электронно-лучевой трубки (ЭЛТ) (первичная информация - видеосигнал) во входных плоскостях фокона 4 и ПВМС ЖК 8. После масштабного преобразования с помощью фокона 4 изображение поступает на вход матрицы 5 ФМЗС MB. Матрица 5 осуществляет операции межкадрового вычитания (MB), то есть регистрирует сигналы признаков изображения, представляющих, в данном случае, интегральные (суммарные) значения интенсивности фрагментов, записывает опорные сигналы и через межкадровый интервал вычитает опорные и соответствующие им текущие сигналы фрагментов изображения, формируя на выходе разностные сигналы. Разностные сигналы после обработки в блоке 6 пороговой обработки с помощью блока 7 формирования управляющих сигналов преобразуют в бинарные (0,1) управляющие сигналы, которые поступают на электрический вход электроуправляемого ЖК-модулятора 8, работающего в режиме оптического затвора.

Элементы ЖК-модулятора 8, на которые поступают сигналы, равные 1, открывают их, отражают (пропускают для ЖК на пропускание) фрагменты изображения, формируемого объективом 1 на ЖК-модуляторе.

На выходе схемы с помощью объектива 1₂ формируют изображение отселектированного от фона объекта. Примечание: при использовании пропускающего ЖК-модулятора 8 выходной объектив исключается из схемы.

Размерность фрагмента изображения, т.е. число элементов разрешения во фрагменте, интенсивности которых суммируются одним фоточувствительным элементом ПЗС, определяют в данном случае из соотношения (N₁/N₂)m, m≥ 1, где N₁ - число элементов разрешения во входном изображении (кадре), N₂ - число чувствительных элементов в апертуре ПЗС, a m - коэффициент масштабного преобразования.

Варианты построения схемы, показанные на фигуре 3(б, в), служат для плавного изменения размеров фрагментов и согласования форматов входного изображения и апертуры матрицы 5.

На фигуре 3(г) показана схема, аналогичная схеме на фиг.3(а), но в которой блок фрагментации 4 исключают, то есть фрагмент в данном случае равен одному элементу разрешения (пикселю). Таким образом схема работает в режиме обычного межкадрового вычитания (прототип) с помощью матрицы 5, выполненной на базе ФМЗСМВ [2, стр.111-112, Приложение 2], но включение блоков 2, 6, 7, 8 приводит к улучшению качества изображения - отсутствие “пятнистости”, повышение разрешения и сохранение цветов (так как изображение объекта выделяется непосредственно после объектива 1, разрешение которого существенно выше разрешения ФМЗС MB матрицы. Схема работает аналогично показанной на фиг.3(а), но без операции фрагментации, осуществляемым блоком 4. Искажения, вносимые ЖК-модулятором 8 [4, стр.1, 11, Приложение 3], незначительны, учитывая его высокое оптическое качество.

Сравнительные результаты показаны на фиг.1(в, г). Фиг.1(в) - изображение при обычном межкадровом вычитании (прототип); фиг.1(д) - с помощью схемы на фиг.3(г).

Основное преимущество - качество изображения, четкость границ за счет минимального размера фрагмента.

Основное ограничение для применения - высокие требования к пространственной стабильности системы и фона, как в прототипе.

На фигуре 4 в качестве другого примера приведен вариант схемы устройства для осуществления предложенного способа путем обработки видеосигнала, где на фрагменты разбивается строка телевизионного изображения. Такое устройство может быть использовано для обнаружения на сложных фонах высокоскоростных точечных объектов (например, задача мультитрекинга) и позволяет исключить в сравнении с прототипом разрывы траектории движения, возникающие при вычитании изображений фон-объект.

Схема содержит генератор строчной развертки 10, выполненный на микросхеме К174ГФ1 и электрически соединенный с дифференцирующей цепью 11, которая электрически соединена с одновибратором 12, выполненным на микросхеме К176ИЕ18 и блокинг-генератором 13, выполненном по стандартной схеме [8, стр.213-214], который в свою очередь соединен с одновибратором 12.

Далее следуют электрически соединенный с блокинг-генератором 13 электронный ключ 14, выполненный на микросхеме КР314КИ1 и последующие, электрически соединенные блоки: интегрирующая цепь 15, линия задержки 16 (КР1051ХК4) и инвертор 17 (ДА4), сумматор 18, выполненный на микросхеме К155ИМ1, амплитудный селектор 6, выполняемый на микросхеме К561СА1 [3, стр.562], схема управления 19 на микросхеме К176ИЕ18 и телевизионная электронно-лучевая трубка ЭЛТ 20. Видеоусилитель 21 на микросхеме 171982 электрически соединен с электронным ключом 14 и ЭЛТ 20 через линию задержки 22 (КР1051ХК4).

Элементы этой схемы приведены в [7].

Схема работает следующим образом.

С генератора строчной развертки 10 импульсы начала развертки строки поступают на дифференцирующую цепь 11, формируя импульсы положительной и отрицательной полярности. Положительный импульс запускает одновибратор 12, подключающий питающее напряжение к блокинг-генератору 13 на время прохождения строки через ключ 14. Отрицательный импульс запускает блокинг-генератор 13. Импульсы блокинг-генератора периодически открывают ключ 14, разделяя на фрагменты видеосигнал, поступающий с видеоусилителя 21. Квантованный видеосигнал поступает на интегрирующую цепь 15. Сформированные таким образом сигналы поступают с интегрирующей цепи 15 на сумматор 18 через линию задержки 16 и инвертор 17. С сумматора 18 импульсы поступают на ограничитель 6, а с него на блок управления 19. Задержанный видеосигнал с линии задержки 22 поступает на электронно-лучевую трубку 20. Импульсы с блока управления 19 открывают электронно-лучевую трубку, в результате чего на экране появляется изображение той части (фрагмента) видеосигнала, которая несет информацию об объекте.

ЛИТЕРАТУРА

[1] А.А.Васильев, Д.Касасент и др. “Пространственные модуляторы света”,Москва, ″ Радио и связь″ , 1987 г., 320 с.

[2] Ю.А.Кузнецов, В.И.Шилин “Микросхемотехника БИС на приборах с зарядовой связью”, Москва, ″ Радио и связь″ , 1988 г., 161 с.

[3] “Справочная книга радиолюбителя-конструктора”, Москва, ”Радио и связь”, 1990 г., 623 с.

[4] Terroelektric liquid crystal over silicon spatial light modulators - principles, practice and prospects. “Optical Society of America, Washington DC, 1997 g. pp. 76-88.

[5] Applied Optics, 1986, т. 25, №14, 2306-2310 с.

[6] В.П.Бегучев, А.А.Чапкевич, А.Ш.Филачев “Электронно-оптические преобразователи. Состояние и тенденции развития”. Международный центр микроэлектроники и ночного видения “Орекс”, Москва; ГУП НПО “Орион”, Москва.

[7] В.Ф.Козак “Справочник по номенклатуре и аналогам отечественных микросхем”, Новосибирск, 7, авг. 2000 г.

[8] “Физическая энциклопедия”, Москва, “Советская энциклопедия, 1988, 704 с.

Изобретение относится к обработке изображений по обнаружению объектов на сложных фонах. Технический результат - повышение качества выделенного изображения объекта. Для этого способ, содержащий операцию вычитания опорного и текущих изображений, предусматривает этап, на котором изображения обрабатываемой последовательности разбиваются на фрагменты, признаки которых преобразуются в сигналы. Сигналы одного из изображений записываются как опорные и сравниваются, например, вычитанием с соответствующими текущими сигналами, и полученные разностные сигналы после пороговой обработки преобразуются в бинарные сигналы управления пространственной фильтрацией, в результате которой фрагменты текущего изображения, для которых сигналы управления превышают порог - пропускаются, а фрагменты, сигналы которых меньше или равны порогу - подавляются. 11 з.п. ф-лы, 4 ил.

1. Способ обнаружения объектов, включающий предобработку сигналов представленной временной последовательности изображений сцены, на которой возможно появление объекта, запоминание опорных, характеризующих изображение сцены сигналов, а также вычитание из соответствующих текущих соответствующих опорных сигналов, отличающийся тем, что после предобработки каждое представленное в оптическом или видеосигнальном виде, например в виде телевизионного сигнала, изображение рассматриваемой последовательности изображений разделяют на фрагменты, затем измеряют величины значений признаков каждого фрагмента, например величины оптической плотности фрагментов для оптического изображения или суммарных амплитуд фрагментов видеосигнала для телевизионного изображения, и запоминают соответствующие им сигналы, после чего из соответствующих величин сигналов, соответствующих фрагментам текущего изображения, вычитают величины соответствующих опорных сигналов соответствующих фрагментов и полученные разностные сигналы сравнивают с заданным пороговым значением сигнала, а затем формируют управляющие сигналы, с помощью которых осуществляют фрагментарную фильтрацию временной последовательности текущих изображений, при этом для фрагментов, абсолютные значения разностных сигналов которых превышают пороговое значение, формируют управляющие сигналы, пропускающие соответствующие сигналы изображения, а для фрагментов, абсолютные значения разностных сигналов которых меньше или равны пороговому значению, формируют управляющие сигналы, блокирующие соответствующие сигналы изображения.2. Способ по п.1, отличающийся тем, что фрагменты изображения выбирают одинаковыми по конфигурации и равными по площади с размерностью k пикселей на каждом фрагменте, где k=1,... , n, n≤ N, причем N - число пикселей в изображении.3. Способ по п.1, отличающийся тем, что фрагменты изображения выбирают различными по конфигурации и по площади с размерностью k_i пикселей на каждом i-м фрагменте, где k_i=1,... , n, n_i≤_{N/2, причем N - число пикселей в изображении.}4. Способ по п.1, отличающийся тем, что фрагменты изображения выбирают частично одинаковыми, а частично различными по конфигурации и по площади с размерностью k_i пикселей на каждом_{i-м фрагменте.}5. Способ по п.4, отличающийся тем, что для каждого фрагмента изображения k_i=k.6. Способ по любому из пп.1-5, отличающийся тем, что для каждого изображения временной последовательности изображений выбирают одинаковыми соответствующие фрагменты изображений.7. Способ по любому из пп.1, 3 или 5, отличающийся тем, что для каждого изображения временной последовательности изображений фрагменты изображений выбирают различными по площади и конфигурации, причем площадь и конфигурацию фрагментов выбирают с учетом возможности при сравнении соответствующих текущего и опорного изображений размещения и совпадения конфигурации набора соответствующих фрагментов меньшей площади на соответствующем фрагменте большой площади.8. Способ по любому из пп.1-3, отличающийся тем, что предобработку осуществляют в виде спектральной фильтрации изображений.9. Способ по любому из пп.1-3, отличающийся тем, что в качестве опорных сигналов выбирают характеризующие величины сигналов фрагментов изображений, или, например, каждого предыдущего для последующего, или, например, первого изображения для всей временной последовательности изображений.10. Способ по любому из пп.1-3, отличающийся тем, что в качестве сигналов для каждого фрагмента изображения выбирают сигналы, соответствующие величине, полученной путем среднестатистической обработки сигналов, полученных путем измерения значений признаков соответствующих фрагментов для заданного числа изображений.11. Способ по любому из пп.1-3, отличающийся тем, что в качестве опорных сигналов выбирают сигналы, соответствующие инвертированным изображениям соответствующих фрагментов.12. Способ по любому из пп.1-3, отличающийся тем, что параметры сцены и объекта определяют путем измерения числа, порядка расположения и яркости фрагментов, размещенных на объекте и заданных участках сцены.