Устройство обнаружения и определения координат объекта на изображении Советский патент 1992 года по МПК H04N7/18 G06K9/36 

Изобретение относится к технике цифровой обработки изображений и может быть использовано в системах технического зрения.

Известно устройство 1, содержащее аналого-цифровой преобразователь, три блока памяти, блок вычисления корреляции, вентиль и блок управления. Недостатком устройства является невысокая точность определения координат объекта, обусловленная наличием участков фона, а также аддитивных помех в эталонном изображении объекта.

Известно устройство 2, содержащее блок входной памяти, блок оперативной памяти, блок оперативной памяти для хранения корреляционных оценок, коррелятор, блок адресации,блок управления,в котором в каждом кадре координаты объекта определяются путем отыскания глобального минимума меры отличия из двух множеств корреляционных оценок. Первое множество определяют путем сравнения эталона с реальным текущим изображением, а второе путем сравнения эталона с размасштабиро- ванным текущим изображением, при этом направление размасштабирования определяется тем, приближается или удаляется объект. Недостатком устройства является невысокая точность определения координат, объекта, вызванная тем, что в эталоне не учитываются изменения формы и яркости текущего изображения объекта. Кроме того, в эталоне наряду с искомым объектом присутствуют участки фона и аддитивные помехи, искажающие эталонное изображение.

Наиболее близким по технической сущности к заявляемому устройству является

х| со XI

VI

сл сл

,

выбранное в качестве прототипа устройство для определения положения объекта на изображении 3, содержащее первый блок памяти, блок временного сглаживания, коммутатор, блок управления, второй блок памяти, коррелятор, блок определения координат. Первый вход первого блока памяти является информационным входом устройства, второй вход подключен к первому выходу блока управления, выход первого блока памяти подключен к первому входу блока сглаживания, к первому входу коммутатора и ко второму входу коррелятора. Второй вход блрка сглаживания подключен ко второму выходу блока управления, а выход - к третьему входу коммутатора, второй вход которого подключен к пятому выходу блока управления. Выход коммутатора подключен к первому входу второго блока памяти, второй вход которого подключен к третьему выходу блока управления. Выход второго блока памяти подключен к первому входу коррелятора, третий вход коррелятора подключен к четвертому выходу блока управления, а выход - к первому входу блока определения координат, второй вход которого подключен к шестому выходу блока управления. Первый выход блока определения координат подключен к первому входу блока управления, второй выход блока определения координат является информационным выходом устройства, второй вход блока управления является синхронизирующим входом устройства.

Недостатком устройства является невысокая точность определения координат объекта на изображении, вызванная тем, что в качестве эталонного изображения объекта используется сглаженное изображение, в котором наряду с искомым объектом присутствуют участки фона. Кроме того, в качестве координат объекта используются координаты центра эталонного изображения, а не некоторой точки объекта, условно принимаемой за его центр, В этом случае при частом обновлении эталона изображение объекта в эталоне смещается из центра к его краям, что приводит к ошибкам в определении его координат, а при отсутствии коррекции положения объекта относительно центра эталона - к срыву сопровождения. Недостатком устройства является ограничение функциональных возможностей, обусловленных отсутствием возможности автоматического обнаружения малоразмерных объектов и слежения за ними.

Целью изобретения является повышение точности определения координат объекта и расширение функциональных возможностей устройства за счет решения

задачи автоматического обнаружения движущихся объектов и обеспечения возможности слежения за малоразмерными объектами.

Это достигается тем, что в устройство,

содержащее первый блок памяти, первый вход которого является первым информационным входом устройства, а выход соединен с первыми входами блока вычисления

0 оценок яркости элементов изображений и коммутатора, второй и третий входы коммутатора соединены соответственно с выходом блока вычисления оценок яркости элементов изображений и первым выходом

5 блока управления, второй выход которого соединен с первым входом второго блока памяти, второй вход которого соединен с выходом коммутатора, и блок координатных регистров, выход которого является выхо0 дом устройства, а управляющий вход соединен с третьим выходом блока управления, четвертый выход которого соединен со вторым входом блока вычисления оценок яркости элементов изображений, а вход блока

5 управления является управляющим входом устройства, с целью повышения точности определения координат объекта, введены последовательно соединенные блок адресации, первый вход которого соединен с пя0 тым выходом блока управления, блок дифференцирования, блок оценки параметров движения, второй вход которого соединен с выходом первого блока памяти, и блок классификации, второй вход которого сое5 динен с первым выходом первого блока памяти, второй вход которого является вторым управляющим входом устройства, а также третий и четвертый блоки памяти, при этом шестой, седьмой, восьмой, девятый и деся0 тый выходы блока управления соединены соответственно с третьим входом блока классификации, вторым входом блока оценки параметров движения, третьим входом блока дифференцирования, первым входом

5 четвертого блока памяти и первым входом третьего блока памяти, второй вход которого соединен с выходом коммутатора, третий вход третьего блока памяти соединен с третьим входом второго блока памяти, чет0 вертым входом блока классификации, первым входом первого блока памяти и вторым выходом блока адресации, третий выход которого соединен со вторым входом первого блока памяти, а второй вход соединен со

5 вторым входом блока координатных регистров и вторым выходом бло ка оценки параметров движения, третий вход которого соединен с третьим входом блока дифференцирования и первым выходом четверто- то блока памяти, второй выход которого

соединен со вторым входом блока управления, третий вход которого соединен с первым выходом блока классификации, второй выход которого соединен с третьим входом блока вычисления оценок яркости элементов изображений, четвертый вход которого соединен с пятым выходом блока классификации, выходом второго блока памяти и вто- рым входом четвертого блока памяти, третий вход которого соединен с шестым входом блока классификации, пятым входом блока вычисления оценок яркости элементов изображений и выходом третьего блока памяти, а четвертый вход соединен с первым выходом блока адресации, третий вход которого является третьим управляющим входом устройства, четвертый выход блока классификации является вторым выходом устройства.

На фиг. 1 представлена блок-схема устройства обнаружения и определения координат объекта на изображении; на фиг. 2 - схема блока адресации и блока координатных регистров; на фиг. 3 - схема блока вычисления оценок яркости элементов изображений; на фиг. 4 - схема блока дифференцирования; на фиг. 5 - схема блока управления; на фиг. 6-схема первого блока памяти; на фиг. 7 - схема блока нелинейного оценивания параметров; на фиг. 8 - схема классификации; на фиг. 9 приведены временные диаграммы сигналов, поясняющие работу устройства; на фиг. 10,11 -блок-схема алгоритма работы устройства.

Устройство обнаружения и определения координат объекта на изображении (фиг. 1) содержит первый блок 1 памяти, блок 2 вычисления оценок яркости элементов изображений, коммутатор 3, блок 4 оценки параметров движения, блок 5 классификации объектов, второй блок 6 памяти, блок 7 дифференцирования, четвертый блок 8 памяти, третий блок 9 памяти, блок 10 адресации, блок 11 управления и блок 12 координатных регистров.

Блок адресации (фиг. 2) содержит два формирователя адреса (ФА) 13, 14, четыре регистра 15-18, четыре сумматора 19-22, три счетчика 23-25, компаратор 26 цифровых кодов, два элемента ИЛИ 27, 28, элемент НЕ 29.

Блок координатных регистров (фиг. 2) содержит два регистра 30, 31.

Блок вычисления оценок яркости элементов изображений (фиг. 3) содержит эле- мент И 32, два регистра 33, 34, мультиплексор 35, вычитатель 36, умножитель 37, сумматор 38.

Блок дифференцирования (фиг. 4) содержит пять регистров 39-43, вычитатель

44, блок 45 оперативной памяти (БОП), блок 46 постоянной памяти (БПП), элемент ИЛИ 47.

Блок управления (фиг. 5) содержит формирователь 48 адресов микрокоманд (ФАМ), блок 49 репрограммируемой памяти (БРП), регистр микрокоманды 50, элементы И 51,52, триггер 53, элемент И-НЕ 54, мультиплексор 55 кода условия, счетчик 56, эле0 мент И Л И-НЕ 57.

Блок 1 памяти текущего изображения (фиг. 6) содержит два приемопередатчика информации (ППИ) 59, 60, два БОП 61, 62, триггер 63, элемент НЕ 64,

5 Блок 8 памяти (фиг. 6) содержит БОП 65 и мультиплексор 66.

Блок оценки параметров движения (фиг. 7) содержит регистры 67-81, вычитатели 82- 84, три умножителя 85-87, четыре суммато0 ра 88-91, два мультиплексора 92, 93.

Блок классификации (фиг. 8) содержит регистры 94-100, два вычитателя 101, 102, три мультиплексора 103-105, четыре сумматора 106-109, четыре компаратора 110-113

5 цифровых кодов, БОП 114, элементы И 115, 116, счетчики 117,118, элементы И 119,120, два умножителя 121, 122, шесть БПП 123- 128.

Устройство обнаружения и определе0 ния координат объекта на изображении работает следующим образом. Сигнал А1 (фиг. 9, в) открывает элемент И 52, на вход которого поступает внешний сигнал тактовой частоты А2 типа меандра (фиг. 9, а), задающий

5 частоту работы синхронизируемых элементов устройства. Частота сигнала А2 определяется быстродействием используемой элементной базы. На выходе элемента И 52 формируется сигнал A3 (фиг. 9, б). Одновре0 менно единичный уровень сигнала А1 поступает на вход R триггера 53 и первый вход элемента И-НЕ 54, на второй вход которого подается внешний кадровый синхроимпульс А4 (фиг. 9, д). Единичный уровень

5 очередного кадрового синхроимпульса устанавливает триггер 53 в единичное состояние. В результате этого на выходе триггера 53 формируется сигнал А6 (фиг. 9, г), который открывает элемент И 51 и разрешает

0 прохождение управляющих сигналов У1-У4 на первый управляющий вход ФАМ 48. С этого момента устройство обнаружения и определения координат объекта на изображении начинает работать в соответствии с

5 микпропрограммой, хранящейся в блоке 49 репрограммируемой памяти. Работа устройства организована таким образом, что в течение времени одного кадра производится запись текущего кадра в один из блоков оперативной памяти, например блок 61,

блока 1 памяти текущего изображения и одновременно с этим осуществляется обработка предыдущего кадра, записанного в другом блоке оперативной памяти блока 1.

Для синхронизации записи текущего кадра используются внешние синхронизирующие сигналы: сигнал тактовой частоты А7 типа меандра (фиг. 9, з), задающий частоту дискретизации отсчетов входного цифрового видеосигнала А5, кадровый синхроимпульс А4 (фиг. 9, д), строчной синхроимпульс А8 (фиг. 9, ж) видеосигнала и шестиразрядный сигнал А14. Эти сигналы управляют счетчиками 23 и 25, формирующими десятиразрядный адресный сигнал А9 (фиг. 9, р), элементом ИЛИ 27, который формирует нулевой сигнал записи A10 A7VA4VA8VA12 (фиг. 9, к), счетчиком 24 и цифровым компаратором 26. Счетчик 24, на счетный вход которого поступает строчной синхроимпульс А8, а на вход обнуления сигнал А15 (фиг. 9, м), и цифровой компаратор 26, сравнивающий цифровые значения сигнала А13 (фиг. 9, п), снимаемого с выхода счетчика 24, и сигнала А14, представляющего коэффициент прореживания строк п, формируют сигнал А11 (фиг. 9, л), который появляется на выходе компаратора 26 в момент равенства цифровых значений сигналов А13 и А14. Сигнал разрешает запись каждой строки изображения датчика видеосигнала, кратной п, в блоки оперативной памяти 61 или 62 блока 1. Сигнал А15 появляется на втором выходе цифрового компаратора 26 в случае, когда цифровое значение сигнала А13 больше значения сигнала А14.

Счетчик 23, на счетный вход которого поступает сигнал А10, а на вход установки в ноль-сигнал A16 A12VA8, формирует адреса отсчетов сигнала А5 в строке текущего кадра (пять младших разрядов сигнала А9(А9,), а счетчик25, управляемый по входам установки в ноль и счетному входу сигналами А4 и А12, формирует адрес строки текущего кадра (пять старших разрядов сигнала А9().

Передачу сигналов А9, А10 на управляющие входы БОП 61 или 62 блока 1, выбранного для записи очередного телевизионного кадра, осуществляет четырехканальный приемопередатчик 59 путем коммутации канала В с каналом А или С. Подключение входа выбранного БОП к информационному входу устройства осуществляется с помощью приемопередатчика информации 60 блока 1. Очередностью записи в БОП 60 и 61 последовательно поступающих кадров телевизионного изображения управляют сигналы А17 (фиг. 9, и) и . Сигналы А17

и А18 формируются триггером 63, на счетный вход которого поступает инвертированный кадровый синхроимпульс А4.

Канал X ППИ 60 соединен с информационными входами блоков 2-5. При нулевом уровне сигнала А17 канал В ППИ 59 коммутируется с каналом А, а канал X - с каналом С, канал В ППИ 60 коммутируется с каналом X, а канал С - с каналом А. При единичном

0 уровне сигнала А17 все выполняется наоборот.

Канал А ППИ 60 блока 1 является информационным входом устройства обнаружения и определения координат объекта на

5 изображении.

На фиг. 9 показаны временные диаграммы сигналов, поясняющие момент начала работы устройства и процесс записи видеосигнала текущего кадра, например, в БОП

0 61. Диаграммы сигналов носят качественный характер, при этом считалось, что строк, а размерность текущего кадра 8x8 элементов. Диаграммы разрядов , , , сигнала А9 на фиг.

5 9 не показаны, поскольку имеют нулевое значение.

В самом первом с начала работы кадре производится только запись телевизионного изображения например в БОП 61. Фор0 мирование исходных массивов данных и запись их в соответствующие блоки происходит во время записи второго кадра в БОП 62. Начиная с третьего кадра устройство обнаружения и определения координат объ5 екта на изображении, кроме записи очередного кадра в БОП 61, обрабатывает записанный в БОП 62 предыдущий кадр.

Алгоритм обнаружения и определения координат движущегося объекта на изобра0 жении, реализованный в заявляемом устройстве, получен из решения задачи слежения как задачи оценки параметров движения и параметров, связанных с изображениями фона и объекта.

5 Блок-схема алгоритма, реализованного в устройстве обнаружения и определения координат объекта на изображении, приведена на фиг. 10, 11. Первая часть алгоритма (фиг. 10) соответствует работе устройства в

0 режиме автоматического обнаружения и завязки траектории обнаруженного объекта.

На фиг. 11 приведена вторая часть алгоритма работы устройства в режиме слежения.

5 В алгоритме (фиг. 10, 11), реализованном в заявляемом устройстве, можно выделить следующие основные этапы обработки информации.

1. Формирование и запись исходных массивов информации G0, B0.

2.Классификация элементов наблюдаемого изображения .

3.Рекуррентная фильтрация параметров движения объекта и выдача координат в блок 12.

4.Сглаживание эталонного изображения фона Gn.

5.Сглаживание эталонного изображения объекта Нп.

6.Формирование прогнозируемого изображения Sn+1.

7.Вычисление производной изображеasn

ния

8.Нелинейное оценивание скорости и координаты объекта по оси X.

9.Вычисление производной изображе Э5пния -зт-.

о Any

10.Нелинейное оценивание скорости и координаты объекта по оси Y.

11.Классификация участка трг наблюдаемого изображения.

12.Коррекция координат объекта и ьы- дачи их в блок 12.

Первый этап вычислений выполняется во время записи второго кадра в БОП 61 и только один раз. В течение этого этапа формируется исходное эталонное изображение фона Go, исходная функция В0 и обнуляется содержимое блоков памяти 8, 9 и БОП 45. В качестве исходного эталонного изображения фона Go берется текущее изображение Lo, записанное в БОП 62. При этом считается, что объект в изображении Ц отсутствует. Исходная функция В0 формируется путем записи в БОП 114 по всем адресам числа 32.

На втором этапе вычислений для каждого элемента наблюдаемого изобретения Inij проверяется условие

bnii b (n - i)ij + ( Inij - Qnij )2 ( Inij

+

2 D

(D

где b(n-i)ij - элементы Bn-i; Inij - элементы текущего изображения Ln; gnij - элементы прогнозируемого изображения фона Gn А1 - прогнозируемое минимальное отличие яркости объекта от яркости фона, . В результате, если для элемента Inij условие (1) выполняется, то элемент классифицируется как элемент, принадлежащий множеству Нп, в противном случае как элемент фона. Одновременно вычисляются координаты центра тяжести и площадь изображения объекта Нп. Координаты центра тяжести

объекта вычисляются в соответствии с выражениями

. 2 i

3 InljeHn х Sn

I, I i InljeHn

Sn

где Sn - площадь объекта, равная числу элементов, которые составляют изображение объекта Hn; i - координата элемента пц по

оси X; j - координата элемента Inij по оси Y. Реализуется выполнение второго этапа в блоке классификации 5. Цикл классификации одного элемента Inij выполняется затри такта сигнала A3.

На этапе классификации на входы регистров 96,97 поступают соответственно значения элементов наблюдаемого Inij (сигнал А20) и сглаженного эталонного изображения фона gnij (сигнал А21) из блоков памяти

1 и 6. На первый вход мультиплексора 104 поступает значение элемента сглаженного эталонного изображения объекта hnij (сигнал А22) из блока памяти 9. С выхода регистра 97 значение gnij поступает на первые

входы вычитателя 101 и сумматора 106. На вторые входы этих элементов поступает значение А1 (сигнал А23), которое хранится в регистре 94. На выходе вычитателя 101 формируется значение (gnuj- Ai) (сигнал

А24), которое поступает на второй адресный вход БПП 123 и на первый вход мультиплексора 103. На выходе сумматора 106 формируется величина (gnij+ AI) (сигнал А25), которая поступает на второй адресный вход

БПП 124 и второй вход мультиплексора 103. Первые адресные входы БПП 123 и 124 подключены к выходу регистра 96. В БПП 123 и 124 записаны соответственно значения модулей выражений Ц-(дпц- AI) и Ц-(дпу+ AI)

для всех возможных комбинаций Ц, (gnij- A i) и (Inij, (gnij+ AI). Сигнал А26, формируемый компаратором 110, управляет мультиплексором 103. Если I lnij-(gnij+ Ai I llnij- -(gnij- A1) I, то сигнал А26 имеет нулевой

уровень, который подключает ко второму входу мультиплексора 104 выход сумматора 106. В противном случае ко второму входу мультиплексора подключается выход вычитателя 101. Мультиплексор 104 управляется

старшим знаковым разрядом сигнала А27, который представляет собой значение элемента b(n-i)ij и считывается из БОП 114. Если элемент Ц до решения задачи классификации принадлежал фону, т.е. b(n-i), то ко

входу регистра 95 подключается выход мультиплексора,103., В противном случае ко входу регистра 95 подключается выход блока 9.

На втором такте .сигнала A3 значение hnij (сигнал А28) поступает на первый адресный вход БПП 125, на второй адресный вход подается значение Inij. На первый и второй адресные входы БПП 126 поступают соответственно Inij и gnij. В БПП 125 и 126 запи- саны соответственно значения квадратов выражений (Inij-hnij) и (Inij-Qnij). Выходы БПП 125 и 126 соединены соответственно со вторым и первым входами вычитателя 102, выход которого соединен с первым адресным входом БПП 127. На второй адресный вход БПП 127 поступает сигнал . В БПП 127с помощью табличного метода выполняется деление числа, поступающего на первый адресный вход, на 2D, где . В результате на выходе БПП 127 формируется сигнал А29, значение которого равно ((Inij-gnij) -(Inij- -hnij)2/2D. На выходе сумматора 107 формируется значение bnij.

В третьем такте сигнала A3 на выходе мультиплексора 105 формируется сигнал АЗЗ, значение которого равно bnij, если -32 bnij 32; -32, если 32, если . Значение bnij (сигнал АЗЗ) записывается в БОП 114 по адресу Ь(п-1)м. Одновре- менно знаковый разряд сигнала АЗЗ поступает на вход элемента НЕ 119 и третий вход мультиплексора 55 кода условия. Сигнал подается на управляющий вход элемента И 116, счетный вход счетчика 117 и четвертый вход мультиплексора 55 блока управления 11. На второй вход элемента И 116 поступает значение адреса эле- мента Inij (сигнал А69). Если , то разрешается прохождение координат (сиг- нал А69) через элемент И 116, а также увеличивается содержимое счетчика 117. Пять младших разрядов сигнала А69 поступают на первый вход сумматора 108, а пять старших - на первый вход сумматора 109. Сум- матор 108 и регистр 99 образуют накапливающий сумматор. Сумматор 109 и регистр 100 образуют второй накапливающий сумматор. На выходе регистров 99 и 100, которые соединены с первыми входами умножителей 121,122, к концу этапа классификации формируются соответственно величина 2 I (сигнал А37) и величина

lnijeHn

X j (сигнал А38). В счетчике 117 формиInij e Нп

руется площадь Sn множества Нп, равная числу элементов этого множества. На выходе БПП 128 формируется сигнал А36, значение которого равно 1/Sn. Сигнал А36 поступает на вторые входы умножителей 121 и 122. В результате на выходе умножителей 121 и 122 формируются координаты центра тяжести объекта по оси X (сигнал А39) и по оси Y (сигнал А40), которые подаются в блок 4. Выход счетчика 117 соединен с первым входом цифрового компаратора 113, второй вход которого соединен с выходом регистра микрокоманд 50-3. На выходе компаратора 113 формируется сигнал А41 единичного уровня, если площадь объекта больше числа, поступающего на второй вход компаратора. Сигнал А41 поступает на пятый вход мультиплексора 55 и на первый вход элемента И 115. Выход элемента И 115 соединен со счетным входом счетчика 118. Обнуляется счетчик 118единичным уровнем сигнала Y77 один раз на первом этапе работы устройства. На пятом разряде выхода счетчика 118 формируется сигнал Y77 единичного уровня в момент окончания завязки траектории объекта, что соответствует обнаружению объекта в 16 кадрах наблюдаемого изображения.

На третьем этапе в блоке управления анализируется уровень сигнала А41. Если объект обнаружен на этапе классификации, то оценки координат и скорости объекта находятся в соответствии с выражениями

АПХ Апх + Kl (Anx АЛХ ) ,(2)

+K2(Anx-Inx),(3)

Any Any + KI (Any Any ) ,(4)

Any z Any -Ь IO ( Any - Any ) ,(5)

AOX 0, Aoy 0, AOX 0, Aoy 0. (6)

Вычисления оценок в блоке 4 по X и Y выполняются последовательно и аналогично, поэтому достаточно рассмотреть вычисление оценок по одной оси, например X. Априорные оценки АПХ и АпХ хранится соответственно в регистрах 75 и 77. В регистре 18 хранится значение Any, в регистре 76- АпУ. Первые входы вычитателей 83, 84 соединены соответственно с выходами регистров 70, 71, в которые записываются вычисленные значения координат центра тяжести объекта АПХ (сигнал А39) и Any (сигнал А40). Второй вход вычитателя 83 - с выходом регистра 77. Аналогично второй вход сумматора 91 соединен с выходом регистра 75.

На выходе вычитателя 83 формируется сигнал - АПХ, который поступает на второй вход мультиплексора 92. На выходе

мультиплексора 92 формируется сигнал А46. Сигнал А46 поступает на вторые входы умножителей 88 и 87. На первые входы умножителя 86 подается сигнал , умножителя 87 - сигнал . Ki и Ка хранятся соответственно в регистрах 73, 74. На выходе умножителя 87 формируется сигнал (Anx - Anx). Сигнал А49 поступает на первый вход сумматора 90, второй вход которого соединен в данный момент с выходом регистра 77. В результате на выходе сумматора 90 формируется апостериорная оценка координаты объекта Алх, которая записывается в регистр 79, выход которого соединен с первым входом мультиплексора 93. Вычисленное значение Апх через мультиплексор 93 подается на вход регистра 80. На выходе умножителя 86 формируется сигнал (Апх - Алх), который поступает на первый вход сумматора 89. На второй вход сумматора 98 поступает сигнал А53 АПХ- В результате на выходе сумматора 89 формируется апостериорная оценка скорости объекта Япх, которая записывается в регистр 75. Априорная оценка координаты на (п+1)-й кадр Я ( п + 1 ) х формируется на выходе сумматора 91 как сумма сигнала А53 /пх и сигнала и записывается в регистр 77.

л Отличие при вычислении оценок Any и Any состоит в том, что вместо регистра 77 ко входам сумматоров 89, 91 подключен выход регистра 78, а вместо регистра 77 ко входам вычитателей 83, 84, сумматора 90 подключен выход регистра 78, сигнал , а оценка Any записывается единичным уровнем сигнала А69 в регистр 81.

Если объект в текущем кадре не обнаружен, то сигнал имеет нулевой уровень. В этом случае координаты и скорость объекта прогнозируются в соответствии с выражениями

(п-1)х+А(п-1)х,(7)

(n-i)x,(8)

АЧ

Any A(n-i)y+A(n-i)y, (9)

(n-i)y(10)

и выражением (6). Это реализуется путем подключения в течение третьего этапа ко входу умножителей 86, 87 сигнала А46, равного сигналу А45, который, в свою очередь, имеет нулевое значение. Остальные вычисления аналогичны описанным.

В конце третьего этапа вычисленные оценки координат центра тяжести объекта при условии, что произошла завязка траектории, переписываются соответственно в регистры 30, 31 блока 12.

На червертом этапе в блоке 2 вычисляются оценки значений элементов эталонного изображения фона Gn в соответствии с выражением

(11)

А

9nij gnij+K3(|nirgnij),

гдедш; д(п-одО Кз 1.

Сглаживание эталонного изображения

фонаСп приводит к уменьшению дисперсии аддитивного шума, присутствующего на исходном изображении эталонного фона, в (2- Кз)/Кз раз, а также сглаживанию ошибок дискретизации и квантования в различных

кадрах. Ограничение коэффициента Кз снизу позволяет отслеживать изменения фона. На четвертом этапе на первый вход мультиплексора 35, который соединен с выходом блока памяти 6, поступают значения

элементов фона cjnij (сигнал А21). На первый вход вычитателя 36 через элемент И 32 поступают значения элементов lnij (сигнал А20) наблюдаемого изображения. На выходе вычитателя формируется сигнал А57, значение

которого равно Inij-gnij. Сигнал А57 поступает на первый вход умножителя 37. На второй вход умножителя поступает коэффициент КЗ, который хранится в регистре 33. Выход умножителя соединен с первым входом еумматора 38, на выходе которого формируется значение gnij (сигнал А58).Вычисленное значение gnij записывается в блок памяти 6. Подобные вычисления выполняются только для элементов пц наблюдаемого изображения, классифицированных как элементы фона. Проверка на принадлежность фону осуществляется путем анализа знака значения bnij (сигнала АЗЗ-8).

Сглаживание эталонного изображения

объекта Нп существляется на пятом этапе в соответствии с выражением

л

hnij hnij+K4(lnij-rinij),(12)

. где (n-i)ij; .

Вычисления, выполняемые в блоке 2 на пятом этапе, аналогичны вычислениям, выполняемым на четвертом этапе. Отличие состоит в том, что в регистре 33 хранится коэффициент I0j, а на вторые входы вычитателя 36 и Јумматора 38 подается значение элемента hnij (сигнал А22), считываемое из блока памяти 9. Вычисленное значение записывается в блок 9. Сглаживание в соот- ветствии с выражением (12) выполняется

только для элементов Inij, классифицированных какэлементы объекта. Проверка на принадлежность объекту осуществляется путем анализа сигнала А34. В противном случае сигнал Y40, управляющий элементом И 32, имеет нулевой уровень. В этом случае сглаживание выполняется в соответствии с выражением

hnij hnij-K4hnij

(13)

Это позволяет обнулить элементы области памяти блока 9, которые в предыдущих кадрах соответствовали элементам объекта, а в текущий момент из-за перемещения объекта соответствуют элементам фона на наблюдаемом изображении.

На шестом этапе в блоке 8 формируется прогнозируемое изображение Sn+1 прямоугольного участка изображения Ln-H, центр которого совпадаете центром объекта. Элементы изображения формируются в соответствии с выражением

Sn + Vf4 Г(п +1 )ijJ1 h(n +1 )ifj1 + + (1 -r(n+l)i2J2)g(n+l)i2J2.

(14)

где

Sn + элементы участка прогнозируемого изображения Sn+1 размерностью МхМ;

il V+inx-y, Jl / +Any-y,

лм

(n+l)x--7pj2 iM+A(n+l)y

М Л

- у ; АПХ , Any - апостериори ые оценки координат центра тяже.сти объекта в наблюдаемом n-кадре, А(п+i)x,A(n+1 )у- прогнозируемые оценки координат центра тяжести объекта в (п+1)-м кадре; ir(n+i)iiji гпил 1, если , в противном случае г(п+1)ил - 0, для r(n+i)i2j2 т° же самое; h (n + 1 )ил

пМЛ. 9(n +l)i2J2 9ni2j2Формирование изображения Sn+1 осуществляется в два этапа. На первом этапе в БОП 65 осуществляется запись элементов участка изображения Нп. Причем в БОП 65 записывается значение h (n + 1 )ил (сигнал А21) и сигнал А60 единичного уровня, если сигнал А34 единичного уровня, т.е. b (п + 1 )ил - 0 В противном случае в БОП 65 записывается сигнал А59, имеющий нулевое значение, и сигнал А60, имеющий нулевой уровень. В результате в БОП 65 формируется изображение

S(n +l)v/ r(n +1)МЛ п(п +1)I1J1

и бинарное изображение Z (п Ч-1 )ift маски объекта, сформированное по правилу

-,, , л И .Ь(п-Ы)1Л 0 z(,b(n + i5,.

На втором этапе в БОП 65 записываются значения элементов прогнозируемого участка фона. Причем в БОП 65 осуществляется

запись значения элемента g (п +1 )i2j2 (сиг нал А22) втом случае, если соответствующее значение элемента бинарного изображения Z ( п +1)Vfi (сигнал А62, который формируется на первом выходе БОП 65 и поступает

на шестой вход мультиплексора 55) равно

нулю. В результате в БОП 65 формируется

изображение S(n + i)v/, значения элементов которого (сигнал А61) считываются

со второго выхода БОП 65.

На седьмом этапе в блоке 7 вычисляется производная прогнозируемого изображения Sn, сформированного в предыдущем кадре, по параметру АПХ в соответствии с

выражением

( Sn V + 1Ц - Sn V - Ш )

Zn Vfi,

где значение Snv + 1/г формируется на выходе регистра 39, Sn v-1 /г на выходе регистра 41, Znv/u. на выходе регистра 40. В вычитателе 44 вычисляется значение Sn v +1/4 - SnV- 1/г, которое поступает на первый адресный вход БПП 46. На второй адресный вход БПП 46 поступает ZnV/г. В БПП 46 записаны значения выражения

SnV + 1« -SnV - -.

-2- -п

Vfi

всех возможных комбинаций (Snv-M// - SnV - i JnZnv/г. Вычислительное значение d SnVjU/dAnx записывается в БОП 45 по адресу, определяемому значением сигнала А10, который, последовательно проходя через регистры 42, 43, поступает на адресный вход БОП 45.

На восьмом этапе в блоке 4 выполняется нелинейное оценивание координаты и скорости объекта по оси X в соответствии с

где Sn vp - элементы прогнозируемого изображения, хранящиеся в БОП 65; д i

bnii b(n-l)ij +

, С пи - gmj )-СМ - hnu У 0

2D

Изобретение относится к технике цифровой обработки изображений и может быть использовано в системах технического зрения. Целью изобретения является повышение точности определения координат объекта. Устройство обнаружения и определения координат объекта на изображении содержит четыре блока памяти 1, 6, 8 и 9, блок 2 вычисления оценок яркости элементов изображений, коммутатор 3, блок 4 оценки параметров движения, блок 5 классификации объектов, блок дифференцирования 7, блок адресации 10, блок управления 11 и блок 12 координатных регистров. Цель изобретения достигается тем, что в устройстве в зависимости от режима работы выполняется линейная либо нелинейная оценка параметров траектории движения объекта, классификация элементов изображения на множество точек фона и объекта межкадровая фильтрация элементов изображений фона и объекта. 11 ил. сл С

элементы производной, хранящиеся в БОП 45; И v+Anx-y. ji / +АпУ-у; Ks,

Кб- фиксированные коэффициенты ковариационной матрицы ошибок оценивания Vn, выбираемые из диапазона 0(Ks, Ке)1, исходя из задаваемой эффективной памяти фильтра; x $(п - 1 )х + А(П -1 )х , Any А ( п 1 )у + А ( п - 1 ) у

В течение восьмого этапа на входы регистров 67, 68, 69 поступают соответственно значения элементов пц (сигнал А20),

, (сигнал А61),

dSnVft

---5-3-- (сигнал А66). о/пх

Выходы регистров 67, 68 соединены сб- ответственно с первым и вторым входами вычитателя 82, на выходе которого формируется величина Imp (сигнал А67). Выход вычитателя 82 соединен с первым входом умножителя 85, второй вход которого соединен с выходом регистра 69.В умножителе 85 вычисляется значение

dSnVU. „ - 1 (. г N тз D ( Inij - Sn vu ) , при этом

О Any.г

предполагается, что . Выход умножителя соединен с входом накпливающего сумматора, который включает сумматор 88 и регистр 72. После того как в регистре 72 сформируется сумма

М-1

s

(

35П3|К

за

ny

D(2nij-5n l,

выход регистра 72 с помощью мультиплексора 92 подключается ко вторым входам умножителей 86,87. На первые входы умножителей 86, 87 подаются соответственно значения коэффициентов Ке, Ks, которые записаны в регистрах 73, 74. Дальнейшие вы- , связанные получением оценок Апх ,Апх ,А(П+ 1 )х Д(п-М )х аналогичны вычислениям, выполняемым на третьем этапе при получении соответствующих оценок.

Вычисления, выполняемые на девятом и десятом этапах, аналогичны вычислениям, выполняемым в устройстве на седьмом и восьмом этапах. Отличие состоит в том, что на девятом этапе элементы изображения Sn v/г и 2.п v/u считываются из блока 8 не по строкам,а по столбцам.

На одиннадцатом этапе выполняется классификация участка ifa размером МхМ наблюдаемого изображения Ln путем проверки для каждого элемента Inij условия

(17)

0

5

0

5

0

5

0

5

0

5

Л Центр строба трп имеет координаты Алх . Any, которые определяются на восьмом и десятом этапах. В результате выполнения этого этапа элементы участка делятся на множество точек фона и множество точек объекта. Одновременно с классификацией определяются площадь и координаты центра тяжести выделенного множества точек объекта. Вычисления, выполняемые в блоке 5 на одиннадцатом этапе, аналогичны вычислениям, выполняемым на втором этапе.

В двенадцатом этапе осуществляется коррекция найденных на восьмом и десятом этапах оценок Лпх ,Ллу путем замены их на координаты центра тяжести объекта, полученные на одиннадцатом этапе. Это осуществляется следующим образом. Координаты центра тяжести объекта - сигналы А39 и А40 - через мультиплексор 93 поочередно записываются в регистры 80, 81. Одновременно с этим корректируются прогнозируемые координаты объекта A(n +i)x Д(п -Н )у, хранящиеся в регистрах 77. 78. После этого содержимое регистров 80, 81 перезаписывается в регистры 31, 30 блока координатных регистров.

Важная роль в реализации перечисленных этапов алгоритма принадлежит блоку адресации. Блок адресации предназначен для формирования адресов элементов текущего изображения, сглаженных эталонных изображений фонами объекта, прогнозируемого изображения Sn и его производной по параметру и функции классификации Вп.

Формирование адресов элементов прогнозируемого изображения Sn и его производной по параметру Япх либо Any осуществляется с помощью ФА 13,14 и регистра 17.

Формирование адресов элементов обрабатываемого текущего изображения, сглаженных эталонных изображений фона и объекта и функции классификации осуществляются с помощью ФА 13, 14, сумматоров 19-22, регистров 16-18.

Работой устройства обнаружения и определения координат объекта на изображении управляет блок управления, который является микропрограммным блоком управления. Каждому из перечисленных этапов обработки текущего кадра соответствует определенная микрокоманда или группа микрокоманд, составляющих микропрограмму реализации данного этапа. Все управляющие сигналы (Y1-Y80) записаны в микро- программируемую память 49. Блок 49 является блоком репрограммируемой памяти. При подаче соответствующего адреса на адресный вход БРП49 происходит считывание выбранных значений управляющих сигналов, которые затем переписываются сигналом A3 в регистр микрокоманд 50. Адрес микрокоманды генерируется формирователем 48 адреса микрокоманды.

Микрокоманда, формируемая блоком управления, имеет следующий формат. Сигналы Y1-Y18 составляют поле микрокоманды, отведенное для управления генерацией адреса следующей микрокоманды сигналы Y19-T26 составляют второе поле микрокоманды, используемое в качестве поля данных, кооторые требуются в процессе обработки информации, сигналы Y27-Y80 со- ставляют третье поле микрокоманды и управляют операционной частью устройства.

Синхронизация работы блока управления, управляющего выполнением этапов обработки очередного кадра и их последовательностью, с процессом записи входного сигнала А5 обеспечивается путем фиксации момента окончания очередного кадрового синхроимпульса А4 формирова- телем 46 адреса микрокоманд. Таким моментом является переход значения сигнала из единичного в нулевое. Для этого сигнал А4 и сигнал А74 подаются соответственно на девятый и десятый вход мультиплексора 55 кода условия. Определение момента окончания кадрового синхроимпульса А4 выполняет микропрограмма фиксации момента начала записи нового кадра, состоящая из двух микрокоманд. Под управлением первой микрокоманды осуществляется фиксирование единичного уровня сигнала А4. Если сигнал А4 имеет единичный уровень, то микрокоманда выполняется в течение одного периода тактового сигнала A3, если нет, то микрокоманда будет повторяться до тех пор, пока сигнал А4 не примет единичного значения, после этого управление передается второй микрокоманде, идентичной по инструкции (Y1-Y4) первой микроко- манде, но фиксирующей нулевой уровень сигнала А4. После выполнения второй микрокоманды, что определяет конец кадрового синхроимпульса А4 и начало записи очередного нового текущего кадра, управ- ление устройством в соответствии с инструкцией, хранящейся в поле (Y1-Y4) второй микрокоманды, передается первой микрокоманде микропрограммы, осуществляющей выполнение первого этапа.

Устройство позволяет повысить точность определения координат объекта за счет выделения множества точек изображения объекта, использования в качестве координат объекта вычисленных координат центра тяжести объекта и периодической коррекции положения изображения объекта в эталоне относительно центра эталона. Если комплекс этих мероприятий не выполнять, то в результате межкадрового сглаживания эталонного изображения объекта происходит смещение изображения объекта из центра эталона к его краям. По этом при использовании в качестве координат объекта координат центра эталона возникает ошибка в определении местоположения объкта, которая при отсутствии коррекции с течением времени накапливается и приводит к срыву слежения.

Устройство позволяет повысть точность определения координат объекта за счет применения траекторией обработки результатов измерений, которая, во-первых, позволяет сгладить и тем самым уменьшить ошибки, имеющие место при измерении координат объекта, и, во-вторых, за счет прогнозирования положения объекта в следующих кадрах позволяет не терять контро- лируемый объект при временном его исчезновении, например, из-за закрытия его посторонним объектом или случайных сбоев.

В устройстве на этапе нелинейного оценивания координат объекта учитываются элементы прогнозируемого (эталонного) изображения, принадлежащие множеству точек объекта. Элементы, принадлежащие фону, не учитываются. Это также повышает точность определения координат объекта.

Устройство обладает широкими функциональными возможностями. Помимо слежения за протяженными объектами, устройство выполняет автоматическое обнаружение малоразмерных и протяженных объектов, появляющихся в зоне наблюдения, а также осуществляет слежение за малоразмерными объектами с автоматическим переходом из режима обнаружения в режим сопровождения.

Формула изобретения Устройство обнаружения и определения координат объекта на изображении, содержащее первый блок памяти, первый вход которого является первым информационным входом устройства обнаружения и определения координат объекта на изображении, а выход соединен с первыми входами блока вычисления оценок яркости элементов изображения и коммутатора, второй и третий входы коммутатора соединены соответственно с выходом блока вычисления оценок яркости элеметов изображений и первым выходом блока управления, второй выход которого соединен с первым вхо- дом второго блока памяти, второй вход которого соединен с выходом коммутатора, и блок координатных регистров, выход которого является первым выходом устройства обнаружения и определения координат объ- екта на изображении, а управляющий вход соединен с третьим выходом блока управления, четвертый выход которого соединен с вторым входом блока вычисления оценок яркости элементов изображений, а вход блока управления является управляющим входом устройства обнаружения и определения координат объекта на изображении, отличающееся тем, что, с целью повышения точности определения коорди- нат объекта, введены последовательно соединенные блок адресации, первый вход которого соединен с пятым выходом блока управления, блок дифференцирования, блок оценки параметров движения, второй вход которого соединен с выходом первого блока памяти, и блока классификации объектов, второй вход которого соединен с первым выходом первого блока памяти, второй вход которого является вторым управля- ющим входом устройства обнаружения и определения координат объекта на изображении, а также третий и четвертый блоки памяти, при этом шестой, седьмой, восьмой, девятый и десятый выходы блока управле- ния соединены соответственно с третьим входом блока классификации объектов, вторым входом блока оценки параметров движения, третьим входом блока дифференцирования, первым входом четвертого блока памяти и первым входом третьего блока памяти, второй вход которого соединен с выходом коммутатора, третий вход третьего блока памяти соединен с третьим входом второго блока памяти, четвертым входом блока классификации объектов, первым входом первого блока памяти и вторым выходом блока адресации, третий выход которого соединен с вторым входом первого блока памяти, а второй вход соединен с вторым входом блока координатных регистров и вторым выходом блока оценки параметров движения, третий вход которого соединен с третьим входом блока дифференцирования и первым выходом четвертого блока памяти, второй выход которого соединен с вторым входом блока управления, третий вход которого соединен с первым выходом блока классификации, второй выход которого соединен с третьим входом блока вычисления оценок яркости элементов изображений, четвертый вход которого соединен с пятым входом блока классификации, выходом второго блока памяти и вторым входом четвертого блока памяти, третий вход которого соединен с шестым входом блока классификации, пятым входом блока вычисления оценок яркости элементов изображений и выходом третьего блока памяти, а четвертый вход соединен с первым выходом блока адресации, третий вход которого является третьим управляющим входом устройства обнаружения и определения координат объекта на изображении, вторым выходом которого является четвертый выход блока классификации.

фиг.1

LO Ю ГrГЭ

r8:

У19-У26

УЗв

33

A3 ,

A3

А62 A61

A61 ilTl

У42

A3

|

A21 A22

35

У37

36

37

34f/39

Фиг.з

It

A70

Ml 73

Фиг А

yg-f/fs

A9 MO

A69

Фиг. 5

A3

У19-У26

У50

У5Ь

У55У56У60У61

A6S

AJ9

Фаг. 7

Ц,АМ $А56

113

У80-

г

8 6Ш 11

AW

фиг, 8

Лербая строкаПервая строка о теку щ. кадре Восьмая строка д те кущ.

и //9/9/9V) / У Т/TJ/// 7 - -. я. В . «ъ ч JTW « ««.и j , s Q/fft ял УпГ /

Начало

Nl/

Li Формирование исх. эталонного фона,Функции классификации и т.д.ГТ

m

и Фиксирование начала очередного кадра

Ш

L

Классификация зле- , мен. текущ. кадра гу

- UbcKft/

Ттекущем кадра - обнаружен /Да

51 Вычисл, оцен. координ. объекта ЪпхЛпии прог--. нозаьп 1х, л/т /с/13

W/fQ

траектории закоЛ - Лчались1. Да

О Выдача В блок 12

лпх,лпу

IT

Ш Сглаживание зталон- ного изображен. Фона пЛет.

ШСглажиоание эталонного изобр. объекта

И

Нет

чилась

Кблоку П i Да

Нет

3L

SJ Вычисление прогно- за , n+iy пг

Ш выдача б 5лок 12 прогноза пх,пу г

/

Фиг.Ю

Л К блоку 2

1ZJ Формирование прогнозируемого изображ Sn+j гу

JZ.

JZ.

JS1 Фиксирование начала очередного кадра

А.

Вычисление

ШНелинейное оце ниоание коорд. скор, лпх объекта вычисление Мл л„„я

1 Вычисление L

ЭЛПу

22J Нелинейное оценивание коорд лПу и скор, ллу объекте Вычисление

з Классификация участка текущ. кадра с коорд-ми центра Ял/Длурп

й/jКоррекция глх,лпу, с учетом Вычйсл коорд. центра объекта, дыдача

ЛХ,дц Qg/10/f 2ПГ

5j Сглажибанис эталон ноге

изображения фона

пг

JI

-

Ш Сглажи&ание эталонного изоЬр, объекта

я фона

JI

пг

-