СПОСОБ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ КООРДИНАТНЫХ СМЕЩЕНИЙ ОБЪЕКТА СЛЕЖЕНИЯ В ПОСЛЕДОВАТЕЛЬНОСТИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ Российский патент 2012 года по МПК G06K9/56 H04N7/18 

Способ относится к области обработки телевизионных изображений, в частности к способам определения положения объекта по последовательности телевизионных изображений.

Способ может быть использован для управления угловым перемещением линии визирования камеры в подвижных системах видеонаблюдения и слежения, электронной стабилизации изображений, устранения чересстрочности.

Известен способ слежения за объектом [1], включающий свертку цифрового изображения двумерными операторами дифференцирования, селекцию яркостных аномалий в изображении, формирование эталона из участков яркостных аномалий, соответствующих границам яркостных контрастных переходов, определение координат точки слежения путем определения экстремума взаимно корреляционной функции, оценивание степени ухудшения идентификационных характеристик взаимно корреляционной функции для адаптации эталона к изменению сюжета. Указанный способ выбран за прототип.

К недостаткам известного способа относится неустойчивое слежение за однородными по яркости объектами, размеры которых превосходят размеры формируемого эталона участка изображения, а также в случае частичного или полного пропадания информации об объекте слежения недостаточная точность слежения при наличии регулярной микроструктуры в окрестности точки слежения.

Техническим результатом способа является повышение точности и надежности слежения независимо от выбора объекта слежения.

Технический результат достигается тем, что в способе автоматического определения координатных смещений объекта слежения в последовательности цифровых изображений выполняют свертку цифрового изображения двумерными операторами дифференцирования, производят селекцию яркостных аномалий в изображении, формируют эталонное представление (репер) фрагмента местности из участков яркостных аномалий, соответствующих границам яркостных контрастных переходов, определяют координаты точки слежения путем определения экстремума взаимно корреляционной функции, оценивают степень ухудшения идентификационных характеристик взаимно корреляционной функции для адаптации эталона участка изображения к изменению сюжета.

Согласно изобретению дополнительно формируют несколько вспомогательных реперов, состоящих из эталонов участков изображения для обеспечения слежения за выбранным участком сцены, для формирования эталонов вспомогательных реперов производят отбор участков сцены с выраженными селективными признаками, выявление участков сцены с выраженными селективными признаками и устранение шумовой микроструктуры производят по результатам декомпозиции исходного изображения вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования, координатные смещения вспомогательных реперов используют с целью повышения точности при вычислении координатных смещений точки слежения, а также сохранения функции слежения в тех случаях, когда теряется информационный контакт с объектом слежения; с целью уменьшения влияния перезаписи эталона на точность его локализации на текущем изображении одновременно с формированием эталона каждого репера создают его масштабный ряд, используемый при изменениях масштаба сцены.

На фиг.1 представлена схема измерения координат объекта, где:

Img - исходное изображение;

RSExist - флаг состояния реперной системы:

RSExist=0 - необходимо формировать реперную систему;

RSExist=1 - реперная система сформирована;

(Y_CU, Z_CU) - координаты точки целеуказания;

cH₂ - горизонтальная составляющая 2-го уровня разложения;

cV₂ - вертикальная составляющая 2-го уровня разложения;

LC - матрица пространственного распределения локального контраста;

(Y_FP, Z_FP) - координаты точек структурных особенностей;

Rep - параметры репера;

C_D - количество реперов, у которых координатные смещения эталонов признаны достоверными на текущем кадре;

POISK - признак текущего режима слежения:

POISK=0 - обычный режим слежения;

POISK=1 - режим расширенного корреляционного поиска, используемый в случае ухудшения условий слежения, в результате чего работа в обычном режиме слежения становится невозможной.

(dY_obj, dZ_obj) - координатные смещения объекта слежения;

нижний индекс:

t - номер кадра;

N_max - заданное количество вспомогательных реперов;

р=0…P_max - индекс списка координат точек структурных особенностей;

P_max - максимальный индекс списка точек структурных особенностей.

На фиг.2 представлена схема предварительной обработки, где

Img - исходное изображение;

cH₂ - горизонтальная составляющая 2-го уровня разложения;

cV₂ - вертикальная составляющая 2-го уровня разложения;

cD₂ - диагональная составляющая 2-го уровня разложения;

LC - матрица пространственного распределения локального контраста;

нижний индекс:

t - номер кадра.

На фиг.3 представлено два уровня вейвлет-декомпозиции исходного изображения, где:

cA - аппроксимирующая составляющая;

cH - горизонтальная составляющая;

cV - вертикальная составляющая;

cD - диагональная составляющая;

нижний индекс - уровень разложения.

Прямоугольники, содержащие изображения, соответствуют варианту декомпозиции, применяемому в способе.

На фиг.4 представлено расположение рабочих зон кадра, где:

Height - высота изображения;

Width - ширина изображения;

EdgeWave - краевая зона вейвлет-декомпозиции (EdgeWave≥4 эл.);

Zkor_extr - краевая зона, соответствует величине зоны корреляции в режиме расширенного поиска (Zkor_extr≈48 эл.);

V1=0 - инициализирующее значение элементов зоны выбора (ZS);

V2=-2 - инициализирующее значение элементов зоны анализа (ZA);

V3=-1 - инициализирующее значение краевой зоны вейвлет-декомпозиции.

На фиг.5 представлена схема определения порогового значения шумовой микроструктуры, где:

e - значение модуля локального контраста;

q(e) - нормированная интегральная гистограмма значений локального контраста;

e_max - максимальное значение модуля локального контраста;

R_min - минимальное значение характеристической функции;

e_T - значение модуля локального контраста, при котором значение характеристической функции минимально.

На фиг.6 представлены параметры репера, где:

верхний индекс:

n - номер репера;

нижний индекс:

m=-2…2 - диапазон индексов масштаба эталона;

0…L - диапазон номеров записей эталона.

На фиг.7 представлена схема формирования репера, где:

LC - матрица пространственного распределения локального контраста;

Mask - матрица маскирования;

(Y, Z)_init - координаты инициализации эталонного списка;

K_A - автокорреляционная функция эталона (АКФ);

Rep - параметры репера, в частности:

(Y₀, Z₀) - координаты начальной точки эталона;

VAL - список эталонных значений;

OFFS - список эталонных смещений;

Ready - флаг локализуемости эталона;

Alive - флаг представительности / вырождения эталона;

Exist - флаг пригодности эталона;

верхний индекс:

n - номер репера;

нижний индекс:

0…L - номер элемента эталонного списка;

L - максимальный номер элемента эталонного списка.

На фиг.8 представлена схема определения параметров АКФ и анализа пригодности репера, где:

K_A - автокорреляционная функция (АКФ);

Параметры репера:

Ready - флаг локализованности эталона репера;

Alive - флаг представительности эталона репера;

Exist - флаг пригодности эталона репера;

r_perifA - наибольший линейный размер зоны, в пределах которой значение АКФ не превышает 0.5;

Hkor_A - гистограмма АКФ;

верхний индекс:

n - номер репера;

На фиг.9 представлен пример определения размаха АКФ, где:

Nhmax_A - размах АКФ.

На фиг.10 представлен пример маскирования эталонного фрагмента.

На фиг.11 представлено изображение начального кадра видеопоследовательности, на котором крестом обозначена точка целеуказания.

На фиг.12 представлено изображение матрицы пространственного распределения локального контраста LC, полученной в результате предварительной обработки исходного изображения (фиг.11).

На фиг.13 представлено изображение матрицы параметров структурных особенностей FP с учетом значений локального контраста исходного изображения (фиг.11).

На фиг.14 представлено изображение матрицы маскирования Mask после формирования реперной системы, состоящей из N_max=7 вспомогательных реперов. Для наглядности белым цветом отмечены точки из списка структурных особенностей.

На фиг.15 представлено исходное изображение, на котором выделены прямоугольные фрагменты изображения, соответствующие областям эталонов вспомогательных реперов.

На фиг.16 представлена схема анализа параметров взаимно корреляционной функции (ВКФ) эталона репера, где:

LC - матрица пространственного распределения локального контраста;

K - ВКФ;

Hkor - гистограмма ВКФ;

k_min - значение минимума ВКФ;

Rep - параметры репера, в частности:

(dY₀, dZ₀) - координатные смещения начальной точки эталона репера на текущем кадре;

Ready - флаг локализованности эталона репера на текущем кадре;

Alive - флаг вырождения эталона репера на текущем кадре;

Exist - флаг пригодности эталона репера на текущем кадре;

InPlace - флаг обновления эталона репера;

Search - флаг поиска нового эталона репера.

На фиг.17 представлена схема адаптация реперной системы к изменившимся внешним условиям, где:

C_InPl - количество эталонов реперов, подлежащих обновлению «по месту»;

C_Srch - количество эталонов реперов, подлежащих обновлению поиском;

LC - матрица пространственного распределения локального контраста;

(Y_FP,Z_FP) - координаты точек структурных особенностей;

Mask - матрица маскирования;

Rep - параметры репера;

нижний индекс:

t - номер кадра;

N_max - заданное количество вспомогательных реперов.

р=0…P_max - индекс списка координат точек структурных особенностей;

P_max - максимальный индекс списка точек структурных особенностей.

На фиг.18 представлены результаты работы способа в виде кадров видеопоследовательности. Черным крестом обозначена точка слежения. Цифры в правом верхнем углу соответствуют номеру кадра видеопоследовательности.

Способ реализуется посредством выполнения основных этапов (фиг.1):

- предварительной обработки текущего цифрового изображения;

- формирования реперной системы;

- слежения.

Начало работы задается поступлением координат точки целеуказания. Этот момент соответствует условному номеру кадра t=0 и флагу состояния процесса RSExist=0, означающему необходимость формирования реперной системы (фиг.1).

Каждое цифровое изображение подвергают предварительной обработке с целью выделения яркостных аномалий, соответствующих границам яркостных контрастных переходов, обладающих большей информативной устойчивостью к изменениям условий слежения, чем яркость.

На этапе инициализации (номер кадра t=0) формируют реперную систему, состоящую из основного репера и нескольких вспомогательных реперов, использование которых реализует функции по повышению надежности слежения и обеспечивает сохранение процесса слежения в условиях нарушения информационного контакта с объектом слежения, либо когда объект слежения имеет недостаточное информационное представление.

Повышение надежности слежения при использовании вспомогательных реперов обеспечивается тем, что эталоны вспомогательных реперов формируют путем отбора участков сцены с выраженными селективными признаками (например, углы, концы линий и пр.). Это позволяет создать эталон, с максимально возможной точностью, достоверностью и устойчивостью локализующий фрагмент на текущем изображении сцены. Количество вспомогательных реперов N_max определяют, исходя из условий применения и возможностей реализации (N_max≈2…8). Каждый репер состоит из эталона выбранного участка сцены и параметров, при помощи которых управляют поведением репера в зависимости от складывающейся ситуации слежения.

При поступлении последующих кадров видеопоследовательности реализация слежения ведется путем локального корреляционного сопоставления эталона каждого репера с соответствующим участком сцены и поиска в задаваемой зоне. При этом вычисляют взаимно корреляционную функцию (ВКФ) и ее параметры, при помощи которых оценивают степень ухудшения идентификационных характеристик взаимно корреляционной функции для адаптации эталона участка изображения к изменению сюжета. Положение экстремума взаимно корреляционной функции определяет координатное смещение эталона репера на текущем изображении относительно его предыдущего положения.

В случае, когда участок сцены в окрестности точки слежения не имеет информационного наполнения для создания эталона основного репера, либо текущий эталон основного репера не фиксирует объект слежения в зоне анализа (потеря информационного контакта), для определения положения точки слежения на текущем кадре используют объединение информации о достоверных координатных смещениях вспомогательных реперов.

Реализация этих функций обеспечивается следующим.

Каждое изображение видеопоследовательности подвергают предварительной обработке (фиг.2), включающей:

- 2-уровневую декомпозицию вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования;

- формирование матрицы пространственного распределения локального контраста;

- устранение шумовой микроструктуры.

Результатом предварительной обработки является выделение устойчивых признаков изображения в виде яркостных аномалий, соответствующих границам яркостных контрастных переходов. Для этой цели применяют декомпозицию исходного изображения дискретным двумерным стационарным вейвлет-преобразованием с базисом Хаара, которое обеспечивает эффективное шумоподавление. На каждом шаге двумерного вейвлет-преобразования выделяют одну низкочастотную и три высокочастотных компоненты исходного изображения (фиг.3). Низкочастотная (аппроксимирующая) компонента отражает яркостные свойства изображения. Высокочастотные (детализирующие) компоненты характеризуют яркостные перепады в горизонтальном, вертикальном и диагональном направлениях. В случае дискретного стационарного вейвлет-преобразования размерность массивов составляющих на каждом уровне разложения совпадает с размерностью исходного изображения.

Для эффективного использования информационного содержимого изображения в процессе слежения в матрице изображения выделяют две зоны (фиг.4):

- зону выбора (ZS), в пределах которой производят определение порогового значения шумовой микроструктуры и выявление участков сцены с выраженными селективными признаками относительно шумовой микроструктуры;

- зону анализа (ZA), в пределах которой осуществляют корреляционный анализ с целью поиска выбранного фрагмента слежении в динамической сцене.

В способе используют детализирующие составляющие 2-го уровня разложения, содержащие направленные яркостные аномалии изображения, объединение которых характеризует пространственное распределение локального контраста в виде матрицы LC, каждый элемент которой вычисляют по формуле:

где i - номер строки; j - номер столбца.

Устранение шумовой микроструктуры в зоне анализа ZA выполняют следующим образом:

1) Вычисляют нормированную интегральную гистограмму значений локального контраста:

- вычисляют гистограмму h абсолютных значений элементов матрицы LC в зоне выбора ZS:

где m - число элементов со значением e.

- по гистограмме h вычисляют и нормируют интегральную гистограмму q:

где e_max - модуль максимального значение элемента матрицы LC;

s - число элементов в зоне выбора ZS.

2) Строят характеристическую функцию R(e):

Определяют значение модуля локального контраста e_T, при котором значение характеристической функции R(e) минимально (Фиг.5).

Вычисляют пороговое значение T локального контраста:

где К_микр≈0.7…0.75 - коэффициент микроструктуры.

3) Производят пороговую обработку путем жесткого порогового ограничения каждого элемента матриц горизонтальных (cH₂) и вертикальных (cV₂) вейвлет-коэффициентов, а также матрицы пространственного распределения локального контраста (LC) в пределах зоны анализа ZA:

На фиг.12 представлено изображение матрицы пространственного распределения локального контраста LC, полученной в результате предварительной обработки исходного изображения (фиг.11).

На этапе инициализации алгоритма (флаг RSExist=0) формируют реперную систему, состоящую из одного основного репера с номером n=0, а также, в целях повышения надежности слежения, нескольких вспомогательных реперов с номерами n=1…N_max. Основной репер формируют в окрестности точки целеуказания (Y_CU, Z_CU), эталоны вспомогательных реперов формируют путем отбора участков сцены с выраженными селективными признаками (например, углы, концы линий и пр.). Кроме того, на этапе инициализации устанавливают размер зоны корреляционного поиска Zkor=Zkor_norm≈8элементов, который определяется исходя из конкретных условий применения.

Репер с номером n(Rep⁽ⁿ⁾) состоит из эталона и параметров, при помощи которых управляют поведением репера в зависимости от складывающейся ситуации слежения (фиг.6).

Эталон репера состоит из:

- списка эталонных значений (VAL), состоящего из ненулевых значений элементов матрицы пространственного распределения локального контраста LC;

- набора списков масштабированных координатных смещений (OFFS) каждого элемента списка эталонных значений VAL относительно координат начальной точки эталона (Y₀, Z₀).

К параметрам эталона относится и индекс текущего масштаба эталона (M).

Идентификационные характеристики, полученные из анализа параметров автокорреляционной функции, используют для оценки возможности точной локализации вновь сформированного эталона репера на текущем изображении. Оценку степени ухудшения идентификационных характеристик взаимно корреляционной функции применяют при адаптации эталона участка изображения к изменению сюжета.

Для унификации идентификационных характеристик корреляционных функций (КФ) различных эталонов корреляционные функции нормируют. Тогда значения КФ эталона любого репера можно оценивать относительно характерных унифицированных значений.

Текущее состояние эталона репера характеризуют флаги:

- Ready - флаг решения о пространственной локализованности эталона на текущем кадре;

- Alive - флаг решения о представительности эталона / вырождения эталона;

- Exist - флага пригодности эталона.

Формирование репера с номером n осуществляют следующим образом (фиг.7):

1) Инициализируют координаты начальной точки эталона (Y₀, Z₀).

2) Заполняют списки эталона репера в пределах зоны формирования эталона ZE, расположенной в зоне выбора ZS.

Для этого элемент матрицы пространственного распределения локального контраста LC(Y₀, Z₀) считают началом спирали. Далее по спирали обходят элементы матрицы LC в пределах зоны формирования эталона ZE. В список эталонных значений VAL включаются ненулевые элементы матрицы LC, а в список эталонных смещений OFFS - их смещения относительно координаты начальной точки эталона (Y₀, Z₀):

ZE⊂ZS; k=0…L;

val_k∈VAL⁽ⁿ⁾; (dy,dz)_m=0,k∈OFFS⁽ⁿ⁾;

где k - индекс элемента в списке;

L - максимальный индекс эталонного списка;

m - индекс масштаба эталонного фрагмента, М=0 соответствует отсутствию масштабирования;

n - номер репера.

Одновременно вычисляют для каждого направления максимальное и минимальное смещения, определяющие габариты прямоугольной области эталона.

3) Для уменьшения влияния частоты перезаписи эталона на его идентификационные свойства формируют масштабный ряд эталона следующим образом:

где k - индекс записи эталонного списка;

m - индекс масштаба эталонного фрагмента;

m₀ - шаг масштабирования эталонного фрагмента, m₀=1.1;

K_M - коэффициент масштабирования.

Одновременно для каждого значения масштаба вычисляют для каждого направления максимальное и минимальное смещения, определяющие габариты прямоугольной области эталона.

4) Вычисляют коэффициент нормирования корреляционной функции для унификации значений параметров корреляционных функции различных эталонов:

где L - максимальный индекс эталонного списка.

Тогда значения КФ (k) эталона любого репера можно оценивать относительно характерных унифицированных значений:

k=0 соответствует полному совпадению эталона с фоновым изображением (АКФ в точке экстремума);

k=1 соответствует реакции эталона на ровный фон;

выраженность экстремума АКФ.

5) Вычисляют и нормируют матрицу автокорреляционной функции немасштабированного эталонного фрагмента, каждый элемент которой вычисляется по формуле:

где Zkor - размер зоны корреляционного поиска эталона;

m - индекс текущего масштаба эталона;

L - максимальный индекс эталонного списка.

Далее вычисляют параметры АКФ и принимают решение о пригодности эталона (фиг.8):

а) Строят гистограмму значений автокорреляционной функции Hkor_A:

m - число элементов со значением k.

б) Вычисляют параметры АКФ и оценивают пригодность эталона следующим образом:

- по гистограмме Hkor_A определяют размах АКФ Nhmax_A (фиг.9):

- в случае, когда формирование эталона приходится на однородные по яркости участки, размеры которых превосходят размеры формируемого эталона, для предотвращения формирования эталона на таких участках определяют наибольший линейный размер зоны, в пределах которой значение АКФ не превышает 0.5:

- принимают решение о достаточной представительности эталона:

где Alive - флаг решения о представительности сформированного эталона;

THR_NA=0.75…0.8 - пороговое значение размаха нормированной АКФ;

- определяют выраженность экстремума АКФ, путем вычисления размаха АКФ в окрестности экстремума:

где (α_ex, β_ex) - координаты экстремума КФ;

ε≈1…2 эл. - величина окрестности экстремума;

- принимают решение о достаточной локализованности эталона:

где Ready - флаг решения о пространственной локализованности сформированного эталона;

THR_okrA=0.15…0.2 - пороговое значение размаха нормированной АКФ в окрестности экстремума;

- принимают решение о пригодности эталона:

где Exist - флаг пригодности эталона;

Ready - флаг локализованности эталона;

Alive - флаг представительности эталона.

Для того чтобы ограничить перекрытие эталонов различных реперов, выполняют маскирование участка области эталона (признанного годным - Exist⁽ⁿ⁾=1), с учетом допустимого перекрытия Zcross. На фиг.10 приведен фрагмент зоны выбора ZS матрицы Mask с областью эталона. При маскировании элементам матрицы Mask, принадлежащим области эталона с учетом перекрытия, присваивается отрицательное значение.

Формирование реперной системы производят следующим образом (фиг.1):

- инициализируют зоны матрицы маскирования Mask, присваивая их элементам начальные значения: V1=0 - инициализирующее значение элементов зоны выбора (ZS), V2=-2 - инициализирующее значение элементов зоны анализа (ZA);

- формируют основной репер с номером n=0, инициализируя координаты начальной точки эталона основного репера координатами точки целеуказания;

- в зоне выбора выявляют структурные особенности изображения;

- составляют список элементов структурных особенностей, упорядоченный по убыванию значения параметра структурных особенностей;

- формируют N_max вспомогательных реперов с номерами n=1…N_max, инициализируя координаты начальной точки эталона каждого вспомогательного репера координатами элемента из списка элементов структурных особенностей.

Формируют основной репер с номером n=0 согласно (8-18), инициализируя координаты начальной точки эталона координатами точки целеуказания:

Для надежной локализации эталонов вспомогательных реперов производят отбор участков сцены с выраженными селективными признаками. С этой целью заполняют матрицу пространственного распределения структурных особенностей FP в пределах зоны выбора ZS следующим образом:

1) формируют матрицу локальных оценок перераспределения значений вейвлет-коэффициентов между горизонтальной и вертикальной составляющими Fhv, каждый элемент которой определяется по формуле:

где i - номер строки; j - номер столбца; (i,j)∈ZS;

δ - размер окрестности (δ≈1…2 эл.).

- математическое ожидание значений горизонтальной составляющей в окрестности δ;

- математическое ожидание значений вертикальной составляющей в окрестности δ;

2) вычисляют матрицу локальных средних отклонений D_LC матрицы LC и матрицу локальных средних отклонений D_Fhv матрицы Fhv по формуле:

где i - номер строки; j - номер столбца; (i,j)∈S;

X - матрица LC или матрица Fhv;

Mx - математическое ожидание значений LC или Fhv;

Δ - размер окрестности (Δ≈2…3 эл.);

3) вычисляют матрицу параметров структурных особенностей FP с учетом значений локального контраста, каждый элемент которой определяется по формуле (фиг.13):

где i - номер строки; j - номер столбца; (i,j)∈ZS.

Составляют список точек с наиболее выраженными структурными особенностями:

а) путем поэлементного сканирования матрицы FP в пределах зоны выбора ZS:

где i - номер строки; j - номер столбца; (i,j)∈ZS;

р - индекс записи списка;

P_max - максимальный индекс списка.

б) Сортируют список по убыванию значений Val_FP.

Далее формируют N_max вспомогательных реперов с номерами n=1…N_max согласно (8-18), последовательно инициализируя координаты начальной точки эталона каждого вспомогательного репера координатами элементов из упорядоченного списка элементов структурных особенностей (23):

На фиг.11-16 представлены основные этапы формирования реперной системы для случая, когда основной репер признан непригодным для слежения из-за пересечения области эталона протяженной областью с однородной яркостью и локализация эталонного участка затруднена.

На последующих кадрах видеопоследовательности выполняют (фиг.1):

- предварительную обработку текущего изображения (1-6);

- слежение с использованием сформированной реперной системы Rep.

Слежение выполняют следующим образом:

- вычисляют нормированную взаимно корреляционной функции (ВКФ) каждого эталона, признанного годным на предыдущем кадре и связанного с ним фрагмента матрицы пространственного распределения локального контраста LC, после чего выполняют анализ параметров ВКФ;

- проводят анализ достоверности вычисленных координатных смещений эталонов реперов путем выявления реперов с резко отклоняющимися координатными смещениями эталонов методом Шовене [2];

- формируют предысторию слежения на случай возможного ухудшения условий слежения;

- для эталонов, признанных на текущем кадре непригодными или нелокализованными, координатные смещения на текущем кадре определяют путем интерполяции достоверных координатных смещений эталонов реперов методом инверсных взвешенных расстояний [3];

- сдвигают начальные точки эталонов реперов, используя вычисленные координатные смещения;

- оценивают возможность выхода реперов за границы зоны анализа на следующем кадре;

- для каждого репера при необходимости осуществляют смену масштаба эталона;

- адаптируют эталоны реперов к изменению сюжета.

Принимая во внимание, что некоторые эталоны вспомогательных реперов могут содержать подвижные объекты или регулярную микроструктуру, значения координатных смещений эталонов этих реперов могут сильно отличаться от истинных значений. Для того чтобы исключить их влияние на результат, выявляют реперы с резко отклоняющимися координатными смещениями эталонов. Для выявления резко отклоняющихся величин координатных смещений («промахов») используют статистический критерий Шовене, применяемый при статистической обработке данных при малом числе опытов. Координатные смещения эталонов, признанные «промахами», помечают как недостоверные и не используют при вычислении координатных смещений для эталонов, признанных на текущем кадре непригодными или нелокализованными.

В тех случаях, когда из-за резкого и кратковременного изменения условий наблюдаемости сцены (дымы, облачность и т.п.) происходят прерывания в слежении за реперами, используют режим расширенного поиска, отличающийся увеличением зоны корреляционного поиска, отсутствием изменения масштаба эталона и отсутствием адаптации эталонов реперов к изменению сюжета. Кроме того, при входе в режим расширенного поиска выполняют анализ предыстории для выявления последней конфигурации эталонов реперов, удовлетворяющей условиям для реализации режима обычного слежения, после чего замещают текущую эталонную конфигурацию конфигурацией из предыстории.

Количество реперов (C_D), у которых координатные смещения эталонов признаны достоверными на текущем кадре (Dost=l), характеризует условия слежения и определяет режим работы (фиг.1). Индикатором текущего режима слежения является значение признака текущего режима слежения (POISK):

POISK=0 - обычный режим слежения (C_D>1). Величина зоны корреляционного поиска Zkor=Zkor_norm≈8 элементов и определяется исходя из конкретных условий применения;

POISK=1 - режим расширенного корреляционного поиска (C_D≤1), используемый в случае ухудшения условий слежения, в результате чего работа в обычном режиме слежения становится невозможной. Величина зоны корреляционного поиска Zkor=Zkor_extra≈(48…60) элементов и определяется исходя из конкретных условий применения.

Для реализации режима обычного слежения необходимо не менее двух реперов с достоверными координатными смещениями.

Адаптацию эталонов репера к изменяющимся внешним условиям производят для эталонов, признанных непригодными для слежения путем обновления эталонов. В зависимости от причины, по которой эталон репера не может быть использован для слежения, применяют 2 варианта обновления эталонов. При невыраженном экстремуме ВКФ, когда точная локализация эталона затруднена, применяют обновление эталона «по месту», когда координаты начальной точки эталона остаются неизменными. В случае вырождения эталона - при сужении гистограммы ВКФ выполняют поиск нового эталона.

Для этого:

1) Вычисляют и нормируют ВКФ эталона и связанного с ним фрагмента матрицы пространственного распределения локального контраста LC:

где Knorm⁽ⁿ⁾ - коэффициент нормирования корреляционной функции эталона (10);

Zkor - размер зоны корреляционного поиска эталона;

M - индекс текущего масштаба эталона;

L - максимальный индекс эталонного списка.

2) Находят текущие координатные смещения начальной точки эталона на текущем кадре как координаты экстремума (минимума) ВКФ:

3) Вычисляют гистограмму значений ВКФ Hkor:

m - число элементов со значением k.

4) Вычисляют параметры ВКФ следующим образом (фиг.16):

- по гистограмме Hkor определяют размах ВКФ Nh_max (фиг.7):

- принимают решение о наличии признака вырождения эталона на текущем кадре:

где Alive - флаг вырождения эталона;

THR_N=0.25…0.3 - пороговое значение размаха ВКФ;

- меняют состояние счетчика кадров наличия признака вырождения эталона:

где C_NA - счетчик кадров наличия признака вырождения эталона;

t - номер кадра;

- если признак вырождения эталона был выявлен на C_NAmax кадрах, идущих подряд, принимают решение о поиске нового эталона на текущем кадре:

где Search - флаг поиска нового эталона;

C_NAmax≈3 - максимальное значение счетчика кадров наличия признака вырождения эталона;

t - номер кадра;

- определяют размах ВКФ в окрестности экстремума:

где (dY₀, dZ₀) - координаты экстремума ВКФ;

ε≈1…2 эл. - величина окрестности экстремума.

5) Оценивают текущее состояние репера путем анализа параметров ВКФ:

- принимают решение о локализованности эталона репера на текущем кадре:

где Ready - флаг локализуемости эталона;

THR_kmin=0.45…0.5 - пороговое значение экстремума ВКФ;

THR_okr=0.01…0.02 - пороговое значение размаха ВКФ в окрестности экстремума;

- меняют состояние счетчика кадров наличия признака недостаточной локализуемости эталона:

где C_NR - счетчик кадров наличия признака недостаточной локализуемости эталона;

t - номер кадра;

- принимают решение об обновлении эталона «по месту»:

где - максимальное значение счетчика;

InPlace - флаг обновления эталона на текущем кадре;

t - номер кадра;

- принимают решение о возможности участия репера в принятии решений на текущем кадре:

где Exist - флаг пригодности репера.

Обновлению путем поиска подлежат только эталоны вспомогательных реперов. В случае, если принято решение о поиске эталона основного репера, его заменяют решением об обновлении эталона «по месту».

Выявляют реперы с резко отклоняющимися координатными смещениями эталонов, используя критерий Шовене:

- у каждого репера инициализируют флаг достоверности координатных смещений эталона (Dost⁽ⁿ⁾=0);

- для каждого репера, состояние эталона которого на текущем кадре удовлетворяет условию:

вычисляют величину линейного смещения ρ⁽ⁿ⁾, одновременно подсчитывают количество этих реперов:

где j - индекс, равный значению счетчика реперов, состояние эталона которых удовлетворяет условию (37);

и определяют наибольшее (ρ_max) и наименьшее (ρ_min) линейные смещения, по таблице в зависимости от числа вариантов находят значение u_T;

- для полученной выборки величин линейных смещений вычисляют среднее линейное смещение:

где Jmax - количество реперов, состояние эталона которых удовлетворяет условию (37);

- и среднее квадратическое отклонение для малого числа измерений:

- вычисляют граничные значения величины линейного смещения ρ:

- сравнивают значение каждой варианты с граничными значениями величины линейного смещения, устанавливая для координатных смещений эталона каждого репера флаг достоверности координатных смещений:

Подсчитывают количество реперов (C_D), у которых координатные смещения эталонов признаны достоверными на текущем кадре (Dost=1):

В режиме обычного слежения (C_D>1) выполняют следующие действия:

1) Формируют предысторию слежения (кольцевой буфер параметров Prehist) слежения на случай возможного ухудшения условий слежения:

где L_ph≈5…10 - глубина предыстории слежения.

Одновременно формируют кольцевой буфер признака качества конфигурации эталонов (Ω) той же глубины, по которому, при возможном входе в режим расширенного поиска, будут выбирать оптимальную конфигурацию реперов. Критерий отбора оптимальной реперной конфигурации зависит от тактики применения. Так, при внезапном пропадании информации о наблюдаемой сцене происходит резкое уменьшение количества реперов с достоверными координатными смещениями эталонов. В этом случае в качестве критерия может выступать количество реперов (C_D), у которых координатные смещения эталонов признаны достоверными на текущем кадре:

где L_ph≈5…10 - глубина предыстории слежения.

Однако при слежении в условиях задымления или наползающих облаков наблюдается постепенное уменьшение количества реперов с достоверными координатными смещениями эталонов. В то же время в процессе ухудшения внешней обстановки возможно формирование ложных эталонов (например, край задымления или облака). Для того чтобы предотвратить формирование ложных реперов, целесообразно ввести для реперов дополнительный временной признак (например, время жизни эталона).

2) Определяют координатные смещения для эталонов реперов, признанных на текущем кадре непригодными или нелокализованными (Exist⁽ⁿ⁾=0∨Ready⁽ⁿ⁾=0), интерполируя достоверные координатные смещения эталонов реперов методом инверсных взвешенных расстояний:

где k - номер репера, у которого (Exist^(k)=0∨Ready^(k)=0);

- расстояние между начальной точкой эталона репера с номером k и начальной точкой эталона репера с номером η_j, координатные смещения которого признаны достоверными согласно (42);

λ - параметр, определяющий степень деформирования изображения (λ≈2…4).

3) Сдвигают начальные точки эталонов реперов, используя вычисленные координатные смещения:

где (Y₀, Z₀)_t - текущие координаты начальной точки эталона (точки локализации эталона);

(dY₀, dZ₀) - координатные смещения начальной точки эталона;

t - номер кадра;

n - номер репера.

Координатными смещениями объекта слежения являются координатные смещения эталона основного репера.

4) Оценивают возможность нарушения реперами границ зоны анализа на следующем кадре. С этой целью для каждого репера выявляют наличие пересечения между границами зоны анализа и границами прямоугольной области корреляционного поиска эталона. При наличии пересечения в случае вспомогательного репера принимают решение о поиске нового эталона, устанавливая значения флагов этого репера следующим образом:

При наличии пересечения в случае основного репера устанавливают значения флагов этого репера следующим образом:

5) Для каждого репера, чей эталон на текущем кадре признан нелокализованным (Exist⁽ⁿ⁾=1, Ready⁽ⁿ⁾=0), оценивают целесообразность смены масштаба эталона, вычисляя аналогично (25) для масштабированных эталонов значения корреляционной функции в точке локализации эталона:

где (Y₀, Z₀)=(Y₀, Z₀)_t - текущие координаты начальной точки эталона (точки локализации эталона);

M - индекс текущего масштаба эталона;

L - максимальный индекс эталонного списка.

Сравнивают вычисленные значения корреляционной функции для масштабированных эталонов со значением экстремума ВКФ, вычисленным согласно (25). Оптимальным считают индекс масштаба эталона (m_opt) с наименьшим значением корреляционной функции:

где k_min ⁽ⁿ⁾ - значение экстремума ВКФ при индексе масштаба эталона M;

M - индекс текущего масштаба эталона;

L - максимальный индекс эталонного списка.

Оптимальный индекс масштаба эталона становится текущим.

6) Адаптируют реперную систему к изменению сюжета (фиг.17):

а) производят подсчет количества эталонов реперов, подлежащих обновлению «по месту» (C_InPl) на текущем кадре:

где InPlace⁽ⁿ⁾ - флаг обновления по месту эталона репера с номером n;

б) производят подсчет количества эталонов реперов, подлежащих обновлению поиском (C_Srch) на текущем кадре:

где Search⁽ⁿ⁾ - флаг обновления по поискам эталона репера с номером n;

в) если на текущем кадре есть реперы, чьи эталоны подлежат обновлению «по месту» (C_InPl>0), формируют эти эталоны согласно (8-18), не меняя координат их начальных точек (Y₀, Z₀);

г) если на текущем кадре есть реперы, чьи эталоны подлежат обновлению поиском (C_Srch>0), выполняют поиск новых эталонов следующим образом:

- инициализируют зоны матрицы маскирования Mask, присваивая их элементам начальные значения: V1=0 - инициализирующее значение элементов зоны выбора (ZS), V2=-2 - инициализирующее значение элементов зоны анализа (ZA);

- для каждого репера, чей эталон по результатам анализа ВКФ на текущем кадре признан годным (Exist⁽ⁿ⁾=1), выполняют маскирование участка области эталона, с учетом допустимого перекрытия Zcross. При маскировании элементам матрицы Mask, принадлежащим области эталона с учетом перекрытия, присваивается отрицательное значение;

- заполняют матрицу пространственного распределения структурных особенностей FP в пределах зоны выбора ZS согласно (20-22), составляют список немаскированных элементов с наиболее выраженными структурными особенностями (23), упорядоченный по убыванию значений ValFP;

- формируют C_Srch вспомогательных реперов согласно (8-18), последовательно инициализируя координаты начальной точки эталона каждого вспомогательного репера координатами элементов из упорядоченного списка элементов структурных особенностей (24). Для каждого репера, чей эталон по результатам анализа АКФ признан годным (Exist⁽ⁿ⁾=1), выполняют маскирование участка области эталона, с учетом допустимого перекрытия Zcross. При маскировании элементам матрицы Mask, принадлежащим области маскируемого эталона с учетом перекрытия, присваивается отрицательное значение.

В режиме расширенного поиска (C_D≤1) выполняют следующие действия:

1) При входе в режим расширенного поиска выявляют последнюю конфигурацию эталонов реперов, удовлетворяющую условиям для реализации режима обычного слежения. Для этого в порядке увеличения глубины предыстории просматривают значения кольцевого буфера признака качества конфигурации эталонов (Ω) и выявляют момент (индекс) τ, в который была зафиксирована последняя удовлетворительная конфигурация эталонов:

где Ω_satisf - значение признака, характеризующее удовлетворительную конфигурацию эталонов;

L_ph - глубина предыстории слежения.

Вычисляют текущие координатные смещения для эталонной конфигурации из предыстории как линейный сдвиг точки слежения за временной интервал (τ…t-1):

замещают текущую эталонную конфигурацию конфигурацией из предыстории:

где Prehist - буфер параметров предыстории слежения.

После чего выполняют линейный сдвиг всех пригодных эталонов реперов (Exist⁽ⁿ⁾):

кроме того, обнуляются координатные смещения начальных точек эталона на весь период расширенного поиска.

Увеличивают размер зоны корреляционного поиска:

Устанавливают значение признака текущего режима слежения POISK=1.

В процессе расширенного поиска зону корреляционного поиска могут увеличивать.

2) В процессе расширенного поиска оценивают возможность нарушения реперами границ зоны анализа на следующем кадре. Так же, как в режиме обычного слежения, для каждого репера выявляют наличие пересечения между границами зоны анализа и границами прямоугольной области корреляционного поиска эталона. При наличии пересечения для эталона этого репера уменьшают зону корреляционного поиска, чтобы область корреляционного поиска эталона была полностью вписана в зону анализа. В случае, если зону корреляционного поиска эталона не удалось вписать в зону анализа, исключают эталон этого репера из рассмотрения на время нахождения в режиме расширенного поиска, устанавливая значения флагов согласно (48, 49).

3) При выходе из режима расширенного поиска (C_D>1) производят обновление эталонов:

а) эталон основного репера обновляют «по месту» (8-18), устанавливая флаги обновления следующим образом:

б) эталоны реперов, которые были локализованы в режиме расширенного поиска, обновляют «по месту» (8-18), устанавливая флаги обновления следующим образом:

в) остальные эталоны реперов обновляют поиском, устанавливая флаги состояния следующим образом:

г) всем реперам устанавливают флаги состояния следующим образом:

Результаты работы способа представлены на фиг 18.

Источники информации

1. Патент RU 2153235 «Способ слежения за объектом и устройство для его осуществления», МПК 7 H04N 7/18, F41G 7/26, приоритет 25.01.1991, дата публикации 20.07.2000.

2. В.А.Кокунин. Статистическая обработка данных при малом числе опытов. // Укр. биохим. журн. - 1975. - №6. - С.776-791.

3. D.Shepard. A two dimensional interpolation function for irregularly-spaced data ACM National Conference, 1968, pp 517_524.

Изобретение относится к области обработки телевизионных изображений, и в частности, к способам определения положения объекта по последовательности телевизионных изображений для управления угловым перемещением линии визирования камеры в подвижных системах видеонаблюдения и слежения. Техническим результатом является повышение точности и надежности слежения независимо от выбора объекта слежения. Указанный технический результат достигается тем, что формируют несколько вспомогательных реперов, состоящих из эталонов участков изображения для обеспечения слежения за выбранным участком сцены, для формирования эталонов вспомогательных реперов производят отбор участков сцены с выраженными селективными признаками, выявление участков сцены с выраженными селективными признаками и устранение шумовой микроструктуры производят по результатам декомпозиции исходного изображения вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования. Координатные смещения вспомогательных реперов используют с целью повышения точности при вычислении координатных смещений точки слежения, а также сохранения функции слежения в тех случаях, когда теряется информационный контакт с объектом слежения, при этом с целью уменьшения влияния перезаписи эталона на точность его локализации на текущем изображении одновременно с формированием эталона каждого репера создают его масштабный ряд, используемый при изменениях масштаба сцены. 18 ил.

Способ автоматического определения координатных смещений объекта слежения в последовательности цифровых изображений, включающий свертку цифрового изображения двумерными операторами дифференцирования, селекцию яркостных аномалий в изображении, формирование эталона из участков яркостных аномалий, соответствующих границам яркостных контрастных переходов, определение координат точки слежения путем определения экстремума взаимно корреляционной функции, оценивание степени ухудшения идентификационных характеристик взаимно корреляционной функции для адаптации эталона к изменению сюжета, отличающийся тем, что дополнительно формируют несколько вспомогательных реперов, состоящих из эталонов участков изображения для обеспечения слежения за выбранным участком сцены, для формирования эталонов вспомогательных реперов производят отбор участков сцены с выраженными селективными признаками, выявление участков сцены с выраженными селективными признаками и устранение шумовой микроструктуры производят по результатам декомпозиции исходного изображения вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования, при вычислении координатных смещений точки слежения используют координатные смещения вспомогательных реперов, одновременно с формированием эталона каждого репера создают его масштабный ряд, используемый при изменениях масштаба сцены.