СПОСОБ ОБРАБОТКИ СИГНАЛОВ ДЛЯ ВЫДЕЛЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЙ Российский патент 2007 года по МПК G06T7/00 H04N7/18 

Изобретение относится к цифровой обработке изображений и может быть использовано в охранных системах, системах технического зрения, системах космического мониторинга Земли и др.

Известен способ обработки сигналов для выделения объектов, наблюдаемых в последовательности телевизионных изображений [пат. РФ № 2193825, МПК Н04N 7/18, 2002 г.], состоящий в том, что из сигналов изображения после их аналого-цифрового преобразования выделяется 2N ориентиров местности (N=3, 4, 5,...), используемых для оценки параметров сдвига и поворота текущего изображения относительно предыдущего, и после этого осуществляется выделение объектов путем пороговой обработки разностного изображения, полученного вычитанием из сигнала текущего изображения сигнала изображения эталонного фона, причем величина порога зависит от локального параметра рассеяния разностного изображения.

Недостатками указанного способа является невысокая точность оценки параметров сдвига и поворота текущего изображения и отсутствие компенсации влияния погрешности оценки параметров сдвига и поворота на точность выделения объектов.

Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ автоматического выделения сигналов движущихся объектов в последовательности изображений при наличии геометрических искажений изображения [Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометрических искажений изображения // Цифровая обработка сигналов. - 2004. - № 4. - с.9-14], заключающийся в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения с точностью до элемента пространственного разрешения (пикселя), сдвиге фонового изображения в соответствии с вычисленными значениями параметров сдвига, предварительной фильтрации фонового изображения в течение первых N_пр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (N_пр+1)-го (значение пороговой величины определяется дисперсией аддитивного шума на изображении текущего кадра), рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки.

Недостатком способа является неработоспособность при сдвигах текущего кадра относительно первого, сравнимых по величине с размером изображения, и в условиях, когда движение датчика изображений в пространстве порождает более сложные искажения сигнала изображения текущего кадра, чем простой сдвиг относительно эталонного фонового изображения (например, совокупность сдвига и поворота).

Технической задачей изобретения является повышение точности выделения объектов за счет устойчивости к пространственным искажениям, имеющим вид сдвига и поворота изображения текущего кадра относительно ранее наблюдавшихся кадров.

Технический результат, достигаемый при осуществлении заявляемого изобретения, заключается в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения, сдвиге фонового изображения в соответствии с полученными оценками параметров сдвига, предварительной фильтрации фонового изображения в течение первых N_пр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (N_пр+1)-го, рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки, при этом угол поворота изображения текущего кадра относительно эталонного изображения определяют до определения параметров сдвига изображения текущего кадра относительно эталонного изображения, вычисление параметров сдвига изображения текущего кадра относительно эталонного изображения осуществляется с субпиксельной точностью, при превышении вычисленными значениями сдвига и угла поворота изображения текущего кадра относительно эталонного изображения максимально допустимого значения осуществляется смена эталонного изображения, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения, сдвиг фонового изображения осуществляют на целое число пикселей, после сдвига фонового изображения на целое число пикселей осуществляют поворот и субпиксельный сдвиг изображения текущего кадра, при пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения значение пороговой величины вычисляют с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, после пороговой обработки абсолютной величины сигнала разности изображения текущего кадра и фонового изображения дополнительно осуществляют межкадровую фильтрацию результатов пороговой обработки.

Угол поворота изображения текущего кадра относительно эталонного изображения ϕ_ТЭ можно определять по правилу

где F^-1 - оператор обратного дискретного преобразования Фурье;

- комплексно-сопряженный спектр сигнала ;

- результат логарифмирования абсолютной величины спектра сигнала , представленный в полярной системе координат;

- результат перемножения изображения Δl_n(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;

- центрированный сигнал изображения текущего кадра l_n(i, j);

- среднее значение сигнала яркости изображения текущего кадра l_n(i, j);

SS_e(ω_ρ, ω_ϕ) - спектр сигнала

- результат логарифмирования абсолютной величины спектра сигнала e_w(i, j), представленный в полярной системе координат;

(ρ, ϕ) - полярные координаты;

e_w(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;

- центрированный сигнал эталонного изображения e(i, j);

- среднее значение сигнала яркости эталонного изображения e(i, j);

ω_ρ, ω_ϕ - пространственные частоты для полярной системы координат.

Параметры сдвига фонового изображения (α_R, β_R) можно вычислять как α_R=round(α_ТФ) и β_R=round(β_ТФ), где round(...) - функция округления до ближайшего целого значения, α_ТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, β_ТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, а параметры сдвига и поворота изображения текущего кадра можно определять как - ϕ_Т1 и (Δα, Δβ), где ϕ_Т1 - угол поворота изображения текущего кадра относительно изображения первого кадра,

Межкадровую фильтрацию результатов пороговой обработки можно осуществлять по правилу

где q_n(i, j) - результат межкадровой фильтрации в виде бинарного изображения

К - количество анализируемых кадров, предшествовавших текущему;

W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);

D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту;

n=2, 3, 4,... - номер кадра.

Таким образом, отличия заявляемого способа от прототипа состоят в следующем:

1) наличии ранее отсутствовавшего этапа определения угла поворота изображения текущего кадра относительно эталонного изображения ϕ_ТЭ;

2) повышении точности вычисления параметров сдвига α_ТЭ и β_ТЭ до долей пикселя;

3) наличии этапа смены эталонного изображения в зависимости от вычисленных величин сдвига α_ТЭ, β_ТЭ и поворота ϕ_ТЭ;

4) наличии ранее отсутствовавшего этапа вычисления параметров сдвига α_ТФ, β_ТФ и поворота ϕ_Т1 изображения текущего кадра относительно фонового изображения по найденным значениям α_ТЭ, β_ТЭ и ϕ_ТЭ;

5) сдвиге фонового изображения на целое число пикселей (α_R, β_R);

6) наличии ранее отсутствовавшего этапа поворота изображения текущего кадра l_n(i, j) на угол - ϕ_T1 вокруг центра изображения и последующего сдвига повернутого изображения на дробное число пикселей (Δα, Δβ);

7) использовании нового правила определения пороговой величины Т, учитывающего, кроме дисперсии аддитивного шума, турбулентность атмосферы, вибрацию датчика изображений и неточность определения параметров сдвига и поворота;

8) наличии этапа межкадровой фильтрации результатов пороговой обработки (бинарного изображения).

Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений осуществляется следующим образом:

1) аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности;

2) запоминание изображения первого кадра обрабатываемой последовательности в качестве эталонного изображения;

3) запоминание изображения первого кадра обрабатываемой последовательности в качестве фонового изображения;

4) определение угла поворота изображения текущего кадра относительно эталонного изображения ϕ_ТЭ;

5) определение параметров сдвига изображения текущего кадра относительно эталонного изображения α_ТЭ и β_ТЭ с субпиксельной точностью, где α_ТЭ - сдвиг изображения текущего кадра относительно эталонного изображения по вертикальной оси, β_ТЭ - сдвиг изображения текущего кадра относительно эталонного изображения по горизонтальной оси;

6) смена эталонного изображения при выполнении хотя бы одного из условий (|α_ТЭ|>T_αβ), (|β_ТЭ|>Т_αβ) и (|ϕ_ТЭ|>T_ϕ), где T_αβ и T_ϕ - соответственно максимально допустимые значения параметров сдвига и поворота;

7) вычисление параметров сдвига α_ТФ, β_ТФ и поворота ϕ_т1 по найденным значениям α_ТЭ, β_ТЭ и ϕ_ТЭ, где α_ТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, β_ТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, ϕ_Т1 - угол поворота изображения текущего кадра относительно изображения первого кадра;

8) сдвиг фонового изображения на (α_R, β_R) пикселей, где α_R и β_R - результат округления α_ТФ и β_ТФ до целого значения;

9) поворот изображения текущего кадра l_n(i, j) на угол - ϕ_T1 вокруг центра изображения и последующий сдвиг повернутого изображения на дробное число пикселей (Δα, Δβ), где Δα=α_ТФ-α_R и Δβ=β_ТФ-β_R;

10) предварительная фильтрация преобразованного фонового изображения в течение первых N_пр кадров;

11) пороговая обработка абсолютной величины сигнала разности преобразованного изображения текущего кадра и преобразованного фонового изображения для всех последующих кадров, начиная с (N_пр+1)-го;

12) межкадровая фильтрация результатов пороговой обработки;

13) рекурсивное уточнение оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки.

Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел l_n (i, j), , где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3,... - номер кадра. Каждый элемент матрицы l_n(i, j) является результатом квантования яркости соответствующей точки наблюдаемой сцены.

В соответствии с разработанным способом эталонное изображение используется для компенсации наблюдаемых пространственных искажений изображения, а фоновое изображение - для выделения сигналов движущихся объектов.

Обработка каждого кадра наблюдаемой последовательности изображений, начиная со второго, начинается с вычисления угла поворота ϕ_ТЭ изображения текущего кадра l_n(i, j) относительно эталонного изображения e(i, j). Вычисление осуществляют по следующему правилу, использующему свойство инвариантности абсолютной величины спектра изображения от сдвига изображения и связь между углом поворота изображения в декартовой системе координат и величиной сдвига изображения в полярной системе координат:

где F^-1 - оператор обратного дискретного преобразования Фурье;

- комплексно-сопряженный спектр сигнала ;

- результат логарифмирования абсолютной величины спектра сигнала представленный в полярной системе координат;

- результат перемножения изображения Δl_n(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;

- центрированный сигнал изображения текущего кадра l_n(i, j);

- среднее значение сигнала яркости изображения текущего кадра l_n(i, j);

SS_e(ω_ρ,ω_ϕ) - спектр сигнала

- результат логарифмирования абсолютной величины спектра сигнала e_w(i, j), представленный в полярной системе координат;

(ρ, ϕ) - полярные координаты;

e_w(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;

- центрированный сигнал эталонного изображения e(i, j);

- среднее значение сигнала яркости эталонного изображения e(i, j);

ω_ρ, ω_ϕ - пространственные частоты для полярной системы координат.

Вычисление спектров сигналов осуществляют с помощью алгоритма быстрого преобразования Фурье. Умножение сигнала изображения на оконную функцию w(i, j), спадающую до нуля от середины к краям изображения, выполняется с целью компенсации явления Гиббса. При обработке первого кадра значение ϕ_ТЭ принимается равным нулю.

Определение угла поворота в соответствии с приведенным выше правилом позволяет значительно повысить точность оценки параметров сдвига и поворота по сравнению со способом, предложенным в [1]. Проведенные экспериментальные исследования показали, что при отношении сигнал/шум (отношении контраста объекта к среднеквадратическому отклонению аддитивного шума) около 8, максимальном угле поворота 10° и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания угла поворота не превышает 10^-3 градусов.

Определение параметров сдвига (α_ТЭ, β_ТЭ) изображения текущего кадра относительно эталонного осуществляют по правилу

где - комплексно-сопряженный спектр сигнала ;

- результат перемножения изображения и оконной функции w(i, j);

- центрированный сигнал изображения ;

- результат поворота сигнала изображения текущего кадра l_n(i, j) вокруг центра изображения на угол - ϕ_ТЭ;

- среднее значение сигнала яркости изображения

S_e(ω_i, ω_j) - спектр центрированного сигнала эталонного изображения Δе(i, j);

ω_i, ω_j - пространственные частоты для декартовой системы координат.

Субпиксельная точность определения параметров сдвига α_ТЭ и β_ТЭ достигается использованием параболической интерполяции значений массива в окрестности точки максимума.

Для сохранения приемлемой точности определения параметров α_ТЭ, β_ТЭ и ϕ_ТЭ происходит смена эталонного изображения каждый раз, как вычисленное в текущем кадре значение какого-либо из параметров превысит соответствующее максимально допустимое значение.

Проведенные экспериментальные исследования показали, что при отношении сигнал/шум около 8, максимальном сдвиге, не превышающем 15% от линейных размеров изображения и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания сдвига не превышает 0,5 элемента разрешения (пикселя).

На основе вычисленных значений параметров α_ТЭ, β_ТЭ и ϕ_ТЭ определяют значения параметров α_Т1, β_Т1 и ϕ_Т1, связывающих между собой изображение текущего кадра l_n(i, j) и изображение первого кадра в соответствии с выражениями

α_T1=α_Э1·cos(ϕ_ТЭ)-β_Э1·sin(ϕ_ТЭ)+α_ТЭ,

β_T1=β_Э1·cos(ϕ_ТЭ)+α_Э1·sin(ϕ_ТЭ)+β_ТЭ,

ϕ_Т1=ϕ_ТЭ+ϕ_э1

где α_Т1 - сдвиг изображения текущего кадра l_n(i, j) относительно изображения первого кадра по вертикальной оси;

β_T1 - сдвиг изображения текущего кадра l_n(i, j) относительно изображения первого кадра по горизонтальной оси;

ϕ_T1 - угол поворота изображения текущего кадра относительно изображения первого кадра;

α_Э1 - сдвиг эталонного изображения e(i, j) относительно изображения первого кадра по вертикальной оси;

β_Э1, - сдвиг эталонного изображения e(i, j) относительно изображения первого кадра по горизонтальной оси;

ϕ_Э1 - угол поворота эталонного изображения e(i, j) относительно изображения первого кадра.

Каждый раз при смене эталонного изображения параметры α_Э1, β_Э1 и ϕ_Э1 обновляют:

α_Э1=α_Т1, β_Э1=β_Т1 и ϕ_Э1=ϕ_Т1.

До первой смены эталонного изображения

α_Э1=0, β_Э1=0 и ϕ_Э1=0.

Геометрическое преобразование изображения текущего (n-го) кадра l_n(i, j) и фонового изображения ƒ_n-1(i, j), полученного в результате обработки (n-1) предыдущих кадров, осуществляют с целью компенсации наблюдаемых пространственных искажений изображения текущего кадра. В результате точки обоих изображений с одинаковыми координатами (индексами) соответствуют одной и той же точке наблюдаемой сцены.

Для выполнения геометрических преобразований изображений l_n(i, j) и ƒ_n-1(i, j) предварительно вычисляют параметры сдвига α_ТФ и β_ТФ, связывающие изображение текущего кадра l_n(i, j) и фоновое изображение ƒ_n-1(i, j), по правилам

α_ТФ=α_Т1-α_Ф1 и β_ТФ=β_Т1-β_Ф1,

где α_ТФ - сдвиг изображения текущего кадра l_n(i, j) относительно фонового изображения ƒ_n-1(i, j) по вертикальной оси;

β_ТФ - сдвиг изображения текущего кадра l_n(i, j) относительно фонового изображения ƒ_n-1(i, j) по горизонтальной оси;

- сдвиг фонового изображения ƒ_n-1(i, j) относительно изображения первого кадра по вертикальной оси;

- сдвиг фонового изображения ƒ_n-1(i, j) относительно изображения первого кадра по горизонтальной оси;

- значение α_Ф1, вычисленное при обработке предыдущего кадра (при обработке второго кадра =0);

- значение β_Ф1, вычисленное при обработке предыдущего кадра (при обработке второго кадра =0);

- результат округления значения до целого числа пикселей;

- результат округления значения до целого числа пикселей;

- значение α_ТФ, вычисленное при обработке предыдущего кадра (при обработке второго кадра =0);

- значение β_ТФ, вычисленное при обработке предыдущего кадра (при обработке второго кадра =0);

round(_...) - функция округления до ближайшего целого значения.

После вычисления параметров α_ТФ и β_ТФ вычисляют значения α_R и β_R для текущего кадра в соответствии с выражениями

α_R=round(α_ТФ) и β_R=round(β_ТФ).

Компенсация пространственных искажений достигается выполнением следующих операций над сигналами изображений:

а) сдвиг фонового изображения ƒ_n-1(i, j) на (α_R, β_R) пикселей;

б) поворот изображения текущего кадра l_n(i, j) на угол вокруг центра изображения;

в) сдвиг изображения на (Δα, Δβ) пикселей, где - изображение, получаемое в результате поворота l_n(i, j) на угол Δα=α_ТФ-α_R и Δβ=β_ТФ-β_R.

В результате поворота и субпиксельного сдвига точка изображения с некоторыми координатами (i, j) переходит в точку результирующего изображения, координаты которой задаются нецелым числом, т.е. не совпадают с узлами дискретной сетки , на которой заданы изображения. Поэтому яркости точек изображения , получаемого в результате поворота изображения текущего кадра l_n(i, j) вокруг центра на угол -ϕ_T1 и последующего сдвига повернутого изображения на дробное число пикселей (Δα, Δβ), вычисляются методом пространственной интерполяции яркостей точек изображения l_n(i, j), оказавшихся в результате сдвига и поворота в окрестности рассматриваемой точки изображения с координатами (i, j), .

Известно, что пространственная интерполяция приводит к ослаблению высокочастотной составляющей сигнала изображения (размытию контуров, снижению разборчивости мелких деталей изображения). Экспериментально установлено, что ослабление высокочастотной составляющей фонового изображения, возникающее вследствие пространственной интерполяции, приводит к заметному снижению точности выделения сигналов движущихся объектов. Поэтому в соответствии с разработанной процедурой компенсации пространственных искажений фоновое изображение не подвергается операциям, требующим пространственной интерполяции изображения - повороту и субпиксельному сдвигу. Сдвиг фонового изображения на целое число пикселей (α_R, β_R) позволяет на последующих этапах обработки наблюдаемой последовательности изображений учитывать в фоновом изображении постепенный уход из поля зрения датчика изображений некоторых ранее наблюдавшихся и появление новых участков наблюдаемой сцены, вызванное движением датчика изображений. Результат сдвига фонового изображения на (α_R, β_R) пикселей имеет вид

(яркость точек, соответствующих ранее не наблюдавшимся точкам изображения текущего кадра, принимается равной яркости точек наблюдаемого изображения).

На этапе предварительной фильтрации осуществляют оценивание яркости ƒ_n(i, j) и второго начального момента μ_n(i, j) точек фонового изображения в течение N_пр кадров в соответствии с выражениями

и

где

- результат сдвига μ_n(i, j) на (α_R, β_R) пикселей.

Одновременно оценивают ƒ_n(i, j) и μ_n(i, j) для каждой точки наблюдаемого изображения подсчитывается количество кадров k_n(i, j), в течение которых эта точка присутствовала в поле зрения датчика изображений. При обработке первого кадра каждой точке фонового изображения ставится в соответствие значение k_n(i, j), равное 1. При обработке последующих кадров значение k_n(i, j) увеличивается на единицу для всех наблюдаемых точек фонового изображения с учетом сдвига фонового изображения на (α_R, β_R) пикселей:

Если для какой-либо точки (i₀, j₀) счетчик количества кадров k_n(i₀, j₀) достиг значения N_пр, то считается, что получены достаточно точные оценки яркости и второго начального момента фонового изображения в рассматриваемой точке.

Оценка дисперсии аддитивного шума d_n(i, j), используемая на этапе пороговой обработки для выделения сигналов движущихся объектов, вычисляется однократно только для тех точек фонового изображения, для которых накоплены достаточно точные оценки яркости и второго начального момента, по правилу

d_n(i, j)=μ_n(i, j)-[ƒ_n(i, j)]² при k_n(i, j)=N_пр.

При обработке всех последующих кадров вычисленная оценка d_n(i, j) в точках, для которых k_n(i, j)>N_пр, подвергается рекурсивному уточнению и сдвигу в соответствии с вычисленными параметрами (α_R, β_R).

На этапе пороговой обработки осуществляется выделение движущихся объектов путем сравнения яркостей точек изображения текущего кадра с яркостями соответствующих им точек фонового изображения. Если абсолютная величина разности двух изображений в рассматриваемой точке (i, j) превысила пороговую величину Т, то принимается гипотеза о принадлежности рассматриваемой точки изображению движущегося объекта. При определении пороговой величины Т учитывается дисперсия аддитивного шума, турбулентность атмосферы, вибрация датчика изображений и неточность определения параметров сдвига и поворота. Результат пороговой обработки имеет вид бинарного изображения b_n(i, j), вычисляемого по правилу

где

λ - полуширина (1-p_)·100% доверительного интервала для нормированной гауссовой случайной величины;

p_ - допустимая вероятность ошибочного отнесения точки фона к объекту;

- оценка суммарной дисперсии помех, вызванных аддитивным шумом, турбулентностью атмосферы, вибрацией датчика изображений и неточным определением параметров сдвига и поворота;

- оценка дисперсии помех, вызванных атмосферными явлениями и неточностью оценки параметров геометрических искажений;

- оценка градиента преобразованного фонового изображения;

- оценка дисперсии ошибок, вызванных неточным определением угла поворота;

- оценка дисперсии ошибок, вызванных неточной оценкой сдвига;

- оценка дисперсии ошибок, вызванных турбулентностью атмосферы, вибрацией датчика изображений, задаваемыми как случайный гауссовский сдвиг точек изображения.

Экспериментальные исследования показали, что при отношениях сигнал/шум от 2 до 6 использование разработанного способа позволяет повысить частоту правильного выделения на 5-10% или снизить частоту ложного выделения примерно в 1,5-2 раза по сравнению с прототипом.

Межкадровая фильтрация результатов пороговой обработки позволяет значительно снизить количество точек, ошибочно отнесенных к объекту или к фону. Результат межкадровой фильтрации, так же как и результат пороговой обработки, имеет вид бинарного изображения q_n(i, j), вычисляемого по правилу

,

где ;

К - количество анализируемых кадров, предшествовавших текущему;

;

;

W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);

D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту.

Применение межкадровой фильтрации результатов пороговой обработки при отношениях сигнал/шум от 2 до 5 позволяет повысить частоту правильного выделения в среднем на 30-50% при сохранении прежнего значения частоты ложного выделения.

Процедура рекурсивного уточнения оценок яркости точек фонового изображения ƒ_n(i, j) и дисперсии аддитивного шума d_n(i, j), полученных в результате предварительной фильтрации фонового изображения, позволяет учитывать изменения указанных параметров от кадра к кадру. Уточнение оценок ƒ_n(i, j) и d_n(i, j) осуществляется в соответствии с выражениями

Точки фонового изображения, для которых q_n(i, j)=1, являются ненаблюдаемыми в текущем кадре (т.е. закрыты движущимися объектами), поэтому уточнение оценок в этих точках не осуществляется.

В точках фонового изображения, для которых значение k_n(i, j) не достигло значения N_пр, продолжается оценивание яркости ƒ_n(i, j) и второго начального момента μ_n(i, j) в соответствии с выражениями, аналогичными приведенным выше (для этапа предварительной фильтрации).

Счетчик количества кадров k_n(i, j), в течение которых наблюдалась та или иная точка фонового изображения, продолжает обновляться и после этапа предварительного накопления оценок с учетом результатов обработки изображения текущего кадра по правилам

Если при обработке изображения текущего кадра значение счетчика количества кадров в рассматриваемой точке достигло N_пр, то, начиная со следующего кадра, для этой точки будет выполняться пороговая обработка абсолютной величины разности изображений и с целью принятия решения о наличии в этой точке изображения движущегося объекта.

Предлагаемый способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений может быть реализован на базе персональной электронной вычислительной машины (ПЭВМ) общего назначения, осуществляющей обработку последовательности изображений, поступающей от цифровой видеокамеры или от аналоговой видеокамеры через плату оцифровки изображения (фреймграббер). При использовании ПЭВМ типа Pentium IV 3 ГГц (ОЗУ - 512 Мбайт, FSB - 4×187 МГц, операционная система - Windows 2000 Professional или Windows XP) и фреймграббера Matrox Meteor II частота обработки составляет 15 кадров в секунду.

Предусмотрен также вариант реализации предлагаемого способа базе двух ПЭВМ общего назначения, удовлетворяющий более строгим требованиям к частоте обработки последовательности телевизионных изображений и отличающийся от описанного выше варианта тем, что одна из ПЭВМ используется только для решения задачи компенсации пространственных искажений, другая - для выделения объектов. При аналогичной конфигурации обеих ПЭВМ (Pentium IV 3 ГГц, ОЗУ - 512 Мбайт, FSB - 4×187 МГц, операционная система - Windows 2000 Professional или Windows XP) частота обработки составляет 25 кадров в секунду.

В случаях, когда использование ПЭВМ общего назначения невозможно (например, при разработке бортовых видеоинформационных систем для летательных аппаратов) либо необходима более высокая частота обработки, предлагаемый способ обработки сигналов может быть реализован на базе программируемых логических интегральных схем (ПЛИС) либо совместного использования ПЛИС и специализированных цифровых процессоров обработки сигналов, осуществляющих общее управление процессом вычислений.

Таким образом, использование предлагаемого способа в охранных системах, системах технического зрения, системах космического мониторинга Земли и др. позволит значительно повысить устойчивость таких систем к пространственным искажениям изображения, вызванным движением датчика изображений, его вибрацией и турбулентностью атмосферы по сравнению с ранее используемыми способами.

Изобретение относится, в общем, к области техники цифровой обработки изображений, а конкретно к обработке сигналов для выделения движущихся объектов в последовательности телевизионных изображений. Технический результат изобретения заключается в повышении точности выделения объектов за счет устойчивости к пространственным искажениям. Технический результат достигается за счет определения угла поворота изображения текущего кадра относительно эталонного изображения, повышения точности вычисления параметров сдвига до долей пикселя, смены эталонного изображения в зависимости от вычисленных величин сдвига и поворота, сдвига фонового изображения на целое число пикселей, поворота изображения текущего кадра вокруг центра изображения и последующего сдвига повернутого изображения на дробное число пикселей, вычисления значения пороговой величины с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, межкадровой фильтрации результатов пороговой обработки. 3 з.п. ф-лы.

1. Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений, заключающийся в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения, сдвиге фонового изображения в соответствии с полученными оценками параметров сдвига, предварительной фильтрации фонового изображения в течение первых N_пр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (N_пр+1)-го, рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки, отличающийся тем, что угол поворота изображения текущего кадра относительно эталонного изображения определяют до определения параметров сдвига изображения текущего кадра относительно эталонного изображения, вычисление параметров сдвига изображения текущего кадра относительно эталонного изображения осуществляют с субпиксельной точностью, при превышении вычисленными значениями сдвига и угла поворота изображения текущего кадра относительно эталонного изображения максимально допустимого значения осуществляют смену эталонного изображения, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения, сдвиг фонового изображения осуществляют на целое число пикселей, после сдвига фонового изображения на целое число пикселей осуществляют поворот и субпиксельный сдвиг изображения текущего кадра, при пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения значение пороговой величины вычисляют с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, после пороговой обработки абсолютной величины сигнала разности изображения текущего кадра и фонового изображения дополнительно осуществляют межкадровую фильтрацию результатов пороговой обработки.2. Способ по п.1, отличающийся тем, что угол поворота изображения текущего кадра относительно эталонного изображения ϕ_ТЭ определяют по правилу:

F^-1 - оператор обратного дискретного преобразования Фурье;

- комплексно-сопряженный спектр сигнала ;

- результат логарифмирования абсолютной величины спектра сигнала , представленный в полярной системе координат;

- результат перемножения изображения ΔL_n(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;

- центрированный сигнал изображения текущего кадра I_n(i, j);

- среднее значение сигнала яркости изображения текущего кадра L_n(i, j);

SS_e(ω_ρ,ω_ϕ) - спектр сигнала ;

- результат логарифмирования абсолютной величины спектра сигнала e_w(i, j), представленный в полярной системе координат;

(ρ, ϕ) - полярные координаты;

e_w(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;

- центрированный сигнал эталонного изображения e(i,j);

- среднее значение сигнала яркости эталонного изображения e(i, j);

ω_ρ, ω_ϕ - пространственные частоты для полярной системы координат.

где g_n(i, j) - результат межкадровой фильтрации в виде бинарного изображения;

;

К - количество анализируемых кадров, предшествовавших текущему;

;

;

W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);

D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту;

n=2, 3, 4,... - номер кадра.