СПОСОБ ОБРАБОТКИ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИИ ДЛЯ ОПРЕДЕЛЕНИЯ КООРДИНАТ ОБЪЕКТОВ НА ОСНОВЕ КОМПЛЕКСИРОВАНИЯ БАЗОВЫХ АЛГОРИТМОВ Российский патент 2016 года по МПК G06T1/00 G06K9/70 

Изобретение относится к области цифровой обработки изображений и может быть использовано в охранных системах, системах мониторинга и контроля воздушного движения, оптикоэлектронных системах сопровождения объектов и др.

Известен способ [Eric Hueber, Laurent Bigué, and Pierre Ambs. Active Contour Segmentation by Use of a Multichannel Incoherent Optical Correlator // Applied Optics, №42, pp. 4681-4687 (2003)], в котором для повышения точности и надежности измерения координат объектов используется модифицированный алгоритм сопоставления с эталоном. Данный алгоритм базируется на вычислении меры сходства изображения объекта, полученного в предыдущем кадре, с текущим изображением кадра. Область изображения, где выбранная мера сходства достигает максимального значения, принимается за новое местоположение объекта в текущем кадре. В не модифицированном алгоритме изображение объекта описывается приближенно и содержит участки фона (эталон представляет собой прямоугольную область, описанную вокруг объекта), что приводит к накоплению ошибок измерения координат и, как следствие, к срыву слежения. В данном способе для исключения точек фона из эталонного изображения используется метод активного контура.

Недостатками указанного способа являются высокие вычислительные затраты, а также тот факт, что он дает выигрыш только при условии статистического различия точек фона и объекта.

Известен способ обработки [Zhang, Y.J. and Luo, Н.Т. (2000): Optimal selection of segmentation algorithms based on performance evaluation // Optical Engineering 39(6). PP. 1450-1456], заключающийся в том, что для измерения координат используется один из четырех алгоритмов сегментации в зависимости от наблюдаемой фоноцелевой обстановки. Выбор алгоритма измерения координат осуществляется в момент захвата объекта на сопровождение за счет анализа признаков, характеризующих эффективность алгоритма сегментации. Для определения наиболее подходящего алгоритма используется правило классификации, сформированное заранее на основе тестовых изображений.

Недостаток указанного способа заключается в том, что анализ признаков осуществляется только в момент захвата объекта на сопровождение и не учитывается изменение фоноцелевой обстановки с течением времени.

Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ селекции наземных и воздушных объектов (его варианты) и устройство для его осуществления (его варианты) [пат. РФ №2173881, опубликован 20.09.2001], ориентированный на захват и сопровождение малоразмерных объектов или размерных объектов на сложных фонах. Суть данного способа заключается в том, что в режиме захвата объекта обработка изображения осуществляется алгоритмом сегментации на основе байесовской классификации. На основании полученного бинарного изображения определяются координаты объекта, и вычисляется показатель селекции объекта. При показателе меньше порогового значения осуществляется переход в режим автономного сопровождения, при котором одновременно производят байесовскую, структурную и корреляционную классификацию. В процессе байесовской классификации осуществляется построение гистограмм распределения яркостей, и определяются координаты объекта по бинарному изображению. В процессе структурной классификации изображение подвергают дифференциальной обработке, после чего выполняют пороговую сегментацию градиентного изображения, в результате которой получают бинарное изображение. На этом изображении выделяют композицию примитивов и на основании этой композиции определяют координаты объекта. В процессе корреляционной классификации выполняют структурную предварительную обработку изображения, в результате которой формируют текущий структурный образ объекта. Для определения координат объекта осуществляют привязку структурного образа и бинарного образа объекта, полученного в режиме захвата. Полученные в результате байесовской, структурной и корреляционной классификации координаты и размеры объекта комплексируют.

Недостатком прототипа является использование трех методов классификации, зависящих от результатов сегментации изображения способами на основе дифференциальной обработки и байесовской классификации. Отрицательной чертой этих способов сегментации является недостаточно высокая эффективность при наблюдении объектов на неоднородном фоне. При использовании дифференциальной обработки на изображениях с большой неоднородностью не всегда существуют резкие границы между смысловыми областями, что ведет к большому числу ложных выделений или невозможности построения замкнутого контура объекта. Эффективность дифференциальной обработки изображений резко снижается при уменьшении отношения сигнал/шум. При использовании байесовской классификации в том виде, в котором она предлагается в прототипе (для бинаризации применяется только признак яркости), отсутствует возможность выделения объектов, отличающихся от фона по другим признакам, таким как градиент, энтропия и т.д.

Технический результат, на достижение которого направлено заявляемое изобретение, состоит в расширении условий применения оптикоэлектронных систем сопровождения объектов и повышении точности измерения координат наземных, морских и воздушных объектов.

Технический результат достигается тем, что заявляемый способ обработки последовательности изображений позволяет оценить качество базовых алгоритмов измерения координат на основе вычисления значений критериев работоспособности и осуществить комплексирование этих алгоритмов на основе результатов оценивания качества их работы.

Способ обработки последовательности изображении для определения координат объектов на основе комплексирования базовых алгоритмов включает в себя выполнение следующих действий.

1. Производится прием и аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности. Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел l(i, j, n), $$i=\overline{\mathrm{0,}\left(I-1\right)}$$ , $$j=\overline{\mathrm{0,}\left(J-1\right)}$$ , где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3, … - номер кадра. Каждый элемент матрицы l(i, j, n) является результатом квантования яркости соответствующей точки наблюдаемой сцены.

2. После получения целеуказания от оператора на каждом кадре рассчитываются критерии работоспособности для каждого базового алгоритма измерения координат:

- для алгоритма измерения координат на основе байесовской классификации, известного из [Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. - М.: Радиотехника, 2008. - 176 с.], критерий работоспособности определяется выражением:

где $$\widehat{H}\left(P\right)$$ , $$\widehat{H}\left(O\right)$$ - энтропии изображений в рамке и окне соответственно, p(x, y) - совместная яркостно-градиентная гистограмма, N, М - число разрядов гистограммы по яркости и по градиенту соответственно;

- для алгоритма измерения координат на основе корреляционного совмещения изображений с сглаживанием эталона, известного из [Алпатов Б.А., Селяев А.А., Степашкин А.И. Цифровая обработка изображений в задаче отслеживания движущегося объекта // Изв. вузов. Сер. Приборостроение. - 1985. - №2. - С. 39-43], критерий работоспособности определяется по формуле:

где F_g - оценка степени различия эталонного изображения объекта и фона, F_h - оценка межкадровой изменчивости изображения объекта. F_g определяется как минимальное значение разностной критериальной функции в области, граничащей с объектом на кадре n₀. F_h определяется как минимальное значение критериальной функции на кадре n₀+1;

- для алгоритма измерения координат на основе пространственно-временной фильтрации, известного из [Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометрических искажений изображения // Цифровая обработка сигналов. - 2004. - №4. - С. 9-14], критерий работоспособности основан на оценке степени отличия объекта от фона:

где $$\widehat{g}\left(i,j,n_0\right)$$ - оценка яркости фонового изображения в точке (i, j), $$\widehat{\sigma }\left(i,j,n_0\right)$$ - оценка СКО фона, M, N - размеры объекта. Оценки $$\widehat{g}\left(i,j,n_0\right)$$ и $$\widehat{\sigma }\left(i,j,n_0\right)$$ определяются в процессе работы алгоритма измерения координат;

- для алгоритма измерения координат на основе пространственной фильтрации, известного из [пат. РФ №2419150, опубликован 20.05.2011], критерий работоспособности рассчитывается по формуле:

где d_строба(i, j) - яркость разностного изображения в точке, принадлежащей стробу, $$\widehat{\sigma }$$ - оценка СКО остаточного фона. Для вычисления яркости разностного изображения и оценки СКО остаточного фона должны использоваться процедуры, аналогичные тем, что применяются в рассматриваемом алгоритме.

3. Переход от значений критериев работоспособности к характеристике работоспособности осуществляется путем сравнения критериев работоспособности с пороговыми значениями. В случае если значение критерия работоспособности больше порогового значения, то характеристике работоспособности алгоритма измерения координат присваивается единичное значение (работоспособен), в противном случае - нулевое значение (не работоспособен).

4. После перехода от значений критериев работоспособности к значениям характеристики работоспособности принимается решение, какой базовый алгоритм измерения координат применять в текущих условиях наблюдения. В случае, если единичное значение характеристики работоспособности присутствует лишь для одного алгоритма измерения координат, то выбор алгоритма для данного кадра последовательности соответствует единичному значению. В противном случае предлагается производить выбор алгоритма, обладающего самым высоким приоритетом. Перечень алгоритмов в порядке убывания приоритета следующий: алгоритм на основе байесовской классификации, алгоритм на основе пространственно-временной фильтрации, алгоритм на основе пространственной фильтрации, алгоритм на основе корреляционного совмещения изображений.

В случае когда значения всех характеристик работоспособности равны нулю, принимается решение о невозможности измерения координат.

5. Производится измерение координат объекта выбранным базовым алгоритмом.

Таким образом, отличия заявляемого способа от прототипа состоят в следующем:

1) использование 4-х алгоритмов измерения координат, базирующихся на разных методах обработки изображений;

2) использование алгоритма измерения координат на основе байесовской сегментации с построением яркостно-градиентных гистограмм;

3) использование критериев оценки работоспособности алгоритмов измерения координат для выбора алгоритма, обеспечивающего лучшее значение показателя качества.

Изобретение относится к области цифровой обработки изображений и может быть использовано в охранных системах, системах мониторинга и контроля воздушного движения, оптикоэлектронных системах сопровождения объектов. Техническим результатом является повышение точности измерения координат объектов. Способ обработки последовательности изображений для определения координат объектов на основе комплексирования базовых алгоритмов заключается в принятии и аналого-цифровом преобразовании сигнала изображения каждого кадра, в расчете критериев работоспособности алгоритмов измерения координат: на основе байесовской классификации, на основе корреляционного совмещения изображений со сглаживанием эталона, на основе пространственной и пространственно-временной фильтрации, в переходе от значений критериев работоспособности к характеристике работоспособности, в выборе алгоритма измерения координат согласно правилу принятия решения, в измерении координат выбранным алгоритмом.

Способ обработки последовательности изображений для определения координат объектов на основе комплексирования базовых алгоритмов, заключающийся в принятии и аналого-цифровом преобразовании сигнала изображения каждого кадра, в расчете критериев работоспособности алгоритмов измерения координат: на основе байесовской классификации, на основе корреляционного совмещения изображений со сглаживанием эталона, на основе пространственной и пространственно-временной фильтрации, в переходе от значений критериев работоспособности к характеристике работоспособности, в выборе алгоритма измерения координат согласно правилу принятия решения, в измерении координат выбранным алгоритмом.