Способ обнаружения оставленного предмета в видеопотоке Российский патент 2018 года по МПК G06K9/00 

Область техники, к которой относится изобретение

Изобретение относится к области обработки растровых изображений, а именно к способам автоматического анализа видеопотока, представленного в виде последовательности растровых изображений (кадров), с целью выявления стабильных неподвижных объектов.

Уровень техники

Из уровня техники известно большое количество средств для анализа видеопотока и детектирования объектов.

В качестве наиболее близкого аналога выбран известный способ обнаружения оставленных объектов в видеопотоке, состоящий в использовании двух моделей фона с разными периодами накопления (быстрый и медленный фон) (CN 103226712, опубликован 31.07.2013, МПК G06K 9/62). Данный известный способ характеризуется невысокой вычислительной сложностью и обеспечивает приемлемые показатели в отношении ложноотрицательного обнаружения или пропуска объекта. Недостатком данного известного средства является частые ложные срабатывания, обусловленное тем, что обнаружение объекта ведется сразу по двум фонам.

Раскрытие изобретения

Настоящее изобретение решает задачу автоматического обнаружения класса объектов, представляющих потенциальную опасность: оставленных предметов, остановившихся людей или автомобилей.

Технический результат, достигаемый настоящим изобретением, состоит в повышение качества обнаружения оставленных предметов в видеопотоке за счет снижения количества ложных срабатываний и обеспечения достоверности результатов анализа.

Указанный технический результат достигается тем, что способ обнаружения оставленного предмета в потоке видеоинформации состоит в том, что:

- обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров;

- формируют статистику параметров каждого пикселя упомянутых кадров;

- формируют попиксельное предсказание кадра, включающее быстрый фон и медленный фон, при этом упомянутый быстрый фон формируют на основе статистики параметров каждого пикселя, собранной за первый предшествующий период, а медленный фон формируют на основе статистики параметров каждого пикселя, собранной за второй предшествующий период;

- получают изображение текущего кадра;

- осуществляют сравнение параметров каждого пикселя упомянутого текущего кадра с параметрами соответствующего пикселя упомянутого предсказания кадра;

- формируют кандидата на неподвижный объект в составе упомянутого текущего кадра на основе пикселей упомянутого текущего кадра, параметры которых незначительно отличаются от параметров соответствующих пикселей упомянутого быстрого фона, но значительно отличаются от параметров пикселей упомянутого медленного фона;

- делают вывод об обнаружении оставленного предмета путем формирования пространственно-связного множества пикселей кандидата на неподвижный объект, при условии соответствия упомянутого множества заданным условиям.

Указанный технический результат достигается также тем, что способ первый предшествующий период имеет длительность от 0,5 секунды до 1,5 секунды, а второй предшествующий период имеет длительность от 10 секунд до 20 секунд.

Краткое описание фигур чертежей

На Фиг. 1 показано изображение, полученное стационарной видеокамерой, с наложенной на него ограничивающей прямоугольной рамкой обнаруженного оставленного предмета (а),

На Фиг. 2 показана растровая маска обнаружения на быстром фоне (маска оставленного предмета отсутствует).

На Фиг. 3 показана растровая маска обнаружения на медленном фоне (маска оставленного предмета присутствует).

Осуществление изобретения

Современные стационарные системы IP-видеонаблюдения оснащаются подсистемами видеоаналитики для автоматического анализа видеопотока с целью обнаружения объектов. Под объектами подразумеваются связные множества пикселей, имеющие сходные характеристики при переходе от кадра к кадру и перемещающиеся (или перемещавшиеся в известной истории наблюдений) в системе координат кадра. К особым классам относятся неподвижные объекты, перемещение которых не было зафиксировано в истории наблюдений. Такие объекты появляются в случае, когда подвижный объект в процессе обнаружения и сопровождения от кадра к кадру разделяется на несколько объектов, часть из которых остается неподвижными и детектируется как потенциальные новые объекты. Разделение объекта подсистемой обнаружения на несколько частей может быть ошибочным вследствие случайных флуктуаций яркостных или текстурных характеристик кадра. В этом случае происходит ошибка определения первого рода, иначе говоря, ложноположительное срабатывание. Разделение объекта может быть верным, в ситуации, когда некий перемещающийся объект (человек, транспортное средство) неожиданно оставляет на месте какой-либо предмет (сумку, коробку, портфель). В этом случае необходимо обнаружить и классифицировать в первом приближении такой оставленный предмет, который может представлять потенциальную угрозу безопасности. В таких условиях, подсистема обнаружения может не обнаружить оставленный предмет, т.е. допустить ошибку второго рода, иначе говоря, пропуск объекта.

Новые, неожиданно появляющиеся объекты изначально являются неподвижными, хотя порождены движущимися объектами, и для их детектирования затруднено применение методов, предназначенных для детектирования движущихся объектов. На практике процедура обнаружения неожиданно оставленного предмета дополнительно осложняется присутствием различных движущихся объектов на переднем плане (людей, транспортных средств или и тех, и других), которые периодически перекрывают оставленный объект в поле зрения камеры наблюдения.

Проблема обнаружения оставленных неподвижных объектов связана с ключевой особенностью семейства алгоритмов детектирования, основанных на разделении каждого кадра видеопотока на фоновую составляющую, малоподвижную в смысле изменения яркости пикселей во времени, и передний план, содержащий пиксели, значительно меняющие яркость от кадра к кадру. Пиксели неподвижного объекта имеют стабильную яркость, которая мало изменяется от кадра к кадру, и в течение непродолжительного времени (время определяется скоростью обновления фоновой составляющей кадра) классифицируются как фон. В таких условиях вероятна ошибка второго рода: ложноотрицательное обнаружение или пропуск объекта.

Настоящее изобретение направлено на решение этой проблемы и обеспечивает обнаружение оставленных неподвижных объектов с приемлемыми вероятностями ложноположительных и ложноотрицательных обнаружений.

Суть предложенного способа состоит в следующем.

Выполняют захват и фиксирование потока растровых кадров, содержащих изображение наблюдаемого пространства, обеспечивая тем самым поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров. Производят определение параметров яркости каждого пикселя кадров в потоке и формируют статистику параметров каждого пикселя упомянутых кадров.

На следующем этапе формируют попиксельное предсказание кадра, включающее быстрый фон и медленный фон.

Обеспечивают формирование на первом кадре, с возможным уточнением на следующих кадрах, быстрого фона текущего кадра, как предсказание значений яркости в каждом пикселе. Предсказание выполняется приближением к медиане значения яркости каждого пикселя по доступной истории наблюдений. Период накопления быстрого фона выбирается в диапазоне от 20 мс до 100 мс в зависимости от класса объектов, которые требуется сопровождать. Данный параметр выбирается исходя из конкретных условий и задач по обнаружению объектов. Для типовой задачи обнаружения и сопровождения объекта «человек» оптимальным в смысле качества обнаружения и вычислительной сложности является значение периода 65 мс, что позволяет качественно обновлять быстрый фон по 15 кадрам в секунду. Время так называемого «врастания» остановившегося объекта-человека в быстрый фон, то есть время, за которое значительная часть принадлежащих объекту пикселей будут переклассифицированы как фоновые и множество пикселей потеряет связность, при периоде накопления 65 мс составляет примерно 1 секунду. Данный период может варьироваться в ряде случаев от 0,5 до 1,5 секунды. Быстрый односекундный фон позволяет выявить описанным алгоритмом быстрое движение в кадре, иначе говоря, скоротечные изменения яркости пикселей.

Далее обеспечивают формирование на первом кадре или уточнение на следующих кадрах медленного фона текущего кадра, как предсказание значений яркости в каждом пикселе. Предсказание выполняется приближением к медиане значения яркости каждого пикселя по доступной истории наблюдений. Период накопления медленного фона выбирается в диапазоне от 25Оме до 8000 мс в зависимости от класса объектов, которые требуется сопровождать, и конкретное значение выбирается исходя из условий наблюдения и поставленных задач. Для типовой задачи обнаружения и сопровождения объектов «человек» и «оставленный предмет» оптимальным в смысле качества обнаружения и вычислительной сложности является значение периода 1000 мс, что позволяет качественно обновлять медленный фон по 1 кадру в секунду, игнорируя остальные кадры. Время «врастания» остановившегося объекта-человека в медленный фон, то есть время, за которое значительная часть принадлежащих объекту пикселей будут переклассифицированы как фоновые и множество пикселей потеряет связность, при периоде накопления 1000 мс составляет от 10 до 20 секунд (в отдельных случаях до 30 секунд). Медленный двадцатисекундный фон позволяет выявить на кадре медленное движение, иначе говоря, выявить плавные изменения яркости пикселей.

Таким образом, быстрый фон формируют на основе статистики параметров каждого пикселя, собранной за первый предшествующий период (0,5-1,5 секунд), а медленный фон формируют на основе статистики параметров каждого пикселя, собранной за второй предшествующий период (10-30 секунд). Далее получают изображение текущего кадра.

Первичное обнаружение на текущем кадре потенциальных объектов по быстрому фону с помощью алгоритма обнаружения с адаптивным порогом.

Производится сравнение параметров каждого пикселя упомянутого текущего кадра с параметрами соответствующего пикселя упомянутого предсказания кадра, т.е. осуществляется попиксельное вычисление абсолютной разницы яркости пикселя текущего кадра и яркости пикселя быстрого фона и сравнение полученного значения с порогом. При превышении порога пиксель текущего кадра классифицируется как принадлежащий потенциальному объекту и маркируется в растровой маске быстрого обнаружения значением 255. В ином случае пиксель текущего кадра классифицируется как принадлежащий фону и маркируется в растровой маске быстрого обнаружения значением 0.

Далее осуществляют первичное обнаружение на текущем кадре потенциальных объектов по медленному фону с помощью алгоритма обнаружения с адаптивным порогом. Производится попиксельное вычисление абсолютной разницы яркости пикселя текущего кадра и яркости пикселя медленного фона и сравнение полученного значения с порогом. При превышении порога пиксель текущего кадра классифицируется как принадлежащий потенциальному объекту и маркируется в растровой маске медленного обнаружения значением 255. В ином случае пиксель текущего кадра классифицируется как принадлежащий фону и маркируется в растровой маске медленного обнаружения значением 0.

Вторичное обнаружение на текущем кадре объектов осуществляют по результатам первичного обнаружения. Потенциальный объект формально переводится в статус неподвижного объекта (оставленного предмета) при соблюдении следующих условий:

- объект не обнаруживается на быстром фоне и устойчиво обнаруживается на медленном;

- размеры объекта в пикселях лежат в заданном диапазоне;

- отношение размеров объекта лежит в заданном диапазоне;

- пространственная плотность пикселей в составе объекта выше заданной.

Дополнительный текстурный анализ неподвижных объектов выполняется путем вычисления коэффициентов корреляции между пикселями неподвижного объекта на текущем кадре и пикселями медленного фона. Если усредненный коэффициент корреляции превышает заданный порог, то есть текстура объекта на текущем кадре близка к текстуре медленного фона, обнаружение считается ложным, обусловленным случайными флуктуациями яркости кадра при сохранившейся текстуре. Объект снимается с обслуживания и в дальнейшем игнорируется. Порог схожести определяет чувствительность алгоритма обнаружения оставленных предметов и в общем случае является настраиваемым под конкретные условия наблюдения.

Таким образом, формируют кандидата на неподвижный объект в составе упомянутого текущего кадра на основе пикселей упомянутого текущего кадра, параметры которых незначительно отличаются от параметров соответствующих пикселей упомянутого быстрого фона, но значительно отличаются от параметров пикселей упомянутого медленного фона.

Вывод об обнаружении оставленного предмета делают путем формирования пространственно-связного множества пикселей кандидата на неподвижный объект, при условии соответствия упомянутого множества заданным условиям.

Дополнительной отличительной особенностью данного изобретения является введение дополнительной процедуры текстурного анализа на конечном этапе работы алгоритма обнаружения: в случае если яркость пикселей обнаруженного неподвижного объекта сильно коррелируют с яркостью пикселей медленного фона, объект считается ложным и снимается с сопровождения.

Реализация описанного способа может быть осуществлена программным способом на вычислительном комплексе общего назначения или программно-аппаратным способом на вычислительном комплексе специального назначения, располагающим аппаратным ускорителем операций цифровой обработки сигналов.

Изобретение относится к средствам автоматического анализа видеопотока. Технический результат заключается в повышении качества обнаружения объектов. В способе: обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров; формируют статистику параметров каждого пикселя упомянутых кадров; формируют попиксельное предсказание кадра, включающее быстрый фон и медленный фон, получают изображение текущего кадра; осуществляют сравнение параметров каждого пикселя упомянутого текущего кадра с параметрами соответствующего пикселя упомянутого предсказания кадра; формируют кандидата на неподвижный объект в составе упомянутого текущего кадра на основе пикселей упомянутого текущего кадра, параметры которых незначительно отличаются от параметров соответствующих пикселей упомянутого быстрого фона, но значительно отличаются от параметров пикселей упомянутого медленного фона; делают вывод об обнаружении оставленного предмета путем формирования пространственно-связного множества пикселей кандидата на неподвижный объект, при условии соответствия упомянутого множества заданным условиям. 1 з.п. ф-лы, 3 ил.

1. Способ обнаружения оставленного предмета в потоке видеоинформации, состоящий в том, что:

- обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров;

- формируют статистику параметров каждого пикселя упомянутых кадров;

- формируют попиксельное предсказание кадра, включающее быстрый фон и медленный фон, при этом упомянутый быстрый фон формируют на основе статистики параметров каждого пикселя, собранной за первый предшествующий период, а медленный фон формируют на основе статистики параметров каждого пикселя, собранной за второй предшествующий период;

- получают изображение текущего кадра;

- осуществляют сравнение параметров каждого пикселя упомянутого текущего кадра с параметрами соответствующего пикселя упомянутого предсказания кадра;

- формируют кандидата на неподвижный объект в составе упомянутого текущего кадра на основе пикселей упомянутого текущего кадра, параметры которых незначительно отличаются от параметров соответствующих пикселей упомянутого быстрого фона, но значительно отличаются от параметров пикселей упомянутого медленного фона;

- делают вывод об обнаружении оставленного предмета путем формирования пространственно-связного множества пикселей кандидата на неподвижный объект, при условии соответствия упомянутого множества заданным условиям.

2. Способ по п. 1, отличающийся тем, что первый предшествующий период имеет длительность от 0,5 секунды до 1,5 секунды, а второй предшествующий период имеет длительность от 10 секунд до 20 секунд.