Способ идентификации объекта в видеопотоке Российский патент 2018 года по МПК G06K9/00 

Область техники, к которой относится изобретение

Изобретение относится к области обработки растровых изображений, а именно к способам автоматического анализа видеопотока, представленного в виде последовательности растровых изображений (кадров), с целью выявления движущихся объектов.

Уровень техники

Из уровня техники известно большое количество средств анализа видеопотока с целью идентификации объектов.

В качестве наиболее близкого аналога выбран известный способ анализа видеопотока, основанный на разделении кадров на блоки, вычислении интегральных показателей (например, цвета или яркости) блоков и кадра и их последующее сравнение (US 8897512, опубликован 25.11.2014, МПК G06K 9/00). Недостатком данного известного средства является значительная вероятность ложных обнаружений и пропуска объектов, поскольку применяемый алгоритм чувствителен к случайным флуктуациям яркости кадров, к теням и отсветам, к хаотичному перемещению объектов, к их взаимному перекрытию, а также к артефактам сжатия, к задержкам и искажению видеопотока при передаче.

Раскрытие изобретения

Задача, на решение которой направлено настоящее изобретение, состоит в повышении качества сопровождения объектов в видеопотоке.

Технический результат, достигаемый настоящим изобретением, состоит в минимизации ошибок сопровождения в видеопотоке, связанных с потерей объекта при наблюдении за движущимися объектами.

Указанный технический результат достигается тем, что способ анализа видеопотока состоит в том, что:

- обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров;

- получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;

- определяют среднее значение яркости пикселей упомянутого текущего кадра;

- разбивают упомянутый текущий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;

- каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока текущего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока текущего кадра не превышает значения средней яркости пикселей этого кадра;

- аппроксимируют область текущего кадра, идентифицирующую объект, упомянутыми блоками;

- формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;

- получают изображение последующего кадра, на котором выявляют объект и определяют область последующего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;

- определяют среднее значение яркости пикселей упомянутого последующего кадра;

- разбивают упомянутый последующий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;

- каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока последующего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока последующего кадра не превышает значения средней яркости пикселей этого кадра;

- аппроксимируют область последующего кадра, идентифицирующую объект, упомянутыми блоками;

- формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;

- сравнивают вектор бинарных признаков упомянутой области на текущем кадре с вектором бинарных признаков упомянутой области на последующем кадре и в случае их совпадения делают вывод об идентичности объекта на текущем и последующем кадрах.

Краткое описание фигур чертежей

На Фиг. 1. показан исходный кадр высокого разрешения.

На Фиг. 2 показан масштабированный кадр низкого разрешения.

На Фиг. 3 показана растровая маска обнаружения на кадре низкого разрешения.

Осуществление изобретения

Современные стационарные системы IP-видеонаблюдения оснащаются подсистемами видеоаналитики для автоматического анализа видеопотока с целью обнаружения объектов. Под объектами подразумеваются связные множества пикселей, сохраняющие сходные характеристики при переходе от кадра к кадру и перемещающиеся (перемещавшиеся в известной истории наблюдений) в системе координат кадра. Движущиеся объекты представляют особый интерес с точки зрения системы видеонаблюдения, поскольку с этим классом объектов связано подавляющее большинство критических ситуаций, требующих реакции системы.

В соответствии с настоящим изобретением задача выявления движущихся объектов алгоритмически разделяется на:

- задачу обнаружения объектов на растровом кадре.

- задачу сопровождения идентифицированного объекта.

В свою очередь задача сопровождения состоит в построении наиболее вероятного соответствия объектов, обнаруженных на текущем кадре, тем объектам, которые были обнаружены на предыдущем кадре.

Задача обнаружения решается методами детектирования движения по яркостной составляющей кадра с использованием одного или нескольких фонов с разными периодами накопления. Алгоритм детектирования движения предполагает разделение каждого кадра на фоновую составляющую (условно статичную в смысле яркости пикселей) и передний план, содержащий пиксели, интенсивно меняющие яркость. Обнаружение объектов выполняется на переднем плане кадра с использованием механизма адаптивного порога. Достоинством метода является невысокая вычислительная сложность.

Сопровождение объекта является частным случаем задачи оптимизации - задачей о назначениях и в общем случае решается методами комбинаторной оптимизации. Обеспечивается поиск наилучшего соответствия между объектами предыдущего кадра и потенциальными объектами текущего кадра. Объекты предыдущего кадра, для которых не найдены аналоги на текущем кадре, помечаются атрибутом «скрытые» и в дальнейшем удаляются из списка объектов. Объекты текущего кадра, для которых не найдены аналоги на предыдущем кадре, считаются новыми и включаются в список. При поиске используется комплексный критерий соответствия объектов предыдущего и текущего кадров.

В соответствии с настоящим изобретением обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров. Затем получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект и определяют среднее значение яркости пикселей упомянутого текущего кадра.

Ошибки алгоритма сопровождения обусловлены ошибками на этапе обнаружения. Визуально схожие с точки зрения человека объекты на соседних кадрах могут отличаться в достаточной степени, чтобы не соответствовать описанному комплексному критерию схожести. Результатом является повышенная вероятность ошибки «потеря объекта», когда обнаруженный на предыдущем кадре объект теряется, вместо него заводится формально новый объект с отличным от предыдущего идентификатором.

Последовательность операций способ включает разбиение упомянутого текущего кадра на прямоугольные блоки одинакового размера и определение средней яркости пикселей каждого блока.

Далее каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока текущего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока текущего кадра не превышает значения средней яркости пикселей этого кадра. Аппроксимируют область текущего кадра, идентифицирующую объект, упомянутыми блоками;

После этого формируют вектор бинарных признаков (хэш-дескриптор) упомянутой области на основе значения бинарных признаков соответствующих блоков и получают изображение последующего кадра, на котором выявляют объект и определяют область последующего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект.

После этого определяют среднее значение яркости пикселей упомянутого последующего кадра, разбивают упомянутый последующий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока и каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока последующего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока последующего кадра не превышает значения средней яркости пикселей этого кадра. Аналогично описанному выше аппроксимируют область последующего кадра, идентифицирующую объект, упомянутыми блоками, формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков и сравнивают вектор бинарных признаков упомянутой области на текущем кадре с вектором бинарных признаков упомянутой области на последующем кадре и в случае их совпадения делают вывод об идентичности объекта на текущем и последующем кадрах.

Задачу повышение качества сопровождения предлагается решать введением дополнительного механизма текстурного анализа объектов.

Идентификация движущегося объекта в потоке видеоинформации, состоит в следующем.

Захватывают поток растровых кадров высокого разрешения, содержащих изображение наблюдаемого пространства, и приводят пиксели каждого кадра к цветовой модели YUV. Компоненты Y, U, V копируются в отдельные однокомпонентные кадры, которые в дальнейшем обрабатываются независимо.

Далее формируют кадр Y низкого разрешения (Фиг. 2) масштабированием кадра Y исходного высокого разрешения (Фиг. 1). Формируют новый кадр с разрешением равным 25% от исходного по каждому измерению. Для типового разрешения 1920×1080 уменьшенный кадр будет иметь разрешение 480×270 пикселей (см. Фиг. 1 и Фиг. 2). Масштаб нового кадра выбирают исходя из следующего:

- видеонаблюдение работает с крупными объектами, занимающими значительную площадь кадра. На уменьшенном кадре объекты будут представлены достаточно подробно для обнаружения по яркости, а исходное высокое разрешение является избыточным и критически повышает вычислительную сложность процедуры при неочевидном повышении качества;

- каждому пикселю уменьшенного кадра соответствует шестнадцать пикселей исходного кадра. С точки зрения вычислительной эффективности это количество оптимально для обработки на компьютерах 32-64 разрядной архитектуры с использованием векторных команд.

Далее формируют на первом кадре Y или уточненяют на следующих кадрах Y низкого разрешения фоновой составляющей, как предсказания значений яркости в каждом пикселе. Предсказание выполняется приближением к медиане значения яркости каждого пикселя по доступной истории наблюдений за исключением текущего кадра.

Производят обнаружение на текущем кадре Y низкого разрешения потенциальных объектов по фону с помощью алгоритма обнаружения с адаптивным порогом с последующим попиксельным вычислением абсолютной разницы яркости пикселя текущего кадра и яркости пикселя фона и сравнение полученного значения с порогом. При превышении порога пиксель текущего кадра классифицируется как принадлежащий потенциальному объекту и маркируется в растровой маске обнаружения значением 255 (Фиг. 2, 3). В противном случае пиксель текущего кадра классифицируется как принадлежащий фону и маркируется в растровой маске быстрого обнаружения значением 0 (Фиг. 2, 3).

Осуществляют хэш-дескрипцию потенциальных объектов, обнаруженных на текущем кадре Y низкого разрешения. Хэш-дескрипция заключается в построении хэш-дескрипторов каждого пикселя переднего плана кадра Y низкого разрешения, и выполнятся по следующему алгоритму. Для каждого пикселя, отнесенного к потенциальному объекту на растровой маске обнаружения низкого разрешения (Фиг. 2):

- выполняется выборка соответствующего блока 4×4 пикселя ни исходном кадре Y высокого разрешения;

- значение яркости пикселя потенциального объекта на кадре Y низкого разрешения принимается за среднюю яркость пикселей по 4×4 блоку пикселей на исходном кадре Y высокого разрешения;

- строится 16-битный хэш-дескриптор, каждый бит которого принимает значение 1, если яркость соответствующего пикселя в блоке 4×4 превышает среднюю яркость, и 0 в ином случае;

- хэш-дескриптор сохраняется в двумерном массиве, каждый элемент которого соответствует пикселю потенциального объекта на кадре Y низкого разрешения.

После этого обеспечивают сопровождение объектов на текущем кадре Y низкого разрешения по данным предыдущего кадра Y низкого разрешения. С помощью «венгерского алгоритма» производится поиск оптимального назначения объектов, обнаруженных на текущем кадре Y, объектам, обнаруженным на предыдущем кадре Y, и присвоение объектам текущего кадра идентификаторов соответствующих объектов предыдущего кадра. Комплексный критерий сходства, применяемый в алгоритме назначения, представляет собой взвешенную сумму коэффициентов схожести объектов:

- по текстуре компоненты Y (весовой коэффициент 0.5);

- по гистограмме компоненты Y (весовой коэффициент 0.2)

- по размерам (весовой коэффициент 0.15);

- по пропорциям (весовой коэффициент 0.15).

Комплексный критерий принимает значения от 0 (полное различие) до 1 (полное сходство).

Дополнительный текстурный анализ (схожесть по текстуре компоненты Y) выполняется путем расчета обратного расстояния Хэмминга для хэш-дескрипторов пикселей для всех пар объектов на предыдущем и текущем кадрах. Обратное расстояние Хэмминга принимает значение от 0 (полное различие) до 16 (полное сходство) и приводится к диапазону [0, 1] делением на 16. Среднее обратное расстояние Хэмминга вычисляется для каждой пары объектов на предыдущем и текущем кадрах по всему множеству исследованных пикселей. Весовой коэффициент текстурной компоненты комплексного критерия составляет 0.5 и в общем случае является настраиваемым.

Суммарный весовой коэффициент яркостной компоненты комплексного критерия (схожесть по геометрическим размерам и гистограмме) составляет 0.5 и в общем случае также является настраиваемым.

Результат достигается за счет введения дополнительной процедуры текстурного анализа множества пикселей, составляющих объект, путем построения хэш-дескрипторов каждого пикселя. Текстурный анализ производится на этапах работы алгоритма обнаружения и сопровождения объектов.

Изобретение относится к способам автоматического анализа видеопотока. Технический результат заключается в повышении качества идентификации объекта. Предложен способ анализа видеопотока, состоящий в том, что обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров; получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект; определяют среднее значение яркости пикселей упомянутого текущего кадра; разбивают упомянутый текущий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока. 3 ил.

Способ анализа видеопотока, состоящий в том, что

- обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров;

- получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;

- определяют среднее значение яркости пикселей упомянутого текущего кадра;

- разбивают упомянутый текущий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;

- каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока текущего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока текущего кадра не превышает значения средней яркости пикселей этого кадра;

- аппроксимируют область текущего кадра, идентифицирующую объект, упомянутыми блоками;

- формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;

- получают изображение последующего кадра, на котором выявляют объект и определяют область последующего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;

- определяют среднее значение яркости пикселей упомянутого последующего кадра;

- разбивают упомянутый последующий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;

- каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока последующего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока последующего кадра не превышает значения средней яркости пикселей этого кадра;

- аппроксимируют область последующего кадра, идентифицирующую объект, упомянутыми блоками;

- формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;

- сравнивают вектор бинарных признаков упомянутой области на текущем кадре с вектором бинарных признаков упомянутой области на последующем кадре и в случае их совпадения делают вывод об идентичности объекта на текущем и последующем кадрах.