УСТРОЙСТВО И СПОСОБ КЛАССИФИКАЦИИ ДВИЖЕНИЯ ОБЪЕКТОВ В ЗОНЕ ОТСЛЕЖИВАНИЯ Российский патент 2014 года по МПК G06K9/00 

Уровень техники

Настоящее изобретение относится к устройству и способу отслеживания движения объектов в области отслеживания.

В US 5519784 раскрыты устройство и способ классификации движения объектов вдоль прохода. Устройство содержит средство для проецирования массива дискретных и разнесенных друг от друга параллельных линейных излучаемых лучей с одной стороны прохода на противоположную сторону прохода. Детекторы на противоположной стороне прохода определяют прерывание лучей одним человеком или больше, движущимся в проходе, либо в первом или и во втором противоположном направлении. Расположенные через промежуток лучи прерываются в разное время в последовательности, соответствующей количеству и направлению движения людей. Последовательно генерируемые сигналы прерываемых лучей сохраняют как информацию об истории движения объекта в запоминающем устройстве и затем обрабатывают для генерирования сложных структур прерывания лучей, в которых проявляется ряд лиц и направление движения, причем эти структуры представляют собой функцию от времени и индекса датчика, то есть идентификации датчика и его положения в проходе. Получаемые в результате генерируемые структуры сравнивают с опорными структурами, используя компьютеризированный анализ распознавания структур, например с помощью искусственной нейронной сети. По результатам сравнения классифицируют людей в проходе по направлению движения и количеству.

Такое устройство и способ могут быть непригодными в некоторых вариантах применения. Например, средство для проецирования разнесенных через некоторый промежуток параллельных лучей установлено в удлиненном корпусе. Корпус обычно устанавливают с одной стороны прохода, так что он вытянут параллельно полу на высоте от приблизительно высоты лодыжки до высоты колена. Такой корпус может быть слишком большим для установки в доступное пространство и/или может быть эстетически неприемлем в определенных вариантах применения. Кроме того, установка такого устройства с любой стороны прохода является трудоемкой, требует значительного времени и затрат, и часто необходимо прорезать пазы в боковых стенках прохода для установки кабелей, проходящих от устройства. Также, кроме того, средство проецирования лучей, с одной стороны, и детекторы, с другой стороны, могут быть разориентированы, что приведет к утере функциональности устройства. Другая проблема с таким устройством, установленным по бокам, состоит в том, что человек или объект, неподвижно находящийся в проходе, может прервать лучи и, следовательно, сделать, по меньшей мере временно, нечувствительным устройство для других движущихся объектов вдоль прохода с любой стороны неподвижного объекта. Также еще одна проблема состоит в том, что длина проецируемых лучей может быть недостаточной для просмотра широкого прохода. Промежуточные структуры, на которых установлено дополнительное устройство со всеми упомянутыми выше недостатками, требуются для охвата широкого прохода.

В других известных системах, которые существенно отличаются, используют алгоритмы отслеживания, которые пытаются идентифицировать дискретные объекты и отслеживать их положение между последовательными кадрами, формируемыми устройством, воспринимающим объект, для определения вектора для каждого объекта, представляющего интерес. Такая обработка является сложной, поскольку она требует полного анализа каждого кадра с последующим сравнением с предыдущими кадрами для определения, является ли объект предыдущим объектом в новом положении или полностью новым объектом. В таких условиях трудно различить двух человек, с одной стороны, и одного человека, который несет, например рюкзак или багаж, с другой стороны. Путем изоляции объектов и при получении их векторов система позволяет отслеживать их движение в заданной области отслеживания и, таким образом, последовательно увеличивать или уменьшать величину счета соответствующим образом. Любая неспособность системы изолировать объекты, связать их последовательные положения или различить количество объектов приводит к снижению точности системы. Кроме того, визуальный анализ требует чрезвычайно интенсивной работы процессора и, таким образом, является дорогостоящим.

Задача изобретения

В соответствии с этим, задача настоящего изобретения состоит в том, чтобы обеспечить альтернативное устройство и способ отслеживания движения объектов через область отслеживания.

Раскрытие изобретения

В соответствии с изобретением предложено устройство для отслеживания движения объектов через область отслеживания, содержащее:

- измерительную систему, обнаруживающую присутствие или отсутствие объекта в каждой зоне из множества смежных зон в указанной области;

- зоны расположены таким образом, что существуют по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению;

- каждой зоне соответствует индекс зоны;

- измерительная система выполнена с возможностью обнаруживать присутствие или отсутствие объекта отдельно в каждой из зон и с возможностью получать последовательные по времени представления объектов, движущихся через область, содержащие измеренные данные, относящиеся к присутствию или отсутствию объектов в каждой из зон;

- процессор, соединенный с измерительной системой и обеспечивающий преобразование измеренных данных в многомерную структуру, представляющий наличие или отсутствие объектов в указанных зонах, при этом первое измерение в многомерной структуре представляет собой время, а второе измерение - индекс зоны;

- процессор, выполненный с возможностью сегментирования указанной структуры на части структуры, относящиеся к событиям; и

классификатор для классификации частей структуры в соответствии с данными предыстории, относящимися к ожидаемым событиям.

Измерительная система может содержать, по меньшей мере, одну камеру, которая установлена над областью отслеживания.

Измерительная система может содержать пару стереокамер, охватывающих область под разными углами.

Следовательно, система в соответствии с изобретением не делает попытку идентифицировать каждый уникальный объект в области зрения, но анализирует событие и путем сравнения его с предыдущим знанием элементов события может предоставить цифру подсчета, используя классификатор, который может содержать нейронную сеть. Обработка изображения выполняется довольно просто и может быть выполнена довольно дешево, в то время как сама нейронная сеть может работать на довольно простом микропроцессоре, снижая, таким образом, затраты. Считается, что такая система также может уменьшить по меньшей мере некоторые из упомянутых выше проблем, связанных с упомянутой выше системой, установленной на боковой стенке по US 5519784.

Множество зон могут формировать массив непосредственно смежных зон, и каждая зона может иметь первое измерение в первом направлении, второе измерение во втором направлении и область.

Измеренные данные могут содержать данные или параметр, пропорциональный части области зоны, занятой объектом.

Процессор может быть выполнен с возможностью сегментирования структуры вдоль измерения, относящегося ко времени, в областях многомерной структуры, в которых отсутствует активность.

В соответствии с другим аспектом изобретения предложен способ отслеживания движения объектов через область отслеживания, способ содержит этапы, на которых:

- разделяют область на множество зон, причем для каждой зоны устанавливают соответствующий индекс зоны;

- зоны располагают таким образом, что существуют по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению;

- используют измерительную систему автоматически и последовательно по времени для определения присутствия или отсутствия объектов отдельно в каждой из зон;

- генерируют данные, относящиеся к многомерной структуре присутствия или отсутствия объектов в зонах, при этом первое измерение представляет собой время, а второе измерение - индекс зоны;

- сегментируют структуру на части структуры, относящиеся к событиям; и

- классифицируют части структуры в соответствии с данными предыстории, относящимися к ожидаемым событиям.

Кроме того, объектом настоящего изобретения является считываемый компьютером носитель информации, содержащий компьютерную программу для отслеживания движения объектов через область отслеживания, причем программа вызывает выполнение этапов, на которых:

- принимают из измерительной системы измеренные данные, относящиеся к последовательным по времени представлениям объектов, движущихся через указанную область, причем измеренные данные содержат данные, относящиеся к присутствию или отсутствию объектов в каждой из множества зон, при этом зоны расположены таким образом, что существуют по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению, а каждой зоне соответствует индекс зоны;

- генерируют данные, относящиеся к многомерной структуре присутствия или отсутствия объектов в зонах, при этом первое измерение в многомерной структуре представляет собой время, а второе измерение - индекс зоны;

- сегментируют указанную структуру на части структуры, относящиеся к событиям; и

- классифицируют части структуры в соответствии с данными предыстории, относящимися к ожидаемым событиям, таким образом обеспечивают в качестве выхода величину подсчета объектов, движущихся по меньшей мере в одном направлении через указанную область.

Объектами изобретения также являются встроенное программное обеспечение, содержащее компьютерную программу, и компьютерная программа, обеспечивающая выполнение описанных выше этапов.

Краткое описание чертежей

Изобретение будет дополнительно описано ниже только в качестве примера, со ссылкой на приложенные чертежи, на которых:

фиг.1 - схематичное представление области отслеживания с камерой устройства для отслеживания движения объектов через область, установленной над областью;

фиг.2 - схематичное представление массива зон в области отслеживания;

фиг.3 - блок-схема устройства;

фиг.4 - блок-схема соответствующих этапов способа отслеживания движения объектов через область отслеживания;

фиг.5 - схема, иллюстрирующая последовательные по времени изображения эллиптического объекта, движущегося через область;

фиг.6 - трехмерное представление объекта, движущегося через область, в котором одно измерение представляет время;

фиг.7 - альтернативное представление, в котором трехмерный тензор сжат в двумерную матрицу;

фиг.8 - полученное в результате представление события с фиг.5;

фиг.9 - изображение события на фиг.5 и 9;

фиг.10 - фотография сверху множества людей, движущихся через область;

фиг.11 - представление, аналогичное фиг.6, события с фиг.10;

фиг.12 - изображение, аналогичное фиг.9, события с фиг.10;

фиг.13 - график распределений, связанных с каналом пикселей;

фиг.14 - представление простой модели подсобытия;

фиг.15 - изображения поиска подсобытия;

фиг.16 - представление максимального значения, определяющего центры подсобытий;

фиг.17 - представление первых четырех измерений модели подсобытия;

фиг.18 - представление подсобытий, выделенных из события, показанного на фиг.15, и их классификация; и

фиг.19 - представление исходного события, показанного на фиг.15, и остаточного события после удаления подсобытий, показанных на фиг.18.

Осуществление изобретения

Устройство для отслеживания движения объектов через область 12 отслеживания, в общем, обозначено номером 10 ссылочной позиции на фиг.1 и 2.

Область 12 может формировать часть ворот или прохода 14 в точке подсчета, такой как вход 16 в здание 18, и устройство 10 может быть развернуто автоматически и в течение определенного периода времени для отслеживания и подсчета людей 26, входящих в здание и выходящих из него через этот вход, как будет описано ниже.

Устройство 10 содержит измерительную систему 20, которая чувствительна к присутствию или отсутствию объекта 26 в каждой из множества смежных зон 24.1-24.n в области. Как показано на фиг.2, зоны 24.1-24.n расположены так, что существуют по меньшей мере два смежных ряда зон в первом направлении $$\underset{\_}{y}$$ (то есть в общем направлении потока объектов через область) и по меньшей мере два смежных ряда зон в направлении $$\underset{\_}{x}$$ , перпендикулярном первому направлению. Каждой зоне 24.1-24.n соответствует индекс зоны. Измерительная система 20 выполнена так, что она является чувствительной к присутствию или отсутствию объекта отдельно в каждой из зон и функционально она выполнена с возможностью получения последовательных по времени представлений, предпочтительно изображений (как показано на фиг.5 и 6) объекта, движущегося через область. Изображения содержат измеренные данные, содержащие данные, относящиеся к присутствию или отсутствию объекта в каждой из зон. Процессор 22 (показанный на фиг.3) подключен к измерительной системе 20 для обработки измеренных данных и получения многомерной структуры (показанной на фиг.7 и 8) присутствия или отсутствия объекта в зонах по мере того, как объект движется через область, в которой первое измерение представляет собой время, а второе измерение представляет индекс зоны. Процессор, кроме того, выполнен так, что он сегментирует структуру на части структуры, относящиеся к событиям, и классификатор для классификации в режиме реального времени частей структуры со ссылкой на данные предыстории, относящиеся к ожидаемым событиям.

Измерительная система может содержать, по меньшей мере, один датчик изображения, такой как видеокамера 20, и соответствующую оптику 21, установленную в зоне 12, для съемки последовательных по времени изображений зоны, причем каждое изображение содержит измеренные данные. Устройство, кроме того, содержит электронную подсистему 23, содержащую процессор 22 (показанный на фиг.3), соединенный с камерой 20, для приема измеренных данных из камеры и для генерирования многомерных данных структуры, как будет описано ниже.

Камера 20 предпочтительно установлена сверху прохода на крыше 28 и, следовательно, над областью 12 отслеживания. Камера может содержать стереопару камер, содержащую первую и вторую камеры, направленные на область под разными углами таким образом, что они охватывают область под разными углами, что добавляет дополнительное измерение, и для определения области 12 отслеживания на соответствующем уровне h над полом 30 прохода 14. Подсистема 23 может быть установлена в зоне отслеживания или в центре здания для соединения с аналогичной измерительной системой на других входах (не показаны) здания; кроме того, эта подсистема может быть установлена дистанционно и вне системы.

В примерном варианте осуществления, показанном на фиг.2, область 12 отслеживания содержит первую ось $$\underset{\_}{y}$$ , продолжающуюся в первом направлении, и вторую ось $$\underset{\_}{x}$$ , продолжающуюся во втором направлении, которое перпендикулярно первому направлению, таким образом, что каждая зона имеет область. Упомянутое выше множество зон 24.1-24.n в зоне 12 отслеживания формирует массив рядов и столбцов смежных областей, каждый из которых имеет первое измерение в первом направлении и второе измерение во втором направлении.

В примерном варианте осуществления, показанном на фиг.3, камера 20 соединена с процессором 22 подсистемы 23. Процессор содержит программируемую пользователем вентильную матрицу (FPGA) в качестве альтернативы сложному устройству с программируемой логикой (CPLD) 32. FPGA соединена с компоновкой 34 ОЗУ с двумя портами, и компоновка 34 соединена с вычислительным ядром 36. В других вариантах осуществления (не показаны) процессор 22 может содержать интерфейс камеры и процессор с прямым доступом к памяти (DMA). Подсистема 23 дополнительно содержит модуль 38 передачи данных, соединенный с ядром 36 обработки и с логической схемой 40. Также с логической схемой соединены часы (RTC) 42 реального времени, компоновка 44 запоминающего устройства данных и компоновка 46 запоминающего устройства программы. В устройстве 10 электроэнергию подают от модуля 48 питания, который может быть подключен к электросети. Модуль 38 передачи данных обеспечивает возможность передачи данных между устройством 10 и внешней сетью.

Как упомянуто выше, камера 20 выполнена с возможностью захвата последовательных по времени изображений в области 12. Следовательно, каждое изображение и его ассоциированные измеренные данные связаны с уникальными, относящимися к времени данными, обеспечивая, таким образом, измерение по времени для измеряемых данных и многомерное представление, как будет описано ниже.

Как показано на фиг.5, последовательные по времени изображения, генерируемые измерительной системой 20, когда эллиптический объект 26 движется через область 12, представлена на фиг.5(a)-5(f). Например, в момент времени на втором изображении, которое представляет собой изображение, показанное на фиг.5(b), объект полностью закрывает зону 24.3 и частично зоны 24.2, 24.4 и 24.8. Измеренные данные могут, как параметр, включать в себя данные, пропорциональные части области зоны, занимаемой или закрытой объектом.

Поток измеренных данных или матриц на фиг.5(a)-5(f) может быть представлен в виде трехмерного представления, в котором время представляет собой одно измерение и как показано на фиг.6.

Компоновка трехмерного представления может быть изменена путем векторизации матриц и, так образом, уплощения трехмерного тензора в двумерное представление, в котором одно измерение представляет собой время (t), как показано на фиг.7.

Поток матриц структур сегментирован по времени в соответствии с периодами активности. Событие инициируют всякий раз, когда сумма элементов матрицы структуры превышает пороговый уровень в небольшом наборе последовательных кадров. И, наоборот, событие прекращается всякий раз, когда сумма падает ниже порогового значения для набора последовательных кадров.

Представления события на фиг.5 показаны на чертежах 8 и 9.

На фиг.10 представлено другое примерное событие, в котором множество людей движется в любом направлении через область 12. Фиг.11 соответствует фиг.6 для последнего события, и фиг.12 соответствует фиг.9 для этого последнего события.

Рассмотрим теперь фиг.4, на которой устройство и способ имеют следующие основные компоненты: предварительная обработка 60, выделение 70 события, выделение 80 особенностей и классификация 90 для преобразования и обработки массы данных, относящихся к пикселям, в видеообъеме, вплоть до двух чисел, а именно, величины подсчета в направлении $$\underset{\_}{A}$$ и величины подсчета в направлении $$\underset{\_}{B}$$ .

Предварительная обработка 60 видеоданных, выполняемая предварительным процессом, относится к обработке необработанного потока пикселей в форме, которая представляет собой отличительную, хотя и инвариантную в отношении фона, а также глобальным вариациям яркости и контраста. Эта часть системы может быть наиболее чувствительной к объему вычислительной обработки, поскольку она работает на уровне каждого пикселя. Таким образом, видеообработка преднамеренно поддерживается относительно простой. На этапе 62 изображение вначале уменьшают до размера, которым можно управлять путем фильтрации и дискретизации с пониженной частотой. Из такого изображения с измененными размерами выделяют активную область. Активная область представляет собой область, установленную пользователем в рамке, которая определяет границу, через которую выполняют подсчет людей. Для эффективности расчетов требуется, чтобы эта граница была прямой и совмещенной с осью изображения. Такая граница определяет два направления, первое направление потока $$\underrightarrow{y}$$ и второе направление потока $$\underset{\_}{x}$$ , перпендикулярное ему. Активная область представляет собой выровненный по оси прямоугольник с центром на границе. Поперечная ширина прямоугольника определяется пользователем, и ее размер вдоль направления потока определяется относительным масштабом среднего человека в кадре.

Только активную область обрабатывают далее, и остальную часть кадра отбрасывают. Важная задача предварительной обработки состоит в том, чтобы нормализовать необработанные входные видеоданные относительно фона. Фон в этом контексте должен быть определен как часть изображения, которое соответствует объектам на сцене, которые являются физически статичными в течение длительного периода времени. Передний план, наоборот, соответствует частям изображения, которые представляют физически движущиеся части. Для сегментирования каждого кадра как такового строят модели вариаций пикселя, ассоциированные как с передним планом, так и с фоном. Поскольку фон определен его низкой скоростью изменения, модель 64 фона аппроксимируют, по существу, применением временного фильтра низкой частоты к статистическим данным, ассоциированным с входными видеоданными. Модель переднего плана построена в результате анализа статистики областей изображения, не достаточно описанных фоновой моделью. Такой процесс нормализации называется удалением фона. В конечном итоге он пытается назначить для каждого пикселя входного кадра вероятность того, что он представляет собой часть переднего плана (движущийся объект).

Для упрощения расчетов каждый входной пиксель рассматривают независимо, каждый пиксель, в свою очередь, имеет набор каналов, ассоциированных с ним. Вариацию в этих каналах моделируют, используя многовариантное распределение Гаусса. Такой выбор слабо мотивирован повсеместным использованием распределения Гаусса из-за центральной предельной теоремы, но в большей степени тем фактом, что распределение Гаусса может быть подогнано к входным данным путем простого расчета их среднего значения и разброса. Многомерное распределение Гаусса d-мерной случайной переменной x со средним значением µ и ковариантностью Σ состоит в следующем:

$$G_{\mu ,\Sigma }=\frac{1}{\sqrt{{(2\pi )}^d\left|\Sigma \right|}}\exp \left[-\frac{1}{2}{(x-\mu )}^T{\Sigma }^{-1}(x-\mu )\right]$$

Часто логарифм распределения является более удобным для расчетов:

$$\ln \left(G_{p,\Sigma }\left(\Delta \right)\right)=-\frac{1}{2}\left[d\ln (2\pi )+Ln\left|\Sigma \right|+{\Delta }^T{\Sigma }^{-1}\Delta \right]$$

где Δ=x-µ

Каждый пиксель представлен d-мерным вектором х каналов пикселей. В настоящее время используются четыре канала, яркость и два значения цветности из цветового пространства YUV, а также как производную по времени яркости. Передний план пикселя и условные распределения фона заданы следующим образом:

$$P\left(x|x\in S_{bg}\right)=G_{{\mu }_{bg},{\Sigma }_{bg}}(x)$$ , $$P\left(x|x\in S_{fg}\right)=G_{{\mu }_{fg},{\Sigma }_{fg}}(x)$$

где S_fg и $$S_{bg}=S_{fg}^C$$ представляют набор возможных x, которые соответствуют переднему плану и фону, соответственно, и {µ_bg, Σ_bg} и {µ_fg, Σ_fg} соответствуют среднему значению и ковариантности, ассоциированным с передним планом и фоном, соответственно. Для поддержания компактных размеров этой производной нижние индексы fg и bg, которые обозначают два распределения, должны быть исключены из уравнений, что справедливо как для моделей переднего плана, так и фона.

Для упрощения расчетов предполагается, что каналы пикселей являются независимыми. Таким образом, Е принимается диагональной и, таким образом, распределения Гаусса могут быть выражены следующим образом

$$\ln \left[G_{\mu ,\Sigma }\left(x\right)\right]=-\frac{1}{2}\left[d\ln (2\pi )+{\displaystyle \sum _{i=1}^d\left(\frac{{(x_i-{\mu }_i)}^2}{{\sigma }_i^2}+\ln \left({\sigma }_i^2\right)\right)}\right]$$

где $${\sigma }_i^2$$ соответствует диагональным элементам Σ и x_i и µ_i представляют собой элементы x и µ соответственно для i=1…d. Учитывая приведенные выше вероятности для двух классов P(x∈S_fg)≡γ_fg, P(x∈S_bg)≡γ_bg условные распределения могут быть преобразованы в объединенные распределения:

P(x, x∈S)=P(x∈S)P(x|x∈S)≡p(x)

Следует отметить, что первые ограничены γ_fg+γ_bg=1, поскольку пиксель принадлежит либо переднему плану, либо фону.

Конечная цель представляет собой апостериорную вероятность вероятность того, что заданный пиксель представляет собой часть переднего плана. Это может быть рассчитано в соответствии с теоремой Байеса следующим образом:

$$z_{fg}(x)=\frac{P_{fg}(x)}{P_{bg}(x)+P_{fg}(x)}=1-z_{bg}(x)$$

Что касается логарифмических форм распределения, которые лучше представляют фактический способ расчета, они могут быть выражены следующим образом:

$$L(x)=\ln p(x)=\ln \gamma -\frac{1}{2}\left[d\ln (2\pi )+{\displaystyle \sum _{i=1}^d\left(\frac{{(x_i-{\mu }_i)}^2}{{\sigma }_i^2}+\ln \left({\sigma }_i^2\right)\right)}\right]$$

$$z_{fg}(x)={\left(1+\frac{P_{fg}(x)}{P_{bg}(x)}\right)}^{-1}=\frac{1}{1+\exp (L_{fg}(x)-L_{bg}(x))}$$

Параметры этих распределений {µ_bg, Σ_bg} и {µ_fg, Σ_fg} адаптируются с течением времени так, чтобы они отслеживали изменения яркости и изменения фона. Среднее значение µ_bg фона моделируют для каждого пикселя, однако расхождения Σ_fb, Σ_bg и среднее значение µ_bg переднего плана являются глобальными и являются общими для всех пикселей в изображении. Такой выбор был сделан для снижения сложности расчетов, но также и для поддержания большей стабильности расчетов изменений путем усреднения статистических данных по всему кадру.

На фиг.13 показан типичный пример распределений, ассоциированных с каналом пикселя. Апостериорная вероятность, как 1, где передний план доминирует, но снижается почти до 0 в случае, когда доминирует фон. Параметры модели пикселя постепенно обновляют после каждого кадра, чтобы отслеживать медленные изменения в статистических параметрах, связанные с вариацией общего освещения или добавлением к фону. Параметры модели обновляют аналогично низкочастотному фильтру IIR первого порядка с бесконечной импульсной характеристикой. Учитывая, что текущие параметры θ_i, новые параметры θ_i+1 определяют следующим образом:

$${\theta }_{i+1}=\frac{{\theta }_i+\lambda \widehat{\theta }}{1+\lambda }$$

где λ представляет собой скорость адаптации и $$\widehat{\theta }$$ представляет собой вектор параметров, полученных путем подгонки модели к данным текущего кадра. Среднее значение и изменение переднего плана и фона аппроксимируют как взвешенные первый и второй моменты значений канала пикселя. Веса пикселя зависят от их ассоциированных вероятностей. Вероятность переднего плана используется при расчетах параметров модели переднего плана и вероятности заднего плана для параметров заднего плана. Намного более медленную скорость адаптации используют для расчета изменений, поскольку это требует большей степени свободы и, таким образом, больше данных необходимо для надежного ее определения. Нелинейность добавляют к этому линейному подходу, делая λ зависимой от вероятностей пикселя переднего плана и заднего плана. Это выполнено путем обновления вариантности в результате модулирования λ на фракцию пикселей переднего плана в текущем кадре. Таким образом, вариантности изменяются только, когда существует активность в пределах кадра. Это предотвращает искусственное уменьшение вариантности в течение длительных периодов отсутствия активности. Это также имеет смысл в случае, когда имеются заинтересованность только в различении переднего плана и фона в моменты активности в пределах кадра.

После нормализации входных видеоданных в форму, которая независима от фона и освещения, видеоданные разделяют на управляемые части. Это выполняют путем дискретизации с уменьшением частоты нормализованных видеоданных в структуры с последующим сегментированием этих структур по времени для формирования событий.

Структуры выделяют в позиции 72 для каждого кадра непосредственно из его изображения вероятности переднего плана. Структуру просто строят путем усреднения вероятности переднего плана с зонами 24.1-24.n сетки или массива, размещенными на этой области. Как показано на фиг.2 и 5, сетки имеют четыре деления в направлении потока. Количество делений в поперечном направлении зависит от физической ширины активной области. Соотношение размеров зон поддерживают постоянным, однако их масштаб согласуют со средним относительным размером человека в кадре. Таким образом, из каждого кадра получают структуру, которая может быть представлена матрицей, элементы которой соответствуют фракции пикселей переднего плана в их ассоциированной зоне.

Матрицы структуры укладывают по времени в стек, получая то, что можно назвать трехмерным тензором, и, как показано на фиг.6 и 11. В позиции 74 на фиг.4 этот поток матриц структуры сегментируют по времени на события, соответствующие периодам активности. Событие инициируют всякий раз, когда сумма элементов матрицы структуры превышает пороговое значение по малому набору последующих кадров. И, наоборот, событие прекращают, когда сумма падает ниже порогового значения в течение набора последовательных кадров. В представлении, показанном на фиг.11, показана каждая зона как куб с размером, пропорциональным значению зоны. Для компактной визуализации этих элементов полезно сплющить трехмерную структуру вдоль направления потока для формирования матрицы, как показано на фиг.7, которая может быть удобно представлена как двумерное изображение, как и в случае фигур 8, 9 и 12. И снова обращаясь к фиг.4, в попытке сделать компактными структуры событий по времени и в некоторой степени нормализовать событие в отношении скорости объекта применяют подход, аналогичный кодированию с переменной длиной строки (RLE) в позиции 76 для событий. Процесс начинается со структуры первого кадра, в качестве прототипа. Кадр затем последовательно сравнивают с прототипом, если кадр плохо представлен прототипом (то есть, различия велики), он затем становится новым прототипом. Такой процесс продолжается до тех пор, пока не будет достигнут конец события. Нормализованное событие строят путем усреднения растяжения между изменениями прототипа в единые структуры. Длину каждого охвата также записывают приложением к каждому вектору прототипа таким образом, что исходные временные параметры не будут потеряны.

Нормализованная мера среднеквадратичного расстояния используется для сравнения структур

$$D(p_0,p_1)=\frac{{\left|p_1-p_0\right|}^2}{{\left|p_1\right|}^2+{\left|p_0\right|}^2+c}$$

где p представляет собой векторы столбца, представляющие структуры, и с представляет собой малую положительную регулирующую константу, которая предотвращает деление на ноль. Для ясности любые события, упомянутые в остальной части этого описания, должны рассматриваться как нормализованные в этом отношении.

Выделение элементов в позиции 80 на фиг.4 обычно включает в себя проецирование из некоторого обычно многомерного входного пространства, ассоциированного с компоновкой 20 входного датчика, на пространство параметра с малым количеством измерений, ассоциированного с моделью объектов, представляющих интерес. В этом случае выделение элементов относится к проецированию структуры событий с переменной длиной в отдельный вектор элемента фиксированной длины.

События, кроме того, раскладывают на области, которые соответствуют общим подэлементам более низкого уровня, таким как один человек, 2 человека, расположенные рядом друг с другом, или человек с тележкой. С этой целью строят модель 82 таких подсобытий. Линейные модели обеспечивают простейший вариант выбора для них, поскольку существуют решения закрытой формы для их построения, такие как анализ главных компонентов (PCA) и линейный дискриминантный анализ (LDA). Хотя эти способы формируют модели, которые компактно и отчетливо представляют подсобытия, они не обеспечивают прямой способ классификации. С этой целью используют модель нормальных распределений Гаусса (GMM) для разделения подпространства, формируемого РСА и LDA, на классы. Модель подсобытий состоит из двух родственных моделей: простой модели поиска, используемой для эффективного поиска (в позиции 84 на фиг.84) подсобытий в пределах события, и модели более сложной классификации, используемой для предварительной или слабой классификации их в позиции 86. Обе эти модели состоят из линейной основы, построенной с использованием LDA и GMM, определенных в подпространстве, охваченном основой. Подсобытия охватывают окно фиксированного размера в пределах более крупного события. В этом случае используют окно размером 6×4×16. Если окно продолжается за пределы размеров события, вместо элементов, вышедших за пределы границы, подставляют нули. Данные, расширенные до подсобытия, выделяемые из этого окна, представляют собой относительное поперечное местоположение окна, а также набор протяженностей, генерируемых сжатием RLE, которое соответствует кадрам окна.

Как отмечено выше, простую модель подсобытия используют для эффективного поиска в позиции 84 действительных подсобытий в пределах события. Такая простая модель пытается найти различия между тремя классами:

Внутрь - подсобытия, которые в среднем направлены в направлении внутрь, как показано в позиции $$\underrightarrow{A}$$ на фиг.2;

Наружу - подсобытия, которые в среднем направлены в направлении наружу, как показано в позиции $$\underrightarrow{B}$$ на фиг.2; и

Ноль - области события, которые не соответствуют движущимся людям.

Примеры для каждого из классов, если проецировать назад в пространство события, показаны в табл.1.

Таблица 1 Простые классы подсобытия ИД 1 2 3 Тип ноль внутрь наружу Экземпляр

На фиг.14 представлены GMM, используемые для различия этих трех классов в пределах подпространства LDM. На графике линии соответствуют линиям изовероятности отдельных Гауссовых компонентов. Следует отметить: что Гауссовы компоненты имеют неограниченные матрицы ковариантности, таким образом, линии изовероятности отображаются на эллипсоидах. Фоновое изображение на графике представляет границы мягкого решения, генерируемые апостериорной вероятностью классов.

Подсобытия находятся в позиции 84 в результате исчерпывающего поиска события по времени и вдоль направления поперечного движения. Трехмерное окно, размер модели подсобытия, перемещают по событию, классифицируя каждую точку как центр подсобытия внутрь, наружу или нулевого подсобытия. В результате получают пару двумерных изображений поиска, как показано на фиг.15, соответствующих направлениям внутрь и наружу. Эти изображения суммируют вместе и сглаживают для получения изображения с хорошо определенными максимумами, как показано на фиг.16. Именно эти максимумы определяют центры подсобытий. Максимумы на фиг.16 обозначены черными пикселями 100 в центре сгустков. Изображения внутрь и наружу используются снова позже при расчете элемента.

После того как центры подсобытия будут найдены, как описано выше, они должны быть слабо классифицированы в позиции 86 на фиг.4. Это выполняют используя более проработанную модель классификации подсобытия. Она является более объемной по расчетам и в большей степени дискриминирующей, но применяется только к уже найденным подсобытиям, а не ко всему событию. Эта модель использует пятимерную основу.

Двенадцать классов подсобытий различают с помощью этой модели. Эти классы сведены в табл.2.

Таблица 2
Классы подсобытий ИД 1 2 3 4 5 6 7 8 9 10 11 12 Люди внутрь 0 1 0 1 0 1 2 0 3 0 2 1 наружу 0 0 1 0 1 1 0 2 0 3 1 2 Тележка внутрь 0 0 0 1 0 0 0 0 0 0 0 0 наружу 0 0 0 0 1 0 0 0 0 0 0 0 Экземпляр

Так же, как и в простой модели, каждый класс моделируют как Гауссов компонент с неограниченной ковариантностью. На фиг.17 показаны первые четыре измерений модели подсобытия.

По оси x на фиг.17 отмечены подсобытия, найденные в примерном событии на фиг.15, причем каждый квадрат помечен в соответствии с округленной версией его классификации модели подсобытия. Соответствующий внешний вид этих подсобытий в пространстве события и их классификация показаны на фиг.18.

Классификация модели подсобытия, похоже, выполнена весьма хорошо в данном случае, поскольку фактический подсчет всего события составляет 4-2. Каждое подсобытие классифицируют, в свою очередь, каждое из которых формирует вектор апостериорных вероятностей, где i-ый элемент соответствует вероятности того, что подсобытие представляет i-ый класс. Эти векторы суммируют по всем подсобытиям для получения вектора z, который формирует часть конечного вектора элемента. Компоненты z приблизительно соответствуют количеству подсобытий каждого класса в пределах события. Если два подсобытия будут найдены близко друг к другу с возможным наложением в их соответствующих окнах, возникает вероятность того, что наложенная информация была подсчитана дважды для каждого подсобытия. Для уменьшения этого после классификации каждого подсобытия результат классификации проецируют обратно на пространство событий и вычитают из исходного события, эффективно помечают эту часть события как подсчитанную. На фиг.19 показано исходное событие и то, что остается после последовательно удаления подсобытий.

Конструкция модели подсобытий требует, чтобы места расположения и метки подсобытий в пределах тренировочных данных были известны. Однако эти данные недоступны, поскольку тренировочные данные не сегментированы до уровня подсобытия, при этом существует только одна метка на событие. Таким образом, итерационный подход используют для построения модели подсобытий. Процесс начинается с исходной модели, построенной на основе предположения одного подсобытия на событие, с центром в центроиде события. Используя эту грубую модель, находят новый набор подсобытий и классифицируют, по которым модель может быть повторно рассчитана, и процесс продолжается, таким образом, до схождения модели.

Вектор f элемента состоит из набора статистических данных по всему событию. Структура вектора элемента может быть представлена в следующем виде:

$$f={\left[\begin{array}{cccccc}{t}_e& t_c& m_{in}^T& m_{out}^T& s& z^T\end{array}\right]}^T$$

где t_e - длительность события в кадрах;

t_c - длительность сжатого события;

m_in - движение изображения поиска внутрь;

m_out - движение изображения поиска наружу;

s - сумма максимальных значений, соответствующих центрам подсобытий;

z - общий суммарный вектор классификации события.

Векторы m_in и m_out момента состоят из моментов 0-й и 2-й степени изображений поиска внутрь и наружу, показанных на фиг.15. Каждый вектор момента имеет 4 измерения в следующей форме:

$$m={\left[\begin{array}{cccc}{m}_{\mathrm{0,0}}& m_{\mathrm{2,0}}& m_{\mathrm{0,2}}& m_{\mathrm{1,1}}\end{array}\right]}^T$$

где, если f_{x, t} представляет элемент изображения в поперечном положении x и в момент времени t,

$$m_{\mathrm{0,0}}={\displaystyle \sum _x{\displaystyle \sum _t{f}_{x,t}}}$$

$$\left[\begin{array}{l}{m}_{\mathrm{1,0}}\\ m_{\mathrm{0,1}}\end{array}\right]=\frac{1}{m_{\mathrm{0,0}}}={\displaystyle \sum _x{\displaystyle \sum _t{f}_{x,t}}}\left[\begin{array}{l}x\\ t\end{array}\right]$$

$$\left[\begin{array}{cc}{m}_{\mathrm{2,0}}& m_{\mathrm{1,1}}\\ m_{\mathrm{1,1}}& m_{\mathrm{0,2}}\end{array}\right]=\frac{1}{m_{\mathrm{0,0}}}={\displaystyle \sum _x{\displaystyle \sum _t{f}_{x,t}}}\left[\begin{array}{l}x\\ t\end{array}\right]\left[\begin{array}{cc}x& t\end{array}\right]-\left[\begin{array}{l}{m}_{\mathrm{1,0}}\\ m_{\mathrm{0,1}}\end{array}\right]\left[\begin{array}{cc}{m}_{\mathrm{1,0}}& m_{\mathrm{0,1}}\end{array}\right]$$

Вектор классификации подсобытия является двенадцатимерным, поскольку существует двенадцать классов подсобытий, векторы момента вкладывают четыре компонента от каждого, и имеется три скалярных величины таким образом, что конечный вектор элемента является двадцатитрехмерным.

И снова, как показано на фиг.4, цель классификации в позиции 90 состоит в том, чтобы выделить конечные величины подсчета "внутрь" и "наружу" из каждого вектора элемента. Отображение между векторами элемента и величину подсчета не требуется строить, что составляет задачу регрессии. Искусственная нейронная сеть 92 используется для воплощения такого отображения. Нейронная сеть изучает такое отображение по большому набору событий с метками путем оптимизации ошибки регрессии. Используется стандартное многоуровневое восприятие (MLP) с одним скрытым уровнем, в котором используются функции активации сигмоида, и выходным уровнем с линейной активацией для регрессии.

Тренировка MLP, по существу, представляет собой задачу оптимизации, которая сводит к минимуму выходную ошибку относительно весов кромки, с этой целью используется алгоритм, схождения сопряженных градиентов. Тренировочные данные принимают форму набора векторов элементов и соответствующих меток подсчета. Однако перед тренировкой элементы отбеливают, нормализуя пространство элементов до единичной ковариантности, улучшая, таким образом, шанс схождения до абсолютного минимума. Нормализующие проекции вновь внедряют в первые веса уровня нейронной сети после ее тренировки.

Следует понимать, что выход нейронной сети можно использовать для подсчета людей, движущихся через область и любом одном из направлений А и В, показанных на фиг.2.

Изобретение относится к области отслеживания объектов. Техническим результатом является повышение точности отслеживания движения объектов. Устройство для отслеживания движения объектов через область отслеживания содержит верхнюю камеру, обнаруживающую присутствие или отсутствие объекта в каждой зоне из множества смежных зон в указанной области по отдельности. Зоны расположены таким образом, что существует по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению. Каждая зона связана с соответствующим зонным индексом. Камера во время работы снимает последовательные по времени изображения объектов, движущихся через область, содержащую измеряемые данные, относящиеся к присутствию или отсутствию объектов в каждой из зон. Процессор соединен с камерой для обработки измеряемых данных и получения многомерной структуры присутствия или отсутствия объектов в зонах, при этом первое измерение представляет собой время, а второе измерение представляет собой зонный индекс. Процессор выполнен с возможностью сегментирования структуры на части структуры, относящиеся к событиям. Устройство содержит классификатор для классификации с учетом данных предыстории частей структуры, относящихся к ожидаемым событиям. 4 н. и 5 з.п. ф-лы, 19 ил., 2 табл.

1. Устройство для отслеживания движения объектов через область отслеживания, содержащее:
измерительную систему, обнаруживающую присутствие или отсутствие объекта в каждой зоне из множества смежных зон в указанной области по отдельности;
причем зоны расположены так, что существуют по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению; и
каждой зоне соответствует индекс зоны;
при этом измерительная система выполнена с возможностью получать последовательные по времени представления объектов, движущихся через указанную область, содержащие измеренные данные, относящиеся к присутствию или отсутствию объектов в каждой из зон;
процессор, соединенный с измерительной системой и обеспечивающий преобразование измеренных данных в многомерную структуру, представляющий присутствие или отсутствие объектов в указанных зонах, при этом первое измерение в многомерной структуре представляет собой время, а второе измерение - индекс зоны;
при этом процессор выполнен с возможностью сегментирования указанной структуры на части структуры, относящиеся к событиям; и
классификатор для классификации частей структуры в соответствии с данными предыстории, относящимися к ожидаемым событиям.

2. Устройство по п.1, в котором измерительная система содержит по меньшей мере одну камеру, которая установлена над областью отслеживания.

3. Устройство по п.1 или 2, в котором измерительная система содержит пару стереокамер, охватывающих область под разными углами.

4. Устройство по п.1 или 2, в котором указанное множество зон образует массив непосредственно смежных зон, при этом каждая зона имеет первое измерение в первом направлении, второе измерение во втором направлении и площадь.

5. Устройство по п.4, в котором измеренные данные содержат параметр, пропорциональный части площади зоны, занятой объектом.

6. Устройство по п.1 или 2, в котором процессор выполнен с возможностью сегментирования структуры вдоль указанного временного измерения в областях структуры, в которых отсутствует активность.

7. Способ отслеживания движения объектов через область отслеживания, содержащий этапы, на которых:
разделяют указанную область на множество зон, причем для каждой зоны устанавливают соответствующий индекс зоны;
зоны располагают таким образом, что существуют по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению;
используют измерительную систему автоматически и последовательно по времени для определения присутствия или отсутствия объектов в каждой из указанных зон по отдельности;
генерируют данные, относящиеся к многомерной структуре присутствия или отсутствия объектов в зонах, при этом первое измерение представляет собой время, а второе измерение - индекс зоны;
сегментируют структуру на части структуры, относящиеся к событиям; и
классифицируют части структуры в соответствии с данными предыстории, относящимися к ожидаемым событиям.

8. Считываемый компьютером носитель информации, содержащий компьютерную программу для отслеживания движения объектов через область отслеживания, причем программа вызывает выполнение этапов, на которых:
принимают от измерительной системы измеренные данные, относящиеся к последовательным по времени представлениям объектов, движущихся через указанную область, причем измеренные данные содержат данные, относящиеся к присутствию или отсутствию объектов в каждой из множества зон, при этом зоны расположены таким образом, что имеется по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению, а каждой зоне соответствует индекс зоны;
генерируют данные, относящиеся к многомерной структуре присутствия или отсутствия объектов в зонах, при этом первое измерение в многомерной структуре представляет собой время, а второе измерение - индекс зоны;
сегментируют указанную структуру на части структуры, относящиеся к событиям; и
классифицируют части структуры в соответствии с данными предыстории, относящимися к ожидаемым событиям, таким образом обеспечивают в качестве выхода величину подсчета объектов, движущихся по меньшей мере в одном направлении через указанную область.

9. Считываемый компьютером носитель информации, содержащий встроенное программное обеспечение, в котором содержится компьютерная программа для отслеживания движения объектов через область отслеживания, программа вызывает выполнение этапов, на которых:
принимают от измерительной системы измеренные данные, относящиеся к последовательным по времени представлениям объектов, движущихся через указанную область, причем измеренные данные содержат данные, относящиеся к присутствию или отсутствию объектов в каждой из множества зон, при этом зоны расположены таким образом, что имеется по меньшей мере два смежных ряда зон в первом направлении и по меньшей мере два смежных ряда зон в направлении, перпендикулярном первому направлению, а каждой зоне соответствует индекс зоны;
генерируют данные, относящиеся к многомерной структуре присутствия или отсутствия объектов в зонах, при этом первое измерение в многомерной структуре представляет собой время, а второе измерение - индекс зоны;
сегментируют указанную структуру на части структуры, относящиеся к событиям; и
классифицируют части структуры в соответствии с данными предыстории, относящимися к ожидаемым событиям, таким образом обеспечивают в качестве выхода величину подсчета объектов, движущихся по меньшей мере в одном направлении через указанную область.