СИСТЕМА И СПОСОБ ОТСЛЕЖИВАНИЯ ОБЪЕКТА Российский патент 2009 года по МПК G06K9/80 G06T7/60 A61B5/117 

Изобретение относится к технике организации видеонаблюдения, а именно к системам и способам автоматического выделения и отслеживания лица человека в зоне наблюдения для биометрической идентификации личности.

В связи с развитием технологий в области обработки сигналов и изображений в режиме реального времени все большее распространение находят сложные компьютерные системы, обеспечивающие возможность видеоконтроля в зоне обзора с автоматическим распознаванием объекта наблюдения. Зоной обзора в большинстве случаев является конкретное пространство, находящееся под контролем интеллектуальной экспертной системы безопасности, которая принимает решения аналогично человеку-охраннику.

Для принятия такой системой решения ей необходимы определенные данные об объекте, которые можно получить за счет отслеживания ключевых признаков объекта. В случае, если таким объектом является человек, наиболее характерные признаки можно получить путем отслеживания его лица. При этом системе приходится иметь дело с нестатическими изображениями или, иначе говоря, с видеопоследовательностью.

Одним из основных элементов процесса отслеживания является определение (предугадывание) позиции объекта, например, лица, в следующем кадре, основанное на предположениях, сделанных по позиции объекта в предыдущем кадре. Отслеживание - это очень быстрая операция по сравнению с выделением и распознаванием, именно поэтому она является ключевым элементом любой системы распознавания, работающей в режиме реального времени в таких приложениях как: распознавание лиц, видеоконференции, наблюдение, интерфейс «человек-машина», виртуальная реальность, зрение роботов.

Одной из попыток решить проблему автоматического отслеживания и распознавания объекта стала система выделения и отслеживания, описанная в опубликованной международной заявке PCT/US 98/15323 (см. публикацию ВОИС WO 99/06940) [1]. Данная система основана на пассивной технике стереозрения. В ней применяют три известных способа выделения изображения, например, лица, основанных на следующих методах анализа изображений: оценка карты глубины изображения, цветовая сегментация изображения и классификация образов на полутоновом изображения. Основной идеей системы является применение комбинации трех независимых методов анализа изображений и принятия решений. Однако наилучшая производительность системы была достигнута в результате применения вышеупомянутых методов в последовательном каскадном режиме.

Основным недостатком вышеупомянутого способа является то, что он относится к категории способов анализа изображений по цвету, в которых тон изображения является доминирующим признаком при принятии решений о детектировании лица человека. Таким образом, данный способ анализа изображения по цвету накладывает большие ограничения на условия освещенности зоны наблюдения и цвет кожи лица человека. Анализ полутонового изображения, проводимый при классификации образов, является второстепенным и существенным образом зависит от шаблона, получаемого в результате цветовой сегментации изображений и стереореконструкции. Другим недостатком способа можно назвать то, что применялся в большей степени холистический, а не локальный подход для определения/отслеживания лица, то есть производился анализ признаков всего изображения целиком, а не анализ его локальных особенностей.

Таким образом, данный способ имеет большие ограничения по точности и эффективности, поскольку способ:

1) является холистическим, то есть рассматривает изображение целиком при больших разрешениях и оперирует глобальными характеристиками изображения;

2) в большой степени является последовательным;

3) малоприменим, поскольку накладываются существенные ограничения на освещенность зоны наблюдения и объект съемки.

Другой способ и устройство выделения и отслеживание лица/головы представлен в опубликованном патенте РФ №2093890 [2]. Данный способ и устройство верифицирует лицо с использованием технологии объемной (3D) реконструкции. Изобретение имеет большие недостатки в вопросах устойчивости и слишком узкий круг приложений, поскольку в данном способе, как и в способе описанного выше аналога, результат процесса выделения и отслеживания зависит существенным образом от цветовой информации, получаемой из изображения.

Наиболее близким к заявленному изобретению является способ, описанный в международной заявке PCT/SE 02/01234 (см. публикацию ВОИС WO 03/003910) [3]. Данный способ точного выделения и отслеживания глаз и лица основан на анализе границ и контуров объектов на изображении, получаемых в результате фильтрации полутонового изображения. Ключевая идея изобретения - интеграция двух устройств детектирования в один: процедуры выделения лица и выделения глаз взаимосвязаны. Таким образом, процесс выделения лица сильно зависит от характеристик изображения глаз на полутоновом изображении. Это ограничение повышает скорость и устойчивость детектирования лица и глаз в одних случаях, но в других случаях (например, при закрытых глазах) не позволяет производить выделение лица вообще.

Другой недостаток такого решения заключается в том, что этот способ пригоден для решения только очень узкой области биометрических задач и не учитывает более сложные ситуации, когда в кадре присутствует множество лиц или случай, когда лицо заслонено другими объектами. Кроме того, описанный способ привязан к определенному фону, освещению и геометрии зоны наблюдения.

Таким образом, способ не может решать задачи выделения и отслеживания при вычислениях в режиме реального времени в сложных ситуациях с зашумленным фоном, перекрытием лиц и быстрым изменением мимики лица человека. Несмотря на отмеченные недостатки, данный способ анализа изображений наиболее близок к заявляемому изобретению и поэтому выбран в качестве прототипа.

Задачей заявленной системы и способа является повышение точности и скорости детектирования и отслеживания лица и черт лица, за счет использования стереореконструкции зоны наблюдения и контурных методов анализа полутоновых изображений. Кроме того, задачей заявленной системы и способа является расширение условий их применения, а именно выделение и отслеживание объектов в условиях, близких к темноте, в условиях зашумленного фона, перекрытия лиц и быстрого изменения мимики лица человека.

Технический результат достигается за счет усовершенствованной процедуры распознавания и отслеживания объекта, в частности, за счет того, что цветовая информация используется только для обеспечения эвристик с целью ускорения сходимости методов отслеживания объектов на полутоновом изображении.

Предлагаемая система включает в себя следующие основные элементы:

- Детектор, который состоит из датчика (например, стереокамеры), процессора (например, цифрового сигнального процессора) и программного обеспечения для выделения и отслеживания лица;

- Сенсорный датчик (например, стереокамера), который получает поток данных о зоне наблюдения и передает его на модули и блоки устройств, реализованных на одном или нескольких процессоров (например, цифровых сигнальных процессорах), обрабатывающих приходящий поток данных;

- Осветительный прибор (например, матрица диодов) для работы в условиях малой освещенности.

Одним из основных отличительных признаков системы является то, что она работает в режиме реального времени и оптимизирована для любого разрешения, процесс распознавания может осуществляться без привлечения информации о цвете, что позволяет успешно использовать недорогие камеры с низким разрешением. С другой стороны, предложенный способ использует метод оценки карты глубины изображения совместно с контурными методами анализа полутоновых изображений, что позволяет значительно расширить зону видеонаблюдения.

Благодаря представленному способу 3D стереореконструкции, совмещенной с 2D техникой контурных методов анализа полутоновых изображений, система может эффективно выделять лица, которые частично перекрыты другими объектами. Подобная интеграция двух способов детектирования делает систему многоцелевой и пригодной для реальных приложений, в которых фон сильно зашумлен или задан сложный сценарий съемки.

Для явного и эффективного представления системы биометрического детектирования/отслеживания разработан вид архитектуры биометрической системы распознавания, который позволяет эффективно распараллеливать процесс отслеживания. Более того, основная отличительная особенность состоит в том, что модуль слежения распараллеливается за счет использования независимо трех типов слежения за точками, областями и графом, а также модуля координации указанных типов слежения.

С одной стороны, данный способ распараллеливания процесса слежения позволяет улучшить работу и обеспечить детектирование в реальном масштабе времени быстро движущихся объектов, например, в случае быстрой смены ракурсы человеком. С другой стороны, данный способ обеспечивает устойчивость к блочному (перекрытие объектов) и точечному шуму в видеопоследовательности. Если человек закрывает лицо руками, устойчивое отслеживание по точкам проводиться не может, и система переключается в режим устойчивого слежения по областям и структуре графа лица человека. В случае значительного ухудшения работы системы или сбоев консистентности областей в графе лица производится новая стереореконструкция.

В данном изобретении были применены подходы, основанные на таких данных об изображении, как: глубина, интенсивность областей, свойства контуров и границ, при этом был выявлен оптимальный (компромиссный вариант между точностью и производительностью) гибридный метод, использующий все эти свойства изображения в определенной последовательности и конфигурации. В данном методе применяются три типа двухмерного отслеживания с методом оценки карты глубины, более того, используются методы локального выделения признаков, инвариантные к освещенности, что позволяет вычислить пространственные углы между локальными точками и оценить ракурс лица человека.

Как уже отмечалось, большинство известных систем определения и отслеживания лица человека имеют строгие ограничения в использовании, низкую точность, производительность и узкий диапазон получения спектра сигнала при различной освещенности. В отличие от этих систем, данная система стереоотслеживания лица человека обладает следующими свойствами:

(а) работает в режиме обнаружения одного лица и более;

(б) отделяет лица от сложного фона;

(с) остается работоспособной при большом скоплении людей;

(д) обеспечивает высокий уровень устойчивости и целостности за счет применения интеллектуального модуля устройства слежения за лицом человека;

(е) имеет высокую производительность обработки в режиме реального времени;

(ж) поддерживает широкий диапазон частот сигнала для работы в условиях различной освещенности.

Сущность предлагаемого способа обнаружения и отслеживания множества лиц человека в зоне наблюдения заключается в использовании гибридной параллельной архитектурой системы обнаружения/отслеживания/распознавания лица человека и сборе информации, относящейся к глубине, цвету, яркости полутона, границам и контурам, структуре графа лица в соответствии с ракурсом, движением и симметрией лица.

Предлагаемый способ предусматривает использование, по крайней мере, двух идентичных сенсоров, например видеокамер (далее стереокамера), которые разнесены в пространстве с заранее определенной ориентацией. Двухмерные распределения в пространстве интенсивности светового излучения от стереокамер (далее стереоизображения) передаются на процессоры, например, цифровые сигнальные процессоры, работающие на разных частотах и проводящие анализ и обработку данных изображения от стереокамеры.

Архитектура системы, реализующей предлагаемый способ, представлена тремя главными модулями:

1) модуль детектирования трехмерных объектов/головы человека;

2) модуль быстрого детектирования и отслеживания лица;

3) модуль распознавания лица человека.

Такая архитектура реализуется, например, с использованием трех параллельных процессоров, на каждом из которых решаются следующие задачи компьютерного зрения: первичный захват объекта, его отслеживание и распознавание. Однако наиболее существенным отличием предлагаемого способа от прототипа [3] является распараллеливание структуры второго модуля и проведение независимого слежения за разными типами объектов на различных частотах слежения:

F₁ - частота для отслеживание точек;

F₂ - частота для отслеживание области;

F₃ - частота для отслеживание графа лица.

Стратегия выбора приоритета частот работы процессов слежения является, в большинстве случаев, фиксированной, или задается динамически согласно целевым функциям. Например, динамической выбор частот слежения может быть обусловлен биометрическими характеристиками приложения (компромисс между устойчивостью и производительностью, компромисс между ошибкой 1-го и 2-го рода), или зависеть от критерия качества целостности модели лица. Фиксированная установка приоритета частот позволяет проводить, например, следующую стратегию:

- с высокой частотой - для быстрого детектирования исходных точек и их отслеживания на лице,

- со средней частотой - для определения областей лица и их отслеживания на области лица,

- с низкой частотой - для детектирования и отслеживания структуры графа лица.

Основные этапы и процессы обработки стерео изображения:

В самом начале изображения подвергают предварительной обработке локальным медианным фильтром для снижения воздействия точечных помех. Затем в работу включают три основных модуля. Такой способ организации архитектуры биометрической системы обеспечивает очень высокий уровень устойчивости и работы.

С помощью модуля детектирования трехмерных объектов выполняют два главных процесса:

- трехмерную реконструкция зоны наблюдения;

- детектирование головы.

Для обеспечения устойчивости системы к незнакомому фону и перекрытым лицам производят первоначальную трехмерную реконструкцию зоны наблюдения в сочетании с цветовой и полутоновой сегментацией. Если система не идентифицирует трехмерный объект на экране с высокой степенью уверенности, то трехмерное распределение элементов фона сохраняют для дальнейшего сравнения. Детектирование головы выполняют через локализацию элементов трехмерного объекта в пространстве - обнаружением соответствующих точек, по которым осуществляют сравнение с заранее определенным трехмерным распределением элементов фона, то есть выполняют сравнение измеренного трехмерного распределения элементов с заранее определенным трехмерным распределение фона. Если эта разница больше, чем заранее определенная величина, то выделяют определенный геометрический размер и возможное очертание человека в зоне изменений.

С помощью модуля быстрого детектирования лица и отслеживания выполняют

- оценку движения;

- определение основных черт лица и нормализацию (начальное определение области лица человека, локальное детектирование точек на области лица, детектирование областей черт лица, детектирование ракурса графа лица);

- сегментацию изображения (пирамида изображений, регион интереса);

- отслеживание точек, области лица (глаз, брови, нос, рот, подбородок), графа;

- оценку углов между точками, областями, графами;

- оценку ракурса человека в соответствии с вычисленными углами;

- семантический анализ лица, при этом лицо должно быть достаточно целостным и соответствовать метрике лица.

В процессе работы системы с помощью первого модуля выполняют сравнение текущего стереоизображения с предыдущими стереоизображениями в видеопотоке и определяют их различия, например, формируя двухмерное поле скоростей при помощи второго модуля.

В случае положительного детектирования тела человека производят более детальную оценку расположения элементов объекта в пространстве методом поиска соответствующих точек на двух и более стереоизображений при помощи первого модуля.

С помощью модуля распознавания лица человека осуществляют:

- нормализацию лица человека в соответствии с метрикой трехмерной модели лица,

- построение трехмерной модели лица человека, идентификацию и верификацию лица.

Предлагаемый способ и система поясняются чертежами.

На Фиг.1 представлена схема взаимодействия различных элементов всей системы и отдельных устройств детектирования, слежения и распознавания.

На Фиг.2 показаны два положения камеры для захвата видеосигнала и результат трансформации сигнала в стереоизображение.

На Фиг.3 приведен пример предобработки стереоизображения (результат локальной нормализации интенсивности).

На Фиг.4 приведен пример 3D реконструкции по стереопаре изображений и выделения головы.

На Фиг.5 приведен результат холистического детектирования черт по стереопаре изображений - локальные черты лица и области лица, выраженные в качестве глаз, бровей, носа и рта.

На Фиг.6 приведен результат сегментированной карты черт лица, благодаря которой возможно проведение локального детектирования черт по стереопаре изображений - локальные черты лица и области лица, выраженные в качестве глаз, бровей, носа и рта.

На Фиг.7 приведен пример отслеживания точек на стереопаре изображений.

На Фиг.8 приведен пример отслеживания локальных черт лица на стереопаре изображений.

На Фиг.9 приведен пример отслеживания графа лица на стереопаре изображений.

Способ реализуется с помощью описанной далее системы следующим образом:

Видеосигналы от двух видеокамер (стереокамеры) или множества камер подают на вход блока 1 преобразования сигналов. С помощью блока 1 осуществляют все операции, связанные с приемом сигналов, переданных от стереокамеры (Фиг.2), и трансформацией их в изображения, а также, в случае нескольких камер, проводят необходимую синхронизацию сигналов. Для захвата изображений целесообразно использовать два различных положения камеры (вертикальное и горизонтальное) (Фиг.2). Выбор положения камеры зависит от конкретного применения данного устройства и определяется согласно ограничениям на геометрические и световые условия проведения съемки. Горизонтальное положение камеры увеличивает угол горизонтального обзора камеры, вертикальное положение камеры предоставляет пользователю дополнительные удобства при позиционировании лица по высоте. (Фиг.2.)

Далее изображения подают в блок 2 предобработки, с помощью которого производят локальную нормализацию освещения (Фиг.3) и удаление помех из изображения. В случае обнаружения объекта (шаг 3 на Фиг.1), качественные нормализованные пары изображений подают на вход модуля быстрого детектирования и отслеживания лица (далее упоминается как модуль 7). Предлагаемый способ предполагает, что первоначально производят детектирование движения в зоне обнаружения быстрыми 2D методами анализа оптических потоков, реализованными в блоке 8 сегментации-координации детектировании и слежения за лицом/позицией и блоке 11 детектирования и отслеживания точек интереса (оба блока принадлежат модулю 7).

После обнаружения изменений в зоне наблюдения, в случае невысокой консистентности детектирования (шаг 10 на Фиг.1), генерируют сигнал для блока 3D реконструкции (далее упоминается как блок 5) модуля 4, являющегося модулем детектирования 3D объектов. Далее, с учетом данных о дисторсии объектива камеры и смещении оптических осей, производят стереореконструкцию по стереопаре изображений, в результате которой восстанавливают рельеф зоны наблюдения и строят карту глубины, характеризующую удаленность объектов от камеры.

Восстановление карты глубины производят путем вычисления диспаратности. Диспаратность, в данном случае, - это расстояние между двумя соответствующими объектами на левом и правом изображении (Фиг.4). На полученной карте глубины идентифицируют с помощью блока 6 выделения объекта-головы те объекты, которые по форме имеют очертания головы. Подобные данные об объектах-кандидатах из модуля 4 заносят в 3D модель лица (см. 18 на Фиг.1), и затем управление передают всецело модулю 7 быстрого детектирования и отслеживания лица.

Модель 18 лица представляет собой универсальный набор (карт черт) двухмерных изображений лица, а также 3D метрики лица (множество точек и расстояний между ними), который реализуется как разделяемый ресурс для всех параллельных модулей и трех параллельных блоков слежения (блоки 11, 12, 13).

После проведения первичной оценки изображения головы человека при помощи трехмерной реконструкции работают только быстрые методы двухмерного холистического детектирования, которые заполняют модель 18 лица объектами-кандидатами для дальнейшего слежения.

С помощью блока 8 на основе хранящейся в модели 18 лица информации о положении головы выполняют построение пирамиды изображения, сегментирование, производят выбор области интереса под различные алгоритмы детектирования и слежения. Пирамида изображений подразумевает выбор определенной последовательности разрешений для дальнейшего анализа изображений. Сегментация изображений подразумевает процесс кластеризации изображения согласно различным признакам по цвету, глубине, интенсивности пикселов, в результате проведения сегментации выбирают только информативные участки изображений.

Далее с помощью блока 8 осуществляют управление процессом детектирования и отслеживания областей, нормализуют поступающие данные от различных и блоков детектирования и отслеживания к однородному виду и обновляют параметры модели 18 лица в соответствии с новой информацией.

На каждой итерации блок 8 производит оценку уровня консистентности. Уровень консистентности модели 18 лица - это свойство, характеризующее качество антропометрического расположения и соответствия локальных черт лица, а также точность их детектирования. В случае высокого уровня консистентности генерируется сигнал для блока 9, определяющего ракурс модели 18 лица. В случае низкого уровня консистентности (целостности модели 18 лица) генерируется сигнал модулю 4 для проведения новой стереореконструции. В том случае если блок 9 успешно производит оценку ракурса лица, блок 8 производит оценку репрезентативности модели 18 лица. Уровень репрезентативности модели 18 лица - это свойство, характеризующее качество представительности найденного ракурса для последующего слежения или распознавания. В случае если уровень репрезентативности модели 18 лица высокий (например, в результате быстрого смены ракурса лица появился новый представительный ракурс важный для идентификации), то формируют (шаг 14) сигнал для модуля 15 распознавания лица, и управление в дальнейшем осуществляют с помощью модуля 15.

После сегментации изображений по областям интереса, а также выбора определенного разрешения для областей интереса запускают три процесса детектирования объектов (точки, области и граф). В соответствии с исходными параметрами системы и информацией о целостности текущей модели 18 лица применяют заранее определенную стратегию, устанавливающую приоритет и частоту (количество кадров в секунду) для каждого процесса слежения. Высокая эффективность достигается, когда каждый блок слежения (блоки 11, 12, 13) реализуется независимо на каждом процессоре, например, на цифровом сигнальном процессоре. Также выбирают режим детектирования или слежения для каждого из процессов.

Для большей точности детектирования черт и более высокого уровня целостности черт используют комбинация двух подходов к детектированию черт - холистического и локального.

Блок 11 детектирования/отслеживания точек интереса в режиме детектирования производит холистическое детектирование черт по стереопаре изображений - локальные черты лица и области лица, выраженные в качестве глаз, бровей, носа и рта. Метод основан на применении горизонтальных и вертикальных проекций и использовании антропометрических характеристик лица (см. Фиг.5).

Блок 11 в режиме слежения выполняет только быстрое отслеживание точек с использованием быстрого метода анализа оптического потока (см. Фиг.7).

Блок 12 детектирования/отслеживания областей интереса в режиме детектирования выполняет первичное детектирование с использованием вейвлет-преобразования изображения по Габору, проводит сегментацию и устанавливает правила детектирования на основе свойств геометрических форм каждой из областей, расположения области на лице, и холистической информации об изображении, получаемой методом проекций (Фиг.6). Блок 12 в режиме слежения адаптирует параметры детектируемого режима к более быстрому режиму. Это означает, что для процесса детектирования больше не нужен адаптивный метод сегментирования, поэтому открывается возможность произвольно устанавливать область интереса, предоставлять таблицу индексов, и выбирать только главные информативные карты черт лица (Фиг.8). Таким образом, что для быстрого детектирования области лица осуществляют два типа независимого анализа изображений стереопары: анализ изображений в целом с помощью горизонтальных и вертикальных проекций гистограммы яркости и анализ локально-частотных свойств изображения в результате вейвлет преобразования изображения.

Блок 13 детектирования/отслеживания графа лица в режиме детектирования выполняет первоначальное детектирование на основе применения архитектуры согласования динамических связей (метод сравнения жесткого и эластичного графа) для предобработанных черт лица. Данный блок 13 в режиме отслеживания выполняет более эффективно трехмерное отслеживание структуры черт лица, установленных при помощи графа, в то время как (блоки 11 и 12) выполняют только двумерное отслеживание контуров изображения. Здесь каждая черта лица в заранее определенном ракурсе представлена при помощи графа, и целью данного блока является предсказание деформации граф на следующем кадре. Эта задача реализуется на основе использовании методов классификации образов, например, используя нейронные сети, или за счет применения архитектуры динамической связей (Фиг.9).

В случае высокой степени консистентности модели 18 лица в блоке 9 проводят вычисление углов ориентации головы, а именно наклон, кивок, поворот. Для этого используют координаты найденного геометрического центра головы и координаты отслеживаемых черт лица, полученные по текущему кадру и предыдущим кадрам. Вычисление углов поворота, кивка, наклона головы производят в пространстве при помощи сравнения полученных данных с шаблоном. Когда обнаружены координаты положения черт на левых и правых изображениях, двухмерные координаты переводят в трехмерные координаты. Полученная информация позволяет провести оценку ракурса лица человека. Для оценки ракурса лица используются информация, содержащаяся в модели 18 лица. Уточненные параметры ракурса записывают в модель 18 лица и производят уточнение графа лица.

В случае выявления репрезентативной и уникальной в смысле распознавания пары изображений управление передают на модуль 15 распознавания, который производит геометрическую нормализацию модели 18 согласно однородным требованиям алгоритмов распознавания и подает их на сравнение с эталонами, характеризующими биометрические характеристики верифицируемого или идентифицируемого пользователя.

Блок 17 выполняет геометрическую нормализацию - согласование размеров, ракурсов, световых вариаций текстуры изображения лица к однородным требованиям.

Блок 16 осуществляет процесс распознавания лица для прикладных задач. Этот блок выполняет сравнение нормализованной модели 18 лица с эталонами моделей лица, которые могут отличаться между собой по ракурсу и удаленностью от камеры. Эталоны лица соответствуют определенному пользователю, и им сопоставлен определенный идентификатор пользователя. Распознавание проводят по модели сравнения 1 к 1 - верификация, или модели сравнения 1 к N -идентификация.

Промышленное применение данного устройства может быть различным в зависимости от его свойств и конструкции. В связи с растущим спросом на интеллектуальные системы безопасности данная система стереодетектирования и наблюдения может быть использована в качестве интеллектуальной системы наблюдения за лицом в офисах, банках, магазинах, частных домах, промышленных зданиях и других замкнутых пространствах для предоставления услуги интеллектуального видеонаблюдения.

Изобретение относится к технике организации видеонаблюдения, а именно к системам и способам автоматического выделения и отслеживания лица человека для биометрической идентификации личности. Техническим результатом является повышение точности и скорости детектирования и отслеживания лица человека, а также расширение области применения. В способе определяют наличие человека в зоне наблюдения с помощью двух и более разнесенных видеокамер с заранее известным их расположением; определяют положение головы в зоне наблюдения, используя априорные данные о геометрических размерах; выделяют область лица и положение элементов, таких как брови, глаза, нос, рот, на найденном лице; производят одновременное слежение за тремя типами объектов (точка, область, граф) на лице; на основе априорных и найденных данных реконструируют 3D модель лица; в случае достаточной полноты и целостности информативных признаков полученной 3D модели лица проводят расчет углов, определяющих ориентацию головы в пространстве; в случае, если найденный ракурс является достаточно представительным и отличается от ракурсов на предыдущих кадрах, производят распознавание лица на основе наиболее репрезентативных кадров изображения. Система реализует указанный способ. 2 н. и 9 з.п. ф-лы, 9 ил.

1. Способ детектирования, отслеживания и определения ракурса лица человека в зоне наблюдения, состоящий в том, что определяют наличие человека в зоне наблюдения с помощью стереоскопической системы, состоящей, по меньшей мере, из двух сенсоров с заранее определенным расположением; определяют положение головы в зоне наблюдения, используя априорные данные о геометрических размерах и определенном способе позиционирования лица человека; выделяют область лица и положение таких элементов, как брови, глаза, нос, рот на найденном лице; производят одновременное слежение за тремя типами объектов на лице, а именно точки, области и множество упорядоченных связных областей или точек, образующих в совокупности граф лица; на основе априорных и найденных данных реконструируют трехмерную модель лица; в случае достаточной полноты и целостности информативных признаков полученной трехмерной модели лица проводят расчет углов, определяющих ориентацию головы в пространстве; в случае, если найденный ракурс является достаточно представительным и отличается от ракурсов на предыдущих кадрах, то производят распознавание лица на основе наиболее репрезентативных кадров изображения.

2. Способ по п.1, отличающийся тем, что детектирование изображения головы человека и ее удаленности от видеокамеры производят на основе трехмерной стереореконструкции зоны наблюдения и формирования объектов - кандидатов, соответствующих по форме голове человека.

3. Способ по п.1, отличающийся тем, что быстрое детектирование области лица осуществляют за счет проведения двух типов независимого анализа изображений стереопары, а именно анализа изображений в целом с помощью горизонтальных и вертикальных проекций гистограммы яркости и анализ локально-частотных свойств изображения в результате вейвлет преобразования изображения.

4. Способ по п.1, отличающийся тем, что устойчивость детектирования и слежения обеспечивают за счет выполнения сегментации области лица по совокупности признаков и точной локализации точки и области интереса, при этом структуру графа лица определяют на основе априорных данных о лице, ракурсах и способе позиционирования.

5. Способ по п.1, отличающийся тем, что осуществляют координацию и контроль потоков слежения за тремя типами геометрических объектов, а именно точки, области, граф, где подачу кадров изображений в каждый поток слежения производят на различной частоте, а именно медленной, средней, быстрой.

6. Способ по п.1, отличающийся тем, что для контроля за тремя типами слежения используют блок распределений заданий, выполненный с возможностью установления приоритета и частоты работы потоков слежения, а также определенного целевого порядка выполнения задач слежения, где порядок и стратегия планирования работы блока распределения заданий выбирают, исходя из целевых установок биометрической системы, таких как точность, скорость, надежность, и ограничений на видеосъемку, таких как размер зоны обнаружения, световые ограничения, наличие сложных фонов, наличие перекрывающихся лиц, способ позиционирования лица перед камерой.

7. Способ по п.1, отличающийся тем, что осуществляют оценку геометрического центра трехмерной модели лица на основе стереореконструкции и привлечения информации об отслеживаемых чертах лица, таких как точки, области, граф.

8. Способ по п.1, отличающийся тем, что для определения ракурса и вычисления углов ориентации головы используют координаты найденного геометрического центра головы и координаты отслеживаемых черт лица, полученные по текущему и предыдущим кадрам.

9. Способ по п.1, отличающийся тем, что для обеспечения слежения за объектами в плохо освещенных условиях производят автоматическую адаптацию параметров метода, не использующего информацию о цвете и основанного на градиентной фильтрации и вейвлет преобразовании полутоновых изображений с последующим восстановлением карты глубины изображения.

10. Способ по п.1, отличающийся тем, что распознавание лица производят по выборке наиболее представительных ракурсов, определяемых ограничениями на углы ориентации лица.

11. Система отслеживания объекта в зоне наблюдения, включающая в себя модуль детектирования трехмерных объектов, содержащий, по крайней мере, два идентичных сенсора, разнесенных в пространстве с заранее определенной ориентацией и подключенных к блоку преобразования сигнала, выход которого подключен к входу блока предобработки и нормализации преобразованного сигнала, выход которого подключен к входу модуля быстрого детектирования и отслеживания лица человека, при этом такой модуль включает в себя блок детектора и координатора черт объекта, соединенного быстрыми каналами с параллельными независимыми блоками слежения, а именно с блоком слежения за точками интереса, блоком слежения за областями интереса, блоком слежения за структурой графа лица, причем каждый из этих блоков выполнен с возможностью доступа на чтение и запись к разделяемому блоку данных трехмерной модели лица, а также с блоком оценки ракурса, при этом модуль быстрого детектирования и отслеживания лица человека соединен с входом модуля распознавания лица человека.