СПОСОБ И СИСТЕМА АВТОМАТИЧЕСКОЙ ПРОВЕРКИ ПРИСУТСТВИЯ ЛИЦА ЖИВОГО ЧЕЛОВЕКА В БИОМЕТРИЧЕСКИХ СИСТЕМАХ БЕЗОПАСНОСТИ Российский патент 2008 года по МПК G06T7/00 G06K9/78 G10L15/00 G10L17/00 

Заявляемое изобретение относится к системам безопасности и контроля и может быть использовано в проектировании автоматических систем управления доступом пользователей в охраняемые области: помещения, здания и т.п.

Современные системы контроля доступа используют биометрическую информацию о человеке для идентификации зарегистрированных пользователей и запрещения доступа несанкционированным пользователям.

Одной из особенностей развития современного общества является возрастающая потребность в ограничении доступа к различным объектам, например, офисам, складам, банкоматам, военным объектам. Это связано с необходимостью обеспечения безопасности данных объектов, предотвращения краж интеллектуальной собственности и товаров.

Широко применяемые ранее охранные системы, основанные на присутствии человека, например охранника, на входе в охраняемую зону, или использующие системы видеонаблюдения, данные с которых также анализируются человеком, становятся дорогостоящими и не обеспечивают необходимую степень надежности. Именно в связи с указанными недостатками во многих государственных и частных организациях широкое распространение получили системы, основанные на идентификационных магнитных и смарт-картах. Карта содержит информацию, идентифицирующую использующего ее пользователя. Сканер, находящийся на входе в охраняемое помещение, считывает данную информацию и принимает решение о предоставлении пользователю доступа в помещение. Существенным недостатком таких систем является возможность использования карты злоумышленником, например, он может ее украсть.

Биометрические системы являются одним из наиболее перспективных решений, лишенных указанных недостатков. Такие системы основываются на анализе биометрической информации о пользователе: черт лица, голосе, жестах, отпечатках пальцев и т.п. Биометрические параметры пользователя, автоматически считанные системой, сравниваются с шаблонами, хранящимися в базе данных. Если один из шаблонов соответствует полученным данным, то пользователь считается идентифицированным и ему разрешается доступ.

Современные биометрические системы основываются на анализе следующих биометрических параметров человека: лица, голоса, радужки глаз, жестов. Другие типы параметров либо не обеспечивают достаточную точность идентификации пользователя или требуют контакта со считывающим устройством (как в случае с отпечатками пальцев).

Вместе с тем существующим биометрическим системам присущ ряд недостатков, допускающих возможность несанкционированного доступа в охраняемую область.

Известны решения, предлагающие алгоритмы и системы контроля, основанные на анализе двумерных изображений лица человека (см. опубликованные патенты США №6,633,655[1] и №6,681,032 [2]). Данные системы используют видеокамеры для захвата изображений лица, реализуют выделение областей лица и вычисляют их характеристики, которые сравниваются с шаблонами, хранящимися в базе данных. Такие системы обрабатывают 2D модели лица человека и тем самым позволяют получить несанкционированный доступ путем предоставления видеокамерам фотографии зарегистрированного пользователя.

В других известных решениях (см. патент США №6,002,782 [3] и опубликованную заявку РФ №2001122361 [4]) предлагаются методы, основанные на построении трехмерной модели лица человека, и следовательно, исключают использование фотографий для получения несанкционированного доступа. Уязвимой особенностью таких систем является возможность получения злоумышленником доступа к охраняемому объекту путем применения 3D муляжа.

В патентах США №6,567,775 [5] и №6,219,640 [6] и в опубликованной заявке РФ №2003110435 [7] предлагаются алгоритмы, объединяющие в себе анализ видеоизображений и соответствующих им аудиоданных. Одновременное использование аудио- и видеоинформации позволяет повысить точность проводимой идентификации и, следовательно, уменьшить вероятность несанкционированного проникновения в охраняемое помещение. Однако предложенные методы не исключают проникновения в охраняемую область злоумышленников, сопровождающих зарегистрированного пользователя, идентифицированного системой.

Наиболее близким к заявляемому является решение, описанное в патенте США №6,498,970 [8], который предлагает метод и реализующую его систему идентификации пользователя с использованием лица, голоса и жестов с целью управления доступом к автомобилю. На первом этапе выполняется анализ 2D изображения лица человека, захваченного камерой системы. Полученные данные сравниваются с шаблонами из базы данных, и принимается решение о предоставлении доступа к автомобилю. Дальнейшее взаимодействие с автомобилем осуществляется при помощи голоса и жестов. Система производит сравнение каждой подаваемой команды с шаблонами из базы данных и предоставляет доступ к запрашиваемой функции только при положительном результате проведенного сравнения. Основным недостатком известного решения [8] является его чрезмерная усложненность и жесткая зависимость от жестикуляции, хотя жестикуляция одного и того же человека может меняться в широких пределах при различном самочувствии.

Задачей, на решение которой направлено заявляемое изобретение, является создание механизмов, способных с высокой степенью надежности детектировать попытки несанкционированного доступа к объекту.

Технический результат достигается за счет того, что в качестве основного механизма используют выявление лица живого человека и детектирование несанкционированных пользователей, присутствующих рядом с зарегистрированным пользователем.

Предложенный метод позволяет решать следующие задачи:

- автоматический сбор информации о трехмерных изображениях, речевых сигналах и кинестетических сигналов, характеризующих зону наблюдения;

- выполнение быстрого обнаружения, слежения, обобщения информации о трехмерных объектах, находящихся в зоне наблюдения;

- распознавание трехмерного объекта на предмет принадлежности лица живому человеку в зоне интереса с помощью измерения статических и динамических характеристик трехмерной модели лица, которые содержат информацию о признаках лица, его движении, а также о степени интерактивного взаимодействия пользователя с аппаратурой;

- обнаружение муляжа головы;

- выявление активных (взаимодействующих с системой) пользователей на основе обобщения результатов обнаружения лица живого человека в зонах интереса;

- выявление пассивных (не взаимодействующих с системой) пользователей с помощью скрытой съемки всех объектов, присутствующих в сцене;

- идентификация личности по физическим и поведенческим характеристикам лица человека;

- идентификация ситуации загруженности каналов в системе контроля доступа, работающей как система массового обслуживания;

- идентификация типов криминальной ситуации за счет анализа действий обнаруженных активных и пассивных пользователей и принятия решения о типе ситуации в зоне наблюдения в соответствии с приложением.

Основными отличительными свойствами предлагаемого метода являются:

1) введение дополнительной защиты от опознания муляжа головы;

2) идентификация пользователя по физическим и поведенческим биометрическим характеристикам лица;

3) распознавания активных с системой пользователей по интерактивному сценарию и скрытое наблюдение за пассивными пользователями;

4) распознавания типа ситуации и выявление криминальной ситуации в зоне наблюдения, идентификация ситуации загруженности каналов системы контроля доступа.

Техническая реализация заявляемого способа включает осуществление следующих операций:

а. получение трехмерного изображения при помощи использования трехмерных сенсоров, среди которых, по крайней мере, один сенсор взаимодействует непосредственно с пользователем, а несколько других могут быть использованы для скрытого наблюдения за пользователем и окружающими его объектами;

b. определение зон интереса путем применения метода проекций трехмерных и двумерных изображений и анализа элементов изображений целиком, построения карт черт по вероятности;

с. применение быстрых методов обнаружения лица в трех различных режимах, а именно: обнаружение, слежение, обобщение, а также применение преобразования обнаруженного трехмерного объекта к первой нормализованной форме лица;

d. применение точных методов детекции локальных элементов лица и приведение первой нормализованной формы лица ко второй, третьей и четвертой формам, т.е. антропометрический граф, поверхность, текстура;

е. быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики

f. - подпись головы.

Таким образом, формируется многоцелевая гибкая работа системы, которая, в зависимости от параметризации биометрической задачи и приложения, например, точность, производительность и другие ограничения, осуществляет несколько режимов, в том числе:

- режим распознавания трехмерного объекта лица живого человека;

- режим идентификации лица;

- режим обнаружения активных и пассивных пользователей;

- режим обнаружения ситуации загруженности каналов системы контроля доступа, работающей как система массового обслуживания;

- режим обнаружения криминальной ситуации.

Высокая производительность данного метода достигается путем использования методов слежения за трехмерным объектом, приведенным к первой нормализованной форме лица, при этом применяют быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики - подпись мимикой лица. Высокая точность и скорость работы метода достигается путем использования точных методов детекции локальных черт и представления лица в трех различных нормализованных формах, т.е. второй, третьей, четвертой. Помимо этого, используют быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики фонемная подпись, получаемой как результат выполнения пользователем команд системы. Последовательность команд выбирается случайным образом, что обеспечивает защиту системы от муляжа. Команды пользователю могут быть сигналом к его действию, где действия могут носить визуальный, аудиальный или кинестетический характер (действие по позиционированию себя перед камерой, произнесение фразы, действия над предметами). Дополнительно применяют быстрый метод измерения и сравнения с шаблоном поведенческой биометрической характеристики - фонемно-мимической подписи, получаемой как результат выполнения пользователем команд системы, и быстрый метод обнаружения активных и пассивных лиц за счет обобщения информации о лице в каждой из зон интереса. При этом применяют метод классификации ситуации по типу, идентификацию криминальной ситуации в зоне наблюдения и ситуации загруженности каналов обработки в системе контроля доступа, в случае ее применения в качестве системы массового обслуживания.

Основные преимущества заявляемого изобретения заключаются в следующих факторах:

1. устойчивость биометрической системы к внешним объектам, таким, например, как очки, борода, маска, что достигается путем использования нескольких трехмерных сенсоров, нескольких типов представлений лица, и применения процедур детекции и обобщения лиц по различным ракурсам;

2. защита биометрической системы распознавания от трехмерного муляжа за счет анализа движений трехмерного объекта, а также его частей в соответствии с интерактивными действиями пользователя, например, визуальными, аудиальными, кинестетическими, на определенный набор команд системы и сравнения соответствующих типов статических, в частности, холистическая модель, антропометрические точки, поверхность лица, текстура, и динамических подписей лица, т.е. голос, голова, мимика, фонемы, фонемо-мимическая;

3. защита биометрической системы распознавания от управляемого муляжа-голограммы, что достигается благодаря использованию набора интерактивных команд, поступающих из блока генератора команд (СУБД) на дисплей системы и принуждающих пользователя к выполнению механических, т.е. кинестетических, действий над материальным объектом, находящимся в зоне обнаружения, например, поднять предмет, нажать кнопку;

4. распознавание активных по отношению к системе пользователей, взаимодействующих с системой, за счет применения интерактивного сценария работы с различными типами сенсоров;

5. распознавание пассивных пользователей, не контактирующих с аппаратурой, за счет скрытого наблюдения;

6. распознавание ситуации загруженности каналов системах контроля доступа (как системы массового обслуживания) для улучшения пропускной способности работы биометрической системы;

7. распознавание криминальной ситуации и защита биометрической системы распознавания от несанкционированного доступа в случае проникновения зарегистрированного пользователя с несанкционированными пользователями или опасными объектами, что достигается путем скрытого обнаружения присутствия всех возможных пользователей или определенных типов объектов рядом с головой живого человека;

8. использование статических и динамических подписей как физических, так и поведенческих биометрических характеристик для распознавания лица.

Заявляемое изобретение включает в себя способ и систему автоматической проверки, является ли трехмерный объект в зоне обнаружения лицом живого человека.

Предлагаемый способ и система поясняются иллюстрациями на фиг.1-8, на которых, в частности, приведен возможный внешний вид системы:

на фиг.1 представлена схема взаимодействия различных элементов всей системы и отдельных устройств обнаружения, нормализации, распознавания, принятия решений;

на фиг.2 приведен пример визуального сообщения пользователя, т.е. позиционирования, в соответствии с визуальными командами;

на фиг.3 приведен пример аудиального сообщения пользователя в соответствии с командами;

фиг.4 дает пример детектирования интерактивного и пассивного пользователя через скрытое наблюдение;

фиг.5 дает пример первой нормализованной формы лица, т.е. холистическая модель лица;

на фиг.6 приведен пример второй нормализованной формы лица, т.е. антропометричекий граф лица;

фиг.7 дает пример третьей нормализованной формы лица, т.е. цветовая сегментация текстуры трехмерхного изображения лица;

фиг.8 иллюстрирует пример четвертой нормализованной формы лица, т.е. модель поверхностей.

Данная система скомпонована из следующих элементов: - система обнаружения трехмерных объектов и проверки их на предмет принадлежности лица живому человеку в биометрических системах, состоящая из:

1) блока активных сенсоров, включающего в себя сенсоры трехмерных изображений, стереомикрофон, кинестетический сенсор, например клавиатура, планшет, и дисплей, которые размещаются на сцене для непосредственной интерактивной работы с пользователем; при этом блок активных сенсоров представляет собой набор датчиков для ввода информации различного типа, в частности, трехмерного изображения, аудиосигнала, кинестетического сигнала, о зоне наблюдения; для ввода трехмерного изображения могут использовать активные камеры со структурированной подсветкой или пассивные стереоскопические системы;

2) блока пассивных сенсоров, включающего в себя сенсоры трехмерных изображений, которые размещаются на сцене для скрытого наблюдения за пользователями;

3) блока захвата и предобработки сигналов изображения, голоса или кинестетического сигнала;

4) блока памяти для записи кадров трехмерных изображений;

5) устройства обнаружения трехмерного объекта и первичной нормализации, состоящего из блоков захвата зоны интереса, детектирования, слежения, обобщения, которые могут быть реализованы на отдельных процессорах, и блока разделяемой памяти, в которую записывается и с которой считывается информация о лицеподобном трехмерном объекте, приведенная к первой нормализованной форме лица;

6) устройства нормализации форм трехмерного объекта, состоящего из блоков нормализации трехмерного объекта, блока антропометрического анализа, анализа текстуры, анализа поверхностей и блока разделяемой памяти, в которую записывается и с которой считывается информация о лицеподобном трехмерном объекте, приведенная ко второй, третьей и четвертой нормализованным формам лица, и блока генерации статической подписи;

7) устройства нормализации движения трехмерного объекта, состоящего из блоков распознавания движения головы, распознавания мимики лица, распознавания фонем, синхронизации фонем и мимики лица, распознавания кинестетических сигналов и блоков разделяемой памяти, в которую записывается и считывается информация о подписи головы, о голосовой подписи, мимической подписи, фонемно-мимической подписи, кинестетической подписи;

8) устройства принятия решений, состоящего из системы управления базой данных, состоящей из команд, эталонов подписей, метрик сравнения, оценок распознавания, базы данных, состоящей из команд, эталонов подписей, метрик сравнения, оценок распознавания лица, блока принятий решений о распознавании принадлежности лица живому человеку в каждой из зон интереса, блока подсчета активных и пассивных лиц, блока идентификации лица, блока распознавания криминальной ситуации.

- стереокамеры, представляющие собой две или более камеры, выполняющие роль оптических датчиков, разнесенные на определенное расстояние и скалиброванные относительно друг друга; при этом сбор аудиосигналов от пользователя осуществляют путем использования стереомикрофона, производящего захват сигнала по двум каналам, что позволяет производить дополнительную очистку сигнала от шума, а сбор кинестетических сигналов от пользователя осуществляют путем использования клавиатуры или любого другого сенсора, которые требуют физического контакта с аппаратурой.

В качестве простейшей конфигурации системы для защиты от муляжа-голограммы производят только детектирование сигнала превосходящего определенный порог. Для более качественной защиты от управляемой голограммы целесообразно использовать устройство, измеряющее вес или рост пользователя, устройство, измеряющее подпись человека ручкой, устройство, считывающее пин-код, набираемый на клавиатуре. В качестве сенсора для захвата аудиосигнала может быть использован такой микрофон или стереомикрофон, который позволяет дополнительно производить очистку шумов. Данный блок размещают в непосредственной близости от пользователя, проходящего биометрический контроль, с целью интерактивной работы пользователя с системой. Активный пользователь получает команды от системы при помощи дисплея, на который выводят интерактивные сообщения пользователю произвести действия визуального например, "спозиционировать лицо и взгляд в камеру", аудиального, например, "сказать что-либо", и кинестетического характера, например, "выполнить механическое действие". Сценарий работы пользователя с системой может быть фиксирован или его выбирают некоторым случайным образом с целью дополнительной защиты системы от муляжа. Пример активного сценария работы приведен на фиг.2 и фиг.3.

Блок пассивных сенсоров представляет собой набор трехмерных сенсоров для ввода трехмерного изображения.

Количество и взаимную ориентацию сенсоров выбирают таким образом, чтобы обеспечить съемку всего периметра зоны наблюдения. В частности некоторые активные сенсоры трехмерных изображений могут работать в режиме поиска пассивных пользователей. В качестве минимальной конфигурации системы активных и пассивных сенсоров - выбирают один трехмерный сенсор, работающий в двух режимах поиска активных и пассивных пользователей.

Блоки захвата и предобработки сигналов изображения, голоса и кинестетического сигнала проводят захват сигнала, очистку сигнала от шумов и препроцессинг сигнала, в частности, для локальной нормализации яркости, в удобное представление сигнала для методов распознавания.

В блоках буферной памяти хранят поступающие от сенсоров трехмерных изображений кадры трехмерных изображений, а также информация об областях интереса в зоне наблюдения.

Блок захвата зоны интереса выполняет оценку зоны наблюдения и определяет множество зон интереса. Для этого с помощью блока осуществляют следующие шаги:

1) проводят стереореконструкцию всей зоны наблюдения, т.е. строят карту диспаратности, характеризующую удаленность объектов наблюдения от камеры, что является основной характеристикой трехмерного изображения;

2) строят проекции трехмерного изображения по направлениям, т.е. выбирают двумерные изображения;

3) проводят фильтрацию изображения, например используют градиентные низкочастотные фильтры, фильтры Габора, цветовую сегментацию;

4) далее процедурами анализа изображения целиком, т.е. холистически, определяют глобальные характеристики области интереса, такие как преобладание тона лица, трехмерного объекта, горизонтальных и вертикальных границ лица, наличие кластеров локальных черт лица или лица целиком. Процедурами анализа изображения целиком могут быть, например, методы проекций и методы сопоставления шаблонов. На фиг.5-7 показан пример стереореконструкции, цветовой сегментации, преобразования по Габору;

5) по оценкам характеристик трехмерного изображения на данном и предыдущем кадре принимают решение о важности зоны интереса и устанавливают приоритет.

В блоке детектирования производят анализ карт черт следующим образом:

1) специфицируют пирамиду двумерных изображений на основе полученной вычисленной карты диспаратности;

2) разделяют трехмерную информацию на два множества: множество проекций - двумерных изображений и множество карт диспаратности; во множестве двумерных изображений дополнительно выделяют информация о цвете, то есть выделяют три множества карт черт, отвечающих за репрезентативность и информативность модели лица. По этой информации в дальнейшем строят нормализованные формы;

3) выбирают карту черт изображений, в частности цветовую карту, карту Габора, карту диспаратности;

4) проводят кластеризацию признаков по яркости, тону или диспартатности, по размерам регионов интереса, используя, в частности, метод К-средних, нейронные сети Кохонен или радиально-базисные сети;

5) выделяют связные компоненты и локальные объекты;

6) на основе геометрии лица анализируют расположение локальных черт и находят лицо.

При формировании решения о детекции лица используют, по крайней мере, одно из трех представлений моделей лица:

a) представление с помощью локальных черт, объединенных в кластеры черт: брови и глаза; ноздри, усы, рот, подбородок; щеки и нос;

b) представление с помощью цветовой сегментации;

c) представление с помощью анализа карты диспаратности - анализа выпуклости множества соответственных точек, в ряде источников именуемых «точками соответствия».

С помощью блока слежения в зоне интереса увеличивают скорость работы блока детекции за счет использования информации о предыдущем кадре и движении объекта. Для этого выполняют следующую последовательность шагов:

1) выделяют набор опорных точек представления лица в одной из трех форм, характеризующих лицо на уже найденном кадре трехмерного изображения;

2) анализируют оптический поток множества точек и вычисляют параметры движения;

3) на следующем кадре ищут наиболее вероятную соответственную точку в локальной окрестности опорной точки;

4) проверяют консистентность точек - в случае если объект обнаружен с низкой степенью уверенности, запускают процедуры из блока детекции.

С помощью блока обобщения повышают точность работы блока детекции за счет использования множества кадров трехмерных изображений следующим образом:

1) выделяют набор опорных точек представления лица в одной из трех форм, характеризующих лицо на уже найденном кадре трехмерного изображения;

2) анализируют оптический поток множества точек трехмерных изображений, построенный по серии из нескольких кадров;

3) ненайденные точки и точки, найденные с низкой вероятностью, уточняют процедурами реконструкции и проверки нормализованного лица на консистентность и информативность.

Лицеподобный трехмерный объект представляет собой разделяемую память, с которой работает процесс обнаружения лица на каждом кадре. Данные о трехмерном изображении и лице хранят в первой нормализованной форме лица. В первой нормализованной форме описывается:

1) целостная холистическая информация о лице, в частности центр тяжести головы, размеры трехмерного объекта;

2) представление лица в виде набора кластеров черт, например лицо как набор из трех кластеров «глаза/брови», «ноздри/усы/губы/ подбородок», «щеки/нос».

3) представление лица в виде трехмерного объекта, характеризуемого картой диспаратности;

4) представление лица в виде цветовой карты, определяющей тон кожи лица.

Устройство распознавания и нормализации статических форм трехмерного объекта состоит из:

- группы блоков проверки статических элементов трехмерного объекта на предмет присутствия лица живого человека в зоне обнаружения. На вход устройство получает трехмерный объект, находящийся в первой нормальной форме, далее объект последовательно уточняется тремя различными представлениями лица, а именно граф антропометрических черт объекта, текстура объекта, поверхности объекта, и приводится соответственно ко второй, третий и четвертой нормализованной формы лица.

Нормализованные формы отличаются по степени точности, надежности и скорости построения. По полученным нормализованным формам строят статическую подпись лица, которая в зависимости от параметров приложения, например веса важности, степени редукции, может использоваться в качестве биометрической характеристики для определения лица живого человека или идентификации личности по лицу. Другим применением нормализованных форм является их использование для построения различных моделей движения лица и генерации по ним динамической подписи лица, которая включает в себя голосовую подпись, подпись головы, мимическую подпись, фонемно-мимическую подпись, кинестетическую подпись.

С помощью блока антропометрического анализа осуществляют следующие действия:

1) построение эвристических шаблонов в зоне интереса, например, по цветовой сегментации;

2) выбор пирамиды изображений в соответствии с удаленностью объекта от камеры, т.н. карта диспаратности;

3) построение множества двумерных изображений по проекциям трехмерного изображения в соответствии с пирамидой изображения;

4) фильтрацию по градиентным фильтрам и фильтрам Габора в зависимости от выбранного направления проектирования трехмерного изображения и пирамиды изображений;

5) построение репрезентативных и информативных карт для лица и локальных черт;

6) кластеризацию черт на текущем кадре, в результате которой нормализуется яркость изображения локальных черт;

7) идентификацию объекта лица на основе экспертных эвристических правил;

8) уточнение всех антропометрических черт лица точными алгоритмами обнаружения черт, в частности методами активных и деформируемых шаблонов;

9) обнаружение соответственных точек по картам черт, уточняется карта диспаратности и антропометрические черты лица верифицируется сопоставлением с уточненной картой диспаратности;

10) верификацию модели лица на консистентность с помощью вычисления трехмерных координат и расстояний для антропометрических точек;

11) реконструкцию модели лица в виде трехмерного графа;

12) нормализацию трехмерного графа и построение второй нормализованной форму.

Во второй нормализованной форме описывается следующая информация:

1) двумерная информация о лице в виде множества антропометрических точек и расстояний, определяемых методами криминалистической идентификации;

2) трехмерная информация о локальных чертах;

3) набор графов лица в разных ракурсах.

В блоке анализа текстуры осуществляют:

1) построение множества двумерных изображений по проекциям трехмерного изображения;

2) представление изображений в модель HSB из RGB и выделение первой компоненты тона (hue);

3) пороговую фильтрацию или цветовую сегментацию (например, цветовую сегментацию по методу К-средних);

4) выбор связных компонент по тону и обнаружение локальных объектов;

5) приведение модели лица в третью нормализованную форму.

В третьей нормализованной форме описывается следующая информация:

1) локальные признаки поверхностей по цветовым комбинациям;

2) перепады тона и яркостей.

Одно из главных предназначений блока анализа текстуры - получение эвристик для ускорения процесса детектирования черт лица.

В блоке анализа поверхностей осуществляют:

1) построение подмножества карты диспаратности, где соответственные точки найдены с низкой вероятностью, на этих подмножествах с помощью метода проекции строят двумерные изображения, уточняют соответственные точки, производят реконструкцию и сглаживание трехмерных поверхностей;

2) выделение базисных опорных поверхностей лица и трехмерных элементов лица, соответствующим неподвижной части лица;

3) построение трехмерных объектов на поверхности лица;

4) нахождение признаков трехмерного объекта (интегральные характеристики, характеристик по уровням поверхностей, выпуклости);

5) приведение модели лица в четвертую нормализованную форму;

6) в случае наличия внешних объектов (очки, шляпа, усы) уточнение четвертой нормализованной формы на основе второй и третьей.

В четвертой нормализованной форме описывается:

1) тип трехмерной формы и ее признаки;

2) тип линий уровня и ее признаки;

3) выпуклость поверхности и ее признаки.

В блоке редукции признаков производят выбор наиболее важных для приложения признаков, то есть осуществляют процедуру редукции признаков всех нормализованных форм, определяют выборку и устанавливают веса важности признаков в данной выборки. Данные параметры подбирают в зависимости от биометрического приложения: идентификация лица, обнаружение лица живого человека и муляжа, поиск активных/пассивных пользователей, распознавание криминальной ситуации.

Устройство распознавания и нормализации динамических форм трехмерного объекта состоит из группы блоков распознавания звука, распознавания кинестетического сигнала, и распознавания движения элементов трехмерного объекта на предмет присутствия лица живого человека в зоне обнаружения. Для распознавания движения используется одна из нормализованных форм лица. Движение трехмерного объекта последовательно уточняется путем применения процедур нормализации и построения подписей: речевая подпись, подпись головы, мимическая подпись, фонемно-мимическая и кинестетическая подпись.

С помощью блока распознавания движения головы производят следующие шаги:

1) выбор точек слежения на трехмерном объекте, для этого используют первую нормализованную форму лица и такие признаки, как центр тяжести головы, опорные точки лица, характеризующие неподвижные части лица;

2) слежение за объектами - построение траектории движения центра головы и траектории движения плоскости лица, характеризующей фокусировку и взгляд лица, где траектория движения строится как адекватный результат интерактивной работы пользователя с системой в соответствии со случайным сценарием;

3) дискретизация траектории по главным компонентам и выбор основных состояний, где тип состояния определяется типом ракурса головы, то есть пространственной ориентацией головы;

4) построение графа переходов одного состояния лица в другое;

5) уточнение параметров движения, такие как скорость, ускорение;

6) построение подписи головы, которая представляет собой набор состояний и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

В блоке распознавания фонем производят следующие шаги:

1) устранение в сигнале шумов;

2) сегментация сигнала по участкам интереса;

3) дискретизация сигнала;

4) распознавание фонем за счет извлечения локально-частотных свойств сигнала;

5) уточнение параметров речи, таких как интенсивность, громкость, темп, интонация;

6) построение речевой подписи, которая представляет собой набор состояний и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

В блоке распознавания кинестетических сигналов осуществляют:

1) детектирование сигнала о контакте пользователя с аппаратурой;

2) фильтрацию сигнала по порогу;

3) принятие решения о муляже-голограмме или детектировании активного пользователя лице.

С помощью блока распознавания мимики лица производят следующие шаги:

1) выбор локальных объектов на трехмерном объекте, для этого используют нормализованные формы лица №2, №3, №4 и такие элементы головы как брови, глаза, губы, челюсть;

2) слежение за трехмерными локальными объектами - строят траектории движения локальных объектов, где траектория движения представляет собой адекватный результат интерактивной работы пользователя с системой в соответствии со случайным сценарием;

3) дискретизация траектории по главным компонентам и выбор основных состояний, где типы состояний определяют, например, следующим образом:

a) брови подняты/опущены вверх;

b) глаз широко открыт/опущенно веко/закрыт;

c) рот (открыт/закрыт/растянут в улыбку);

d) челюсть поджата/опущена/скошена влево/вправо/выдвинута вперед;

4) построение графа переходов одного состояния лица в другое;

5) уточнение параметров движения, такие как скорость, ускорение;

6) построение траектории изменения мимики, где каждое мимическое состояние определяют состояниями и переходами локальных черт, таких как брови, глаз, рот, челюсть;

7) дискретизация траектории по главным компонентам и выбор основных состояний мимики;

8) построение мимической подписи, которая представляет собой набор состояний мимики и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

С помощью блока синхронизации фонем и мимики лица

1) строят пересечение множеств мимических состояний с множеством фонемных состояний;

2) выбирают наиболее вероятные переходы состояний;

3) строят фонемно-мимическую подпись, которая представляет собой набор состояний фонем и мимики и переходов в соответствии с шаблоном сценария и может быть реализована с помощью графа, конечного автомата, скрытых марковских моделей и др.

В блоке редукции признаков производят выбор наиболее важных для приложения динамических подписей, то есть осуществляют процедуру редукции подписей, определяют выборку и устанавливают веса важности подписей в данной выборке. Данные параметры подбирают в зависимости от биометрического приложения: идентификация лица, обнаружение лица и муляжа, поиск активных/пассивных пользователей, распознавание криминальной ситуации или ситуации загруженности каналов системы контроля доступа.

Устройство принятия решений состоит из следующих блоков: базы данных команд и эталонов, системы управления базой данных, блока распознавания лица живого человека, блока подсчета активных и пассивных лиц, блока идентификации лица, блока идентификации ситуации.

База данных представляет собой таблицы, в которых размещают информацию о типе приложения, сценарии команд, команды пользователю, хранимые эталоны подписей лица, регистрируемые шаблоны биометрических характеристик, шаблоны ситуаций, метрики сравнения.

С помощью системы управления базой данных производят формирование таблиц, выборку данных по запросу, выборку метрик сравнений, производят сравнение подписей с эталонами и формируют решение в зависимости от типа приложения.

В блоке распознавания принадлежности лица живому человеку сравнивают распознанные статические и динамические подписи лица с эталонными, производят обобщенную оценку о присутствии лица в данной зоне интереса и, в зависимости от результатов, формируют решение о принадлежности лица живому пользователя.

В блоке подсчета активных/пассивных лица производят обобщение информации о зоне наблюдения по всем зонам интереса, уточняют результаты распознавания принадлежности лица живому человеку, определяя тип пользователя активный или пассивный, также идентифицируют наличие муляжей в зоне наблюдения, например двумерный муляж, трехмерный муляж, голограмма.

С помощью блока идентификации лица измеряют физические и поведенческие биометрические характеристики и сравнивают с эталонами.

С помощью блока идентификации ситуации классифицируют ситуацию по ее типу в зависимости от количества активных и пассивных лиц, результатов распознавания принадлежности лица живому человеку и геометрического положения лиц в пространстве зоны наблюдения. В простейшем случае оценивают степень криминальности ситуации и в соответствии с порогом определяют криминальная ситуация или нормальная. Принятие решения о ситуации в зоне наблюдения может также осуществляться за счет анализа изменений в текущей ситуации - изменений в количестве активных и пассивных лиц в зоне обнаружения. Подобный блок актуален в случае применения данной системы для идентификации пробок и загруженности каналов в системах контроля доступа, в данном случае системах массового обслуживания. С помощью данного блока обеспечивается возможность регулирования пропускной способности биометрической системы распознавания.

Устройства 1, 2, 3, 4 (схема 1) могут быть реализованы независимо на отдельном процессоре, например, цифровом сигнальном процессоре.

Предпочтительным вариантом реализации системы является ее внедрение в другие охранные системы безопасности, в том числе и биометрические, с целью повышения надежности системы с помощью технологий: защиты от муляжа, дополнительной защиты от несанкционированного доступа, активного слежения за интерактивным пользователем и скрытое наблюдение за пассивными пользователями, обнаружения криминальных ситуаций и ситуаций загруженности каналов в зоне наблюдения.

Область применения этой технологии главным образом ориентирована на дополнительную защиту биометрической системы безопасности при решении следующих задач:

- задачи различения лица живого человека и лицеподобного муляжа (минимизирует ошибку детектирования не живых лиц), а именно:

1) защита системы безопасности от двумерных муляжей лица, например, фотографий. Данная задача решается путем использования трехмерных сенсоров;

2) защита системы безопасности от трехмерных муляжей лица. Данная задача решается путем использования генератора команд, чтобы придать действиям пользователя непредсказуемый и интерактивный характер, т.е. использование псевдослучайного сценария;

3) защита системы безопасности от трехмерных голограмм, т.е. от неактивного пользователя. Данная задача решается путем использования других типов сенсоров, измеряющих не визуальные, аудиальные сигналы от пользователя, а, например, непосредственный кинестетический контакт с клавиатурой или другими предметами, термограмма и др.

- задачи распознавания типа ситуации в зоне наблюдения:

1. распознавание криминальной ситуации в биометрических системах контроля доступа системах машинного зрения и зрения роботов, системах видеонаблюдения, в системах человеко-машинный интерфейс.

Криминальная ситуация идентифицируется в следующих случаях:

- если помимо активного пользователя, взаимодействующего с биометрической системой контроля доступа, система распознает пассивных пользователей в зоне наблюдения. Например, пользователь снимает деньги в банкомате, а двое других несанкционированных пользователей находятся позади него);

- в случае распознавания системой у активного пользователя опасных объектов, например, оружия;

- если в зоне наблюдения биометрической системы не обнаруживается предписанного числа лиц, например, для доступа к банковскому сейфу требуется два охранника.

2. Распознавание ситуации перегуженности каналов в системах контроля доступа и массового обслуживания:

- распознавание ситуации столпотворения пользователей. Подобное распознавание важно проводить для улучшения пропускной способности системы контроля доступа. Особенно данный показатель важен, если система контроля доступа работает как система массового обслуживания пользователей. В таких задачах важна гибкая автоматическая регулировка ошибок false-acceptance rate (FAR) и false-rejection rate FRR биометрической системы.

Задача идентификации пользователя:

Метод позволяет повысить показатели точности (минимизировать уровень ошибки false-acceptance rate) и производительности системы контроля доступа за счет интеграции других типов биометрических характеристик, а именно:

1. Статической подписи лица;

2. Динамической подписи движения головы, которая представляет собой траекторию движения трехмерного объекта, приведенного к первой нормализованной форме лица;

3. Динамической мимической подписи, которая представляет собой конечный автомат, в котором состояния идентифицируются по нормализованным формам лица №2-4, а переходы представляют собой траектории движении лица;

4. Динамической фонемной подписи, которая строится за счет распознавания определенного алфавита фонем;

5. Динамической фонемно-мимической подписи, которая является объединением фонемной и мимической подписей.

Необходимо отметить, что система может использоваться не только для защиты охранных систем контроля доступа, но и в следующих приложениях:

1) интеллектуальное видеонаблюдение - система производит запись зоны наблюдения и распознает криминальную ситуацию в ситуациях столпотворения. Например, производится съемка улицы, при этом предполагается, что система производит качественный захват лиц, пассивных относительно аппаратуры пользователей. Возможен следующий случай: допустим, если на улице к одному человеку подходят еще двое, то инициируется сигнал о возможной криминальной ситуации;

2) человеко-машинный интерфейс. Например, человек с физическими недостатками (инвалид) может интерактивно работать с компьютером, управляя им с помощью движения головы;

3) зрение роботов;

4) видеоконференции;

5) компьютерная анимация и игры.

Система в самом упрощенном варианте реализуется при наличии сенсоров трехмерных изображений, микрофона и платы устройств, в состав которой входит, по крайней мере, один сигнальный процессор.

Изобретение относится к системам безопасности и контроля. Его использование позволяет получить технический результат в виде повышения надежности и скорости в детектировании попытки несанкционированного доступа к объекту. Это достигается за счет того, что в качестве основного механизма используют выявление лица живого человека и детектирование несанкционированных пользователей, присутствующих рядом с зарегистрированным пользователем. В изобретении используются методы слежения за трехмерным объектом, приведенным к первой нормализованной форме лица, при этом применяют быстрый метод измерения и сравнения мимики лица с шаблоном, а также методы детекции локальных черт и представления лица в трех различных нормализованных формах. Помимо этого, используют быстрый метод измерения и сравнения с шаблоном такой поведенческой биометрической характеристики как фонемная подпись, получаемая в результате выполнения пользователем команд системы. 2 н. и 22 з.п. ф-лы, 8 ил.

1. Способ автоматической проверки присутствия лица живого человека в биометрических системах, состоящий из следующих операций:

осуществляют дистанционный сбор трехмерных данных изображения, характеризующих зону наблюдения, который основывается на использовании трехмерного сенсора, в виде стереоскопической системы, состоящей из двух и более оптических датчиков с заранее известным расположением;

осуществляют дистанционный сбор звуковых сигналов о зоне наблюдения, при этом для получения сигнала используют стереомикрофон;

осуществляют сбор данных об активном пользователе по результатам интерактивного режима работы пользователя с системой по сценарию, который включает визуальные, аудиальные, кинестетические действия пользователя и задается некоторым случайным образом;

осуществляют сбор данных о пассивном пользователе по результатам скрытого обнаружения трехмерных объектов другими сенсорами;

осуществляют захват зон интереса внутри зоны наблюдения на основе анализа глобальных характеристик изображений;

осуществляют трехмерное детектирование элементов объекта в каждой из захваченных зон, применяя последовательное уточнение характерных особенностей человека;

осуществляют слежение за обнаруженными элементами черт объекта на последующем трехмерном изображении;

осуществляют обобщение черт объекта на основе последовательности трехмерных изображений;

осуществляют приведение изображения трехмерного объекта к первой нормализованной форме лица, имеющей только глобальные характеристики;

проводят проверку статических элементов трехмерного объекта на предмет присутствия лица в зоне наблюдения, в процессе которой трехмерный объект, находящийся в первой нормализованной форме, последовательно уточняется по меньшей мере одним из трех различных представлений лица, а именно графом антропометрических черт объекта, текстурой объекта, текстурой поверхности объекта, которые соответствуют второй, третьей и четвертой нормализованным формам представления лица;

проводят проверку динамических характеристик трехмерного объекта, таких как звук и параметры движения элементов объекта, приведенного к одной из четырех нормализованных форм представления лица, с целью определения того, является ли данный объект лицом живого человека, при этом движение трехмерного объекта последовательно уточняется применением процедур нормализации и построения подписей, а именно речевой подписи, подписи головы, мимической подписи, фонемно-мимической и кинестетической подписи;

проводят обнаружение лица живого человека на основе анализа статической и динамической подписей в каждой зоне интереса, анализа результатов от выбранных зон интереса, представляющих собой множество активных и скрытых зон интереса, подсчета количества лиц и принятия решения о ситуации в зоне наблюдения.

построение и анализ карты диспаратности, характеризующей удаленность объектов наблюдения от камеры,

выполнение процедур цветовой сегментации и фильтрации по набору фильтров Габора для уточнения карты диспаратности;

вычисление координат расположения и размеров зон интереса на основе методов проекций и методов сопоставления шаблонов;

установка приоритетов зонам обзора в соответствии с оценками на текущем и предыдущих множествах кадров;

проведение спецификации пирамиды двумерных изображений на основе полученной вычисленной карты диспаратности;

разделение трехмерной информации на два множества, а именно множества проекций - двумерных изображений и множества карт диспаратности;

выделение в двумерном изображении информации о цвете и проведение цветовой сегментации;

фильтрация двумерных изображений по набору фильтров Габора и использование кластеризации;

разложение трехмерной информации на три множества карт черт, отвечающих за репрезентативность и информативность информации о лице;

использование процедур детекции черт по картам черт и построение трех представлений модели лица;

представление и детекция лица с помощью локальных черт, объединенных в такие кластеры черт, как "брови/глаза", "ноздри/усы/рот/подбородок", "щеки/нос";

представление и детекция лица с помощью цветовой сегментации;

представление и детекция лица с помощью анализа карты диспаратности в виде анализа выпуклости множества соответственных точек.

используют разделение множества на три представления лица;

анализируют оптический поток множества точек;

ненайденные точки уточняют процедурами детекции;

в случае некачественного слежения запускают процедуру детекции.

проводят разделение множества на три представления лица;

анализируют оптический поток множества точек трехмерных изображений, построенный по серии из нескольких кадров;

уточняют ненайденные точки и точки, найденные с низкой вероятностью, с помощью процедур реконструкции и проверки нормализованного лица на целостность и информативность.

строят множества двумерных изображений по проекциям трехмерного изображения;

используют фильтрацию по градиентным фильтрам и фильтрам Габора в зависимости от выбранного направления проектирования трехмерного изображения;

строят репрезентативные и информативные карты локальных черт;

проводят кластеризацию черт на кадре и нормализуют яркость изображения локальных черт;

идентифицируют объект лица на основе экспертных эвристических правил;

уточняют антропометрические черты лица точными алгоритмами детекции;

находят точки соответствия, уточняют карту диспаратности и верифицируют антропометрические черты лица путем сопоставления с уточненной картой диспаратности.

строят множества двумерных изображений по проекциям трехмерного изображения;

проводят представление изображений в модель HSB из RGB и выделяют первую компоненту тона;

используют пороговую фильтрацию;

строят репрезентативные и информативные карты локальных черт;

проводят кластеризацию черт на кадре и нормализующей яркости изображения локальных черт;

идентифицируют объект лица на основе экспертных эвристических правил;

уточняют антропометрические черты лица точными алгоритмами детекции;

находят точки соответствия, уточняют карту диспаратности, а антропометрические черты лица верифицируют путем сопоставления с уточненной картой диспаратности.

строят подмножества карты диспаратности, где точки соответствия найдены с низкой вероятностью, на этих подмножествах с помощью метода проекции строят двумерные изображения, уточняют точки соответствия, производят реконструкцию и сглаживание трехмерных поверхностей;

выделяют основные поверхности лица и трехмерные элементы лица, после чего находят их интегральные характеристики объектов и поверхностей;

анализируют выпуклость трехмерных форм;

в случае наличия внешних объектов, таких как очки, шляпа, усы, производят уточнение четвертой нормализованной формы на основе второй и третьей.

блок активных сенсоров, включающий в себя сенсоры трехмерных изображений, стереомикрофон, кинестетический сенсор и дисплей, которые размещаются на сцене для непосредственной интерактивной работы с пользователем;

блок пассивных сенсоров, включающий в себя сенсоры трехмерных изображений, которые размещаются на сцене для скрытого наблюдения за пользователями;

блок захвата и предобработки сигналов изображения, голоса или кинестетического сигнала, поступающих с блока активных сенсоров и блока пассивных сенсоров;

блок памяти для записи кадров трехмерных изображений, поступающих с поступающих с блока активных сенсоров и блока пассивных сенсоров;

устройство обнаружения трехмерного объекта и первичной нормализации, состоящее из блоков захвата зоны интереса, блока детектирования, блока слежения, блока обобщения, при этом блок захвата зоны интереса предназначен для обработки запомненных сигналов трехмерных изображений, а блок детектирования, блок слежения и блок обобщения предназначены для обработки сигналов из блока захвата зоны интереса и запоминания и считывания результатов этой обработки в качестве информации по лицеподобном трехмерном объекте, приведенной к первой нормализованной форме лица;

устройство распознавания и нормализации статических форм трехмерного объекта, предназначенное для обработки информации трехмерного объекта, приведенной к первой нормализованной форме, и состоящее из блока нормализации трехмерного объекта, блока антропометрического анализа, блока анализа текстуры, блока анализа поверхностей и блока разделяемой памяти, который предназначен для записи и считывания информации о лицеподобном трехмерном объекте, приведенной ко второй, третьей, четвертой нормализованной форме лица, и блока редукции и генерации статической подписи, предназначенного для обработки сигналов блока антропометрического анализа, блока анализа текстуры и блока анализа поверхности;

устройство распознавания и нормализации динамических форм трехмерного объекта, состоящее из блока распознавания движения головы, блока распознавания мимики лица, блока распознавания фонем, блока синхронизации фонем и мимики лица, блока распознавания кинестетических сигналов, блоков разделяемой памяти, которые предназначены для записи и считывания информации о подписи головы, о голосовой подписи, мимической подписи, фонемномимической подписи, кинестетической подписи, а также из блока редукции и генерации динамической подписи, предназначенного для обработки сигналов блока распознавания мимики лица, блока распознавания фонем, блока синхронизации фонем и мимики лица, блока распознавания кинестетических сигналов:

устройство принятия решений, состоящее из

системы управления базой данных;

базы данных, предназначенной для хранения команд, эталонов подписей, метрик сравнения, оценок распознавания лица;

блока принятия решений о принадлежности лица живому человеку в каждой из зон интереса на основе анализа результатов контакта активного пользователя с кинестетическим сенсором;

блока подсчета активных и пассивных лиц, где разделение этих двух типов объектов выполняется на основе анализа статических и динамических подписей лица, полученных от устройства распознавания и нормализации статических форм трехмерного объекта и устройства распознавания и нормализации динамических форм трехмерного объекта;

блока идентификации лица, предназначенного для взаимодействия с системой управления базой данных для выполнения сравнения биометрических характеристик пользователя с эталонными;

блока распознавания типа ситуации, предназначенного для выполнения классификации типа ситуации на сцене на основе результатов из блока подсчета активных и пассивных лиц и путем анализа взаимного геометрического положения лиц в зоне наблюдения.