СПОСОБ И СИСТЕМА ДЛЯ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ИЗОБРАЖЕНИЮ ЛИЦА Российский патент 2010 года по МПК G06K9/00 

Изобретение относится к системам авторизированного доступа и робототехническим системам автоматической идентификации человека.

Известны способы идентификации человека, основанные на оценке интерактивных характеристик лица, в частности путем построения и оценки набора профилей яркости в поле зрения лица (см., например, L.Sircvich et al., 1987, Optical Society of America, "Low-dimensional procedure for the characterization of human faces", pp.519-524).

Недостатками способа являются низкая надежность распознавания, неустойчивость результатов распознавания к яркостно-контрастной изменчивости изображения.

Известен также способ идентификации человека по геометрическим параметрам поверхности его лица (Патент РФ №9912780, публ. от 2001.09.2).

Данный способ позволяет улучшить характеристики изображения идентифицируемого объекта за счет формирования множества эталонов теней, формируемых за счет использования нескольких дополнительных источников подсветки.

Реализация данного способа требует определенных технических условий, что ограничивает возможности его практического применения.

Известны также способы идентификации человека на основе анализа структуры его лица по видеоизображению, основанные на выделении и анализе характерных черт лица - глаз, бровей, носа, рта и т.п. (US Patent №5710833, Jan. 20, 1998).

Недостатками способа являются большие временные и вычислительные затраты на идентификацию и высокая стоимость оборудования, необходимого для реализации способа из-за высоких требований, предъявленных к оптическому датчику, равномерности и монохромности освещения объекта идентификации.

Известен способ идентификации человека по его лицу, предусматривающий проверку наличия лица на изображении, полученном с помощью видеокамеры; определение местонахождения глаз на изображении; привязку положения других черт лица относительно глаз; определение характерных особенностей в некоторых точках лица во время верификации; подсчет признаков сходства с эталонами и сравнение с порогом (US Patent №5164992, Nov. 17, 1992).

Недостатками данного способа являются низкие точность и скорость распознавания и высокая стоимость оборудования для реализации распознавания.

Наиболее близким по технической сущности способом идентификации, выбранным в качестве прототипа заявляемого способа, является способ идентификации человека по изображению лица (Патент РФ №2175148), включающий: получение видеоизображения с лицом идентифицируемого человека; выделение фрагментов изображения, включающих изображения глаз; выделение области информационного поля на видеоизображении; выделения информационно значимых участков на информационном поле; выделение характерных признаков структуры лица; построение эталонов лиц идентифицируемых людей; сравнение характерных признаков и определение количественной меры сходства структуры лица с найденными в базе данных вычислительного устройства эталонами; идентификацию человека по интегральной оценке меры сходства лица с каждым из эталонов.

Данный способ идентификации человека основан на том, что при появлении в поле зрения видеокамеры человека его изображение захватывают в последовательные моменты времени.

Далее полученную видеоинформацию подвергают преобразованию в цифровой электрический сигнал. Цифровую информацию анализируют с помощью вычислительного устройства и запоминают.

Набор эталонов строят в процессе совершения определенных движений головой идентифицируемого человека в виде двумерных информационных полей.

Далее нормализуют фон внутри выделенной в информационном поле области, относящейся к лицу идентифицируемого человека, формируют черно-белое изображение этого лица и выделяют на нем горизонтальную полосу, включающую изображение глаз, и по ее асимметрии оценивают фазу лица.

Результат этой оценки используют для поиска эталонов лиц с фазами, близкими к оцененной, сравнивают по частям изображение с выбранными эталонами, принимают решение о сходстве и решение о включении дополнительных эталонов в набор эталонов для дообучения системы.

В качестве условий реагирования на внешние сигналы, определенные по заранее заданным сценариям, используют признаки движения лица (смещение, направление и т.п.), находящегося в поле зрения видеокамеры, линейные размеры лица и его отдельных частей и т.п.

Известный способ, во-первых, требует записи нескольких изображений в разные моменты времени, что удлиняет время предварительной идентификации.

Во-вторых, для идентификации человека требуется получение изображения в двух градациях яркости, что приводит к сильной зависимости полученного изображения от типа подсветки лица.

Неустойчивость результатов распознавания к яркостно-контрастной изменчивости изображения приводит к снижению достоверности распознавания объекта.

Для реализации данного способа идентификации человека по изображению лица используют систему, которая включает видео- и вычислительную аппаратуру.

При этом вычислительная аппаратура содержит соединенные между собой каналами связи блоки: захвата изображений, предварительной обработки входного изображения, определения местоположения лица, выделения полосы, содержащей глаза, блоки построения эталонов, сравнения эталонов, обучения системы, базы данных, принятия решений.

Основным недостатком известной системы является то, что она не обеспечивает идентификацию лица неподвижного человека и не может быть использована для идентификации человека по фотографии. Это снижает функциональные возможности системы.

Отсутствие возможности замены блоков системы при изменении алгоритма выполняемой в блоке операции ввиду того, что каналы связи между отдельными блоками системы не стандартизированы, также снижает функциональные возможности системы.

Кроме того, система неустойчива к яркостно-контрастной изменчивости изображения. Снижение устойчивости системы к помехам сказывается на достоверности результата идентификации человека.

Задачей, на решение которой направлена группа изобретений, является разработка способа и системы для идентификации человека по изображению лица, которые отличаются улучшенными функциональными и эксплуатационными характеристиками.

Этими улучшенными функциональными и эксплуатационными характеристиками являются:

в разработанном способе - ускорение процедуры и повышение достоверности идентификации человека,

а в разработанной системе для реализации способа - расширение функциональных возможностей системы и повышение устойчивости к помехам.

Поставленная задача ускорения процедуры и повышения точности идентификации человека решается тем, что в известном способе идентификации человека:

- видеоизображение с лицом идентифицируемого человека получают во фронтальном ракурсе;

- фрагменты, включающие изображения глаз, выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, а также путем определения местоположения точек для каждого глаза и сравнения с заранее заданными эталонами правого глаза и левого глаза;

- выделение области информационного поля производят путем выделения квадратного фрагмента;

- выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции гаусса в эллипсе;

- построение эталонов лиц идентифицируемых людей путем записи характерных признаков фрагмента в память системы производят с использованием не менее чем двух типов ортогональных базисных функций;

- строят три вида эталонов для предварительного поиска и распознавания, детального и окончательного распознавания;

- идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет трехэтапной процедуры сравнения эталонов для быстрого, стандартного и дополнительного поиска.

При этом:

- для предварительного поиска и распознавания эталоны строят на основе метода Якоби с использованием прецедентной базы данных лиц для 200-400 человек (не менее чем 5 разных изображений лица для каждого обучаемого пользователя);

- для детального распознавания эталоны строят на основе метода Якоби по 20 предъявленным изображениям лица для каждого обучаемого пользователя, где недостающее до 20 число изображений генерируется случайным перемещением глаз последнего пришедшего изображения в небольшой окрестности, а недостающее число изображений лица этого человека создается с помощью генератора случайных пар точек или регулярного обхода в небольшой заданной окрестности местоположения лица;

- для окончательного распознавания эталоны строят на основе величин «автокорреляции» между полученными первоначально эталонами и эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности местоположения лица;

- сравнение характерных признаков фрагмента с предварительно найденными эталонами в памяти вычислительного устройства и определение количественной меры их сходства производят на основании не менее двух мер сходства с использованием усредненных кривых ошибок 1-го и 2-го рода для всей базы пользователей, а затем - в соответствии с индивидуальными значениями ошибок 1-го и 2-го рода для каждого распознаваемого пользователя.

Основные операции реализации способа (по фиг.1):

1. Операция построения, хранения и выдачи по запросу эталонов лиц, подлежащих распознаванию, и соответствующие этим эталонам тестовые кривые для ошибок первого (FRR) и второго (FAR) рода, построенные как для всех пользователей, так и для каждого пользователя отдельно (все эти кривые вычисляют на стадии обучения).

2. Набор операций при выделении на входном изображении фрагментов с лицом распознаваемого человека, включающий три основных этапа фильтрации анализируемых фрагментов:

2а). Предварительное выделение пар признаковых точек, соответствующих местоположению глаз. Исходя из заданных параметров возможного расстояния между глазами человека и углами наклона его головы составляют полный набор пар точек возможных положений глаз человека для дальнейшего анализа;

2б). Далее производят отбор лучших пар точек за счет сравнения с обобщенными эталонами для «лиц» и обобщенными эталонами для «не лиц». Оценку похожести предъявленного участка с изображением обобщенного лица осуществляют на основе алгоритма вычисления «расстояния» от пришедшего нормализованного изображения до образца-эталона, созданного в ходе обучения по 500 прецедентам. Кластеризация и выбор наилучшего среди пространственно перекрывающихся участков найденных лиц;

2в). Определяют местоположения точек для каждого глаза, используя сравнения с заранее заданными эталонами, как для правого глаза, так и левого глаза. Для уточнения местоположения глаз используют генетический алгоритм;

2г). Для операции распознавания выделяют квадратные фрагменты, относящиеся к возможному лицу, на исходном изображении. При этом задают верхние и боковые грани вырезаемого квадратного фрагмента с изображением лица на одинаковых расстояниях от местоположения точек для правого и левого глаза, равных 0.3 от размера грани квадрата. Информационно значимые участки выделяют с помощью умножения яркости изображения на функцию гаусса в эллипсе.

3. Операция построения эталонов для предварительного поиска и распознавания на основе единого набора базисных функций для всех обученных пользователей.

4. Операция вычисления эталонов для детального распознавания, построенная на основе метода Якоби и базисных функций отдельно для каждого обученного пользователя, а также эталонов для окончательного распознавания на основе величин «автокорреляции» между полученными первоначально эталонами и эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности исследуемого фрагмента изображения.

5. Операция вычисления мер близости между входными эталонами и эталонами из базы данных для выполнения операций «быстрого» поиска, а также составления приоритетного списка «похожих» пользователей.

6. Операция вычисления мер близости между входными эталонами и эталонами из базы данных для уточняющего поиска по эталонам для детального и окончательного распознавания, а также составления приоритетных списков «похожих» пользователей.

7. Операция вычисления интегральной оценки для меры сходства в каждом анализируемом фрагменте за счет не менее чем двухэтапной процедуры сопоставления:

а) приоритетных списков, полученных для операции предварительного поиска и распознавания; б) набора приоритетных списков, полученных в процессе уточняющих операций детального и окончательного распознавания.

Операция вычисления интегральной оценки для меры сходства в каждом анализируемом фрагменте для каждого вида эталонов на основании не менее двух мер сходства с использованием усредненных кривых ошибок 1-го и 2-го рода для всей базы пользователей, а затем в соответствии с индивидуальными значениями ошибок 1-го и 2-го рода для каждого распознаваемого пользователя.

Система для реализации способа представлена на блок-схеме (фиг.2, фиг.3), где:

1 - блок захвата изображения,

2 - визуализации сообщений для пользователя о результатах работы серверной подсистемы,

3 - блок обучения,

4 - блок предварительной обработки,

5 - блок определения местоположения фрагмента с лицом человека (фиг.3),

6 - блок построения первого вида эталонов для «предварительного» поиска и распознавания,

7 - блок построения второго вида эталонов для детального распознавания,

8 - блок построения дополнительных эталонов для окончательного распознавания,

9 - база данных,

10 - блок сравнения эталонов,

11 - блок принятия решений,

12 - блок трансформации входного изображения, 13, 14 - блоки фильтрации,

15 - блок предварительного выделения пар точек,

16 - блок проверки значений параметров,

17 - блок оценки пар точек,

18 - фильтрации найденных кандидатов,

19 - блок оповещения «лицо не найдено»,

20 - блок уточнения положения глаз.

Поставленная задача предлагаемой системы для реализации способа решается тем, что в известной системе, которая содержит видео- и вычислительную аппаратуру, включающие соединенные между собой каналами связи блоки,

блок построения эталонов состоит из блоков (фиг.2):

- построения эталонов для предварительного поиска и распознавания,

- построения эталонов для детального распознавания,

- построения дополнительных эталонов для окончательного распознавания,

все блоки соединены между собой стандартизированными каналами связи;

блок определения местоположения лица состоит из блоков (фиг.3):

- трансформации размера входного изображения,

- фильтрации горизонтальных объектов,

- фильтрации по значениям ширины и высоты,

- предварительного выделения пар точек,

- проверки значений параметров,

- оценки пар точек,

- устранения пространственно перекрывающихся вариантов найденных лиц,

- оповещения «лицо не найдено»,

- уточнения положения глаз.

В предлагаемой системе для идентификации человека по лицу реализована версия клиент-серверной архитектуры, состоящая из подсистемы общения с пользователем и передачи сигналов на исполнительные механизмы (подсистема «клиент») и из подсистемы обработки и хранения данных (подсистема «сервер»).

Подсистема «клиент»:

1 - блок захвата изображения захватывает изображения размером 640 на 480 пикселов (используют потребительские Веб-камеры по USB-каналу).

2 - блок визуализации сообщений для пользователя о результатах работы серверной подсистемы получает захваченное изображение и визуализирует его пользователю для оценки качества процедуры захвата. Кроме того, по сети на основе протокола Corba захваченное изображение передается из клиентской подсистемы на серверную подсистему. В блоке 2 выполняется также воспроизведение (визуализация) сообщений для пользователя о результатах работы серверной подсистемы.

Подсистема «сервер»:

3 - блок обучения управляет захватом последовательно поступающих с камеры 15 изображений. Захваченные изображения последовательно проверяются на наличие на них хотя бы одного фрагмента с лицом (блок 5 на фиг.2). Когда количество таких изображений с фрагментами лиц людей становится равным пяти, вырезанные из них фрагменты передаются для процедуры обучения. Оставшиеся изображения не рассматриваются. Если после анализа всего набора захваченных изображений число изображений с лицами будет меньше 5, то пользователю предлагается повторить процедуру захвата дополнительных 15 изображений. В режиме распознавания используется одно изображение. Происходит анализ каждого поступающего изображения, и после нахождения фрагмента с лицом система выполняет все необходимые операции для принятия решений. Если фрагмент с лицом не найден, то система переходит к анализу следующего изображения.

4 - блок предварительной обработки фильтрует входные изображения и, если они цветные, переводит их в полутоновое представление размером 640 на 480 пикселов.

5 - блоки определения местоположения обрабатывает входное изображение и, в результате преобразований изображения в блоках 12-20, выдает результирующее изображение 32×32 с лицом человека (фиг.3).

6 - блок построения первого вида эталонов для предварительного поиска и распознавания.

7 - блок построения второго вида эталонов для операции детального распознавания.

8 - блок построения дополнительных эталонов для окончательного распознавания.

9 - база банных (БД) для хранения, поиска и выдачи по запросу эталонов лиц для различных процедур сравнения, а также дополнительной статистической информации, необходимой для вычисления мер сравнения.

10 - блок сравнения эталонов формирует свои приоритетные листы для каждого вида сравниваемых эталонов.

11 - блок принятия решений из нескольких приоритетных листов для каждого вида сравниваемых эталонов формирует окончательный, приоритетный лист для распознанных пользователей.

12 - блок трансформации входного изображения 640×480 в полутоновое изображение 160×120.

13 - блок фильтрации, выполняющий операции 2а способа, выделяет области с горизонтально вытянутыми структурами (в частности, может использоваться фильтр Превитта или другой фильтр с северным градиентом).

14 - блок осуществляет фильтрацию найденных объектов по значениям ширины и высоты описанных вокруг них прямоугольников - оставляются только те объекты, ширина и высота которых лежит в заданных интервалах значений, при условии, что ширина больше высоты (выполнение операций 2а способа).

15 - блок предварительного выделения пар точек, которые могут отождествляться на изображении с глазами человека. Для этого в соответствии с операциями способа 2а алгоритм последовательно перебирает все найденные на видеоизображении «точки внимания» и предположив сначала, что именно эта точка внимания является глазом человека, ищет справа и слева от нее другую точку внимания, претендующую на роль глаза.

16 - блок проверки значений параметров, определяющих расстояния между точками в паре и угла их поворота от горизонтали по сравнению с порогами, заданными в файле параметров системы (выполнение операций 2а способа). Если оба эти условия выполнены, то данная пара точек становится кандидатом на роль пары глаз лица, а окружающая их область исследуемого изображения - кандидатом на роль области человеческого лица. Если не найдено ни одной соответствующей этим условиям пары точек, то сигнал передается в блок 19 «Лицо не найдено».

17 - блок оценки пар точек запрашивает из блока 9 копии эталонных изображения и генерации нормализованных изображений. Передав блоку 9 координаты исследуемой пары точек, он получает от блока 9 (в соответствии с операциями 2б и 2в способа) изображения окрестностей этих точек в виде изображений размером 32×32 пикселей, эти изображения нормализованы по освещенности специальным алгоритмом для минимизации влияния освещенности лица на результаты его обнаружения и распознавания. Если для всех предъявленных пар точек изображения от блока 9 получить не удается, то передается сигнал блоку 19 «Лицо не найдено».

18 - блок фильтрации найденных кандидатов выполняет фильтрацию найденных кандидатов путем устранения пространственно перекрывающихся вариантов найденных лиц в соответствии с выполнением операций 26 способа, фильтрация осуществляется в два этапа.

На первом этапе реализуется кластеризация найденных пар точек - пространственно близкие пары группируются в кластеры, расстояние каждой пары до первичной пары кластера не превышает порогового значения.

На втором этапе в каждом кластере выбирается «лучшая» пара как пара с наименьшим значением «расстояния» до среднего эталонного лица. Эта пара - победитель в кластере - остается в списке пар-кандидатов, а остальные пары из кластера отбрасываются.

19 - блок оповещения «Лицо не найдено» получает сигналы от блоков 16, 17, 18, 20 и передает сигнал в блок 2.

20 - блок уточнения положения глаз последовательно перебирает в качестве вариантов точек глаз точки, лежащие в непосредственной окрестности найденных описанными выше методами предварительного поиска, и сравнивает их с эталоном. В блоке используется генетический алгоритм для того, чтобы уйти от прямого перебора и существенно сократить время поиска при приемлемом уровне точности (выполнение операций 2в способа).

Каналы связи в системе выполнены на основе разработанного авторами набора программ (AWPBioAPI SDK) для разработчиков таких систем, соответствующих BioAPI стандарту.

Способ идентификации человека (по фиг.1) с помощью системы для распознавания человека по изображению его лица (по фиг.2 и фиг.3) осуществляют следующим образом.

На первой операции реализации способа (блок 1 на фиг.1) выполняет процедуру обучения - проводит построение всех необходимых эталонов для лиц, которые будут впоследствии распознаваться, проводит вычисление следующего набора эталонов: обобщенные эталоны; эталоны на основе единого набора базисных функций, (построенных для всех обученных пользователей); эталоны на основе базисных функций (построенных отдельно для каждого обученного пользователя) и т.д.

Для построения набора базисных функций используют метод Якоби - алгоритм нахождения собственных чисел и векторов (ортогональных базисных функций разложения) матрицы данных, полученной из набора изображений, используемых для обучения. Как известно, метод Якоби является робастным для действительных симметричных матриц данных. Алгоритм состоит из цепочки ортогональных преобразований подобия матрицы. Каждое преобразование (ротация Якоби) - это плоский поворот с целью обнуления одного из внедиагональных элементов матрицы. Последовательные преобразования не сохраняют уже установленные нулевые элементы, но вместе с тем внедиагональные элементы становятся меньше и меньше до тех пор, пока матрица не станет диагональной с точностью до машинного нуля. Накопление в процессе преобразований произведения трансформационных матриц дает матрицу собственных векторов (ортогональных базисных функций разложения), в то время как диагональные элементы являются собственными значениями.

В процессе обучения система вычисляет также вспомогательные статистические зависимости от порога принятия решений для возможных ошибках первого (FRR) и второго (FAR) рода, построенные как для всех пользователей, так и для каждого обученного пользователя. Эти зависимости строятся в процедуре обучения на сформированных заранее тестовых наборах изображений различных лиц людей (для обучения нашей системы использовалась база ~8000 различных изображений для 200-400 возможных пользователей).

При выполнении второго набора операций способа на захваченном изображении система выполняет набор следующих операций фильтрации и анализа фрагментов изображения с целью определения местоположения лица человека.

В качестве характерных признаков местоположения лица выделяются точки, соответствующие местоположению глаз. Сначала на изображении в блоке 2а выделяются предварительные структуры, имеющие значительный вертикальный градиент и горизонтально вытянутое строение. Около каждой пары точек вырезаются квадратные фрагменты, относящиеся к возможному лицу на исходном изображении, и проводят отбор лучших пар точек за счет сравнения с обобщенными эталонами для «лиц» и обобщенными эталонами для «не лиц» (блок 2б на фиг.1). При этом набор анализируемых прямоугольников резко уменьшается. В оставшемся наборе прямоугольников определяются местоположения точек для каждого глаза путем сравнения с заранее заданными эталонами как для правого глаза, так и левого глаза (блок 2в на фиг.1).

Для этого в системе (блок 20 на фиг.3) реализован алгоритм, когда по первоначальной паре точек сначала создает еще N близких к ней новых пар точек процедурой «мутации», т.е. путем генерации новых точек в заданной окрестности уже известных, с использованием генератора случайных чисел. Из N+1 вариантов пар точек и соответствующих им квадратных областей на данном итерационном шаге выбирается лучший, который рассматривается в качестве исходного для следующего итерационного шага. Итоговым является лучший вариант, получившийся после n итерационных шагов. Оптимальные значения N, n и других параметров системы нахождения лица подбирались путем проведения многочисленных вычислительных экспериментов как по обучающей базе данных, так и по другим примерам изображений, не участвовавших в обучении. В итоге были выбраны значения N=11 и n=7.

Размер области поиска по вертикальной и по горизонтальной координатам задается одинаковым и равным ¹/₄ от расстояния между глазами, при этом каждая из координат вновь созданной точки может отличаться от координаты исходной точки в пределах 1/8 от расстояния между глазами.

Из полученных таким путем 12 вариантов пар точек и соответствующих им квадратных областей на данном итерационном шаге выбирается лучший, который используется в качестве исходного для следующего итерационного шага.

При операции сравнения признаков выделенного прямоугольного фрагмента с признаками эталона для набора произвольных изображений лиц и признаками еще одного эталона для специального набора изображений «не лиц» и по результатам этих двух сравнений система определяет порог принятия решения о нахождении лица.

Второй набор операций заканчивается операциями в блоке 2г, связанными с вырезанием квадратного фрагмента с изображением лица, верхняя и боковые грани которого задаются на одинаковых расстояниях от местоположения точек для правого и левого глаза и равными 0.3 от размера грани квадрата. После этого выполняется операция подчеркивания информационно значимых участков с помощью применения функции гаусса в эллипсе для выполнения в дальнейшем операций обучения и распознавания в выделенном прямоугольном фрагменте.

Третий набор операций связан с вычислением эталонов на основе единого набора базисных функций, построенных для всех обученных пользователей, которые необходимы для выполнения операций для предварительного поиска и распознавания пользователей в базе данных. Эталоны представляют собой коэффициенты разложения входного изображения по базисным функциям, построенных для всех обученных пользователей.

Четвертый вид операций связан с вычислением эталонов для детального распознавания на основе базисных функций, построенных отдельно для каждого обученного пользователя. Эталоны представляют собой коэффициенты разложения входного изображения по базисным функциям. Эталоны для окончательного распознавания представляют собой коэффициенты автокорреляции между полученными первоначально эталонами для предварительного поиска и распознавания и аналогичными эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности исследуемого фрагмента изображения (блоки 7 и 8 системы на фиг.2).

Для вычисления мер близости между эталонами, построенных для выполнения операций предварительного поиска и распознавания, используется одна из известных мер сравнения между векторами в пространстве используемых признаков (например, среднее квадратичное отклонение). По результатам вычисления мер близости между входными эталонами и эталонами из базы данных для выполнения операций предварительного поиска и распознавания составляется приоритетный список «похожих» пользователей, отсортированный по увеличению расстояния в пространстве используемых признаков (блок 5 на фиг.1 и блок 10 на фиг.2). На основе статистических зависимостей возможных ошибок от порога принятия решений, хранящихся базе данных (блок 1 на фиг.1 и блок 9 на фиг.2), производится пересчет меры близости в величины ошибок первого (FRR) и второго (FAR) рода в процентных величинах возможных ошибок. Эти кривые вычисляют как для каждого пользователя, так и усреднено для всех пользователей. В приоритетном списке остаются только те пользователи, величины ошибок которых меньше заданного порога для выполнения операций «быстрого» поиска.

Для детального распознавания из входного изображения высчитываются коэффициенты разложения по базисным функциям, построенным отдельно для каждого обученного пользователя. Затем эти коэффициенты используются для вычисления восстановленного изображения на основе использованных базисных функций (блок 4 на фиг.1 и блок 8 на фиг.2). Вычисление «стандартных» мер близости осуществляется при сравнении входного и восстановленного изображений (блок 6 на фиг.1 и блок 10 на фиг.2). Вычисляются как средние интегральные меры близости для всего фрагмента с лицом, так и меры близости фрагментов для глаз, для носа, для рта или других заранее определенных из дискриминационного анализа фрагментов. При вычислении каждой меры близости составляются приоритетные списки «похожих» пользователей. Вычисляются меры близости «автокорреляционных» эталонов для окончательного распознавания. Все меры сводятся в интегральную меру либо операцией суммирования с весовыми коэффициентами, либо вычислением среднегеометрической меры.

На основе статистических зависимостей возможных ошибок от порога принятия решений, построенных для каждого обученного пользователя (блок 1 на фиг.1 и блок 9 на фиг.2), производит пересчет мер близости, представленных в расстояниях в пространствах признаков, в величины ошибок первого (FRR) и второго (FAR) рода в процентах для каждого пользователя, включенного в приоритетный список. Вычисляются также и усредненные кривые для всех пользователей.

Окончательную операцию формирования вычисления интегральной оценки для меры сходства в каждом анализируемом фрагменте система выполняет с использованием не менее чем двухэтапной процедуры сопоставления: а) на первом этапе формируют приоритетный список для ошибок первого (FRR) и второго (FAR) рода в процентах, полученный для операции предварительного распознавания (блок 5); б) на втором этапе для каждого пользователя, попавшего в приоритетный список первого этапа, производят пересчет его величины ошибок первого (FRR) и второго (FAR) рода в процентах на основе его собственной статистической зависимости ошибок от порога принятия решений, полученной для операции детального и окончательного распознавания (блок 6 на фиг.1 и блоки 7, 8 на фиг.2), запрошенной из блока 1 (на фиг.1) или блока 9 (на фиг.2). В приоритетном списке оставляют только тех пользователей (лиц), величины ошибок которых меньше заданного порога.

Заявленные признаки способа и системы для идентификации человека по его лицу являются новыми, так как в доступных источниках информации сведений, порочащих новизну группы изобретений, нами не выявлено.

Научно-технический уровень изобретений обусловлен тем, что разработка сущности способа потребовала для решения поставленной задачи проведения научных и экспериментальных исследований.

В частности, для повышения точности нахождения лица была использована многоэтапная фильтрация точек местоположения глаз, а чтобы уменьшить количество анализируемых вариантов в десятки, а иногда и в сотни раз, нами был использован генетический алгоритм. При кодировании лица формируются наборы эталонов, одни из которых позволяют проводить быстрый поиск в базе данных, а другие повышают точность распознавания. Применение меры близости эталонов в величинах ошибок первого (FRR) и второго (FAR) рода в процентах позволяет выбирать пороги для принятия решений, лучше всего адаптированные для текущей базы данных, набранной системой.

Использование такого подхода позволило ускорить время обработки данных и расширить диапазон операций для автоматического распознавания лиц, позволяющий достигнуть высокого уровеня точности распознавания.

Работоспособность способа и системы доказана практически на достоверном количестве проведенных экспериментов.

Работоспособность описанных алгоритмов проверялась с помощью специальной программы подсчета ошибок распознавания. Для этого использовались различные базы данных записанных изображений с лицами людей.

Например, для базы изображений лиц в 157 человек, снятых в разные дни и при различных вариантах (ситуациях) освещения, было проведено исследование, как влияет процедура уточнения глаз на результаты распознавания. Было рассмотрено 4 варианта: (1) - обучение и распознавание без уточнения; (2) - обучение с уточнением и распознавание без уточнения; (3) - обучение без уточнения и распознавание с уточнением; (4) - обучение с уточнением и распознавание с уточнением.

Результаты расчетов подтвердили наше предположение о том, что уточнение положения лица существенно улучшает результаты системы распознавания.

Было проведено исследование точности распознавания системы для базы данных из 100 человек, по 20-30 изображений для каждого, снятых в одинаковых условиях. Для обучения случайным образом бралось по шесть изображений, а для распознавания выбирались 5 изображений из оставшихся. Такая процедура повторялась 5 раз. Для этих различных прецедентов были получены следующие результаты: 3.88%<EER<5.84% и 1%<FPR<2%. Пример работы тестовой программы для подсчета ошибок приведен на фиг.4.

Достоверность способа идентификации человека составляет ~95%.

Повышение точности и надежность распознавания достигается за счет трехэтапного выделения фрагмента изображения с лицом, введения в этой информационной области разбиения изображения с обнаруженным лицом информационно значимых участков. При этом используются более чем три меры сравнения характерных признаков с предварительно найденными эталонами в памяти вычислительного устройства, а также используются индивидуальные пороги для каждого пользователя, вычисляемые в процедуре обучения.

Повышение устойчивости к помехам достигается за счет использования фильтрации шумов, возникающих в информационных каналах оптического датчика, в сочетании со специальной процедурой нормализации яркости в анализируемой области информационного поля, а также использования нескольких видов эталонов для поиска и распознавания.

Ускорение процесса вычисления признаков и процедуры сравнения достигается за счет реализации системы в соответствии с клиент-серверной архитектурой, а также за счет процедуры построения индексного описании для эталонов в сочетании с процедурой ускоренного доступа к набору эталонов для людей, подлежащих идентификации.

Таким образом, настоящее изобретение (способ и система) обеспечивает повышенную точность распознавания лиц человека во фронтальном ракурсе по одному захваченному изображению при повышенной устойчивости к набору помех на исходном входном изображении, работу с большой базой данных и возможность работы в клиент-серверной архитектуре.

Предлагаемый способ может найти широкое применение в системах авторизованного доступа, в частности при допуске пользователя к конфиденциальной информации, хранящейся в памяти как офисных, так и персональных вычислительных устройств.

Способ может быть применен в системах доступа к закрытым источникам информации, охранных системах, в системах мониторинга в общественных местах, например, для поиска лиц, находящихся в розыске.

Изобретение относится к области идентификации человека по изображению лица. Технический результат заключается в ускорении процедуры и повышении достоверности идентификации человека. Этот результат достигается тем, что видеоизображение с лицом идентифицируемого человека получают во фронтальном ракурсе; фрагменты с изображением глаз выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, и сравнения с заранее заданными эталонами правого глаза и левого глаза; выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции гаусса в эллипсе; построение эталонов лиц идентифицируемых людей производят с использованием не менее чем двух типов ортогональных базисных функций для предварительного поиска и распознавания, для детального распознавания и построения дополнительных эталонов для окончательного распознавания; идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет двухэтапной процедуры сравнения эталонов для предварительного поиска и распознавания и сравнения эталонов для детального и окончательного распознавания. 2 н. и 2 з.п. ф-лы, 4 ил.

1. Способ идентификации человека по изображению лица, включающий получение видеоизображения с лицом идентифицируемого человека; выделение фрагментов изображения, включающих изображения глаз; выделение области информационного поля на видеоизображении; выделение информационно-значимых участков на информационном поле; выделение характерных признаков структуры лица; построение эталонов лиц идентифицируемых людей; сравнение характерных признаков и определение количественной меры сходства структуры лица с найденными в базе данных вычислительного устройства эталонами; идентификацию человека по интегральной оценке меры сходства лица с каждым из эталонов, отличающийся тем, что
видеоизображение с лицом идентифицируемого человека получают во фронтальном ракурсе; фрагменты, включающие изображения глаз, выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, а также путем определения местоположения точек для каждого глаза и сравнения с заранее заданными эталонами правого глаза и левого глаза; выделение области информационного поля производят путем выделения квадратного фрагмента; выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции Гаусса в эллипсе; построение эталонов лиц идентифицируемых людей путем записи характерных признаков фрагмента в память системы производят с использованием не менее чем двух типов ортогональных базисных функций для предварительного поиска и распознавания, для детального распознавания и построения дополнительных эталонов для окончательного распознавания; идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет двухэтапной процедуры сравнения эталонов для предварительного поиска и распознавания и сравнения эталонов для детального и окончательного распознавания.

2. Способ по п.1, отличающийся тем, что эталоны для предварительного поиска и распознавания строят с использованием прецедентной базы данных лиц для 200-400 человек (не менее чем 5 разных изображений лица для каждого обучаемого пользователя); эталоны для детального распознавания строят по 20 предъявленным изображениям лица для каждого обучаемого пользователя, где недостающее до 20 число изображений генерируется случайным перемещением глаз последнего пришедшего изображения в небольшой окрестности, а недостающее число изображений лица этого человека создается с помощью генератора случайных пар точек или регулярного обхода в небольшой заданной окрестности местоположения лица; дополнительные эталоны для окончательного распознавания строят на основе величин «автокорреляции» между полученными первоначально эталонами и эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности местоположения лица; сравнение характерных признаков фрагмента, с предварительно найденными эталонами в памяти вычислительного устройства, и определение количественной меры их сходства производят на основании не менее двух мер сходства с использованием усредненных кривых ошибок 1-го и 2-го рода для всей базы пользователей, а затем в соответствии с индивидуальными значениями ошибок 1-го и 2-го рода для каждого распознаваемого пользователя.

3. Система для идентификации человека по изображению лица, включающая видео- и вычислительную аппаратуру, которая содержит соединенные между собой каналами связи блоки захвата изображений; предварительной обработки входного изображения; определения местоположения лица; выделения полосы, содержащей глаза; построения эталонов; сравнения эталонов; обучения системы; базы данных; принятия решений, отличающаяся тем, что блок построения эталонов состоит из блоков построения эталонов для предварительного поиска и распознавания; построения эталонов для операций детального распознавания; построения дополнительных эталонов для окончательного распознавания, блок определения местоположения лица состоит из блоков трансформации размера входного изображения; фильтрации горизонтальных объектов; фильтрации по значениям ширины и высоты; предварительного выделения пар точек; проверки значений параметров; оценки пар точек, устранения пространственно перекрывающихся вариантов найденных лиц; оповещения «лицо не найдено», уточнения положения глаз.

4. Система по п.3, отличающаяся тем, что система реализована в клиент-серверной архитектуре и все блоки соединены между собой стандартизированными каналами связи.