СПОСОБ ИДЕНТИФИКАЦИИ ЛИЧНОСТИ ЧЕЛОВЕКА ПО ЦИФРОВОМУ ИЗОБРАЖЕНИЮ ЛИЦА Российский патент 2017 года по МПК G06K9/78 

Заявляемый способ относится к автоматике и вычислительной технике и может быть использован в системах искусственного интеллекта: системах контроля и управления доступом (СКУД) и робототехнических системах автоматической идентификации и верификации человека по изображению лица (системах контроля удостоверения личности, информационной безопасности и др).

В этих системах контролируемые условия получения изображения (освещенность, задний фон), фиксация изображения лица человека анфас существенно упрощают процедуру идентификации.

Известен патент РФ №2295152, кл. G06K 9/00 "Способ распознавания лица человека по видеоизображению", по которому производят поиск лица человека в кадре, нормируют его параметры, формируют вектор входного изображения (Р1), загружают из базы данных для сравнения вектора (Р2), разбивают изображения на блоки (8×8), осуществляют первичный поиск по совпадению блоков, осуществляют вторичный поиск, на основе чего принимают решение о распознавании.

Недостатком данного способа является большой объем вычислений и, как следствие, низкая оперативность метода, а также ошибки распознавания.

Известен патент РФ №2297039, кл. G06K 9/62, "Способ распознавания сложного графического объекта", в котором изображения всех эталонных объектов разбивают на пересекающиеся доменные блоки, а изображение распознаваемого объекта разбивают на непересекающиеся ранговые блоки, размер которых меньше доменных блоков, производят поиск наилучшего сопоставления всех ранговых блоков анализируемого изображения и доменных блоков всех эталонных изображений с использованием сжимающих аффинных преобразований.

Недостатком данного способа является также большой объем вычислений при распознавании.

Известен патент США №7,869,657, кл. G06K 9/68 "System and method for comparing images using an edit distance", по которому вводится понятие подобия (расстояния редактирования) сравниваемых изображений с использованием результатов соответствия частей одного изображения другому. Для вычисления подобия распознаваемый объект делится на блоки пикселей и им находится соответствие в сравниваемом изображении. По результатам анализа минимального расстояния редактирования между изображением неизвестного объекта и набора эталонных изображений принимается решение о распознавании.

Недостатком данного способа является очень большой объем вычислений и, как следствие, низкая оперативность метода.

Наиболее близким по своей технической сущности к заявляемому изобретению является патент №2431191, кл. G06K 9/00, заявленный 27.01.2009 "Способ идентификации личности человека по цифровому изображению лица". Этот способ включает поиск лица человека в кадре, выравнивание яркости и цветности изображения. Далее формируется вектор входного изображения путем фильтрации и бинаризации, изображение масштабируется до заданного размера по экстремумам интегральных проекций, выполняется сегментирование областей изображения по связности, вычисляются вектора геометрических характеристик сегментированных областей и формируется интегральный индекс, по которому выполняется распознавание.

Недостатком этого способа является невысокая точность распознавания из-за ошибок масштабирования по экстремумам интегральных проекций, учет при распознавании только вычисляемых интегральных геометрических характеристик сегментированных областей бинарного изображения. При распознавании не учитывается информация о цветовых параметрах изображения лица и рельефе поверхности лица.

Техническим результатом, на которое направлено изобретение, является повышение точности и оперативности распознавания изображения лица человека за счет более точного масштабирования по изображению в ближнем ИК, использования полной информации сегментированных областей и уменьшения ошибок распознавания дополнительным учетом цветовых параметров и рельефности лица.

Указанный результат достигается за счет того, что с использованием сопряженных цветной и инфракрасной TV камер формируют два идентичных по размерам и расположению в кадре изображения распознаваемого лица в видимом и ИК свете, по ИК изображению находят точное расположение центров зрачков глаз, осуществляют вписывание цветного изображения по координатам центров зрачков в эталонный кадр, затем после преобразования цветного изображения в полутоновое и вычисления полей интенсивности и направлений градиента яркости формируют три изображения: бинарное изображение интенсивности градиента яркости, полутоновое изображение направлений градиента и пастеризованное цветное изображение, по суммарному соответствию которых эталонным изображениям в базе данных принимается решение о распознавании.

Сущность изобретения поясняется чертежами, на которых показаны:

фиг. 1а, 1б - представлен алгоритм выполнения заявляемого способа,

фиг. 2 - операторы-маски вычисления градиента яркости и направления градиента яркости,

фиг. 4-7 - примеры исходных и обработанных изображений, по которым производится распознавание,

фиг. 8 - графики зависимостей примерного числа обрабатываемых пикселей N и порога отличия DEL при распознавании лиц в базе FEI форматом 90*65 пикселей.

На фиг. 1а показаны этапы идентификации по изображению лица.

Получение кадров распознаваемого изображения лица в видимом и ИК свете осуществляется с использованием сопряженных цветной и инфракрасной TV камер захватом кадра с фронтальным ракурсом распознаваемого лица.

По методу, описанному в статье "Shuyan Zhao and Rolf-Rainer Grigat" An Automatic Face Recognition System in the Near Infrared Spectrum" In Proceedings MLDM 2005, Leipzig, Germany, July 9-11, 2005, p. 437-444, определяются координаты центров зрачков глаз в кадре изображения лица при ИК подсветке.

Эти данные позволяют нормировать размер лица и заданное размещение центров зрачков глаз в кадре цветного изображения с высокой точностью на шаблоне для распознавания. Поэтому во всех эталонах баз данных идентифицируемых лиц в системе расположение центров зрачков глаз будет идентично. Идентификация лица проводится по трем базам данных лиц, которые вычисляются из исходного цветного изображения в процессе регистрации лица в системе. Это базы бинарных изображений градиента яркости - BDA, изображений направлений градиента яркости - BDB и пастеризованных исходных цветных изображений = BDC.

Преобразование цветного изображения в полутоновое изображение выполняется суммированием значений цветовых составляющих для каждого пикселя изображения.

В связи с максимальной информативностью для распознавания и значительным уменьшением объема обрабатываемой информации при выделении очертаний (контуров) объектов выполняется вычисление изображений градиента яркости и направления градиента яркости (направления наибольшего изменения яркости в каждом пикселе изображения).

Для вычисления градиента яркости используется сверка матрицы исходного полутонового изображения с операторами-масками H1 и Н3, показанными на фиг. 2. Дополнительно показаны значения координат пикселей масок (i - координата X, j - координата Y).

Маски H1 и Н3 используются для вычисления проекций градиента яркости по координатам X и Y соответственно. Возможный вариант вычисления градиента яркости суммирование проекций градиента для каждого пикселя.

Маски Н1-Н4 применяются к каждому пикселю и используются для вычисления направления градиента яркости. Одно из возможных 8-ми направлений градиента выбирается по максимуму значения результата вычислений.

В качестве операторов вычисления изображений градиента яркости и направления градиента яркости могут быть использованы и другие известные операторы (Sobel, Prewitt, Isotropic, Kirsh, Robinson).

Результатом вычислений являются полутоновое изображение градиента яркости и полутоновое изображение направления градиента яркости, где градациям яркости будут поставлены в соответствие определенные направления градиента яркости.

На фиг. 3 показаны примеры кадров цветных изображений лиц из базы лиц FEI, используемой для моделирования и оценки характеристик описываемого способа. Им соответствующие вычисленные изображения градиента яркости (8-битное полутоновое изображение) и направления градиента яркости (3-битное полутоновое изображение) приведены на фиг. 4 и 5.

Изображение градиента яркости нормируется в диапазоне 0-1.0. Пороговой обработкой на заданном уровне формируется бинарный срез изображения, в котором пиксели исходного изображения, равные или большие порога (POROG), отображаются как единичные. Это изображение содержит наиболее информативные зоны для распознавания, они занимают небольшую часть исходного кадра изображения (0.02-0.2) и позволяют существенно сократить вычислительные затраты при распознавании (фиг. 6).

Для уменьшения влияния нестабильности аппаратуры на результаты распознавания уменьшают цветовую палитру исходных изображений пастеризацией. На фиг. 7 показаны примеры пастеризованных цветных изображений.

Процедура распознавания (фиг. 1b) сводится к бинарной корреляции, оценке зоны несовпадения выделенных фрагментов лица в бинарном изображении и сравниваемом эталоне и дополнительном уменьшении этой зоны на количество пикселей, не совпадающим по двум другим рассматриваемым параметрам (цветовым и направлению градиента яркости). Результатом однократного контроля всех пикселей кадра изображения является суммарный подсчет числа пикселей выделенных фрагментов лица (sum) и числа пикселей, коррелирующих в сравниваемых изображениях (corr). Величина (sum - corr) позволяет оценить меру отличия сравниваемых изображений. Сравнительный анализ распознаваемого изображения со всеми эталонами базы данных дает возможность принять решение о распознавании. Пороговая величина отличия DEL.

Заявляемый способ моделировался в среде MatLab. Использовалась база данных лиц FEI (электронный ресурс http://fei.edu.br/^~cet/facedatabase.html). База состоит из 200 цветных изображений мужских и женских лиц анфас форматом 260*360 пикселей. Изображения выравнены вручную по расположению центров зрачков глаз. Использование при распознавании информации о цветовых параметрах изображения лица и рельефе поверхности лица увеличивает надежность распознавания в десятки раз. На изображениях форматом 90*65 пикселей при 100% распознавании любого из представленных в базе лиц по всей базе надежность распознавания около 40 дБ (фиг. 8) при отсутствии ошибок в масштабировании исходных изображений. Так как масштабирование в системе проводится в изображениях с высоким разрешением (260*360 пикселей), а обработка и распознавание с низким (65*90 пикселей) предполагается, что погрешности масштабирования минимизированы.

Изобретение относится к автоматике и вычислительной техники и применимо в системах управления доступом и системах автоматической идентификации и верификации человека по изображению лица. Техническим результатом является уменьшение ошибок и времени на распознавание изображения лица человека. Способ идентификации личности человека по цифровому изображению лица содержит этапы формирования идентичных по размерам и расположению в кадре изображений распознаваемого лица в видимом и ИК свете, определения по ИК изображению координат центров зрачков глаз, вписывания цветного изображения по найденным координатам центров зрачков в эталонный кадр, преобразования цветного изображения в полутоновое и вычисления изображений интенсивности и направлений градиента яркости с формированием трех изображений распознаваемого лица: бинарного изображения интенсивности градиента яркости, полутонового изображения направлений градиента яркости и пастеризованного цветного изображения, по суммарному соответствию которых эталонным изображениям в базе данных принимается решение о идентификации. 9 ил.

Способ идентификации личности человека по цифровому изображению лица анфас, заключающийся в том, что производят поиск лица человека в кадре, масштабируют изображение до заданного размера, выравнивают яркость и цветность изображения, разбивают изображение по связности элементов, формируют интегральный индекс для распознавания по геометрическим характеристикам областей связности, отличающийся тем, что для поиска лица формируют, используя сопряженные цветную и инфракрасную цифровые TV камеры, два идентичных по размерам и расположению в кадре изображения распознаваемого лица в видимом и ИК свете, по ИК изображению находят точное расположение центров зрачков, осуществляют вписывание цветного изображения по координатам центров зрачков в эталонный кадр, а для определения интегрального индекса, по которому осуществляется распознавание, преобразуют цветное изображение в полутоновое и вычисляют нормированное первое изображение интенсивности градиента яркости, которое приводят к бинарному виду пороговой обработкой на заданном уровне, далее вычисляют второе полутоновое изображение направлений градиента яркости и третье - пастеризованное цветное изображение; в областях единичных элементов в первом изображении выделяют зоны несовпадения со сравниваемым эталоном и подсчитывают число несовпавших пикселей, из этого результата по зонам несовпадения подсчитывают и дополнительно вычитают число пикселей во втором и третьем изображениях, не равных по значению соответствующим пикселям второго и третьего эталонов, по результатам сравнения со всеми эталонами базы данных по порогу отличия принимается решение о распознавании.