Способ распознавания лиц Российский патент 2017 года по МПК G06K9/80 G06K9/46 G06T3/00 G06T17/00 

Область техники, к которой относится изобретение

Изобретение относится к области биометрических решений задач идентификации личности по изображению лица и предназначено для эффективного распознавания лиц, идентификации личности человека.

Уровень техники

В этой области существуют различные способы решения задач. Известен метод распознавания лиц при помощи преобразования цветных изображений в спектры (патент на изобретение RU 2541136, кл. МПК G06K 9/80, опубликован 10.02.2015). Данный метод распознавания изображений лиц заключается в разделении распознавания на регистрацию и распознавание. При регистрации цветное изображение, подаваемое на вход, преобразуется в полутоновое, которое в свою очередь обрабатывается сглаживающим фильтром, а далее преобразуется в спектр. Полученный спектр записывается в базу эталонов, при распознавании вводятся скетчи, выполняется преобразование скетчей в спектры с помощью двумерного косинус-преобразования, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, и принимается решение о распознавании по критерию минимума расстояния. Недостатком данного метода является недостаточно полное использование информации исходного изображения и применение линейного метода сравнения, не учитывающего форму, ориентацию лица, а также информацию о том, что распознается именно лицо человека, а не что-то другое, что приводит к относительно низкой эффективности распознавания.

Существует способ и система распознавания лица с учетом списка людей, не подлежащих проверке (патент на изобретение RU 2381553, кл. МПК G06K 9/00, G06K 9/62, опубликован 10.02.2010) для распознавания изображений лиц в условиях неравномерного освещения. Способ основан на дополнении базы эталонов изображениями «отрицательных лиц» - людей, не подлежащих проверке. Суть способа сводится к детектированию лица человека на входном изображении, сегментированию фрагмента, содержащего лицо, и проведению распознавания путем нормализации положения лица в соответствии с положением глаз, масштабирования к заданным размерам и нормализации интенсивности. Алгоритм распознавания формируется с учетом сформированной галереи «отрицательных лиц». Недостатком способа является относительно низкая точность распознавания, обусловленная необходимостью выбора изображений лиц «незарегистрированных людей» для обеспечения показательности базы.

Известен также способ распознавания лица по видеоизображению – патент на изобретение RU 2295152, кл. МПК G06K 9/00, опубликован 10.03.2007. Суть способа заключается в том, что в кадре осуществляется поиск лица человека, при обнаружении выделенное изображение лица масштабируется до заданного размера, выравнивается яркость и цветность изображения, а далее происходит сравнение полученного изображения в цифровой форме со всеми изображениями лиц, хранящимися в базе данных для определения наиболее похожего изображения. Для этого изображения лиц из базы данных разбиваются на блоки меньшего размера, чем размер полученного изображения, и ищутся путем сравнения наиболее похожие блоки, из которых формируется третье изображение лица. Лицо считается распознанным, если разница между вторым изображением (из базы данных) и третьим изображением (полученным в результате выбора наиболее похожих блоков) не превышает порогового значения. Недостатком данного способа является отсутствие операции выравнивания положения лица в пространстве, а также применение упрощенного метода сравнения изображений путем сравнения отдельных участков изображений, что приводит к относительно низкой эффективности распознавания.

Раскрытие изобретения

Технический результат изобретения заключается в повышении точности распознавания за счет применения операции выравнивания изображения лица, учитывающего его форму и пространственную ориентацию, а также применение нейросети для обработки изображения лица, использующей всю доступную информацию из изображения, а также обладающей возможностью обучения и повышения эффективности за время применения.

Указанный технический результат достигается тем, что способ распознавания лиц включает обнаружение области лица на изображении; обнаружение опорных антропометрических точек лица, позволяющих определять его форму и пространственное положение, формирование массива координат опорных точек, описывающих значимые точки на лице; проведение выравнивания лица путем преобразования исходного положения в строгий анфас; преобразование изображения лица с применением нейросети в карту опорных векторов; при необходимости выполнения идентификации лица производят последовательное попарное сравнение карт опорных векторов искомого изображения с изображениями из базы данных с определением расстояния между картами векторов по формуле:

QUOTE

где QUOTE и QUOTE – представление лица в виде вектора;

QUOTE – весовые коэффициенты;

лица, имеющие полученное расстояние менее заданного порога, считаются идентичными; причем выравнивание изображения лица осуществляют следующим образом: на первом этапе проводят выравнивание изображения лица на плоскости, на втором этапе – выравнивание лица в пространстве, заключительной стадией выравнивания является разворот лица в пространстве в строгий анфас – аффинное преобразование к построенной 3D модели лица.

Обнаружение области лица на изображении и опорных антропометрических точек лица может быть осуществлено с помощью метода каскадов Хаара, метода каскадов на основе локальных бинарных паттернов (LBP), метода на основе гистограмм ориентированных градиентов (HOG, CoHOG) или других методов, доступных в библиотеках с открытым исходным кодом.

В качестве опорных антропометрических точек лица могут быть использованы кончик носа, углы глаз, рот, брови.

Выравнивание изображения лица на плоскости может быть проведено следующим образом: на изображении ищут 6 опорных точек: центры обоих глаз, кончик носа, края и центры рта; по этим точкам восстанавливают 3 параметра, характеризующие положение лица в плоскости: размер, поворот и сдвиг; далее найденное преобразование применяют к изображению лица, в результате чего получают выравненное в 2D изображение строго определённого размера, причем вертикальная ось симметрии находится в центре изображения.

Выравнивание лица в пространстве может быть осуществлено следующим образом: строят 3D модель лица и находят положение 3D аффинной камеры, направленной на лицо, причем в качестве исходного берут изображение, полученное на этапе 2D выравнивания, на котором находят 67 опорных точек, соответствующих значимым особенностям лица – углы и центры бровей, глаз, носа, рта и т.п.; в качестве начального приближения 3D модели используют усреднённую 3D модель, построенную вручную на основании изображений из обучающей выборки; найденные на изображении точки привязывают к соответствующим местам усреднённой модели; на основании этих соответствий методом наименьших квадратов находят параметры аффинной камеры, осуществляющей преобразование из 3D пространства съёмки в 2D пространство изображения.

Осуществление изобретения

Предлагаемый способ распознавания лиц заключается в следующей последовательности действий:

обнаружение области лица на изображении путем применения общеизвестных методов нахождения, таких как каскады Хаара, каскады на основе локальных бинарных паттернов (LBP), метод на основе гистограмм ориентированных градиентов (HOG, CoHOG) или другие методы, доступные в библиотеках с открытым исходным кодом (opencv, dlib и других);

обнаружение опорных (антропометрических) точек лица, позволяющих определять его форму и пространственное положение путем применения тех же методов, что и нахождение области лица на изображении, применимо к отдельным участкам лица. При этом формируется массив координат опорных точек, описывающих значимые точки на лице (координаты кончика носа, углов глаз, рта, бровей и т.п.);

проведение выравнивания лица путем преобразования исходного положения в строгий анфас. При выполнении данной операции используется информация найденных антропометрических точек, что позволяет провести выравнивание с учетом трехмерности изображенного лица с минимально возможными потерями информации при выравнивании. Данная операция позволяет получить изображения в строгий анфас (сигналитическое изображение) с углами крен, тангаж, рыскание, близкими к нулю, т.е. не более 5 градусов;

преобразование изображения лица с применением нейросети в карту опорных векторов. Данный этап является наиболее значимым и позволяет преобразовать исходное растровое изображение лица в форму вектора значений, описывающего особенности лица, отличающие его от других лиц, а также признаки схожести;

при необходимости выполнения идентификации лица производится последовательное попарное сравнение карт опорных векторов искомого изображения с изображениями из базы данных с определением расстояния между картами векторов по формуле (1) — взвешенное отношение хи-квадрат (χ²).

где QUOTE и QUOTE – представление лица в виде вектора. Весовые коэффициенты QUOTE подобраны с помощью линейного классификатора SVM (машина опорных векторов), применённого к векторам, состоящим из элементов QUOTE .

Лица, имеющие полученное расстояние менее заданного порога, считаются идентичными.

Выравнивание изображения лица происходит в 2 этапа.

На первом этапе происходит выравнивание изображения лица на плоскости. Для этого на изображении ищется 6 опорных точек: центры обоих глаз, кончик носа, края и центры рта. По этим 6 точкам восстанавливаются 3 параметра, характеризующие положение лица в плоскости: размер, поворот и сдвиг. Далее найденное преобразование применяется к изображению лица, в результате чего получается выравненное в 2D изображение строго определённого размера, вертикальная ось симметрии находится в центре изображения.

Второй этап представляет собой уже выравнивание лица в пространстве. Для этого строится 3D модель лица и находится положение 3D аффинной камеры, направленной на лицо. В качестве исходного берётся изображение, полученное на этапе 2D выравнивания. На нём находятся 67 опорных точек, соответствующих значимым особенностям лица (углы и центры бровей, глаз, носа, рта и т.д.). В качестве начального приближения 3D модели используется усреднённая 3D модель, построенная вручную на основании изображений из обучающей выборки. Найденные на изображении точки привязываются к соответствующим местам усреднённой модели. На основании этих соответствий методом наименьших квадратов (МНК) находятся параметры аффинной камеры, осуществляющей преобразование из 3D пространства съёмки в 2D пространство изображения.

Заключительной стадией выравнивания является разворот лица в пространстве в строгий анфас – аффинное преобразование к построенной 3D модели лица. После применения преобразования по 67 точкам производится триангуляция Делоне. На полученные треугольники накладывается текстура лица. Если же некоторый треугольник не был виден на первоначальном изображений, то из соображений симметрии берётся кусок изображения с противоположной стороны лица, накладывается и смешивается с соседними треугольниками.

Применение нейронной сети для представления лица в новом базисе

После получения выровненного в пространстве изображения лица строго определённого размера 152×152 пикселя производится подача его на вход глубокой нейронной сети (deep neural network, DNN). В случае если доступно цветное изображение, на вход нейросети подаётся 3 цветовых канала (красный, синий, зелёный). Если же доступно только полутоновое изображение, то оно и подаётся на вход. Соответственно размер входного слоя нейросети равен либо 152×152×3 для цветных изображений, либо 152×152 для полутоновых. Далее по тексту будет указываться только общий случай, то есть исключительно для цветных изображений.

Первый скрытый слой нейросети представляет собой 32 различных свёрточных фильтра размером 11×11×3. Размер свёрточного слоя получается равным 32×11×11×3. На выходе имеем 32 карты размером 142×142.

Второй скрытый слой выполняет функцию объединения максимумов из выходов первого слоя. Для каждого региона размером 3×3 выбирается максимальный элемент, регион выбирается с шагом 2. Таким образом, размер данного объединяющего слоя равен 32×3×3×32, а его выходом являются карты размером 71×71.

Далее опять следует свёрточный слой — третий скрытый слой, представляющий собой 16 фильтров размером 9×9×16. Физический смысл этого слоя — извлечение низкоуровневых особенностей для каждого пространственного участка лица. В качестве особенностей имеются в виду: границы, текстуры.

Следующие 3 слоя размером соответственно 16×9×9×16, 16×7×7×16, 16×5×5×16 последовательно уменьшают размерность данных — примитивных особенностей, объединяя их в связные группы, которые уже характеризуют формы и особенности лица. Размер выхода последнего слоя 9 карт размером 21×21.

Далее следует 2 линейных полносвязных слоя (7-й и 8-й скрытые слои) размером соответственно 4096 и 4030 элементов. На вход 7-му слою подаются все выходы предыдущего слоя. Выход этого слоя трактуется как сырое представление особенностей лица: пропорций между позициями глаз, носа, рта, их размерами. Однако прямо и однозначно связать эти значения с реальными размерами на изображении нельзя.

Выходом 8-го слоя являются уже вектор, каждый элемент которого отвечает за определённую особенность лица, показывает степень нахождения этой особенности на изображении конкретного лица. Слой обучен таким образом, чтобы каждая особенность минимально коррелировала с любой другой. Для того чтобы выходные значения можно было использовать в качестве вероятностей, производится L_2 нормализация выходного вектора.

Вектор после нормализации используется в качестве вектора-идентификатора представленного на изображении человека, используется для его идентификации. Сравнение векторов производится по формуле (1).

Таким образом, заявленный способ распознавания лиц обеспечивает повышение точности распознавания за счет применения операции выравнивания изображения лица, учитывающего его форму и пространственную ориентацию, а также применения нейросети для обработки изображения лица, использующей всю доступную информацию из изображения, а также обладающую возможностью обучения и повышения эффективности за время применения.

Сопоставительный анализ заявляемого изобретения показал, что совокупность существенных признаков заявленного способа распознавания лиц не известна из уровня техники и, значит, соответствует условию патентоспособности «Новизна».

В уровне техники не было выявлено признаков, совпадающих с отличительными признаками заявленного изобретения и влияющих на достижение заявленного технического результата, поэтому заявленное изобретение соответствует условию патентоспособности «Изобретательский уровень».

Приведенные сведения подтверждают возможность применения заявленного способа для биометриии и может быть использован для эффективного распознавания лиц и идентификации личности человека и поэтому соответствует условию патентоспособности «Промышленная применимость».

Изобретение относится к области распознавания лиц и идентификации личности человека. Технический результат – повышение точности распознавания лица. Способ распознавания лиц включает: обнаружение области лица на изображении; обнаружение опорных антропометрических точек лица; формирование массива координат опорных точек, описывающих значимые точки на лице; проведение выравнивания изображения лица путем преобразования исходного положения в строгий анфас; преобразование изображения лица с применением нейросети в карту опорных векторов; при выполнении идентификации лица производят последовательное попарное сравнение карт опорных векторов искомого изображения с изображениями из базы данных с определением расстояния между картами векторов; лица, имеющие полученное расстояние менее заданного порога, считаются идентичными; причем выравнивание изображения лица осуществляют следующим образом: на первом этапе проводят выравнивание изображения лица на плоскости, на втором этапе - выравнивание изображения лица в пространстве, заключительной стадией выравнивания является разворот лица в пространстве в строгий анфас - аффинное преобразование к построенной 3D модели лица. 5 з.п. ф-лы.

1. Способ распознавания лиц, включающий обнаружение области лица на изображении; обнаружение опорных антропометрических точек лица, позволяющих определять его форму и пространственное положение, формирование массива координат опорных точек, описывающих значимые точки на лице; проведение выравнивания изображения лица путем преобразования исходного положения в строгий анфас; преобразование изображения лица с применением нейросети в карту опорных векторов; при необходимости выполнения идентификации лица производят последовательное попарное сравнение карт опорных векторов искомого изображения с изображениями из базы данных с определением расстояния между картами векторов по формуле:

где ƒ₁ и ƒ₂ - представление лица в виде вектора;

w_i - весовые коэффициенты;

лица, имеющие полученное расстояние менее заданного порога, считаются идентичными; причем выравнивание изображения лица осуществляют следующим образом: на первом этапе проводят выравнивание изображения лица на плоскости, на втором этапе - выравнивание изображения лица в пространстве, заключительной стадией выравнивания является разворот лица в пространстве в строгий анфас - аффинное преобразование к построенной 3D модели лица.

2. Способ по п. 1, отличающийся тем, что обнаружение области лица на изображении осуществляют с помощью метода каскадов Хаара, метода каскадов на основе локальных бинарных паттернов (LBP), метода на основе гистограмм ориентированных градиентов (HOG, CoHOG).

3. Способ по п. 1, отличающийся тем, что обнаружение опорных антропометрических точек лица осуществляют с помощью метода каскадов Хаара, метода каскадов на основе локальных бинарных паттернов (LBP), метода на основе гистограмм ориентированных градиентов (HOG, CoHOG).

4. Способ по п. 1, отличающийся тем, что в качестве опорных антропометрических точек лица используют кончик носа, углы глаз, рот, брови.

5. Способ по п. 1, отличающийся тем, что выравнивание изображения лица на плоскости проводят следующим образом: на изображении ищут 6 опорных точек: центры обоих глаз, кончик носа, края и центр рта; по этим точкам восстанавливают 3 параметра, характеризующие положение лица в плоскости: размер, поворот и сдвиг; далее преобразовывают изображение лица, в результате чего получают выравненное в 2D изображение строго определенного размера, причем вертикальная ось симметрии находится в центре изображения.

6. Способ по п. 1, отличающийся тем, что выравнивание изображения лица в пространстве осуществляют следующим образом: строят 3D модель лица и находят положение 3D аффинной камеры, направленной на лицо, причем в качестве исходного берут изображение, полученное на этапе 2D выравнивания, на котором находят 67 опорных точек, соответствующих значимым особенностям лица - координатам точек бровей, глаз, носа, рта; в качестве начального приближения 3D модели используют усредненную 3D модель, построенную вручную на основании изображений из обучающей выборки; найденные на изображении точки привязывают к соответствующим местам усредненной модели; на основании этих соответствий методом наименьших квадратов находят параметры аффинной камеры, осуществляющей преобразование из 3D пространства съемки в 2D пространство изображения.