Способ идентификации измененного лица человека Российский патент 2023 года по МПК G06V40/16 G06V10/82 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к распознаванию изображений лиц, и может быть использовано в системах: контроля доступа, робототехнических системах, взаимодействующих с человеком-оператором в условиях производства и других системах.

УРОВЕНЬ ТЕХНИКИ

Идентификация лица человека может быть осложнена в виду как естественных причин, таких как, например, аллергический или иной отек, естественное старение, так и искусственных причин, например, пластические операции, накладные маски, наложение грима, что приводит к недостоверности идентификации личности.

В настоящее время совершенствуются способы идентификации лица человека по биометрическим данным. Известен способ распознавания объектов, например, лица человека, на основе анализа структуры его лица по видеоизображению, основанный на выделении и анализе характерных черт лица - глаз, бровей, носа, рта и т.п. (Обнаружение, распознавание и кодирование сложных объектов с использованием вероятностного анализа собственного пространства, US5710833, МПК G06K9/00; G06K9/62; G06T7/00; G06T9/00; (IPC1-7): G06K9/00; G06K9/52; G06K9/62; G06K9/74 1998-01-20) [1].

Вместе с тем, известны способы распознавания объектов, включающие преобразование изображения распознаваемого объекта в систему электрических импульсов, последующее переведение их в цифровую форму и сравнение с аналогично преобразованными шаблонами.

Известны также применяемые в системах автоматического компьютерного проектирования методы приведения изображения распознаваемого объекта к нормальному, стандартному для данного метода виду - изменение масштаба, поворот в требуемое положение, например, расположение наибольшего размера по оси, расположенной вдоль горизонтальной стороны экрана монитора, центрирование изображения по центру экрана монитора, вписание в прямоугольник требуемого размера (“Компьютер обретает разум”, перевод с английского, изд-во “Мир”, 1990 г., стр. 28) [2].

Также известен способ распознавания объектов лица человека, включающий последовательное наложение масок на контур изображения распознаваемого лица человека с целью формирования контура пиксельного изображения, в котором после первого наложения маски производят отсечение части изображения, расположенного вне маски и формируют первый пиксельный контур из оставшейся части изображения, а затем создают новую маску на основе первого пиксельного изображения и накладывают на нее контур изображения с отсеченной частью, после чего формируют второй контур и новую маску и сравнивают второй контур с первым и т.д. до тех пор, пока число различий между контурами не уменьшится до заданного значения (US 5740266 А, МПК G06T5/30; G06T7/60; (IPC1-7): G06K9/466, G 06 К 9/46, 1998-04-14) [3].

Также известен способ компьютерного распознавания объектов, предусматривающий предварительное приведение изображения распознаваемого объекта, вводимого в компьютер, к нормальному, стандартному для данного способа виду - изменение масштаба, поворот в требуемое положение, центрирование, вписание изображения распознаваемого объекта в прямоугольник и последующее поочередное наложение на изображение распознаваемого объекта изображений шаблонов, хранящихся в памяти компьютера, что позволяет увидеть и зафиксировать как распознанное изображение объекта, в случае тождественных, а значит и имеющих одинаковый контур изображений распознаваемого объекта и шаблона (RU2191431, МПК G06K9/68; опубл. 2002-10-20) [4]. Этот известный способ компьютерного распознавания объектов обеспечивает возможность ускорения процесса распознавания, при котором не требуется создание большого количества пиксельных изображений и варьирование ими, из-за применения в нем простой операции вписания изображения распознаваемого объекта в прямоугольник и приведения изображения объекта к нормальному, стандартному для данного способа виду, с которым впоследствии сравнивают шаблоны. Вместе с тем, этот способ требует дополнительных усилий на очистку информационного шума, внесенного другими объектами, расположенными вне контура изображения распознаваемого объекта.

Известен способ компьютерного распознавания объектов (RU 2250499, МПК G06K 9/80, опубликовано 20.04.2005) [5], в котором сокращается время распознавания за счет сужения области распознавания.

Однако распознавание личности по биометрическим данным указанными выше способами является не достоверным при искусственных и естественных изменениях лица человека.

Перспективы решения этой проблемы методом автоматической аутентификации личности по термографическим изображениям представлены в обзорной статье (Черемисина Евгения Наумовна, Баша Наталия Сергеевна. Распознавание личности по термографическим изображениями лица: Современное состояние, перспективы развития. Электронный журнал «Системный анализ в науке и образовании». Выпуск №2, 2012 год. ГБОУ ВПО «Международный Университет природы, общества и человека «Дубна», Институт системного анализа и управления) [6].

Наиболее близким по назначению и достигаемому результату к заявляемому изобретению является способ и устройство распознавания выражения лица и машиночитаемый носитель информации. Способ включает следующие этапы: получение образца цветного изображения и образца теплового инфракрасного изображения человеческого лица; выполнение обработки преобразования на образце цветного изображения и образце теплового инфракрасного изображения для получения первого образца изображения и второго образца изображения; определение модели распознавания выражения лица на основе образца цветного изображения, образца теплового инфракрасного изображения, первого образца изображения и второго образца изображения; и получение цветного изображения и теплового инфракрасного изображения целевого лица и определение информации о выражении (эмоциях) лица на основе цветного изображения, теплового инфракрасного изображения и модели распознавания выражения лица. Вариант осуществления изобретения дополнительно раскрывает оборудование для распознавания выражения лица и машиночитаемый носитель данных (Facial expression recognition method and device and computer readable storage medium. CN115690864A, МПК G06N3/0464; G06N3/08; G06V10/46; G06V10/56; G06V10/774; G06V40/16, 2023-02-03) [7], принимаемый за прототип. Устройство распознавания выражения лица, предусмотренное вариантом осуществления может определять выражение лица на основе образца цветного изображения, образца теплового инфракрасного изображения, первого образца изображения и второго образца изображения в соответствии с характеристиками, которые образец теплового инфракрасного изображения не чувствителен к свету и цвету кожи. Модель распознавания выражения лица снижает чувствительность модели распознавания выражения лица к освещению и цвету кожи, а затем определяет информацию о выражении целевого лица на основе цветного изображения, теплового инфракрасного изображения и модели распознавания выражения целевого лица, которая может уменьшить освещенность. Влияние цвета кожи на определение информации о выражении целевого лица повышает точность определения информации о выражении целевого лица; образец теплового инфракрасного изображения используется при обучении модели, а тепловое инфракрасное изображение используется для определения информации о выражении целевого лица. Изображение может компенсировать недостатки, связанные с тем, что на RGB-изображения легко влияют такие факторы, как свет и цвет кожи. В то же время для обучения модели распознавания выражений лица используется псевдосдвоенная сверточная нейронная сеть, что повышает точность и надежность модели распознавания выражений лица. RGB - это цветовая модель, с помощью которой формируется изображение на экране монитора. Её название - это аббревиатура, созданная из первых букв цветов, которые лежат в основе модели. Red, Green, Blue, или красный, зелёный, синий. Любая цифровая фотография или рисунок состоят из огромного количества оттенков.

Скептическое выражение лица оказалось единственным универсальным для всех людей. Специалисты назвали это выражение «лицо нет». Оно подразумевает слегка нахмуренные брови, сжатые губы и приподнятый подбородок. Специалисты предполагают, что это выражение представляет собой «воплощённую негативную эмоцию».

Данный способ не учитывает искусственных причин (пластические операции, накладные маски, наложение грима и т.д.) и естественных причин (аллергический или иной отек, старение) изменения основных данных, используемых при распознавании лиц, так как в процессе отдельно происходит идентификация по цветному изображению выражения (эмоций) лица в видимой части спектра и тепловому инфракрасному изображению лица, что с учетом суммарной погрешности в процессе сравнения снижает эффективность распознавания, поскольку операции распознавания происходят отдельно и затем анализируется их результат.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задачей настоящего изобретения является разработка способа распознавания измененного лица человека, включающего одновременную идентификацию изображения лица в видимой части спектра и изображения в инфракрасной части спектра с моделированием возможных искусственных и естественных причин изменения биометрических данных лица для идентификации объекта.

Техническим результатом настоящего изобретения является повышение достоверности идентификации оригинала при искусственных и естественных изменениях рельефа лица человека, за счет локализации на 3D изображении объекта участков измененного рельефа лица, полученных при наложении теплового изображения, с одновременным моделированием возможных естественных и искусственных причин изменения биометрических данных лица для идентификации лица человека, исключающее возможность имитации оригинала.

Технический результат достигается за счет комбинированного анализа сгруппированного изображения (одновременного анализа изображения лица в видимой части спектра и изображения лица в инфракрасной части спектра) с моделированием возможных естественных и искусственных причин изменения биометрических данных лица для идентификации лица человека, исключающее возможность имитации оригинала.

Способ идентификации измененного лица человека представлен следующей последовательностью действий над цифровыми изображениями в видимом и инфракрасном спектре, приведенных в виде блок-схем на фиг. 1 и фиг. 2:

а) преобразуют изображение распознаваемого лица человека в видимом спектре в 3D цифровое изображение,

б) из 3D цифрового изображения выделяют индивидуальные биометрические данные распознаваемого лица человека,

в) получают цифровое изображение распознаваемого лица человека в инфракрасном спектре,

г) объединяют цифровой набор данных 3D изображения распознаваемого лица человека в видимом спектре и цифровой набор данных в инфракрасном спектре с записью и анализом биометрических данных рельефа поверхности полученного сгруппированного изображения,

д) осуществляют виртуальное моделирование исследуемых биометрических данных сгруппированного изображения с фиксацией разницы в исследуемых биометрических данных в инфракрасном спектре по естественным и, или искусственным причинам и при отсутствии разницы в исследуемых биометрических данных осуществляется идентификация лица человека,

е) при наличии отклонений в исследуемых биометрических данных изображений осуществляют виртуальное моделирование биометрических данных сгруппированного изображения и прогнозируют возможные отклонения по естественным и, или искусственным причинам с распознаванием лица, при отсутствии разницы в исследуемых биометрических данных осуществляется идентификация лица, а при наличии разницы в исследуемых биометрических данных фиксируется факт не идентификации лица с последующей визуализацией на экране монитора компьютера результатов идентификации исследуемого лица человека с оригиналом и сохранение их в базе данных.

ПЕРЕЧЕНЬ ФИГУР ГРАФИЧЕСКОГО ИЗОБРАЖЕНИЯ

Достижение указанного технического результата иллюстрируется фигурами.

Фиг. 1. Блок-схема последовательной реализации способа виртуального моделирования для идентификации лица человека.

Фиг. 2. Блок-схема организации системы идентификации лица человека по заявляемому способу, где: 1 - блок получения фотографического (телевизионного) 3D изображения лица человека; 2 - блок преобразования фотографического (телевизионного) изображения лица человека в цифровой набор данных; 3 - компьютер, 4 - блок получения изображения лица человека в инфракрасном диапазоне, 5 - блок преобразования теплового изображения лица человека в цифровой набор данных, 6 - блок виртуального моделирования (блок постоянно-действующих моделей), 7 - экран монитора компьютера.

Фиг. 3. Иллюстрация процесса идентификации лица человека с накладным носом, где а - изображение в виде трёхмерной морфируемой модели лица (3D Morphable Model), б - тепловое инфракрасное изображение лица с низкой температурой в области накладного носа, в - сгруппированное изображение.

Фиг.4. Блок-схема алгоритма для идентификации измененного лица человека.

Фиг. 5. Тепловое изображение лица человека с повышенной температурой участков скул и лба человека с аллергическим отеком, где участки с более высокой температурой окрашены на термограмме в зеленый, красный, желтый, и даже в белый; белый цвет означает самую высокую температуру.

Фиг. 6. Сравнение фотографии лица человека из базы данных (слева) и его фотографии с признаками естественного старения (справа).

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Предложенный способ идентификации лица человека характеризуется следующей последовательностью операций (фиг. 1 и 2)

1. Операция получения фотографического (телевизионного) изображения распознаваемого лица человека, с помощью оптического устройства, например, по способам (Ming-Hsuan Yang, «Detecting Faces in Images: A Survey», IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, No. 1, January 2002) [8].

2. Преобразование фотографического и, или телевизионного изображения лица человека в цифровой набор данных и ввод его в компьютер с выделением индивидуальных признаков (см. T.F.Cootes, G.J.Edwards and C.J.Taylor, «Active Appearance Models», in Proc. European Conference on Computer Vision 1998 (H.Burkhardt & B.Neumann Ed.s), Vol.2, pp.484-498, Springer, 1998) [9], с учетом углов поворота лица, например (см. Shi Han, Gang Pan, Zhaohui Wu, «Human Face Orientation Detection Using Power Spectrum Based Measurements», fgr, p.791, Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004) [10], а также условия освещенности лица на изображении (см. Haitao Wang, Stan Z Li, Yangsheng Wang, «Face Recognition under Varying Lighting Conditions Using Self Quotient Image», fgr, p.819, Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004) [11].

4. Преобразование изображения распознаваемого лица человека в инфракрасном диапазоне в цифровой набор данных и ввод его в компьютер например, по способам (см. Gokberk, В.Irfanoglu, M.O.Akarun, L.Alpaydm, E. «Optimal Gabor kernel location selection for face recognition», Image Processing, 2003. ICIP 2003. Proceedings. 2003 International Conference, Vol.1, pp. 1-677-80, 14-17 Sept. 2003) [12].

5. Объединение цифрового набора данных фотографического и, или телевизионного изображения лица человека и цифрового набора данных в инфракрасном диапазоне лица человека с записью и анализом рельефа поверхности полученного сгруппированного изображения.

6. Моделирование биометрических данных сгруппированного изображения в блоке виртуального моделирования - блоке постоянно-действующих моделей программно-алгоритмическим обеспечением с фиксацией разницы в изображениях с учетом тепловизионной карты. При отсутствии разницы в исследуемых данных осуществляется идентификация лица человека.

7. При наличии отклонений в данных изображений осуществляется виртуальное моделирование в блоке постояннодействующих моделей и прогноз возможных отклонений по естественным причинам (аллергический или иной отек) и искусственным причинам (например пластические операции), с распознаванием лица человека. При отсутствии разницы в исследуемых биометрических данных по естественным и искусственным причинам осуществляется идентификация лица человека. При наличии разницы фиксируется факт не идентификации лица человека.

8. Визуализация на экране монитора компьютера результатов идентификации исследуемого лица человека с оригиналом и сохранение их в базе данных.

Способ осуществляется следующим образом. Получают фотографическое и, или телевизионное 3 D изображение распознаваемого лица человека, например, с помощью оптического устройства. Лицо человека фотографируют и, или снимают на видеокамеру - блок 1, фиг.2. Далее в блоке 2, фиг.2 происходит преобразование фотографического (телевизионного) изображения в цифровой набор данных и ввод его в компьютер - блок 3, фиг. 2. Затем осуществляется операция получения изображения распознаваемого лица человека в инфракрасном диапазоне с помощью тепловизионной съемки в блоке 4, фиг.2. Тепловое изображение преобразуется в цифровой набор данных в блоке 5, фиг.2 и вводится в компьютер блок 3, фиг. 2, в котором происходит объединение цифрового набора данных фотографического (телевизионного) изображения - фиг.3. (а) и цифрового набора данных в инфракрасном диапазоне - фиг.3(б), с записью и анализом рельефа поверхности полученного сгруппированного изображения фиг3. (в) и данные передаются в блок виртуального моделирования (постоянно-действующих моделей) - блок 6. фиг.2, в котором происходит процесс моделирования биометрических данных сгруппированного изображения с помощью специального программно-алгоритмического обеспечения, включающее определение разницы в изображениях с учетом тепловизионной карты. Итоговая визуализация результатов идентификации исследуемого объекта с оригиналом осуществляется на экране монитора компьютера - блок 7, фиг.2.

Способ распознавания из измененного лица человека использует специальный алгоритм (фиг. 4), который работает по следующему принципу.

А) Начало работы.

Б) Осуществляется мониторинг (исследование) основных данных полученного сгруппированного изображения - трёхмерной морфируемой модели лица (3D Morphable Model, далее 3DMM) способом, описанным в работе [13], с выделением необходимых биометрических данных для дальнейшего сравнения.

В) Далее вводятся данные из массива информации по базам данных человеческих лиц (интернет-ресурсы, включая мессенджеры, паспортные столы и т. п).

Г) Процесс сравнения полученного в пункте Б сгруппированного изображения с лицами из баз данных.

Д) В случае установления совпадения исследуемого лица с лицом из массива данных происходит обработка результата, вывод данных на экран монитора (блок 7, фиг. 2) и запись в базу данных компьютера (блок 3, фиг.2), и конец работы алгоритма.

Е) Если совпадения не установлено, происходит старт виртуального моделирования естественных причин изменения биометрических данных лица в блоке 6, фиг.2 с учетом естественных причин (аллергический или иной отек - фиг.5 показано лицо с повышенной температурой участков скул и лба больного человека с аллергическим отеком). В результате виртуального моделирования возможных естественных причин в блоке виртуального моделирования осуществляют фиксацию факта изменения биометрических данных отдельных участков лица из-за естественных причин, в частности аллергический отек и, как следствие, повышение температуры отдельных участков лица.

Также приведен пример виртуального моделирования для идентификации лиц с возрастными изменениями (фиг.6), на которой показано сравнение имеющейся фотографии (слева) и полученной фотографии (справа) одного и того же лица. В результате виртуального моделирования установлено, что человек приобрел данные изменения в виде появившихся носогубных складок, седины и т.п., по причине возрастных изменений, что было учтено и установлен факт идентификации лица, с учетом естественных возрастных изменений.

Аналогичным образом происходит старт виртуального моделирования с учетом искусственных причин изменения биометрических данных (пластические операции, накладные маски, наложение грима и т.д.), и при их выявлении, как например на фиг. 3 (в) - анализируем сгруппированное изображение в видимой части спектра и изображение в инфракрасной части спектра (термограмму) и как видно из фиг. 3 (в) устанавливаем сходство по основным участкам лица с фиксацией накладного грима (подбородок, губы, скулы), накладных бровей и носа, которые окрашены в «холодный» синий цвет. Устанавливаем факт изменения внешности, сохраняем в базу данных и снова запускается старт с пункта Г.

Ж) В случае установления совпадения исследуемого лица с лицом из массива данных с учетом моделирования естественных и искусственных причин изменения биометрических данных, происходит обработка результата, запись в базу данных - блок 7, фиг. 2, и конец работы алгоритма.

З) Если в результате операций по пунктам А - Ж алгоритма лицо не идентифицировано, происходит обработка результата, запись в базу данных, и конец работы алгоритма - блок 7, фиг.2 (визуализация на экране монитора компьютера результатов идентификации исследуемого объекта с оригиналом) Итоговый результат сохраняется в памяти компьютера - блок 3, фиг. 2.

При наличии отклонений в биометрических данных изображений лица осуществляется виртуальное моделирование и прогноз возможных естественных отклонений по естественным и искусственным причинам.

Данный способ дает новый технический результат - гарантированное распознавание трехмерного объекта, в частности, лиц людей даже в случае искусственной имитации оригинала, в том числе путем наложения грима, накладных масок и т. п., а также расширяет диапазон возможностей по идентификации объекта и распознавания лица человека.

Источники информации:

1. US5710833, МПК G06K9/00; G06K9/62; G06T7/00; G06T9/00; (IPC1-7): G06K9/00; G06K9/52; G06K9/62; G06K9/74 1998-01-20.

2. Компьютер обретает разум, перевод с английского, изд-во “Мир”, 1990 г., стр. 28.

3. US 5740266 А, МПК G06T5/30; G06T7/60; (IPC1-7): G06K9/466, G 06 К 9/46, 1998-04-14.

4. RU2191431, МПК G06K9/68; опубл. 2002-10-20.

5. RU 2250499, МПК G06K 9/80, опубл. 20.04.2005.

6. Черемисина Евгения Наумовна, Баша Наталия Сергеевна. Распознавание личности по термографическим изображениями лица: Современное состояние, перспективы развития. Электронный журнал «Системный анализ в науке и образовании». Выпуск №2, 2012 год. ГБОУ ВПО «Международный Университет природы, общества и человека «Дубна», Институт системного анализа и управления.

7. CN115690864A, МПК G06N3/0464; G06N3/08; G06V10/46; G06V10/56; G06V10/774; G06V40/16, 2023-02-03. - прототип.

8. Ming-Hsuan Yang, «Detecting Faces in Images: A Survey», IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, No. 1, January 2002.

9. T.F.Cootes, G.J.Edwards and C.J.Taylor, «Active Appearance Models», in Proc. European Conference on Computer Vision 1998 (H.Burkhardt & B.Neumann Ed.s), Vol.2, pp.484-498, Springer, 1998.

10. Shi Han, Gang Pan, Zhaohui Wu, «Human Face Orientation Detection Using Power Spectrum Based Measurements», fgr, p.791, Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004

11. Haitao Wang, Stan Z Li, Yangsheng Wang, «Face Recognition under Varying Lighting Conditions Using Self Quotient Image», fgr, p.819, Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004.

12. Gokberk, В.Irfanoglu, M.O.Akarun, L.Alpaydm, E. «Optimal Gabor kernel location selection for face recognition», Image Processing, 2003. ICIP 2003. Proceedings. 2003 International Conference, Vol.1, pp. 1-677-80, 14-17 Sept. 2003.

13. Федюков Максим Александрович, «Алгоритмы построения модели головы человека по изображениям для систем виртуальной реальности» Специальность 05.13.11 - «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Диссертация на соискание ученой степени кандидата физико-математических наук, г. Москва 2015 г.

Изобретение относится к области распознавания изображений лиц и может быть использовано в системах контроля доступа. Техническим результатом является повышение достоверности идентификации оригинала при искусственных и естественных изменениях рельефа лица человека. Технический результат достигается за счет локализации на 3D-изображении объекта участков измененного рельефа лица, полученных при наложении теплового изображения, осуществления виртуального моделирования биометрических данных сгруппированного изображения и прогнозирования возможных отклонений по естественным и/или искусственным причинам с распознаванием лица, при отсутствии разницы в исследуемых биометрических данных осуществляется идентификация лица, а при наличии разницы в исследуемых биометрических данных фиксируется факт неидентификации лица с последующей визуализацией на экране монитора компьютера результатов идентификации исследуемого лица человека с оригиналом и сохранение их в базе данных. 6 ил.

Способ идентификации измененного лица человека, характеризующийся тем, что

а) преобразуют изображение распознаваемого лица человека в видимом спектре в 3D-цифровое изображение,

б) из 3D-цифрового изображения выделяют индивидуальные биометрические данные распознаваемого лица человека,

в) получают цифровое изображение распознаваемого лица человека в инфракрасном спектре,

г) объединяют цифровой набор данных 3D-изображения распознаваемого лица человека в видимом спектре и цифровой набор данных в инфракрасном спектре с записью и анализом биометрических данных рельефа поверхности полученного сгруппированного изображения,

д) осуществляют виртуальное моделирование исследуемых биометрических данных сгруппированного изображения с фиксацией разницы в исследуемых биометрических данных в инфракрасном спектре по естественным и, или искусственным причинам и при отсутствии разницы в исследуемых биометрических данных осуществляется идентификация лица человека,

е) при наличии отклонений в исследуемых биометрических данных изображений осуществляют виртуальное моделирование биометрических данных сгруппированного изображения и прогнозируют возможные отклонения по естественным и, или искусственным причинам с распознаванием лица, при отсутствии разницы в исследуемых биометрических данных осуществляется идентификация лица, а при наличии разницы в исследуемых биометрических данных фиксируется факт неидентификации лица с последующей визуализацией на экране монитора компьютера результатов идентификации исследуемого лица человека с оригиналом и сохранение их в базе данных.