СПОСОБ РАСПОЗНАВАНИЯ БЛИЗНЕЦОВ И БЛИЖАЙШИХ РОДСТВЕННИКОВ ДЛЯ МОБИЛЬНЫХ УСТРОЙСТВ И МОБИЛЬНОЕ УСТРОЙСТВО ЕГО РЕАЛИЗУЮЩЕЕ Российский патент 2020 года по МПК G06K9/00 G06N3/02 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится, в общем, к области распознавания лиц и, в частности, к способу распознавания близнецов и ближайших родственников для мобильных устройств, способу распознавания лица для мобильных устройств и мобильным устройствам, реализующим упомянутые способы.

Описание предшествующего уровня техники

[0002] В настоящее время широко применяется распознавание лиц в целях обеспечения безопасности, например, для разблокировки мобильного устройства. Большинство способов распознавания лиц хорошо работает при распознавании разных людей. Однако существующие способы распознавания лиц не обеспечивают достаточную безопасность, поскольку существует возможность разблокировки мобильного устройства по фотографии пользователя, изображению пользователя на дисплее, маске лица пользователя. Кроме того, близнец и ближайший родственник пользователя может разблокировать мобильное устройство пользователя посредством распознавания лица. Даже самые современные мобильные устройства, содержащие времяпролетную (ToF) камеру, не могут успешно распознавать близнецов, несмотря на использование дополнительного измерения глубины и информации о форме лица на основе глубины.

[0003] Так как современные решения по распознаванию лиц требуют серьезных вычислительных ресурсов, существует потребность в техническом решении с уменьшенной вычислительной нагрузкой для применения в мобильном устройстве, в котором мобильное устройство может отличить близнеца пользователя или ближайшего родственника пользователя от пользователя.

[0004] В предшествующем уровне техники известны решения, которые направлены на распознавание лиц, например, такие как нижеописанные решения.

[0005] Публикация заявки на патент Китая CN105046219A, опубликованная 12.07.2015 под названием «FACE IDENTIFICATION SYSTEM», раскрывает техническое решение, которое позволяет распознать близнецов по лицам. В раскрытом техническом решении генератор лица генерирует трехмерные (3D) признаки на основе двумерных (2D) изображений лица. Механизм сравнения лиц сравнивает значения 3D признаков, сгенерированных на основе 2D изображений лица, со значениями 3D признаков, сгенерированных на основе фотографий в базе данных фотографий, для вывода результатов. Техническое решение, раскрытое в данной публикации заявки на патент Китая, имеет следующие недостатки. Высокая вычислительная нагрузка не позволяет использовать данное техническое решение в мобильном устройстве. Данное техническое решение не позволяет различать лица, имеющие схожую структуру поверхности лицевого региона. Данное техническое решение приспособлено для распознавания лиц при искусственном освещении и может распознавать лицо с ошибкой при естественном освещении.

[0006] В патенте США US9639740B2, выданном 31.12.2007, озаглавленном «FACE DETECTION AND RECOGNITION» раскрыт способ распознавания лиц на основе метода главных компонент (PCA). Техническое решение, раскрытое в данном патенте США, имеет следующие недостатки. Вычисления в данном техническом решении выполняют в облаке, поскольку высокая вычислительная нагрузка не позволяет использовать данное техническое решение в мобильном устройстве. В данном техническом решении координаты глаз определяют на основе координат лица, такое определение нестабильно для разных форм лиц и может вызвать ошибки распознавания. В данном техническом решении используется глобальная эквализация гистограммы в качестве метода предварительной обработки, что может вызвать ошибки распознавания при разном освещении.

[0007] Настоящее изобретение создано для устранения, по меньшей мере, одного из вышеперечисленных недостатков и для обеспечения, по меньшей мере, одного из нижеперечисленных преимуществ.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0008] Целью настоящего изобретения является улучшение распознавания лиц мобильным устройством в реальном времени с низкой вычислительной нагрузкой. Такое преимущество достигается за счет того, что распознавание лиц выполняют посредством обработки вычислительно–эффективной нейросетевой архитектурой признаков, извлеченных из изображений с выровненным освещением.

[0009] Один аспект настоящего изобретения обеспечивает способ распознавания близнецов и ближайших родственников для мобильных устройств, содержащий этапы, на которых: захватывают изображение человека посредством камеры; извлекают предварительно сохраненное изображение пользователя из памяти; выявляют опорные точки лица на захваченном изображении человека и извлеченном изображении пользователя, соответственно; выравнивают захваченное изображение человека и извлеченное изображение пользователя относительно друг друга на основании соответственных выявленных опорных точек лица; преобразуют выровненное изображение человека и выровненное изображение пользователя в изображение человека с выровненным освещением и изображение пользователя с выровненным освещением, соответственно; получают абсолютную разность изображений для изображения человека с выровненным освещением и изображения пользователя с выровненным освещением; получают обученной сверточной нейронной сетью набор текстурных признаков для человека посредством извлечения текстурных признаков из изображения человека с выровненным освещением; получают обученной сверточной нейронной сетью набор текстурных признаков для пользователя посредством извлечения текстурных признаков из изображения пользователя с выровненным освещением; выявляют обученной сверточной нейронной сетью значимые для распознавания области на абсолютной разности изображений; получают обученной сверточной нейронной сетью набор признаков абсолютной разности из выявленных значимых для распознавания областей; выполняют обученной сверточной нейронной сетью предсказание подобия на основе текстуры посредством конкатенации набора текстурных признаков для человека, набора текстурных признаков для пользователя и набора признаков абсолютной разности; извлекают признаки асимметрии лица человека из изображения человека с выровненным освещением; извлекают признаки асимметрии лица пользователя из изображения пользователя с выровненным освещением; выполняют обученной сверточной нейронной сетью предсказание подобия на основе асимметрии посредством конкатенации признаков асимметрии лица человека и признаков асимметрии лица пользователя; и выполняют обученной сверточной нейронной сетью окончательное предсказание подобия человека и пользователя посредством конкатенации по меньшей мере предсказанного подобия на основе текстуры и предсказанного подобия на основе асимметрии.

[0010] В дополнительном аспекте этапы извлечения признаков асимметрии лица человека и извлечения признаков асимметрии лица пользователя выполняют сочетанием по меньшей мере следующих методов: метода на основе оценки скошенности гистограммы (Куртозис), метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, метода на основе сравнения гистограмм для левой и правой половины лица.

[0011] В другом дополнительном аспекте этапы извлечения признаков асимметрии лица человека и извлечения признаков асимметрии лица пользователя выполняют сочетанием по меньшей мере следующих методов: метода на основе оценки скошенности гистограммы (Куртозис), метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, метода на основе сравнения гистограмм для левой и правой половины лица, метода на основе негэнтропии, метода на основе детектора Харриса, метода на основе детектора Харриса–Лапласа, метода на основе преобразования Фурье.

[0012] В еще одном дополнительном аспекте этапы извлечения признаков асимметрии лица человека и извлечения признаков асимметрии лица пользователя выполняют сочетанием следующих методов: метода на основе оценки скошенности гистограммы (Куртозис), метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, и одного из метода сравнения гистограмм с помощью корреляции, метода сравнения гистограмм с помощью пересечения, метода сравнения гистограмм на основе расстояния Бхаттачария.

[0013] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: захватывают карту глубины изображения человека; извлекают карту глубины изображения пользователя из памяти; получают обученной сверточной нейронной сетью вектор признаков глубины изображения человека из карты глубины изображения человека; получают обученной сверточной нейронной сетью вектор признаков глубины изображения пользователя из карты глубины изображения пользователя; выполняют обученной сверточной нейронной сетью предсказание подобия на основе глубины посредством конкатенации вектора признаков глубины изображения человека и вектора признаков глубины изображения пользователя, при этом этап окончательного предсказания подобия человека и пользователя выполняют обученной сверточной нейронной сетью посредством конкатенации предсказанного подобия на основе текстуры, предсказанного подобия на основе асимметрии и предсказанного подобия на основе глубины.

[0014] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: извлекают обученной сверточной нейронной сетью контекстные признаки из захваченного изображения человека; и определяют, является ли захваченное изображение человека фальсификацией изображения пользователя, посредством обработки обученной сверточной нейронной сетью предсказанного подобия на основе текстуры и извлеченных контекстных признаков.

[0015] Другой аспект настоящего изобретения обеспечивает мобильное устройство, содержащее: камеру; процессор; память, хранящую изображение пользователя, числовые параметры обученной сверточной нейронной сети и инструкции, которые при исполнении процессором побуждают процессор выполнять способ распознавания близнецов и ближайших родственников для мобильных устройств.

[0016] Еще один аспект настоящего изобретения обеспечивает способ распознавания лица для мобильных устройств, содержащий этапы, на которых: захватывают изображение человека посредством камеры; преобразуют захваченное изображение человека в изображение человека с выровненным освещением; извлекают признаки асимметрии лица человека из изображения человека с выровненным освещением; выявляют области части лица на изображении человека с выровненным освещением; извлекают признаки асимметрии для каждой выявленной области части лица из каждой выявленной области части лица; выполняют оценку асимметрии лица человека посредством обработки обученной сверточной нейронной сетью признаков асимметрии для каждой выявленной области части лица и признаков асимметрии лица человека.

[0017] Еще один аспект настоящего изобретения обеспечивает мобильное устройство, содержащее: камеру; процессор; память, хранящую числовые параметры обученной сверточной нейронной сети и инструкции, которые при исполнении процессором побуждают процессор выполнять способ распознавания лица для мобильных устройств.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0018] Вышеописанные и другие аспекты, признаки и преимущества настоящего изобретения будут более понятны из последующего подробного описания, приведенного в сочетании с прилагаемыми чертежами, на которых:

[0019] Фиг. 1 – блок–схема последовательности операций, иллюстрирующая предпочтительный вариант осуществления способа распознавания близнецов и ближайших родственников для мобильных устройств.

[0020] Фиг. 2 – блок–схема последовательности операций, иллюстрирующая другой вариант осуществления способа распознавания близнецов и ближайших родственников для мобильных устройств.

[0021] Фиг. 3 – блок–схема последовательности операций, иллюстрирующая еще один вариант осуществления способа распознавания близнецов и ближайших родственников для мобильных устройств.

[0022] Фиг. 4 – блок–схема последовательности операций, иллюстрирующая вариант осуществления способа распознавания лица для мобильных устройств.

[0023] Фиг. 5 – блок–схема, иллюстрирующая мобильное устройство, способное выполнять способ распознавания близнецов и ближайших родственников для мобильных устройств.

[0024] Фиг. 6 – блок–схема, иллюстрирующая мобильное устройство, способное выполнять способ распознавания лица для мобильных устройств.

[0025] В последующем описании, если не указано иное, одинаковые ссылочные позиции используются для одинаковых элементов, когда они изображены на разных чертежах, и их параллельное описание не приводится.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[0026] Нижеследующее описание со ссылкой прилагаемые чертежи приведено, чтобы облегчить полное понимание различных вариантов осуществления настоящего изобретения, заданного формулой изобретения, и его эквивалентов. Описание включает в себя различные конкретные подробности, чтобы облегчить такое понимание, но данные подробности следует считать только примерными. Соответственно, специалисты в данной области техники обнаружат, что можно разработать различные изменения и модификации различных вариантов осуществления, описанных в настоящей заявке, без выхода за пределы объема настоящего изобретения. Кроме того, описания общеизвестных функций и конструкций могут быть исключены для ясности и краткости.

[0027] Термины и формулировки, используемые в последующем описании и формуле изобретения не ограничены библиографическим значениями, а просто использованы создателем настоящего изобретения, чтобы обеспечить четкое и последовательное понимание настоящего изобретения. Соответственно, специалистам в данной области техники должно быть ясно, что последующее описание различных вариантов осуществления настоящего изобретения предлагается только для иллюстрации.

[0028] Следует понимать, что формы единственного числа включают в себя множественность, если контекст явно не указывает иное.

[0029] Дополнительно следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя», при использовании в настоящей заявке, означают присутствие изложенных признаков, значений, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.

[0030] В дальнейшем, различные варианты осуществления настоящего изобретения описаны более подробно со ссылкой на прилагаемые чертежи.

[0031] На Фиг. 5 показана блок–схема, иллюстрирующая мобильное устройство 300, способное осуществлять распознавание близнецов и ближайших родственников для мобильных устройств. Мобильное устройство 300 содержит камеру 301, процессор 302 и память 303. Камера 301 предназначена для захвата изображения человека, лицо которого подлежит распознаванию. Память 303 хранит изображение пользователя в качестве опорного изображения для распознавания, является ли человек на захваченном изображении пользователем. Кроме того, память 303 хранит числовые параметры обученной сверточной нейронной сети и инструкции, которые при исполнении процессором 302 побуждают процессор 302 выполнять способ 100 распознавания близнецов и ближайших родственников для мобильных устройств.

[0032] Числовые параметры обученной сверточной нейронной сети могут быть приняты из любого доступного источника, такого как Интернет, настольный компьютер, ноутбук и т.д., и сохранены в памяти 303 мобильного устройства 300. Сверточная нейронная сеть также может быть обучена в мобильном устройстве 300.

[0033] Обучение сверточной нейронной сети выполняется на наборе пар изображений близнецов и ближайших родственников. Обучение сверточной нейронной сети для обработки изображений известно в уровне техники, поэтому подробное описание процесса обучения опущено.

[0034] Сверточная нейронная сеть может иметь любую архитектуру, например, такую как MobileNet, VGG, AlexNet, SENet и т.д.

[0035] Мобильное устройство 300 может быть любым мобильным вычислительным устройством, например, таким как смартфон, мобильный телефон, планшетный компьютер, ноутбук и т.д.

[0036] На фиг. 1 показана блок–схема последовательности операций, иллюстрирующая предпочтительный вариант осуществления способа 100 распознавания близнецов и ближайших родственников для мобильных устройств. Способ 100 распознавания близнецов и ближайших родственников для мобильных устройств выполняется мобильным устройством 300.

[0037] На этапе 101 камера 301 захватывает изображение человека, подлежащего распознаванию.

[0038] На этапе 102 изображение пользователя мобильного устройства 300 извлекают из памяти 303. Изображение пользователя может быть захвачено камерой заранее и сохранено в памяти 303, либо загружено в память 303 из любого источника, например, такого как настольный компьютер, ноутбук, Интернет и т.д.

[0039] На этапе 103 выявляют опорные точки лица на захваченном изображении человека и извлеченном изображении пользователя, соответственно. Выявление опорных точек лица может быть выполнено любым известным способом обнаружения лендмарок (опорных точек лица) с применением любого известного детектора лендмарок. Выявление опорных точек лица на изображении человека и выявление опорных точек лица на изображении пользователя могут выполняться параллельно или последовательно в любом порядке.

[0040] На этапе 104 захваченное изображение человека и извлеченное изображение пользователя выравнивают относительно друг друга на основании соответственных выявленных опорных точек лица. Это выравнивание предназначено для того чтобы области частей лица, таких как нос, рот, глаза, лоб, щеки и т.д., человека на изображении человека и области частей лица пользователя на изображении пользователя совпадали друг с другом при наложении изображения человека и изображения пользователя друг на друга.

[0041] На этапе 105 выровненное изображение человека и выровненное изображение пользователя преобразуют в изображение человека с выровненным освещением и изображение пользователя с выровненным освещением, соответственно. Преобразование выровненного изображения человека и преобразование выровненного изображения пользователя могут выполняться параллельно или последовательно в любом порядке. Изображение с выровненным освещением может быть получено любым из известных способов, например, таких как SQI, Single Scale Retinex, Multi Scale Retinex) или методы выравнивания гистограммы (локальная/глобальная эквализация гистограммы).

[0042] На этапе 106 абсолютную разность изображений получают из изображения человека с выровненным освещением и изображения пользователя с выровненным освещением. Абсолютная разность изображений представляет собой массив разностей соответственных значений пикселей изображения человека с выровненным освещением и изображения пользователя с выровненным освещением. Получение абсолютной разности изображений известно в уровне техники, поэтому его подробное описание опущено.

[0043] На этапе 107 обученная сверточная нейронная сеть получает набор текстурных признаков для человека посредством извлечения текстурных признаков из изображения человека с выровненным освещением.

[0044] На этапе 108 обученная сверточная нейронная сеть получает набор текстурных признаков для пользователя посредством извлечения текстурных признаков из изображения пользователя с выровненным освещением.

[0045] На этапе 109 обученная сверточная нейронная сеть выявляет значимые для распознавания области на абсолютной разности изображений. Значимые для распознавания области являются областями, в которых изображение человека с выровненным освещением и изображение пользователя с выровненным освещением отличаются друг от друга.

[0046] На этапе 110 обученная сверточная нейронная сеть получает набор признаков абсолютной разности из выявленных значимых для распознавания областей. Признаки абсолютной разности являются признаками изображения, извлеченными из значимых для распознавания областей.

[0047] На этапе 111 обученная сверточная нейронная сеть выполняет предсказание подобия на основе текстуры посредством конкатенации набора текстурных признаков для человека, набора текстурных признаков для пользователя и набора признаков абсолютной разности. Подобие на основе текстуры указывает подобен ли человек пользователю на основе оценки текстуры обрабатываемых изображений.

[0048] На этапе 112 извлекают признаки асимметрии лица человека из изображения человека с выровненным освещением и на этапе 113 извлекают признаки асимметрии лица пользователя из изображения пользователя с выровненным освещением.

[0049] Признаки асимметрии лица могут быть извлечены из изображения человека с выровненным освещением и изображения пользователя с выровненным освещением посредством множества различных способов, известных в уровне техники. Например, для извлечения признаков асимметрии лица можно использовать сочетание метода на основе оценки скошенности гистограммы (Куртозис), метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, и метода на основе сравнения гистограмм для левой и правой половины лица.

[0050] Признаки асимметрии лица также могут быть извлечены с использованием сочетания метода на основе оценки скошенности гистограммы (Куртозис), метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, метода на основе сравнения гистограмм для левой и правой половины лица, метода на основе негэнтропии, метода на основе детектора Харриса, метода на основе детектора Харриса–Лапласа и метода на основе преобразования Фурье.

[0051] Признаки асимметрии лица также могут быть извлечены с использованием сочетания метода на основе оценки скошенности гистограммы (Куртозис), метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, и одного из метода сравнения гистограмм с помощью корреляции, метода сравнения гистограмм с помощью пересечения, метода сравнения гистограмм на основе расстояния Бхаттачария.

[0052] Все вышеперечисленные методы извлечения признаков из изображения известны в уровне техники, поэтому подробное описание этих методов опущено.

[0053] На этапе 114 обученная сверточная нейронная сеть выполняет предсказание подобия на основе асимметрии посредством конкатенации признаков асимметрии лица человека и признаков асимметрии лица пользователя. Подобие на основе асимметрии указывает подобен ли человек пользователю на основе оценки асимметрии лиц.

[0054] На этапе 115 обученная сверточная нейронная сеть выполняет окончательное предсказание подобия человека и пользователя посредством конкатенации предсказанного подобия на основе текстуры и предсказанного подобия на основе асимметрии. Окончательное предсказание подобия является окончательным результатом определения, подобен ли человек пользователю.

[0055] На фиг. 2 показана блок–схема последовательности операций, иллюстрирующая другой вариант осуществления способа 100 распознавания близнецов и ближайших родственников для мобильных устройств. В дополнение к этапам 101–115 способ 100 дополнительно содержит этапы 116–120, которые будут описаны ниже.

[0056] На этапе 116 захватывают карту глубины изображения человека. Карта глубины изображения человека может быть захвачена камерой 301 вместе с изображением человека. Камера 301 может быть любой камерой, способной захватывать карту глубины изображения.

[0057] На этапе 117 извлекают карту глубины изображения пользователя из памяти 301. Карта глубины изображения пользователя вместе с изображением пользователя могут быть захвачены камерой заранее и сохранены в памяти 303, либо загружены в память 303 из любого источника, например, такого как настольный компьютер, ноутбук, Интернет и т.д.

[0058] На этапе 118 обученная сверточная нейронная сеть получает вектор признаков глубины изображения человека из карты глубины изображения человека.

[0059] На этапе 119 обученная сверточная нейронная сеть получает вектор признаков глубины изображения пользователя из карты глубины изображения пользователя.

[0060] На этапе 120 обученная сверточная нейронная сеть выполняет предсказание подобия на основе глубины посредством конкатенации вектора признаков глубины изображения человека и вектора признаков глубины изображения пользователя.

[0061] Затем на этапе 115 обученная сверточная нейронная сеть выполняет окончательное предсказание подобия человека и пользователя посредством конкатенации предсказанного подобия на основе текстуры, предсказанного подобия на основе асимметрии и предсказанного подобия на основе глубины.

[0062] Дополнительное использование предсказание подобия на основе глубины позволяет еще больше улучшить распознавание лиц мобильным устройством 300.

[0063] На фиг. 3 показана блок–схема последовательности операций, иллюстрирующая еще один вариант осуществления способа 100 распознавания близнецов и ближайших родственников для мобильных устройств. В дополнение к этапам 101–115 способ 100 дополнительно содержит этапы 121–122, которые будут описаны ниже.

[0064] На этапе 121 обученная сверточная нейронная сеть извлекает контекстные признаки из изображения человека, захваченного камерой 301 на этапе 101.

[0065] На этапе 122 обученная сверточная нейронная сеть определяет, является ли изображение человека, захваченное камерой 301 на этапе 101, фальсификацией изображения пользователя, посредством обработки обученной сверточной нейронной сетью подобия на основе текстуры, предсказанного на этапе 111, и контекстных признаков, извлеченных на этапе 121.

[0066] На фиг. 4 показана блок–схема последовательности операций, иллюстрирующая вариант осуществления способа 200 распознавания лица для мобильных устройств. Способ 200 обеспечивает оценку асимметрии лица.

[0067] Способ 200 распознавания лица может быть выполнен мобильным устройством 400, показанным на фиг. 6. Мобильное устройство 400 содержит камеру 401, процессор 402 и память 403. Камера 401 предназначена для захвата изображения человека, лицо которого подлежит распознаванию. Память 403 хранит изображение пользователя в качестве опорного изображения для распознавания, является ли человек на захваченном изображении пользователем. Кроме того, память 403 хранит числовые параметры обученной сверточной нейронной сети и инструкции, которые при исполнении процессором 402 побуждают процессор 402 выполнять способ 200 распознавания лица для мобильных устройств.

[0068] Числовые параметры обученной сверточной нейронной сети могут быть приняты из любого доступного источника, такого как Интернет, настольный компьютер, ноутбук и т.д., и сохранены в памяти 403 мобильного устройства 400. Сверточная нейронная сеть также может быть обучена в мобильном устройстве 400.

[0069] На этапе 201 способа 200 камера 401 захватывает изображение человека, лицо которого подлежит распознаванию. Этап 201 способа 200 соответствует этапу 101 способа 100.

[0070] На этапе 205 способа 200 захваченное изображение человека преобразуют в изображение человека с выровненным освещением. Операция преобразования изображения человека в изображение человека с выровненным освещением, выполняемая на этапе 205, соответствует операции преобразования изображения человека в изображение человека с выровненным освещением, выполняемой на этапе 105 способа 100.

[0071] На этапе 212 способа 200 признаки асимметрии лица человека извлекают из изображения человека с выровненным освещением, полученного на этапе 205. Операция извлечения признаков асимметрии лица человека из изображения человека с выровненным освещением, выполняемая на этапе 212, соответствует операции извлечения признаков асимметрии лица человека из изображения человека с выровненным освещением, выполняемой на этапе 112 способа 100.

[0072] На этапе 213 способа 200 области части лица выявляют на изображении человека с выровненным освещением, полученном на этапе 205. Части лица представляют собой нос, рот, глаза, лоб, щеки и т.д., а область части лица представляет собой область лица, охватывающую часть лица и включающую в себя упомянутую часть лица. Выявление областей части лица на изображении может быть выполнено любым известным способом, поэтому подробное описание этой операции опущено.

[0073] На этапе 214 способа 200 признаки асимметрии для каждой выявленной области части лица извлекают из каждой выявленной области части лица. Операция извлечения признаков асимметрии, выполняемая на этапе 214, соответствует операции извлечения признаков асимметрии, выполняемой на этапе 112 способа 100, и операции извлечения признаков асимметрии, выполняемой на этапе 212 способа 200.

[0074] На этапе 215 способа 200 обученная сверточная нейронная сеть выполняет оценку асимметрии лица человека посредством обработки обученной сверточной нейронной сетью признаков асимметрии для каждой выявленной области части лица, извлеченных на этапе 214, и признаков асимметрии лица человека, извлеченных на этапе 212.

[0075] Этапы способов, раскрытых в данной заявке, может быть реализованы посредством процессора, интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA), или системой на кристалле (SoC). Кроме того, способы, раскрытые в данной заявке, могут быть реализованы посредством считываемого компьютером носителя, на котором хранятся числовые параметры обученной сверточной нейронной сети и исполняемые компьютером инструкции, которые, при исполнении процессором компьютера, побуждают компьютер к выполнению раскрытых способов. Обученная сверточная нейронная сеть и инструкции по выполнению заявленных способов могут быть загружены в мобильное устройство по сети или с носителя.

[0076] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными, и модификации конфигурации и реализации не выходят за пределы объема настоящего описания. Например, хотя варианты осуществления изобретения описаны, в общем, в связи с фигурами 1–6, приведенные описания являются примерными. Хотя предмет изобретения описан на языке, характерном для конструктивных признаков или методологических операций, понятно, что предмет изобретения, определяемый прилагаемой формулой изобретения, не обязательно ограничен конкретными вышеописанными признаками или операциями. Более того, конкретные вышеописанные признаки и операции раскрыты как примерные формы реализации формулы изобретения. Изобретение не ограничено также показанным порядком этапов способа, порядок может быть видоизменен специалистом без новаторских нововведений. Некоторые или все этапы способа могут выполняться последовательно или параллельно.

[0077] Соответственно предполагается, что объем варианта осуществления изобретения ограничивается только нижеследующей формулой изобретения.

Изобретение относится к области распознавания лиц. Технический результат заключается в повышении эффективности оценки асимметрии лица человека и предсказания подобия лица человека и пользователя для мобильного устройства в реальном времени с низкой вычислительной нагрузкой. Способ оценки асимметрии лица человека содержит этапы, на которых: захватывают изображение человека посредством камеры; преобразуют захваченное изображение человека в изображение человека с выровненным освещением; извлекают признаки асимметрии лица человека из изображения человека с выровненным освещением; выявляют области части лица на изображении человека с выровненным освещением; извлекают признаки асимметрии для каждой выявленной области части лица из каждой выявленной области части лица; выполняют оценку асимметрии лица человека посредством обработки обученной сверточной нейронной сетью признаков асимметрии для каждой выявленной области части лица и признаков асимметрии лица человека. 4 н. и 5 з.п. ф-лы, 6 ил.

1. Способ предсказания подобия лица человека и пользователя для мобильного устройства, содержащий этапы, на которых:

захватывают изображение человека посредством камеры;

извлекают предварительно сохраненное изображение пользователя из памяти;

выявляют опорные точки лица на захваченном изображении человека и извлеченном изображении пользователя, соответственно;

выравнивают захваченное изображение человека и извлеченное изображение пользователя относительно друг друга на основании соответственных выявленных опорных точек лица;

преобразуют выровненное изображение человека и выровненное изображение пользователя в изображение человека с выровненным освещением и изображение пользователя с выровненным освещением, соответственно;

получают абсолютную разность изображений для изображения человека с выровненным освещением и изображения пользователя с выровненным освещением;

получают обученной сверточной нейронной сетью набор текстурных признаков для человека посредством извлечения текстурных признаков из изображения человека с выровненным освещением;

получают обученной сверточной нейронной сетью набор текстурных признаков для пользователя посредством извлечения текстурных признаков из изображения пользователя с выровненным освещением;

выявляют обученной сверточной нейронной сетью значимые для распознавания области на абсолютной разности изображений;

получают обученной сверточной нейронной сетью набор признаков абсолютной разности из выявленных значимых для распознавания областей;

выполняют обученной сверточной нейронной сетью предсказание подобия на основе текстуры посредством конкатенации набора текстурных признаков для человека, набора текстурных признаков для пользователя и набора признаков абсолютной разности;

извлекают признаки асимметрии лица человека из изображения человека с выровненным освещением;

извлекают признаки асимметрии лица пользователя из изображения пользователя с выровненным освещением;

выполняют обученной сверточной нейронной сетью предсказание подобия на основе асимметрии посредством конкатенации признаков асимметрии лица человека и признаков асимметрии лица пользователя; и

выполняют обученной сверточной нейронной сетью окончательное предсказание подобия человека и пользователя посредством конкатенации по меньшей мере предсказанного подобия на основе текстуры и предсказанного подобия на основе асимметрии.

2. Способ по п.1, в котором этапы извлечения признаков асимметрии лица человека и извлечения признаков асимметрии лица пользователя выполняют сочетанием по меньшей мере следующих методов: метода на основе оценки скошенности гистограммы, метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, метода на основе сравнения гистограмм для левой и правой половины лица.

3. Способ по п.1, в котором этапы извлечения признаков асимметрии лица человека и извлечения признаков асимметрии лица пользователя выполняют сочетанием по меньшей мере следующих методов: метода на основе оценки скошенности гистограммы, метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, метода на основе сравнения гистограмм для левой и правой половины лица, метода на основе негэнтропии, метода на основе детектора Харриса, метода на основе детектора Харриса-Лапласа, метода на основе преобразования Фурье.

4. Способ по п.1, в котором этапы извлечения признаков асимметрии лица человека и извлечения признаков асимметрии лица пользователя выполняют сочетанием следующих методов: метода на основе оценки скошенности гистограммы, метода на основе попарного расстояния между соответствующими блоками, на которые разделено изображение, и одного из метода сравнения гистограмм с помощью корреляции, метода сравнения гистограмм с помощью пересечения, метода сравнения гистограмм на основе расстояния Бхаттачария.

5. Способ по пп.1-4, дополнительно содержащий этапы, на которых:

захватывают карту глубины изображения человека;

извлекают карту глубины изображения пользователя из памяти;

получают обученной сверточной нейронной сетью вектор признаков глубины изображения человека из карты глубины изображения человека;

получают обученной сверточной нейронной сетью вектор признаков глубины изображения пользователя из карты глубины изображения пользователя;

выполняют обученной сверточной нейронной сетью предсказание подобия на основе глубины посредством конкатенации вектора признаков глубины изображения человека и вектора признаков глубины изображения пользователя,

при этом этап окончательного предсказания подобия человека и пользователя выполняют обученной сверточной нейронной сетью посредством конкатенации предсказанного подобия на основе текстуры, предсказанного подобия на основе асимметрии и предсказанного подобия на основе глубины.

6. Способ по пп.1-4, дополнительно содержащий этапы, на которых:

извлекают обученной сверточной нейронной сетью контекстные признаки из захваченного изображения человека; и

определяют, является ли захваченное изображение человека фальсификацией изображения пользователя, посредством обработки обученной сверточной нейронной сетью предсказанного подобия на основе текстуры и извлеченных контекстных признаков.

7. Мобильное устройство, содержащее:

камеру;

процессор;

память, хранящую изображение пользователя, числовые параметры обученной сверточной нейронной сети и инструкции, которые при исполнении процессором побуждают процессор выполнять способ предсказания подобия лица человека и пользователя для мобильного устройства по любому из пп. 1-6.

8. Способ оценки асимметрии лица человека, содержащий этапы, на которых:

захватывают изображение человека посредством камеры;

преобразуют захваченное изображение человека в изображение человека с выровненным освещением;

извлекают признаки асимметрии лица человека из изображения человека с выровненным освещением;

выявляют области части лица на изображении человека с выровненным освещением;

извлекают признаки асимметрии для каждой выявленной области части лица из каждой выявленной области части лица;

выполняют оценку асимметрии лица человека посредством обработки обученной сверточной нейронной сетью признаков асимметрии для каждой выявленной области части лица и признаков асимметрии лица человека.

9. Мобильное устройство, содержащее:

камеру;

процессор;

память, хранящую числовые параметры обученной сверточной нейронной сети и инструкции, которые при исполнении процессором побуждают процессор выполнять способ оценки асимметрии лица человека по п.8.