КАЧЕСТВО ИЗОБРАЖЕНИЯ И ПРИЗНАКА, УЛУЧШЕНИЕ ИЗОБРАЖЕНИЯ И ВЫДЕЛЕНИЕ ПРИЗНАКОВ ДЛЯ РАСПОЗНАВАНИЯ ПО СОСУДАМ ГЛАЗА И ЛИЦАМ И ОБЪЕДИНЕНИЕ ИНФОРМАЦИИ О СОСУДАХ ГЛАЗА С ИНФОРМАЦИЕЙ О ЛИЦАХ И/ИЛИ ЧАСТЯХ ЛИЦ ДЛЯ БИОМЕТРИЧЕСКИХ СИСТЕМ Российский патент 2020 года по МПК G06K9/00 G06K9/46 G06K9/62 

Перекрестная ссылка на родственную заявку

[0001] Данная заявка испрашивает приоритет и преимущество предварительной патентной заявки США 62/217660, поданной 11 сентября 2015 г. и озаглавленной "Image Enhancement, Quality Metrics, Feature Extraction, Information Fusion, Pose Estimation and Compensation, and Template Updates for Biometric Systems", которая полностью включается в настоящий документ посредством ссылки.

Уровень техники

[0002] Настоящее раскрытие изобретения относится к биометрической аутентификации, а точнее говоря, к системам и способам для улучшения изображения, к показателям качества, выделению признаков и объединению информации для многозонных (от участков глаза до лиц) или других биометрических систем на основе изображений.

[0003] Биометрические системы могут использоваться для аутентификации личности человека, чтобы предоставить доступ или отказать в доступе к некоему ресурсу. Например, биометрическая система безопасности может использовать устройства сканирования изображений, чтобы идентифицировать человека на основе уникальных структур на лице человека, например, в глазу человека и окружающих областях. Собранные от человека биометрические данные, например, собранные во время процесса регистрации, могут храниться в качестве шаблона, который впоследствии используется для проверки личности человека. Однако технология биометрического сканирования при использовании окружающих глаз признаков вместо или в дополнение к глазным признакам для регистрации и проверки извлекла бы выгоду из усовершенствованной методики.

Краткое изложение сущности изобретения

[0004] Раскрываются системы и способы, относящиеся к биометрическим методикам, применимым к областям сосудов глаза, к окружающим глаз областям и областям лица. В одном аспекте реализуемый компьютером способ содержит этапы: приема изображения области лица пользователя, при этом область лица включает в себя глаз и область, окружающую глаз; обработки изображения для задания глазной области изображения, включающей в себя по меньшей мере часть глаза на изображении области лица; задания множества окружающих глаз областей изображения, включающих в себя по меньшей мере часть области, окружающей глаз на изображении области лица, где окружающие глаз области задаются на основе размеров заданной глазной области; вычисления одной или нескольких биометрических оценок совпадения на основе глазной области изображения и по меньшей мере одной из окружающих глаз областей; и обозначения изображения области лица как подлинного или не подлинного на основе одной или нескольких биометрических оценок совпадения.

[0005] В одной реализации множество окружающих глаз областей изображения содержит по меньшей мере четыре окружающих глаз области изображения. По меньшей мере четыре окружающих глаз области изображения могут содержать окружающую глаз область изображения, расположенную ниже глазной области изображения, окружающую глаз область изображения, расположенную справа от глазной области изображения, окружающую глаз область изображения, расположенную слева от глазной области изображения, и окружающую глаз область изображения, расположенную выше глазной области изображения.

[0006] Задание множества окружающих глаз областей изображения может содержать задание нижней окружающей глаз области изображения, расположенной ниже глазной области изображения, при этом нижняя окружающая глаз область изображения имеет ширину, практически равную ширине глазной области изображения, и высоту в диапазоне от 10% до 300% высоты глазной области изображения. Задание множества окружающих глаз областей изображения также может содержать задание правой окружающей глаз области изображения, расположенной справа от глазной области изображения, при этом правая окружающая глаз область изображения имеет ширину в диапазоне от 10% до 80% ширины глазной области изображения и высоту от 120% до 550% высоты глазной области изображения. Задание множества окружающих глаз областей изображения может дополнительно содержать задание левой окружающей глаз области изображения, расположенной слева от глазной области изображения, при этом левая окружающая глаз область изображения имеет ширину в диапазоне от 10% до 50% ширины глазной области изображения и высоту от 120% до 550% высоты глазной области изображения. Задание множества окружающих глаз областей изображения также может содержать задание верхней окружающей глаз области изображения, расположенной выше глазной области изображения, при этом верхняя окружающая глаз область изображения имеет ширину, практически равную ширине глазной области изображения, и высоту в диапазоне от 10% до 150% высоты глазной области изображения.

[0007] В другой реализации вычисление одной или нескольких биометрических оценок совпадения содержит: вычисление первой биометрической оценки совпадения на основе глазной области изображения и глазного шаблона регистрации; и вычисление второй биометрической оценки совпадения на основе глазной области изображения, первой из окружающих глаз областей изображения, глазного шаблона регистрации и окружающего глаз шаблона регистрации в ответ на определение, что первая биометрическая оценка совпадения не удовлетворяет первой пороговой величине совпадения. Вычисление одной или нескольких биометрических оценок совпадения может дополнительно содержать, в ответ на определение, что вторая биометрическая оценка совпадения не удовлетворяет второй пороговой величине совпадения, вычисление одной или нескольких дополнительных биометрических оценок совпадения путем многократного включения дополнительных областей из окружающих глаз областей изображения в вычисление дополнительных биометрических оценок совпадения до тех пор, пока либо конкретная дополнительная биометрическая оценка совпадения не будет удовлетворять соответствующей пороговой величине совпадения, либо никакие дополнительные окружающие глаз области изображения не будут доступны для включения. Множество окружающих глаз областей изображения можно ранжировать по меньшей мере на основе дискриминирующей способности и/или качества, и дополнительные окружающие глаз области изображения можно многократно включать на основе соответствующих ранжирований дополнительных окружающих глаз областей изображения. Одну или несколько из множества окружающих глаз областей изображения можно разделить на подобласти на основе одной или нескольких черт лица, выведенных из окружающих глаз областей изображения, и дополнительные окружающие глаз области изображения можно многократно включать на основе кластерной значимости или соответствующих ранжирований дополнительных окружающих глаз областей изображения.

[0008] В дополнительной реализации вычисление одной или нескольких биометрических оценок совпадения содержит: идентификацию первого набора пар согласованных точек на основе глазной области изображения и шаблона регистрации; и идентификацию второго набора пар согласованных точек на основе по меньшей мере одной из окружающих глаз областей изображения и шаблона регистрации. Вычисление одной или нескольких биометрических оценок совпадения может дополнительно содержать: определение одной или нескольких невыпадающих согласованных точек путем ввода сочетания первого и второго наборов пар согласованных точек в алгоритм обнаружения выпадающих значений; определение, что количество невыпадающих согласованных точек, которые соответствуют глазной области изображения, соответствует минимальному подсчету глазных невыпадающих значений; и вычисление конкретной биометрической оценки совпадения по меньшей мере частично на основе невыпадающих согласованных точек. Минимальный подсчет глазных невыпадающих значений может быть равен 3.

[0009] В еще одной реализации вычисление одной или нескольких биометрических оценок совпадения дополнительно содержит: определение одной или нескольких первых невыпадающих согласованных точек путем ввода первого набора пар согласованных точек в алгоритм обнаружения выпадающих значений; определение одной или нескольких вторых невыпадающих согласованных точек путем ввода второго набора пар согласованных точек в алгоритм обнаружения выпадающих значений; и вычисление конкретной биометрической оценки совпадения по меньшей мере частично на основе результата алгоритма обнаружения выпадающих значений с использованием в качестве входа сочетания первых и вторых невыпадающих согласованных точек. Вычисление одной или нескольких биометрических оценок совпадения может дополнительно содержать определение, что количество невыпадающих согласованных точек, полученных из результата алгоритма обнаружения выпадающих значений, которые соответствуют глазной области изображения, соответствует минимальному подсчету глазных невыпадающих значений. Минимальный подсчет глазных невыпадающих значений может быть равен 3.

[0010] В другом аспекте реализуемый компьютером способ содержит этапы: приема изображения области лица пользователя, при этом область лица включает в себя глаз и область, окружающую глаз; обработки изображения, чтобы: (i) задать глазную область изображения, включающую в себя по меньшей мере часть глаза, на изображении области лица, и (ii) задать одну или несколько окружающих глаз областей изображения, включающих в себя по меньшей мере часть области, окружающей глаз, на изображении области лица; идентификации множества интересующих точек по меньшей мере в одной из глазной области изображения и одной или нескольких окружающих глаз областей изображения; формирования дескриптора признака для каждой интересующей точки на основе сочетания множества дескрипторов признаков структурированной гистограммы; и сохранения сформированных дескрипторов признаков в биометрическом шаблоне.

[0011] В одной реализации обработка изображения содержит улучшение по меньшей мере части изображения с использованием шаблона Габора локального градиента (LGGP). Улучшение по меньшей мере части изображения с использованием LGGP может содержать: вычисление фазового изображения Габора по меньшей мере для части изображения при каждом из множества углов; агрегирование вычисленных фазовых изображений Габора для образования объединенного фазового изображения Габора; вычисление локального градиента у объединенного фазового изображения Габора при каждом из множества углов; и сохранение максимального значения у каждого локального градиента, чтобы образовать улучшенное изображение.

[0012] Конкретный дескриптор признака структурированной гистограммы может содержать структурированную гистограмму расширенных многорадиусных локальных двоичных шаблонов (PH-EMR-LBP), структурированную гистограмму расширенных многорадиусных центросимметричных локальных двоичных шаблонов (PH-EMR-CSLBP) или структурированную гистограмму расширенных многорадиусных локальных троичных шаблонов (PH-EMR-LTP). Формирование дескриптора признака для конкретной интересующей точки может содержать формирование дескриптора признака PH-EMR-LBP путем: задания области изображения, содержащей конкретную интересующую точку; вычисления множества кодов локального двоичного шаблона (LBP) для каждого пикселя в области изображения, чтобы образовать изображение с многорадиусным LBP (MR-LBP); разделения изображения MR-LBP на множество подобластей; выведения множества гистограмм, содержащих частоты каждого местоположения разряда MR-LBP в каждой подобласти; и объединения множества гистограмм для образования дескриптора признака PH-EMR-LBP. Формирование дескриптора признака для конкретной интересующей точки может содержать формирование дескриптора признака PH-EMR-CSLBP путем: задания области изображения, содержащей конкретную интересующую точку; вычисления множества кодов центросимметричного локального двоичного шаблона (CSLBP) для каждого пикселя в области изображения, чтобы образовать изображение с многорадиусным CSLBP (MR-CSLBP); разделения изображения MR-LBP на множество подобластей; выведения множества гистограмм, содержащих частоты каждого местоположения разряда MR-CSLBP в каждой подобласти; и объединения множества гистограмм для образования дескриптора признака PH-EMR-CSLBP. Формирование дескриптора признака для конкретной интересующей точки может содержать формирование дескриптора признака PH-EMR-LTP путем: задания области изображения, содержащей конкретную интересующую точку; вычисления множества кодов локального троичного шаблона (LTP) для каждого пикселя в области изображения, чтобы образовать изображение с многорадиусным LTP (MR-LTP); разделения изображения MR-LBP на множество подобластей; выведения множества гистограмм, содержащих частоты каждого местоположения разряда MR-LTP в каждой подобласти; и объединения множества гистограмм для образования дескриптора признака PH-EMR-LTP.

[0013] В другой реализации формирование дескриптора признака для конкретной интересующей точки содержит: вычисление дескриптора признака PH-EMR-LBP, дескриптора признака PH-EMR-CS-LBP и дескриптора признака PH-EMR-LTP для конкретной интересующей точки; и объединение дескриптора признака PH-EMR-LBP, дескриптора признака PH-EMR-CS-LBP и дескриптора признака PH-EMR-LTP для образования объединенного дескриптора признака. Формирование дескриптора признака для конкретной интересующей точки может дополнительно содержать применение дисперсионного анализа к объединенному дескриптору признаку, чтобы образовать высший дескриптор признака, содержащий подмножество признаков из объединенного дескриптора признака. Формирование дескриптора признака для конкретной интересующей точки может дополнительно содержать выполнение понижения размерности над высшим дескриптором признака, чтобы образовать дескриптор признака для конкретной интересующей точки.

[0014] В дополнительной реализации при формировании конкретного дескриптора признака структурированной гистограммы дескрипторы признаков локального двоичного шаблона или локального троичного шаблона вычисляются с использованием окрестности, заданной квадратом с углами или без них.

[0015] В другом аспекте реализуемый компьютером способ содержит этапы: приема изображения области лица пользователя, при этом область лица включает в себя глаз и область, окружающую глаз; задания глазной области изображения, включающей в себя по меньшей мере часть глаза на изображении области лица; задания одной или нескольких окружающих глаз областей изображения, включающих в себя по меньшей мере часть области, окружающей глаз на изображении области лица; идентификации множества интересующих точек по меньшей мере в одной из глазной области изображения и одной или нескольких окружающих глаз областей изображения; вычисления значения области для текстуры, окружающей интересующую точку, для каждой интересующей точки; и определения по меньшей мере одного показателя качества по меньшей мере для части изображения области лица на основе интересующих точек и соответствующих вычисленных значений областей.

[0016] В одной реализации вычисление значения области для конкретной интересующей точки содержит: вычисление по меньшей мере одного локального двоичного шаблона в квадратной окрестности (BP) для конкретной интересующей точки; и вычисление по меньшей мере одного BP для одной или нескольких точек, смещенных от конкретной интересующей точки. Вычисление значения области для конкретной интересующей точки может дополнительно содержать установку значения области в среднее из значений областей, вычисленных для конкретной интересующей точки и множества смещенных точек. Вычисление по меньшей мере одного BP для конкретной интересующей точки может содержать вычисление множества BP, при этом каждый обладает разной окрестностью, для конкретной интересующей точки, и вычисление по меньшей мере одного BP для смещенных точек может содержать вычисление множества BP, при этом каждый обладает разной окрестностью, для каждой смещенной точки. Вычисление множества BP для конкретной интересующей точки или смещенной точки может содержать: сокращение множества BP до шумного двоичного шаблона (NBP); и создание из NBP общего двоичного шаблона (genBP). Вычисление множества BP для конкретной интересующей точки или смещенной точки может дополнительно содержать: создание взвешенного шаблона H из genBP; и вычисление значения области для конкретной интересующей точки или смещенной точки в виде:

где L содержит максимальную длину непрерывных нулей в genBP. Смещенные точки могут содержать множество местоположений пикселей, равномерно сдвинутых в разных направлениях от конкретной интересующей точки.

[0017] В другой реализации определение показателя качества содержит: создание упорядоченного списка интересующих точек на основе соответствующих значений областей у интересующих точек; и вычисление расстояний между последовательными интересующими точками в упорядоченном списке. Определение показателя качества может дополнительно содержать вычисление показателя качества в виде:

где p содержит количество интересующих точек, s_n содержит значение области, вычисленное для интересующей точки n, sw_n содержит взвешенный индекс для интересующей точки n, а dw_n содержит вес для расстояния, соответствующего точке n в упорядоченном списке.

[0018] В дополнительной реализации по меньшей мере часть изображения области лица содержит глазную область или по меньшей мере одну из окружающих глаз областей. Способ может дополнительно содержать ранжирование окружающих глаз областей изображения на основе соответствующих показателей качества, вычисленных отдельно для каждой из окружающих глаз областей изображения. Способ может дополнительно содержать ранжирование окружающих глаз областей изображения на основе по меньшей мере одной из соответствующей дискриминирующей способности у каждой окружающей глаз области изображения. Способ может дополнительно содержать использование окружающих глаз областей изображения в постепенном биометрическом обнаружителе совпадений по меньшей мере частично на основе соответствующего показателя качества и/или ранжирований дискриминирующей способности у окружающих глаз областей изображения.

[0019] В еще одной реализации способ дополнительно содержит: определение, что разность вычисленных показателей качества между первой из глазных или окружающих глаз областей изображения и второй из глазных или окружающих глаз областей изображения превышает пороговую величину; и указание вероятного наличия обмана на основе определенной разности вычисленных показателей качества.

[0020] Другие аспекты вышеперечисленного включают в себя соответствующие системы и невременные компьютерно-читаемые носители. Подробности одной или нескольких реализаций предмета изобретения, описанного в настоящем описании изобретения, излагаются на прилагаемых чертежах и в описании ниже. Другие признаки, аспекты и преимущества предмета изобретения станут очевидны из описания, чертежей и формулы изобретения.

Краткое описание чертежей

[0021] На чертежах одинаковые номера позиций обычно ссылаются на одинаковые части на всех разных изображениях. Также чертежи не обязательно представлены в масштабе, вместо этого сделан акцент на иллюстрацию принципов реализаций в целом. В нижеследующем описании различные реализации описываются со ссылкой на следующие чертежи, на которых:

[0022] Фиг. 1 изображает примерный способ для создания глазного и окружающего глаза шаблона регистрации в соответствии с реализацией.

[0023] Фиг. 2A и 2B изображают примерный способ для задания глазных и окружающих глаз областей и соответствующих изображений лиц в соответствии с реализацией.

[0024] Фиг. 3 изображает примерный измененный процесс локального двоичного шаблона (genBP) в соответствии с реализацией.

[0025] Фиг. 4 изображает примерную методику для биометрического постепенного сопоставления с фазами регистрации и проверки в соответствии с реализацией.

[0026] Фиг. 5 изображает примерную систему для выполнения биометрического сканирования и анализа в соответствии с реализацией.

Подробное описание

[0027] Склера глаза включает в себя сложные шаблоны (главным образом из-за сосудистых структур), которые не только легко видимы и поддаются сканированию, но также уникальны у каждого человека. В некоторых случаях другие несосудистые образования также могут быть видимы и могут учитываться алгоритмом биометрического сопоставления. Таким образом, эти видимые структуры в склере глаза, главным образом благодаря сосудистой сети конъюнктивы и эписклеры, можно сканировать и преимущественно использовать в качестве биометрии. Эту биометрию можно использовать для аутентификации конкретного человека или идентификации неизвестного человека из большего набора кандидатур. Реализации решений для формирования изображений и сопоставления с шаблоном кровеносных сосудов в склере глаза и для обнаружения сосудистых точек, выделения признаков и сопоставления описываются, например, в патенте США № 8369595, выданном 5 февраля 2013 г. и озаглавленном "Texture Features for Biometric Authentication", и патенте США № 9390327, выданном 12 июля 2016 г. и озаглавленном "Feature Extraction and Matching for Biometric Authentication", которые полностью включаются в этот документ посредством ссылки. Чтобы добавить надежности к этим и другим методикам биометрической проверки, здесь описываются способы для постепенного включения видимых структур, не относящихся к сосудам глаза, за пределами склеры глаза, например, окружающие глаз, или частичное либо даже полное лицо, или другие видимые идентифицируемые шаблоны, в схему биометрического сопоставления по сосудам глаза, например, в случае, когда нужна дополнительная информация для создания более точного анализа.

[0028] Глазными признаками являются признаки, возникающие из шаблонов, наблюдаемых за пределами роговичного лимба и ограниченных веками, которые обусловлены главным образом сосудистыми рисунками, наблюдаемыми на склерах глаз. Впредь в этом документе такие признаки называются взаимозаменяемо глазными или сосудисто-глазными. Склера глаза содержит некоторое количество слоев. Склера является непрозрачным, волокнистым, защитным слоем глаза, содержащим коллаген и эластичное волокно. Склера покрыта эписклерой, которая содержит очень большое количество кровеносных сосудов и вен, которые проходят через нее и по ней. Эписклера покрыта бульбарной конъюнктивой, которая является тонкой прозрачной оболочкой, которая взаимодействует с веком или окружающей средой, когда веко открыто, которая также содержит уникальные и густые сосудистые структуры. Кровеносные сосуды проходят через все эти слои склеры глаза и могут быть обнаружены на изображениях глаза. Глаз также включает в себя ресницы и иногда опущенные веки, которые иногда могут загораживать части склеры глаза на изображении.

[0029] Окружение глаза относится к ближайшей области лица, окружающей глаз (внешней к нему и, в некоторых случаях, граничащей с краями век), которая текстурирована и может использоваться для биометрических применений. Окружающая глаз область может включать в себя одну или несколько областей, которые могут быть смежными, но не обязательно, и которые могут принимать различные виды по отношению к форме и размеру. Хотя окружающая глаз область не имеет четко заданных границ, стандартизация интересующей области может минимизировать проблемы регистрации, дополнительно повышая точность биометрической системы. Такой стандартизации можно добиться с использованием некоторого измеримого значения с лица пользователя, например, расстояния между уголками глаз, радиуса радужной оболочки, межглазного расстояния и/или ширины и высоты выведенной рамки глаза (используя при этом алгоритмы обнаружения глаз). Во время аутентификации пользователя захватывается одно или несколько цифровых изображений глаза пользователя и окружающей глаз области, из захваченного изображения или изображений формируется один или несколько шаблонов проверки, и личность пользователя можно проверить путем сопоставления соответствующих глазных и окружающих глаз структур, которые выражены в шаблонах регистрации и проверки.

[0030] В других реализациях в дополнение или вместо областей, непосредственно окружающих глаз, могут использоваться дополнительные области лица, выходящие за окружающую глаз область. Например, когда наблюдаются интенсивные выражения лиц, одну или несколько областей на носу и/или около него или на лице/вокруг лица можно считать расширенными окружающими глаз областями. В одной реализации черты лица могут дополнять глазные признаки для биометрического обнаружителя совпадений по глазам. В другой реализации глазные признаки, используемые биометрическим обнаружителем совпадений по глазам, дополняются окружающими глаз и расширенными чертами лица. В другой реализации все лицо может использоваться в дополнение или вместо областей, непосредственно окружающих глаз. Лицо может дополнять глазные признаки для биометрического обнаружителя совпадений по глазам. Окружающие глаз области и области лица могут дополнять глазные признаки, используемые биометрическим обнаружителем совпадений по глазам.

[0031] В различных других реализациях другая информация, например цвет кожи у окружающей глаз области, также может измеряться и использоваться в качестве простой биометрии. Цвет кожи может оцениваться с использованием гистограмм значений интенсивности разных цветовых диапазонов изображения, например, нормализованных каналов красного, зеленого и синего (RGB). Во время проверки информация гистограммы шаблона регистрации может использоваться для остановки процесса проверки, когда расстояние между гистограммами у изображений регистрации и проверки больше пороговой величины.

[0032] В одной реализации цвет кожи может оцениваться по методике кластеризации, которая идентифицирует наиболее выраженные цвета. В качестве одного примера пиксели RGB у окружающей глаз области преобразуются в цветовое пространство Lab и кластеризуются на N-ое количество классов. Оптимальное N может определяться с помощью AIC (информационный критерий Акаике) или BIC (информационный критерий Байеса). Далее эти кластеры сортируются в возрастающем порядке на основе их распространенности, и три верхних кластера группируются с предопределенными цветами кожи. Ближайший цвет кожи может определяться с помощью меры расстояния и/или меры корреляции. В одной реализации мерой расстояния является евклидово расстояние, хотя рассматриваются и другие меры расстояния. Далее процедуру проверки можно остановить, если расстояние и/или корреляция между изображением регистрации и проверки больше пороговой величины. Такой же процесс может применяться к другим цветным частям изображения, например радужной оболочке.

[0033] Фиг. 1 изображает примерный способ для создания глазного и окружающего глаза шаблона регистрации. На этапе 102 одно или несколько изображений области (областей) лица пользователя захватываются с использованием датчика изображений, например фотокамеры, который может ассоциироваться с устройством, доступ пользователя к которому нужно аутентифицировать (например, смартфон, "умные" часы, "умные" очки, блокнотный компьютер, планшетный компьютер и т. п.). В качестве иллюстрации фотокамера может цифровой фотокамерой, трехмерной (3D) фотокамерой, светлопольным датчиком и/или датчиком ближнего ИК-диапазона, или другим монохроматическим и/или многоспектральным датчиком формирования изображений. Изображения может включать в себя одну или несколько глазных областей (областей, задающих область глаза пользователя) и/или одну или несколько окружающих глаз областей, а также, в некоторых случаях, другие области лица. Изображения могут захватываться либо в неподвижном режиме, либо в видеорежиме, или их сочетании. Изображения могут захватываться с различными длинами волн. В некоторых реализациях пользователя приглашают (с помощью визуальной, или слышимой, или тактильной обратной связи) переместить устройство ближе/дальше, чтобы прийти к оптимальному расстоянию для нахождения глаз и/или лица.

[0034] На этапе 104 идентифицируется начальная интересующая область (ROI), например, можно определить один или оба глаза. С этой целью можно использовать алгоритмы Виолы-Джонса или аналогичные алгоритмы обучения, обученные на различных изображениях разных смотрящих вперед глаз. В другой реализации могут использоваться алгоритмы Виолы-Джонса, обученные на различных изображениях разных блестящих глаз. После этого может использоваться алгоритм отслеживания взгляда, например, использующий фильтры Хаара, для квантования величины взгляда для получения одного или нескольких изображений, как только обнаруживается выбранное направление взгляда.

[0035] Как только найдена начальная ROI на лице, показанном на захваченном изображении (изображениях), может выполняться дополнительное вычисление для получения итоговой ROI на изображении. Как правило, итоговые ROI кадрируются для получения изображений RGB и/или ближнего ИК-диапазона для одного или нескольких глаз. Соответственно, при использовании в данном документе "изображение" или "захваченное изображение" также может называться кадрированным изображением итоговой ROI.

[0036] Со ссылкой на фиг. 1, на глазном и окружающем глаз этапах одно или несколько усредненных или иным образом улучшенных либо естественно захваченных изображений, которые могут быть изображениями регистрации или изображениями проверки, предварительно обрабатываются на подэтапе 106 улучшения изображения и подэтапе 108 качества изображения, и признаки из предварительно обработанных изображений выделяются на подэтапе 110 выделения признаков, чтобы сформировать один или несколько глазных и окружающих глаз шаблонов. Подэтапы 106 и 108 предварительной обработки могут включать в себя методики улучшения изображения и качества изображения, дополнительно объясняемые ниже. Подэтап 110 выделения признаков может включать в себя обнаружение интересующей точки и извлечение локального дескриптора, которые подробно описываются ниже. Операции, выполняемые во время подэтапов 106, 108 и 110 на глазном и окружающем глаз этапах, не должны быть одинаковыми. Точнее, на тех соответствующих этапах могут использоваться разные операции, которые учитывают конкретные признаки глазных и окружающих глаз областей. Глазные и/или окружающие глаз шаблоны регистрации перед сохранением можно зашифровать или иным образом защитить на этапе 112.

Границы окружения глаза

[0037] Ссылаясь теперь на фиг. 2A и 2B, можно извлечь окружающие глаз области с использованием различных способов. При получении изображения лица пользователя (этап 200) обнаруживается одна или несколько областей глаза (этап 202). На основе размера рамок глаз, идентифицированных на этапе 202, можно пересчитать размер области глаза (этап 204). Переходя к глазному этапу, в одной реализации интегродифференциальный алгоритм, окружности Хафа или детектор пятна Гессе используется для обнаружения границы радужной оболочки (сегментация области радужной оболочки на этапе 208). Аналогичным образом может использоваться основанный на фильтрации Габора алгоритм для обнаружения верхнего и нижнего века, и дополнительные склеры глаза можно отделить после удаления области радужной оболочки (сегментация склеральной области на этапе 206). Окружающую глаз область можно вывести после вычитания областей склеры глаза и радужной оболочки из захваченных изображений (этап 210). В некоторых реализациях для сегментации вышеупомянутых областей используются цветовые способы.

[0038] В одной реализации, как показано этапом 212 окружающей глаз области на фиг. 2A и 2B, можно задать окружающие глаз области возле итоговой глазной ROI с размером ширина W x высота H (где W и H - количество пикселей в горизонтальном и вертикальном направлении соответственно), как описано ниже. Глазная ROI не обязательно имеет прямоугольную форму; точнее, ROI может принимать вид, аналогичный форме глаза, как показано на фиг. 2B, и W и H можно задать как ширину и высоту соответственно у ограничивающего прямоугольника, включающего в себя глазную ROI. Могут быть различные количества областей; однако описанная ниже реализация включает в себя четыре окружающих глаз области (с 1 по 4), ранжированных по дискриминирующей способности, которая по существу относится к тому, насколько полезна та область в операции биометрического сопоставления. Точнее говоря, окружающая глаз область 1 представляет область лица с более отличительными, или дискриминирующими, характеристиками, нежели область 2, которая обладает большей дискриминирующей способностью по сравнению с областью 3, и так далее. Рассматриваются различные размеры окружающей глаз области (здесь они заданы ограничивающим прямоугольником с шириной W x высоту H). Диапазоны и значения окружающих глаз областей, раскрытые в этом документе, были определены опытным путем на основе масштабного тестирования того, какие окружающие глаз области обладают достаточной дискриминирующей способностью для целей выполнения операций биометрического сопоставления. При использовании ниже термин "практически равный" означает равный конкретному значению или в пределах +/- 10% от того значения.

[0039] В одной реализации четыре окружающих глаз области задаются следующим образом, где W и H относятся к ширине и высоте глазной области соответственно:

- Область 1:

- Ширина практически равна W.

- Высота находится в диапазоне от 0,1*H до 3*H ниже рамки глаза в глазной области включительно. В одной реализации высота практически равна 0,3*H.

- Область 2:

- Ширина находится в диапазоне от 0,1*W до 0,8*W включительно. В одной реализации ширина практически равна 0,2*W.

- Высота находится в диапазоне от 1,2*H (0,1*H выше рамки глаза в глазной области и 0,1*H ниже рамки глаза) до 5,5*H (1,5*H выше рамки глаза и 3*H ниже рамки глаза) включительно. В одной реализации высота практически равна 1,45*H (0,15*H выше рамки глаза и 0,3*H ниже рамки глаза).

- Область 3:

- Ширина находится в диапазоне от 0,1*W до 0,5*W включительно. В одной реализации ширина практически равна 0,15*W.

- Высота находится в диапазоне от 1,2*H (0,1*H выше рамки глаза в глазной области и 0,1*H ниже рамки глаза) до 5,5*H (1,5*H выше рамки глаза и 3*H ниже рамки глаза) включительно. В одной реализации высота практически равна 1,45*H (0,15*H выше рамки глаза и 0,3*H ниже рамки глаза).

- Область 4:

- Ширина практически равна W.

- Высота находится в диапазоне от 0,1*H до 1,5*H выше рамки глаза в глазной области включительно. В одной реализации высота практически равна 0,15*H.

[0040] Могут использоваться другие непрямоугольные или даже несмежные окружающие глаз (или другие лицевые) подобласти на основе дифференцируемости и надежности той области (областей) для человека, некоторой совокупности или всех пользователей. В некоторых реализациях, когда часто наблюдаются опущенные веки, оптимальную окружающую глаз область вокруг компактной рамки размера WxH можно задать следующим образом:

- Ширины областей 2 и 3 практически равны 0,2*W и 0,15*W соответственно.

- Высоты областей 2 и 3 практически равны 1,45*H каждая (которая начинается от верха рамки глаза).

- Ширины областей 1 и 4 практически равны W.

- Высоты областей 1 и 4 практически равны 0,45*H и 0,1*H соответственно.

[0041] Диапазон значений для высот и ширин для различных областей такой же, как объяснялось выше. Рассматриваются и другие размеры окружающей глаз области. Значения W и H могут меняться на основе разрешения датчика формирования изображений.

Улучшение изображения

[0042] Теперь будут объясняться методики улучшения изображения, например, выполняемые на этапе 106 из фиг. 1. Изображения, которые захватываются датчиком изображений, могут иметь меняющееся качество вследствие, например, экспозиции и артефактов размытия. На этапе 106, который необязателен, можно зарегистрировать несколько изображений (то есть выровнять пространственно) и усреднить для уменьшения шума изображений. В некоторых реализациях используются способы корреляции изображений для измерения несходства между полученными изображениями, чтобы выровнять изображения для усреднения и отбросить те, которые больше всего отличаются (например, вследствие размытия или моргания) и поэтому не подходят для регистрации и усреднения. Например, после регистрации можно усреднить n последовательных кадров с минимальным движением. Количество последовательных кадров (пренебрегая изредка отбрасываемыми кадрами, объясненными выше), которые усредняются, может зависеть от частоты кадров, уровня шума датчика изображений при заданных настройках, внешних условий, при которых захватываются изображения.

[0043] В одном примере, если окружающий свет больше 800 лм во время получения изображений, то регистрируются и усредняются два последовательных кадра. Если окружающий свет находится в диапазоне 450-800 лм, то регистрируются и усредняются 3 последовательных кадра. Если окружающий свет находится в диапазоне 0-450 лм, то регистрируются и усредняются 4 последовательных кадра. Для склер глаза, окружающей глаз области и лица возможны другие сочетания выбора количества кадров на основе окружающего света, включая вариант без усреднения, если интересующая область достаточно яркая, чтобы шум датчика был незначительным при заданных настройках.

[0044] В другой реализации количество кадров, используемое для усреднения, также можно приспособить к артефактам движения в последовательных кадрах. Например, движение может быть вызвано меняющимися выражениями, перемещениями глаз и тела и/или окружающими аберрациями. Движение можно измерить с использованием корреляции по кадрам, взаимной информации по кадрам и т. п. В одной реализации количество кадров, используемое для усреднения, полагается на окружающее освещение и наблюдаемые артефакты движения.

[0045] В некоторых реализациях алгоритмы улучшения изображений включают в себя саморазделенное изображение, или SQI. Простую версию изображения SQI (Q) можно представить следующим образом:

Q=I/=I/(F*I)

где - сглаженная версия I, а F - сглаживающее ядро. Способ SQI известен за его свойство инвариантности к освещению, которое полезно для окружающих глаз областей с переменной освещенностью из-за теней и других условий освещения. Могут использоваться и другие улучшения изображения, например линейные дескрипторы Вебера (WLD), диффузные фильтры когерентности, вейвлеты Atrous, "Ретинекс" [Retinex] (и его разновидности), одно- или многокадровая двусторонняя фильтрация, способы глубокого обучения и другое редкое улучшение.

[0046] В одной реализации шаблон Габора локального градиента (LGGP) может использоваться в качестве методики улучшения изображения для конкретного изображения или области изображения, как описано на следующих этапах.

[0047] Этап 1: Вычислить фазу Габора для канала зеленого в области изображения, используя четные и нечетные отклики Габора следующим образом:

[0048] Этап 1a: 2-мерное четное ядро Габора, аналогично полосовым фильтрам, является косинусной функцией, модулированной 2-мерной гауссовой огибающей, а 2-мерный нечетный Габор является синусоидальной функцией, модулированной 2-мерной гауссовой огибающей. Четное и нечетное ядра Габора можно вывести следующим образом:

Посредством следующего координатного преобразования можно добиться любого масштаба и ориентации ядра Габора:

где σ_x и σ_y задают размах гауссовой огибающей по осям x и y соответственно, f - частота модулирующего синуса или косинуса, а - ориентация ядра. В одной реализации частота устанавливается в 6, а размах гауссиана по осям x и y устанавливается в 2,5. В одной реализации выбор ориентаций ограничен 6, меняясь от 0 до 5π/6 каждые π/6 радиан в разные стороны.

[0049] Этап 1b: Фаза изображения Габора вычисляется следующим образом:

где - оператор свертки. При любой заданной ориентации, в качестве примера, I_Phase(=0) является изображением размера, равного размеру канала зеленого в области изображения.

[0050] Этап 2: Фазы откликов Габора (изображений) при различных ориентациях агрегируются для образования выходного изображения. Тремя примерными способами для достижения этого являются: (1) удерживать максимальное значение интенсивности пикселя в заданном местоположении (x, y) по всем ориентациям; (2) установить интенсивность пикселя в заданном местоположении (x, y) в среднее взвешенное откликов по всем ориентациям в том конкретном местоположении; и (3) умножить максимальное значение интенсивности пикселя в заданном местоположении (x, y) по всем ориентациям на исходное изображение с последующей нормализацией.

[0051] Этап 3: Затем вычисляются локальные градиенты в четырех направлениях (0, 45, 90 и 135 градусов) для агрегированных откликов, и оставляют максимальное значение градиента для образования выходного изображения.

[0052] В одной реализации перед вышеупомянутыми методиками улучшения может использоваться нормализация цвета, например балансировка белого с использованием алгоритма "серого мира".

[0053] В одной реализации дополнительная обработка улучшенного изображения включает в себя регулировки гистограммы и контраста изображения, например, адаптивное выравнивание гистограммы с ограничением по контрасту (CLAHE). CLAHE в целом работает в небольших областях изображения, называемых фрагментами. Как правило, контраст каждого фрагмента улучшается так, что гистограмма результата приблизительно совпадает с гистограммой, заданной конкретным распределением (например, равномерным, экспоненциальным или распределением Рэлея). Затем соседние фрагменты объединяются с использованием интерполяции (например, билинейной интерполяции) для устранения любых искусственно полученных границ. В некоторых реализациях выбор линейной или нелинейной комбинации красной, зеленой или синей цветовых компонент, которые обладают наилучшим контрастом между сосудами глаза или окружающими глаз признаками и фоном, может улучшить область изображения. Например, зеленая компонента может быть предпочтительной на изображении RGB сосудов глаза, потому что может обеспечить лучший контраст между сосудами и фоном.

Показатели качества изображения и признаков

[0054] Ссылаясь обратно на этап 108 на фиг. 1, можно измерить качество каждого улучшенного изображения, и те изображения, которые удовлетворяют некоторой пороговой величине качества, остаются для дополнительной обработки. Такое качество можно измерять совместно или отдельно для глазной и окружающей глаз области. Показатель качества изображения также может действовать в качестве прогнозирующего совпадение показателя качества (меры возможности совпадать у соответствующей биометрической выборки) и в некоторых сценариях может быть внедрен в итоговую оценку совпадения, чтобы повысить производительность биометрической системы.

[0055] В одной реализации обнаруженные интересующие точки на изображении могут определять качество изображения. Один точечный показатель качества, который является безотносительным показателем качества изображения, будет называться EV_QM в этом документе. EV_QM может вычисляться с использованием трех этапов: обнаружение интересующей точки, вычисление значения области и формирование оценки показателя качества. Интересующие точки можно обнаружить с использованием обнаружения сосудистых точек (VPD), дополнительно объясняемого ниже. Значение области относится к величине текстуры вокруг каждой интересующей точки. Текстура вокруг каждой интересующей точки может определяться с использованием локального троичного шаблона (LTP). Формирование оценки показателя качества измеряется с использованием местоположения углов и значения области.

[0056] Ссылаясь на фиг. 3, в одной реализации значение области может вычисляться с использованием следующего измененного процесса локального двоичного шаблона (LBP). Три квадрата (с углами или без) с соответствующими разными полудлинами (окрестностями) вычисляются вокруг интересующей точки вместе с их геометрическими местами пикселей (как изображено на сетке 304 пикселей). Например, эти полудлины могут составлять 2, 4, 6 или другое количество пикселей. Интересующая точка может дополнительно смещаться (сдвигаться) в 8 разных местоположений (как изображено на сетке 302 пикселей), дополнительно создавая 3 квадрата (за вычетом их углов) вокруг каждой смещенной точки (аналогично тому, что изображено на сетке 304 пикселей, при этом смещенная точка служит в качестве центральной точки). LBP для каждых интересующих и смещенных точек вычисляются по каждому из трех квадратов, которые дополнительно называются двоичными шаблонами (BP). Таким образом, каждая интересующая точка и соответствующие смещенные точки имеют три разных BP, ассоциированных с ними.

[0057] Три BP можно дополнительно сократить для получения окончательного значения области (оценки текстуры) следующим образом:

[0058] Этап 1: Каждый BP оценивается для определения оценки равномерности. Если BP не равномерный (например, меняется больше 4 разрядов или меньше 2 разрядов), то BP отбрасывается, и оценка (окончательное значение области) по соответствующему смещению или интересующей точке устанавливается в ноль.

[0059] Этап 2: Если все BP равномерны, то выполняется процесс фильтрации, который графически изображен на этапе 306 на фиг. 3. Каждый элемент в BP1, BP2 и BP3 добавляется с использованием следующей формулы:

Имеется три возможных значения (1, 0 и 2), которые можно наблюдать в каждом элементе Result_n. Каждый из этих разрядов дополнительно отображается в соответствии с соответствующими значениями (-1, 0 и 1 соответственно) в Значение, как показано на этапе 308. Этот результат дополнительно называется шумным двоичным шаблоном (NBP).

[0060] Этап 3: Если имеется более четырех шумных пикселей, то оценка для соответствующей интересующей точки устанавливается в ноль. В противном случае каждый шумный пиксель в NBP заменяется ближайшим соседом.

[0061] Этап 4: Конечным результатом является один двоичный шаблон с длиной BP для полудлины 2. Этот конечный двоичный шаблон дополнительно называется genBP.

[0062] Этап 5: genBP дополнительно взвешивается на основе формул, описанных на этапе 310:

Результат дополнительно называется взвешенным шаблоном, или H.

[0063] Этап 6: Вычислить максимальную длину непрерывных нулей в genBP и дополнительно назвать ее L.

[0064] Этап 7: Окончательное значение s_n области может вычисляться с использованием формулы, описанной на этапе 312:

[0065] Этап 8: Если по меньшей мере три из точек, включающих в себя интересующую точку и соответствующие смещенные точки, вычисляют значение области, то значения областей у интересующей точки и тех смещенных соответствующих точек, вычисляющих значение области, усредняются и присваиваются s_n. В противном случае s_n устанавливается в ноль.

[0066] В другой реализации значение области может вычисляться с использованием энтропии области, окружающей интересующие точки и соответствующие смещенные точки вокруг каждой интересующей точки. Энтропия области вокруг интересующей точки вычисляется следующим образом:

[0067] Этап 1: Инициализировать пороговую величину, чтобы квантовать текстуру в интересующей области вокруг интересующей точки и соответствующих смещенных точек.

[0068] Этап 2: Определить количество слоев (level_map) в интересующей области путем вычитания интенсивности центрального пикселя со всеми другими интенсивностями в интересующей области.

[0069] Этап 3: level_map дополнительно квантуется путем группирования интенсивностей пикселей с использованием пороговой величины, определенной на этапе 1.

[0070] Этап 4: Вычисляется количество уникальных элементов в каждой группе level_map.

[0071] Этап 5: Значение области на основе энтропии вокруг интересующей точки вычисляется следующим образом:

где N - длина элементов в группе "i".

[0072] Этап 6: Усреднить s_n по интересующей точке и соответствующим смещенным точкам и присвоить усредненное значение s_n.

[0073] В другой реализации значение области может вычисляться с использованием энтропии информации градиента вокруг интересующих точек в направлениях "D". В одной реализации D включает в себя 0, 45, 90 и 135 градусов. Информация градиента может вычисляться в нескольких масштабах вокруг интересующей точки.

[0074] В одной реализации местоположения углов и соответствующие значения областей можно использовать для определения формирования оценки показателя качества. Формирование оценки показателя качества можно реализовать следующим образом:

[0075] Этап 1: Отсортировать интересующие точки на основе их значений областей в убывающем порядке и отметить местоположения соответствующих интересующих точек.

[0076] Этап 2: Пусть расстояниями между соответствующими интересующими точками после их переупорядочения на основе Этапа 1 будут d={d₁, d₂, d₃, …, d_n-2, d_n-1, d_n}, где d1 - расстояние между первой и второй интересующей точкой. d_n будет нулем.

[0077] Этап 3: Пусть веса расстояний вычисляются как логарифм расстояний: dw_n=log (d).

[0078] Этап 4: Вычислить взвешенный индекс в виде:

, где n - количество интересующих точек

[0079] Итоговую оценку показателя качества можно вычислить с использованием следующей формулы:

, где p - количество интересующих точек

[0080] Можно использовать другие алгоритмы обнаружения интересующей точки, например, можно вычислять с использованием алгоритмов признаков из ускоренной проверки сегментов (FAST) или ускоренных устойчивых признаков (SURF).

[0081] EV_QM может вычисляться отдельно для глазных и окружающих глаз областей, и дополнительно каждую ROI можно ранжировать на основе вычисленного EV_QM. ROI могут сопоставляться в порядке, в котором они были ранжированы, если используется постепенный обнаружитель совпадений (описанный ниже). Примечательно, что описанные в этом документе показатели качества можно использовать в методиках обнаружения обмана. Воспроизведения черт лица для глаза или лица, например физические фотографии или распечатки, или цифровые изображения либо видео подлинного пользователя, воспроизводимые на экране со злым умыслом, часто имеют низкое качество (например, меньшее разрешение, смазанные, изменили цвет, шумные, нерезкие и т. п.) по сравнению с реальным физическим присутствием во время сканирования. После отфильтровывания низкокачественных интересующих точек во время процесса проверки у низкокачественного воспроизведения, как правило, не будет достаточного количества распознаваемых интересующих точек, и поэтому оно не пройдет проверку.

[0082] Аналогичные методики с тем же успехом можно использовать для обнаружения частичного обмана. Например, человек может держать распечатку допустимого глаза перед его или ее глазом в попытке пройти процесс проверки глаза. При выполнении проверки определенное качество распечатки глаза (например, распознаваемые интересующие точки) можно сравнить с определенным качеством окружающих глаз или других областей лица. Если отличие качества между глазом и одной или несколькими другими областями превышает пороговую величину, то это может указывать наличие частичного обмана, и проверка может не иметь успеха. Рассматриваются и другие методики обнаружения обмана с использованием раскрытых показателей качества.

Обнаружение интересующей точки

[0083] Различные алгоритмы обнаружения интересующей точки могут отдельно использоваться в области захваченного изображения сосудов глаза, окружения глаза и лица. Например, алгоритм ускоренных устойчивых признаков (SURF) является алгоритмом обнаружения признака типа "пятна", который может использоваться для идентификации областей в области изображения с центром в интересующей точке. Алгоритм признаков из ускоренной проверки сегментов (FAST) является алгоритмом обнаружения углов, который также может использоваться для идентификации интересующих точек в области изображения. Детектор сосудистых точек (VPD) также может использоваться для идентификации точек, которые привязаны к сосудистой сети в области изображения. Кроме того, VPD также может использоваться для обнаружения точек в окружающей глаз области и на лице. В некоторых реализациях возможные точки также можно идентифицировать в нескольких масштабах изображения. Например, если размером исходного изображения является 100×100 (масштаб 0), то точки можно идентифицировать из исходного изображения 100×100, а также когда размер исходного изображения меняется на 50×50 (масштаб 1) и 25×25 (масштаб 2). Можно рассмотреть другие связанные с областями конфигурации детекторов точек.

Подавление точек

[0084] Количество возможных точек, которые создаются с использованием алгоритма обнаружения интересующей точки, может меняться на основе величины текстуры и качества изображения. Кроме того, такие алгоритмы могут привязываться к шумной или нерелевантной (по отношению к данному применению) информации, особенно алгоритмы без VPD. Такие шумные или нерелевантные возможные точки можно удалять с помощью алгоритмов подавления возможных точек.

[0085] В одной реализации алгоритм подавления несосудистых точек (NVS) используется для определения качества возможной точки. Алгоритм объясняется на следующих этапах:

[0086] Этап 1: Извлечь Область (R) вокруг интересующей точки. Пусть размером R будет MxM.

[0087] Этап 2: Извлечь Локальные участки (LP) в R размера NxN, где N<M. Назначить LP с центром в R в качестве Центрального участка (CP).

[0088] Этап 3: Локальные участки внутри области R заполнены слабо.

[0089] Этап 4: Вычислить распределения гистограмм всех LP, заключенных в области R, и вычесть гистограмму CP из каждой вычисленной гистограммы для LP.

[0090] Этап 5: Для каждого вычитания вычислить оценку размаха в виде количества занимаемых элементов дискретизации, поделенного на совокупные доступные элементы дискретизации.

[0091] Этап 6: Вывести сочетание полосовых фильтров на основе распределения пикселей на исходном изображении (Вычисление полосовых фильтров). Эти полосовые фильтры используются для измерения величины фиктивных пикселей, например бликов, по сравнению с пикселями информации о сосудах.

[0092] Этап 7: Вычитаемые участки с Этапа 4 фильтруются на основе выведенного полосового фильтра, и вычисляется угловой отклик.

[0093] Этап 8: Использовать оценку размаха и угловой отклик в каскадной структуре. Оценка размаха является двоичным классификатором: она либо отклоняет, либо принимает точку. Угловой отклик предоставляет нормализованную оценку между нулем и единицей. Ноль указывает отсутствие кровеносных сосудов, тогда как единица указывает наличие кровеносных сосудов.

[0094] В другой реализации Вычисление полосовых фильтров используется для определения интенсивности возможной точки. Полосовой фильтр динамически формируется на основе статистики сегментированных склер области глаза. Полосовой фильтр может формироваться следующим образом:

[0095] Этап 1: Извлечь слой зеленого в склеральной области из изображения RGB.

[0096] Этап 2: Вывести гистограмму области. Например, использовать "N" элементов дискретизации для извлечения гистограммы из изображения uint8.

[0097] Этап 3: Вычислить показательную функцию от обратной нормализованной гистограммы, выведенной на этапе 2.

[0098] Этап 4: Уменьшить показательную функцию на коэффициент k. Коэффициент k меняется, как правило, от 0,1 до 0,3 и может настраиваться на основе применения или набора данных.

[0099] Этап 5: Вычислить ответ обратной показательной функции с целочисленными значениями от 1 до N.

[00100] Этап 6: Объединить первые 5 элементов с Этапа 4 и оставшиеся с Этапа 5. Это дает полосовой фильтр 1.

[00101] Этап 7: Для полосового фильтра 2 построить гауссиан с нормальным распределением склеральных пикселей (канал зеленого).

[00102] Этап 8: Использовать полосовой фильтр 1 и полосовой фильтр 2 параллельно для установления интенсивности сосудистой точки.

[00103] Этот процесс создания фильтра приспосабливается к пикселям изображения. Если изображение темное, то большинство склеральных пикселей попадает возле нижнего хвоста гистограммы. Поэтому полосовой фильтр 1 имел бы большую чувствительность по сравнению с полосовым фильтром 2. Это уменьшает оценку точки. Аналогичным образом у насыщенного бликами изображения все пиксели были бы в верхнем хвосте, и полосовой фильтр 2 будет иметь большую чувствительность, исключая точку с низкой оценкой.

[00104] В одной реализации может формироваться равномерность локального двоичного шаблона (LBP) для определения качества возможной точки. При Использовании 8-разрядного кода LBP количество поразрядных переходов от 0 к 1 или обратно определяет равномерность кода LBP. Код LBP считается равномерным, если имеет меньше либо равное "n" количество переходов. Диапазон переходов составляет от 0 до 8. В одной реализации n равно 3. В качестве примера равномерными являются коды LBP 00000000 с 0 переходами, 01111100 с 2 переходами, 01000001 с 3 переходами. Аналогичным образом 01010000 с 4 переходами и 01010010 с 6 переходами являются неравномерными. Возможные точки, которые являются равномерными, сохраняются в шаблоне.

[00105] Вышеупомянутые алгоритмы качества для возможных точек могут использоваться совместно с данным процессом регистрации или проверки либо отдельно.

Локальные дескрипторы признаков

[00106] Вектор признаков возле каждой интересующей точки может формироваться с использованием участка изображения возле интересующей точки отдельно для областей сосудов глаза, окружающих глаз областей и областей лица. Дескрипторы для интересующей точки могут формироваться с использованием одного или нескольких алгоритмов дескрипторов признака. Алгоритм быстрых ключевых точек сетчатки (FREAK) является одним примерным алгоритмом дескрипторов признака, который может использоваться, например, для формирования дескрипторов для возможных точек, идентифицированных алгоритмами FAST. Дескрипторы FREAK могут быть, например, строкой двоичных чисел, которая задает визуальные признаки, окружающие возможную точку. Локальные двоичные шаблоны (LBP) и их разновидности, например центросимметричные локальные двоичные шаблоны (CSLBP) вокруг возможных точек, являются примерами дескрипторов признаков, которые можно использовать для описания участков изображение в окрестности возможной точки. Гистограммы ориентированных градиентов (HoG), гистограммы LBP (HLBP), гистограммы CSLBP (HCSLBP), структурированные гистограммы расширенного многорадиусного LBP (PH-EMR-LBP), структурированные гистограммы расширенного многорадиусного CSLBP (PH-EMR-CSLBP), структурированные гистограммы расширенных многорадиусных локальных троичных шаблонов (PH-EMR-LTP) и структурированные гистограммы двоичных шаблонов после понижения размерности (PHBP-DR) являются другими примерами дескрипторов признаков, которые можно использовать для описания окрестностей изображения возле возможных точек. Могут использоваться и другие алгоритмы дескрипторов признака или сочетания алгоритмов для формирования локальных дескрипторов изображения для возможных точек области изображения.

[00107] В одной реализации следующие этапы включаются в формирование дескрипторов PH-EMR-LBP:

[00108] Этап 1: Вычислить коды LBP для концентрических квадратов 3×3 пикселя и 5×5 пикселей вокруг каждого пикселя, чтобы образовать изображение многорадиусного LBP (MR-LBP) (отметим, что в отличие от обычного LBP вышеупомянутая методика использует квадратную или прямоугольную окрестность, которая может включать в себя углы или исключать их, вместо круглых геометрических мест пикселей вокруг центрального пикселя для выведения кода LBP). В области 3×3 пикселя сравнение центрального пикселя с ближайшими восемью соседними пикселями формирует код LBP 3×3. Результатом является 8-разрядный код, чьими значениями разрядов являются либо 0, либо 1 (1, если значение интенсивности соседнего пикселя больше интенсивности центрального пикселя, в противном случае - 0). Аналогичным образом в области 5×5 пикселей сравнение центрального пикселя с его следующими ближайшими восемью соседними пикселями (то есть шестнадцатью пикселями) формирует код LBP 5×5 (результатом является 16-разрядный код). Поэтому MR-LBP содержит 24-разрядный код (8 из 3×3 и 16 из кода LBP 5×5) для данного пикселя на изображении.

[00109] Этап 2: Участок MxM (результат этапа 1) вокруг каждой интересующей точки сегментируется на NxN подобластей, которые могут иметь K перекрытых пикселей.

[00110] Этап 3: Гистограммы для каждого 24-разрядного MR-LBP в каждой подобласти выводятся отдельно и объединяются для предоставления PH-EMR-LBP (отметим, что в отличие от обычного LBP эта гистограмма вычисляется на основе частоты местоположений разрядов LBP в участке вместо десятичного эквивалента двоичного кода).

[00111] Значения параметров для M, N и K можно настраивать на основе пространственной частоты, разрешения и шума изображений.

[00112] В одной реализации следующие этапы включаются в формирование дескрипторов PH-EMR-CSLBP:

[00113] Этап 1: Вычислить коды центросимметричных локальных двоичных шаблонов (CSLBP) 3×3 пикселя и 5×5 пикселей в каждом пикселе, чтобы образовать изображение многорадиусного CS-LBP (MR-CSLBP). В области 3×3 сравнение значений интенсивности диагональных пикселей с использованием 8 граничных пикселей формирует 4-разрядный код CS-LBP 3×3 (начиная с верхнего левого пикселя, считая граничные пиксели пронумерованными от 1-8 в направлении по часовой стрелке, 4-разрядный код CS-LBP формируется путем сравнения пикселя 1, 2, 3 и 4 с 5, 6, 7 и 8 соответственно). Значениями являются 0 или 1 (1, если значение интенсивности 1 больше 5, в противном случае 0 - аналогичным образом для других сочетаний). Также в области 5×5 сравниваются 16 диагональных пикселей внешней окружности для формирования 8-разрядного кода CS-LBP 5×5. Поэтому MR-CS-LBP содержит 12-разрядный код (4 из 3×3 и 8 из кода CS-LBP 5×5) для данного пикселя на изображении.

[00114] Этап 2: Участок MxM (результат этапа 1) вокруг каждой интересующей точки сегментируется на NxN подобластей, которые могут иметь K перекрытых пикселей.

[00115] Этап 3:: Гистограммы для каждого 12-разрядного MR-CS-LBP в каждой подобласти выводятся отдельно и объединяются для предоставления PH-EMR-CS-LBP.

[00116] Аналогично предыдущему дескриптору значения параметров для M, N и K можно настраивать на основе пространственной частоты, разрешения и шума изображений.

[00117] В одной реализации следующие этапы включаются в формирование дескрипторов PH-EMR-LTP:

[00118] Этап 1: Вычислить коды локальных троичных шаблонов 3×3 пикселя и 5×5 пикселей в каждом пикселе, чтобы образовать изображение многорадиусного LTP (MR-LTP) с величиной шага (SS). В области 3×3 сравнение центрального пикселя с ближайшими восемью соседними пикселями формирует код LTP 3×3. Результатом является 16-разрядный код, чьими значениями являются 0 или 1 (1, если значение интенсивности каждого соседнего пикселя больше интенсивности центрального пикселя плюс SS, в противном случае 0; и 1, если значение интенсивности каждого соседнего пикселя меньше интенсивности центрального пикселя минус SS, в противном случае 0). Аналогичным образом в области 5×5 сравнение центрального пикселя с его следующими ближайшими восемью соседними пикселями (то есть 16 пикселями) формирует код LTP 5×5 (результатом является 32-разрядный код). Поэтому MR-LTP содержит 48-разрядный код (16 из 3×3 и 32 из кода LBP 5×5) для данного пикселя на изображении.

[00119] Этап 2: Участок MxM (результат этапа 1) вокруг каждой интересующей точки сегментируется на NxN подобластей, которые могут иметь K перекрытых пикселей.

[00120] Этап 3: Гистограммы для каждого 48-разрядного MR-LTP в каждой подобласти выводятся отдельно и объединяются для предоставления PH-EMR-LTP.

[00121] Аналогично предыдущему дескриптору значения параметров для M, N и K можно настраивать на основе пространственной частоты, разрешения и шума изображений.

[00122] В одной реализации можно вывести PHBP-DR с использованием следующих этапов:

[00123] Этап 1: PH-EMR-LBP для данной интересующей точки выводится путем установки значений M, N и K в 9, 3 и 1 соответственно. Эти конфигурации дают вектор признаков длиной 384 (24×16; гистограммы каждого из 24-разрядных кодов по 16 подобластям. Отметим, что возможны 16 подобластей 3×3 на участке 9×9 с перекрытием в 1 пиксель) со значениями от 0 до 9 (так как в подобласти 3×3 есть 9 пикселей).

[00124] Этап 2: PH-EMR-CS-LBP для данной интересующей точки выводится путем установки значений M, N и K в 7, 3 и 1 соответственно. Эти конфигурации дают вектор признаков длиной 108 (12×9; гистограммы каждого из 12-разрядных кодов по 9 подобластям. Отметим, что возможны 9 подобластей 3×3 на участке 7×7 с перекрытием в 1 пиксель) со значениями от 0 до 9 (так как в подобласти 3×3 есть 9 пикселей).

[00125] Этап 3: PH-EMR-LTP для данной интересующей точки выводится путем установки значений M, N и K в 9, 3 и 1 соответственно. Эти конфигурации дают вектор признаков длиной 768 (48×16; гистограммы каждого из 48-разрядных кодов по 16 подобластям. Отметим, что возможны 16 подобластей 3×3 на участке 9×9 с перекрытием в 1 пиксель) со значениями от 0 до 9 (так как в подобласти 3×3 есть 9 пикселей). SS устанавливается в 5 после того, как значения интенсивности изображения нормализуются до 0-255.

[00126] Этап 4: Векторы 1, 2 и 3 признаков объединяются для образования вектора признаков длиной 1260.

[00127] Этап 5: Используя дисперсионный анализ, оставляют только верхние 720 признаков. В некоторых случаях, так как эти сильно изменчивые признаки предварительно вычисляются, только эти 720 признаков формируются во время процесса регистрации и проверки с целью уменьшения вычислительной сложности.

[00128] Этап 6: В конечном счете для извлечения PHBP-DR используется способ понижения размерности, например анализ главных компонентов (PCA). Отдельный анализ PCA может выполняться для глазных и окружающих глаз областей, чтобы создать векторы признаков длиной 103 и 98 соответственно. Для лица могут использоваться либо окружающие глаз признаки как есть, либо может выполняться отдельный анализ PCA. Возможны и другие длины векторов признаков для глаза, окружения глаза и лица.

[00129] В конце процесса биометрической регистрации шаблон регистрации может включать в себя набор возможных точек и дескрипторы для ROI сосудов глаза, и набор возможных точек и дескрипторы для окружающей глаз области. В некоторых реализациях шаблон регистрации также может включать в себя набор возможных точек и дескрипторы для лица и/или набор возможных точек и дескрипторы для расширенных окружающих глаз областей. Отметим, что ROI сосудов глаза и окружающая глаз ROI и шаблон для левого и правого глаза рассматриваются отдельно. Предполагается несколько дескрипторов для набора интересующих точек. Исходное и обработанное изображения, которые используются для создания шаблонов для сосудов глаза, лица и окружающей глаз области, можно удалить по причинам безопасности и конфиденциальности.

Постепенный обнаружитель совпадений

[00130] В одной реализации процесса биометрического сопоставления итоговая оценка совпадения формируется с использованием постепенного обнаружителя совпадений. В качестве начального этапа локальные дескрипторы изображения сопоставляются для нахождения пар согласованных точек между шаблонами регистрации и проверки для глазных и окружающих глаз областей, используя меру расстояния. В качестве примера можно вычислять евклидово расстояние между дескрипторами интересующих точек между векторами дескрипторов регистрации и проверки отдельно для глазных и окружающих глаз областей, и пары меньше некоторой пороговой величины расстояния можно оставлять в качестве пар согласованных точек.

[00131] При наличии шума или других аберраций пары согласованных точек могут содержать несколько выпадающих значений или иных ошибочных дополнительных совпадений. Допуская правдоподобную гомографию между местоположениями пар согласованных точек на изображениях регистрации и проверки, выпадающие значения (пространственные неперекрывающиеся согласованные точки после выравнивания при допускаемой гомографии) можно удалить из пар согласованных точек.

[00132] В некоторых реализациях согласованность случайных выборок (RANSAC) или другой указанный способ обнаружения выпадающих значений может использоваться для определения преобразования, необходимого для выравнивания возможных точек на изображении проверки с точками на изображении регистрации, отбрасывая при этом выпадающие значения, которые не соответствуют гипотетическому преобразованию между настоящими совпадениями, в части геометрий глазных интересующих областей, кодированных в шаблонах регистрации и проверки. В некоторых реализациях можно выполнять отдельно RANSAC разных ROI (например, сосудов глаза и окружающих глаз ROI), и совокупность оставшихся невыпадающих точек можно передать в итоговую RANSAC для вычисления окончательной оценки и других связанных вычислений. В некоторых реализациях может быть необходимо минимальное количество невыпадающих точек из некоторых или всех интересующих подобластей (например, сосудистых участков и точек, наблюдаемых поверх склеральной ROI) перед переходом к итоговому сопоставлению. В конечном счете оценка формируется путем объединения количества невыпадающих значений, которые обнаружены после RANSAC (N), восстановленного масштаба из матрицы преобразования (RS) и восстановленного угла из матрицы преобразования (RA), используя гомографию, приспособленную к местоположениям пар согласованных точек с помощью RANSAC или эквивалента.

[00133] В одной реализации оценка совпадения вычисляется с использованием следующей формулы:

MS={(Cx+Cy)/2 * log(N)}/{(1+|log2(RS+0.001)|) * (1+ (RA/0.2)^2 )}

где Cx и Cy - корреляции между векторами координат x и y невыпадающих согласованных точек между шаблонами регистрации и проверки соответственно, N - количество этих выровненных точек, RA - восстановленный угол, который представляет собой изменение угла в результате преобразования местоположений невыпадающих согласованных точек проверки в точки регистрации для регистрации, и RS - восстановленный масштаб, который представляет собой изменение масштаба в результате вышеупомянутого преобразования. RA и RS выводятся из матрицы геометрического преобразования подобия или похожей в результате RANSAC или аналогичной операции. Рассматриваются и другие меры, например расстояние матрицы преобразования/регистрации от личности, особенно если интересующие области (например, сосуды глаза и окружающие глаз) предварительно нормализуются пространственно.

[00134] В некоторых реализациях RANSAC можно заменить M-SAC, Group-SAC и/или Optimal-RANSAC.

[00135] Оценки совпадения могут формироваться отдельно для склер глаза (SV) и окружающей глаз области (SP), объединенным (SVP) или последовательным способом. В постепенном подходе разные ROI постепенно включаются в обнаружитель совпадений, если недостаточно информации или качества для надежного решения в начальной интересующей области. Например, если некоторое качество источника или точное решение нельзя получить с использованием информации о сосудах в склерах глаза, то обнаружитель совпадений может при необходимости постепенно добавлять больше информации из местоположений, относящихся к окружению глаза (и, возможно, за пределами, вроде носа и лица), чтобы добиться нужной уверенности в утверждении биометрического совпадения.

[00136] В одной реализации отдельно вычисляются пары согласованных точек из глазных и окружающих глаз областей, а затем объединяются для RANSAC, чтобы сформировать итоговую оценку совпадения.

[00137] В другой реализации отдельно вычисляются пары согласованных точек из глазных и окружающих глаз областей, а затем объединяются для RANSAC, чтобы сформировать итоговую оценку совпадения. Однако формирование итоговых невыпадающих значений ограничено наличием по меньшей мере N точек из глазной области.

[00138] В дополнительной реализации отдельно вычисляются пары согласованных точек из глазных и окружающих глаз областей, их соответствующие невыпадающие значения отдельно обнаруживаются с помощью характерных для ROI RANSAC, а затем совокупность характерных для области отфильтрованных по RANSAC элементов шаблона объединяется для итоговой RANSAC, чтобы сформировать итоговую оценку совпадения. Однако формирование итоговых невыпадающих значений ограничено наличием по меньшей мере N точек из RANSAC области сосудов глаза. В некоторых реализациях типичным минимальным значением для N является 3.

[00139] В некоторых реализациях постепенный обнаружитель совпадений реализуется для принятия окончательного решения на основе сравнений оценок совпадения с пороговыми величинами. В качестве примера:

Этап 1: Если SV > 3,2, то пользователь аутентифицируется, и этапы 2 и 3 пропускаются.

Этап 2: Если SVP > 3,4, то пользователь аутентифицируется, и этап 3 пропускается.

Этап 3: Если SP > 3,2, то пользователь аутентифицируется.

Процесс завершается.

[00140] В случае, когда вышеупомянутый постепенный процесс не аутентифицирует пользователя, можно повторно вызвать другой шаблон регистрации из банка регистраций, или можно получить новое изображение проверки, пока не достигнуто некоторое условие выхода (например, временной предел). Рассматриваются и другие сочетания пороговых величин SV, SVP и SP. Если одна или несколько интересующих областей не доступна для сканирования из-за аберраций в результате, например, очков или бликов, то системы могут использовать другие доступные области.

[00141] Фиг. 5 изображает одну реализацию способа для биометрической регистрации и аутентификации с использованием постепенного сопоставления, включающего в себя фазу регистрации, в которой создаются шаблоны регистрации на основе областей сосудов глаза и окружающих глаз областей, и фазу проверки, в которой может выполняться постепенное сопоставление на основе захваченных изображений и шаблонов регистрации. Проиллюстрированные на фиг. 5 этапы могут выполняться в соответствии с различными методиками, описанными в этом документе.

[00142] В некоторых случаях одну биометрическую особенность можно разделить на несколько ROI, которые затем постепенно сопоставляются. Например, значительные области окружающей глаз области можно разделить на n частей, которые затем постепенно сопоставляются.

[00143] В одной реализации можно измерить и ранжировать качество некоторых или всех окружающих глаз ROI, и процесс сопоставления может при необходимости постепенно добавлять каждую ROI на основе ее соответствующего ранга, чтобы достичь нужной уверенности в утверждении биометрического совпадения.

[00144] В другой реализации показатель расстояния на основе изображений или аналогичный обнаруживает позы пользователя, условия освещения или лицевую мимику, которые могли бы искажать некоторые биометрические интересующие области, например окружающие глаз. Эти изменения можно вносить во время регистрации или добавлять в банк шаблонов регистрации на основе политики обновления шаблонов. Во время проверки обнаружитель совпадений может попытаться извлечь наиболее релевантные шаблоны из банка на основе вышеупомянутого показателя сходства изображений.

[00145] В другой реализации, если процесс сопоставления встречается с новой позой или выражением лица, то используется ближайшее выражение, и применяется частный случай постепенного обнаружителя совпадений. Например, частный случай может разделить окружающую глаз область на несколько сегментов с использованием процесса кластеризации, и в каждом сегменте формируется оценка и матрица преобразования. Окончательная оценка может определяться путем взвешенного объединения всех оценок отдельных сегментов. Эти веса определяются величиной искажения, наблюдаемой по всем матрицам преобразования. Возможны и другие объединения оценок.

[00146] Фиг. 5 иллюстрирует одну реализацию локализованной системы для формирования надежных биометрических шаблонов и выполнения проверки пользователя в соответствии с методиками, описанными в этом документе. Пользовательское устройство 500 может включать в себя датчик 530 изображений, процессор 540, запоминающее устройство 550, биометрические аппаратные средства и/или программное обеспечение 560 и системную шину, которая соединяет с процессором 540 различные компоненты системы, включая запоминающее устройство 550. Пользовательское устройство 500 может включать в себя, но не ограничивается, смартфон, "умные" часы, "умные" очки, планшетный компьютер, портативный компьютер, телевизор, игровое устройство, музыкальный проигрыватель, мобильный телефон, переносной компьютер, карманный компьютер, интеллектуальный или неинтеллектуальный терминал, сетевой компьютер, персональный цифровой помощник, беспроводное устройство, информационный бытовой прибор, рабочую станцию, миникомпьютер, мэйнфрейм или другое вычислительное устройство, которое эксплуатируют в качестве универсального компьютера или специализированного аппаратного устройства, которое может исполнять описанные в этом документе функциональные возможности.

[00147] Биометрические аппаратные средства и/или программное обеспечение 560 включает в себя модуль 562 обработки изображений для выполнения операций над изображениями, захваченными датчиком 530 изображений. Например, модуль 562 обработки изображений может выполнять сегментацию и улучшение над изображениями глаза и окружающей области лица пользователя 510, чтобы способствовать выделению сосудистых структур и других интересующих признаков. Модуль 564 шаблонов создает биометрические шаблоны на основе изображений сосудистой сети и может выполнять различные операции запутывания и скремблирования над шаблонами. Модуль 566 проверки проверяет достоверность личности пользователя 510 путем выполнения операций сопоставления между шаблоном биометрической проверки, образованным после захвата биометрического показания, и ранее сохраненным шаблоном регистрации. В некоторых реализациях некоторые функциональные возможности могут выполняться на устройствах помимо пользовательского устройства 500. Например, пользовательское устройство может включать в себя вместо этого только биометрический датчик, например камеру, а функции обработки изображений и проверки могут выполняться на удаленном сервере, доступном для пользовательского устройства 500 по сети, например Интернет.

[00148] В более общем смысле описанные здесь системы и методики можно реализовать в вычислительной системе, которая включает в себя внутренний компонент (например, в виде сервера данных), либо которая включает в себя промежуточный компонент (например, сервер приложений), либо которая включает в себя внешний компонент (например, клиентский компьютер с графическим интерфейсом пользователя или веб-браузером, посредством которых пользователь может взаимодействовать с реализацией описанных здесь систем и методик), либо любое сочетание таких внутренних, промежуточных или внешних компонентов. Компоненты системы могут быть взаимосвязаны с помощью любой формы или носителя цифровой передачи данных (например, сеть связи). Примеры сетей связи включают в себя локальную сеть ("LAN"), глобальную сеть ("WAN") и Интернет.

[00149] Вычислительная система может включать в себя клиенты и серверы. Клиент и сервер обычно удалены друг от друга и могут взаимодействовать по сети связи. Взаимосвязь клиента и сервера происходит посредством компьютерных программ, работающих на соответствующих компьютерах и имеющих клиент-серверную связь друг с другом. Описано некоторое количество вариантов осуществления. Тем не менее, станет понятно, что могут быть сделаны различные модификации без отклонения от сущности и объема изобретения.

[00150] Реализации предмета изобретения и операций, описанных в данном описании изобретения, можно осуществить в цифровых электронных схемах либо в компьютерном программном обеспечении, микропрограммном обеспечении или аппаратных средствах, включая раскрытые в данном описании изобретения структуры и их структурные эквиваленты, либо в сочетаниях одного или нескольких из них. Варианты осуществления предмета изобретения, описанного в данном описании изобретения, можно реализовать в виде одной или нескольких компьютерных программ, то есть одного или нескольких модулей из команд компьютерной программы, кодированных на компьютерном носителе информации для исполнения устройством обработки данных или для управления его работой. В качестве альтернативы или дополнительно команды программы могут кодироваться в искусственно сформированном распространяемом сигнале, например, сформированном машиной электрическом, оптическом или электромагнитном сигнале, который формируется для кодирования информации для передачи подходящему приемному устройству для исполнения устройством обработки данных. Компьютерный носитель информации может быть или включаться в компьютерно-читаемое запоминающее устройство, компьютерно-читаемую подложку хранения, матрицу или устройство памяти с произвольным или последовательным доступом либо сочетание одного или нескольких из них. Кроме того, хотя компьютерный носитель информации не является распространяемым сигналом, компьютерный носитель информации может быть источником или назначением команд компьютерной программы, кодированных в искусственно сформированном распространяемом сигнале. Компьютерный носитель информации также может быть или включаться в один или несколько отдельных физических компонентов или носителей (например, несколько CD, дисков или других запоминающих устройств).

[00151] Описанные в данном описании изобретения операции можно реализовать как операции, выполняемые устройством обработки данных над данными, сохраненными в одном или нескольких компьютерно-читаемых запоминающих устройствах или принятыми из других источников.

[00152] Термин "устройство обработки данных" включает в себя все виды устройств и машин для обработки данных, включая в качестве примера программируемый процессор, компьютер, систему на кристалле или несколько либо сочетания вышеупомянутого. Устройство может включать в себя специализированные логические схемы, например FPGA (программируемая пользователем вентильная матрица) или ASIC (специализированная интегральная схема). Устройство в дополнение к аппаратным средствам также может включать в себя код, который создает среду выполнения для компьютерной программы, о которой идет речь, например код, который составляет микропрограммное обеспечение процессора, стек протоколов, систему управления базами данных, операционную систему, межплатформенную среду исполнения, виртуальную машину или сочетание одного или нескольких из них. Устройство и среда выполнения могут реализовать различные инфраструктуры моделей вычислений, например инфраструктуры веб-служб, распределенных вычислений и коллективных вычислений.

[00153] Компьютерная программа (также известная как программа, программное обеспечение, программное приложение, сценарий или код) может быть написана на любом виде языка программирования, включая транслируемые или интерпретируемые языки, декларативные или процедурные языки, и она может быть развернута в любом виде, включая автономную программу или модуль, компонент, подпрограмму, объект или другую единицу, подходящую для использования в вычислительной среде. Компьютерная программа может, но не должна, соответствовать файлу в файловой системе. Программа может храниться в части файла, который хранит другие программы или данные (например, один или несколько сценариев, сохраненных в ресурсе на языке разметки), в одном файле, выделенном для программы, о которой идет речь, или в нескольких согласованных файлах (например, файлах, которые хранят один или несколько модулей, подпрограмм или частей кода). Компьютерная программа может быть развернута для исполнения на одном компьютере или на нескольких компьютерах, которые располагаются на одной площадке или распределены по нескольким площадкам и взаимосвязаны с помощью сети связи.

[00154] Варианты осуществления предмета изобретения, описанного в данном описании изобретения, можно реализовать в вычислительной системе, которая включает в себя внутренний компонент, например, в виде сервера данных, либо которая включает в себя промежуточный компонент, например сервер приложений, либо которая включает в себя внешний компонент, например клиентский компьютер с графическим интерфейсом пользователя или веб-браузером, посредством которых пользователь может взаимодействовать с реализацией предмета изобретения, описанного в данном описании изобретения, либо любое сочетание одного или нескольких таких внутренних, промежуточных или внешних компонентов. Компоненты системы могут быть взаимосвязаны с помощью любой формы или носителя цифровой передачи данных, например, с помощью сети связи. Примеры сетей связи включают в себя локальную сеть ("LAN") и глобальную сеть ("WAN"), сетевой комплекс (например, Интернет) и одноранговые сети (например, произвольные одноранговые сети).

[00155] Вычислительная система может включать в себя клиенты и серверы. Клиент и сервер обычно удалены друг от друга и могут взаимодействовать по сети связи. Взаимосвязь клиента и сервера происходит посредством компьютерных программ, работающих на соответствующих компьютерах и имеющих клиент-серверную связь друг с другом. В некоторых вариантах осуществления сервер передает данные (например, HTML-страницу) клиентскому устройству (например, с целью отображения данных и приема пользовательского ввода от пользователя, взаимодействующего с клиентским устройством). Данные, сформированные на клиентском устройстве (например, результат взаимодействия с пользователем), могут приниматься на сервере от клиентского устройства.

[00156] Система из одного или нескольких компьютеров может конфигурироваться для выполнения конкретных операций или действий посредством установленного в системе программного обеспечения, микропрограммного обеспечения, аппаратных средств или их сочетания, которые во время работы побуждают систему выполнить те действия. Одна или несколько компьютерных программ могут конфигурироваться для выполнения конкретных операций или действий на основании включения в себя команд, которые при исполнении устройством обработки данных побуждают устройство выполнить те действия.

[00157] Хотя данное описание изобретения содержит многие специфические подробности реализации, эти подробности не следует толковать как ограничения объема любых изобретений или того, что может быть заявлено, а скорее как описания признаков, характерных для конкретных реализаций конкретных изобретений. Некоторые признаки, которые описываются в данном описании изобретения применительно к отдельным реализациям, также можно осуществить в сочетании в одной реализации. Наоборот, различные признаки, которые описываются применительно к одной реализации, также можно осуществить в нескольких реализациях, отдельно или в любой подходящей субкомбинации. Кроме того, хотя признаки могут описываться выше как действующие в некоторых сочетаниях и даже сначала заявляться как таковые, один или несколько признаков из заявленного сочетания в некоторых случаях могут исключаться из сочетания, и заявленное сочетание может относиться к субкомбинации или разновидности субкомбинации.

[00158] Аналогичным образом, хотя операции изображаются на чертежах в конкретном порядке, это не следует понимать как требование того, что для достижения желаемых результатов такие операции должны выполняться в конкретном показанном порядке или в последовательном порядке, или что должны выполняться все проиллюстрированные операции. В некоторых обстоятельствах могут быть полезны многозадачность и параллельная обработка. Кроме того, разделение различных компонентов системы в описанных выше реализациях не следует понимать как требование такого разделения во всех реализациях, а следует понимать так, что описанные компоненты программ и системы обычно можно объединять в единый программный продукт или укомплектовать в несколько программных продуктов.

[00159] Таким образом, описаны конкретные реализации предмета изобретения. Другие реализации входят в объем нижеследующей формулы изобретения. В некоторых случаях перечисленные в формуле изобретения действия могут выполняться в ином порядке и, тем не менее, добиваться желаемых результатов. К тому же изображенные на прилагаемых чертежах процессы не обязательно требуют конкретного показанного порядка или последовательного порядка для достижения желаемых результатов. В некоторых реализациях могут быть полезны многозадачность и параллельная обработка.

Изобретение относится к области биометрической аутентификации. Технический результат заключается в повышении точности биометрической системы. Реализуемый компьютером способ содержит этапы: прием изображения области лица пользователя; обработка изображения, чтобы задать глазную область изображения; задают множество окружающих глаз областей изображения, задание конкретной окружающей глаз области изображения содержит: вычисление высоты и ширины области путем умножения высоты глазной области изображения, включая склеральную, на первый числовой коэффициент и умножения ширины глазной области изображения, включая склеральную, на второй числовой коэффициент; установление высоты конкретной окружающей глаз области изображения, равной вычисленной высоте области; и установление ширины конкретной окружающей глаз области изображения, равной вычисленной ширине области; вычисление одной или нескольких биометрических оценок совпадения на основе глазной области изображения и по меньшей мере одной из окружающих глаз областей и обозначение изображения области лица как подлинного или не подлинного на основе одной или нескольких биометрических оценок совпадения. 2 н. и 24 з.п. ф-лы, 5 ил.

1. Способ биометрической регистрации и аутентификации, содержащий этапы, на которых:

принимают изображение области лица пользователя, при этом упомянутая область лица включает в себя глаз и область, окружающую глаз;

обрабатывают изображение, чтобы задавать глазную область изображения, включающую в себя по меньшей мере часть глаза на изображении упомянутой области лица, при этом по меньшей мере часть глаза содержит склеральную область глаза;

задают множество окружающих глаз областей изображения, каждая из которых включает в себя по меньшей мере часть области, окружающей глаз на изображении упомянутой области лица, причем каждая из окружающих глаз областей изображения имеет размеры, отличающиеся от размера глазной области изображения, и при этом задание конкретной одной из окружающих глаз областей изображения содержит:

вычисление высоты области путем умножения высоты глазной области изображения, включая склеральную область, на первый числовой коэффициент;

вычисление ширины области путем умножения ширины глазной области изображения, включая склеральную область, на второй числовой коэффициент;

установление высоты конкретной окружающей глаз области изображения, равной вычисленной высоте области; и

установление ширины конкретной окружающей глаз области изображения, равной вычисленной ширине области;

вычисление одной или нескольких биометрических оценок совпадения на основе глазной области изображения и по меньшей мере одной из окружающих глаз областей; и

обозначение изображения области лица как подлинного или не подлинного на основе одной или нескольких биометрических оценок совпадения.

2. Способ по п. 1, в котором множество окружающих глаз областей изображения содержит по меньшей мере четыре окружающих глаз области изображения.

3. Способ по п. 2, в котором по меньшей мере четыре окружающих глаз области изображения содержат нижнюю окружающую глаз область изображения, расположенную ниже глазной области изображения, правую окружающую глаз область изображения, расположенную справа от глазной области изображения, окружающую глаз область изображения, расположенную слева от глазной области изображения, и окружающую глаз область изображения, расположенную выше глазной области изображения.

4. Способ по п. 1, в котором этап, на котором задают множество окружающих глаз областей изображения, содержит этап, на котором задают правую окружающую глаз область изображения, расположенную справа от глазной области изображения, при этом правая окружающая глаз область изображения имеет ширину в диапазоне от 10% до 80% ширины глазной области изображения и высоту в диапазоне от 120% до 550% высоты глазной области изображения.

5. Способ по п. 1, в котором этап, на котором задают множество окружающих глаз областей изображения, содержит этап, на котором задают левую окружающую глаз область изображения, расположенную слева от глазной области изображения, при этом левая окружающая глаз область изображения имеет ширину в диапазоне от 10% до 50% ширины глазной области изображения и высоту в диапазоне от 120% до 550% высоты глазной области изображения.

6. Способ по п. 1, в котором этап, на котором вычисляют одну или несколько биометрических оценок совпадения, содержит этапы, на которых:

вычисляют первую биометрическую оценку совпадения на основе глазной области изображения и глазного шаблона регистрации; и

вычисляют вторую биометрическую оценку совпадения на основе глазной области изображения, первой из окружающих глаз областей изображения, глазного шаблона регистрации и окружающего глаз шаблона регистрации, в ответ на определение, что первая биометрическая оценка совпадения не удовлетворяет первой пороговой величине совпадения.

7. Способ по п. 6, в котором этап, на котором вычисляют одну или несколько биометрических оценок совпадения, в ответ на определение, что вторая биометрическая оценка совпадения не удовлетворяет второй пороговой величине совпадения, дополнительно содержит этап, на котором вычисляют одну или несколько дополнительных биометрических оценок совпадения путем многократного включения дополнительных областей из окружающих глаз областей изображения в вычисление дополнительных биометрических оценок совпадения до тех пор, пока либо конкретная дополнительная биометрическая оценка совпадения не будет удовлетворять соответствующей пороговой величине совпадения, либо никакие дополнительные окружающие глаз области изображения не будут доступны для включения.

8. Способ по п. 7, в котором множество окружающих глаз областей изображения ранжируется по меньшей мере на основе дискриминирующей способности и/или качества, и в котором дополнительные окружающие глаз области изображения многократно включаются на основе соответствующих ранжирований дополнительных окружающих глаз областей изображения.

9. Способ по п. 7, дополнительно содержащий этап, на котором делят одну или несколько из множества окружающих глаз областей изображения на подобласти на основе одной или нескольких черт лица, выведенных из окружающих глаз областей изображения, где дополнительные окружающие глаз области изображения многократно включаются на основе кластерной значимости или соответствующих ранжирований дополнительных окружающих глаз областей изображения.

10. Способ по п. 1, в котором этап, на котором вычисляют одну или несколько биометрических оценок совпадения, содержит этапы, на которых:

идентифицируют первый набор пар согласованных точек на основе глазной области изображения и шаблона регистрации; и

идентифицируют второй набор пар согласованных точек на основе по меньшей мере одной из окружающих глаз областей изображения и шаблона регистрации.

11. Способ по п. 10, в котором этап, на котором вычисляют одну или несколько биометрических оценок совпадения, дополнительно содержит этапы, на которых:

определяют одну или несколько невыпадающих согласованных точек путем ввода сочетания первого и второго наборов пар согласованных точек в алгоритм обнаружения выпадающих значений;

определяют, что количество невыпадающих согласованных точек, которые соответствуют глазной области изображения, соответствует минимальному подсчету глазных невыпадающих значений; и

вычисляют одну из биометрических оценок совпадения по меньшей мере частично на основе невыпадающих согласованных точек.

12. Способ по п. 11, в котором минимальный подсчет глазных невыпадающих значений равен 3.

13. Способ по п. 10, в котором этап, на котором вычисляют одну или несколько биометрических оценок совпадения, дополнительно содержит этапы, на которых:

определяют одну или несколько первых невыпадающих согласованных точек путем ввода первого набора пар согласованных точек в алгоритм обнаружения выпадающих значений;

определяют одну или несколько вторых невыпадающих согласованных точек путем ввода второго набора пар согласованных точек в алгоритм обнаружения выпадающих значений; и

вычисляют одну или несколько биометрических оценок совпадения по меньшей мере частично на основе результата алгоритма обнаружения выпадающих значений с использованием в качестве входа сочетания первых и вторых невыпадающих согласованных точек.

14. Способ по п. 13, в котором этап, на котором вычисляют одну или несколько биометрических оценок совпадения, дополнительно содержит этап, на котором определяют, что количество невыпадающих согласованных точек, полученных из результата алгоритма обнаружения выпадающих значений, которые соответствуют глазной области изображения, соответствует минимальному подсчету глазных невыпадающих значений.

15. Способ по п. 14, в котором минимальный подсчет глазных невыпадающих значений равен 3.

16. Система биометрической регистрации и аутентификации, содержащая:

по меньшей мере одно запоминающее устройство для хранения исполняемых компьютером команд; и

по меньшей мере один блок обработки для исполнения команд, сохраненных по меньшей мере в одном запоминающем устройстве, причем исполнение команд программирует по меньшей мере один блок обработки на выполнение операций, содержащих:

прием изображения области лица пользователя, при этом упомянутая область лица включает в себя глаз и область, окружающую глаз;

обработку изображения для задания глазной области изображения, включающей в себя по меньшей мере часть глаза на изображении упомянутой области лица, при этом по меньшей мере часть глаза содержит склеральную область глаза;

задание множества окружающих глаз областей изображения, включающих в себя по меньшей мере часть области, окружающей глаз на изображении области лица, причем каждая из окружающих глаз областей изображения имеет размеры, отличающиеся от размера глазной области изображения, и при этом задание конкретной одной из окружающих глаз областей изображения содержит:

вычисление высоты области путем умножения высоты глазной области изображения, включая склеральную область, на первый числовой коэффициент;

вычисление ширины области путем умножения ширины глазной области изображения, включая склеральную область, на второй числовой коэффициент;

установление высоты конкретной окружающей глаз области изображения, равной вычисленной высоте области; и

установление ширины конкретной окружающей глаз области изображения, равной вычисленной ширине области;

вычисление одной или нескольких биометрических оценок совпадения на основе глазной области изображения и по меньшей мере одной из окружающих глаз областей; и

обозначение изображения области лица как подлинного или не подлинного на основе одной или нескольких биометрических оценок совпадения.

17. Система по п. 16, в которой множество окружающих глаз областей изображения содержит по меньшей мере четыре окружающих глаз области изображения.

18. Система по п. 17, в которой по меньшей мере четыре окружающих глаз области изображения содержат нижнюю окружающую глаз область изображения, расположенную ниже глазной области изображения, правую окружающую глаз область изображения, расположенную справа от глазной области изображения, окружающую глаз область изображения, расположенную слева от глазной области изображения, и окружающую глаз область изображения, расположенную выше глазной области изображения.

19. Система по п. 16, в которой задание множества окружающих глаз областей изображения содержит задание правой окружающей глаз области изображения, расположенной справа от глазной области изображения, при этом правая окружающая глаз область изображения имеет ширину в диапазоне от 10% до 80% ширины глазной области изображения и высоту от 120% до 550% высоты глазной области изображения.

20. Система по п. 16, в которой задание множества окружающих глаз областей изображения содержит задание левой окружающей глаз области изображения, расположенной слева от глазной области изображения, при этом левая окружающая глаз область изображения имеет ширину в диапазоне от 10% до 50% ширины глазной области изображения и высоту в диапазоне от 120% до 550% высоты глазной области изображения.

21. Система по п. 16, в которой вычисление одной или нескольких биометрических оценок совпадения содержит:

вычисление первой биометрической оценки совпадения на основе глазной области изображения и глазного шаблона регистрации; и

вычисление второй биометрической оценки совпадения на основе глазной области изображения, первой из окружающих глаз областей изображения, глазного шаблона регистрации и окружающего глаз шаблона регистрации, в ответ на определение, что первая биометрическая оценка совпадения не удовлетворяет первой пороговой величине совпадения.

22. Система по п. 21, в которой вычисление одной или нескольких биометрических оценок совпадения в ответ на определение, что вторая биометрическая оценка совпадения не удовлетворяет второй пороговой величине совпадения, дополнительно содержит вычисление одной или нескольких дополнительных биометрических оценок совпадения путем многократного включения дополнительных областей из окружающих глаз областей изображения в вычисление дополнительных биометрических оценок совпадения до тех пор, пока либо конкретная дополнительная биометрическая оценка совпадения не будет удовлетворять соответствующей пороговой величине совпадения, либо никакие дополнительные окружающие глаз области изображения не будут доступны для включения.

23. Система по п. 22, в которой множество окружающих глаз областей изображения ранжируется по меньшей мере на основе дискриминирующей способности и/или качества и в которой дополнительные окружающие глаз области изображения многократно включаются на основе соответствующих ранжирований дополнительных окружающих глаз областей изображения.

24. Система по п. 22, в которой операции дополнительно содержат деление одной или нескольких из множества окружающих глаз областей изображения на подобласти на основе одной или нескольких черт лица, выведенных из окружающих глаз областей изображения, причем дополнительные окружающие глаз области изображения многократно включаются на основе кластерной значимости или соответствующих ранжирований дополнительных окружающих глаз областей изображения.

25. Система по п. 16, в которой вычисление одной или нескольких биометрических оценок совпадения содержит:

идентификацию первого набора пар согласованных точек на основе глазной области изображения и шаблона регистрации; и

идентификацию второго набора пар согласованных точек на основе по меньшей мере одной из окружающих глаз областей изображения и шаблона регистрации.

26. Система по п. 25, в которой вычисление одной или нескольких биометрических оценок совпадения дополнительно содержит:

определение одной или нескольких невыпадающих согласованных точек путем ввода сочетания первого и второго наборов пар согласованных точек в алгоритм обнаружения выпадающих значений;

определение, что количество невыпадающих согласованных точек, которые соответствуют глазной области изображения, соответствует минимальному подсчету глазных невыпадающих значений; и

вычисление одной из биометрических оценок совпадения по меньшей мере частично на основе невыпадающих согласованных точек.