СПОСОБ, СИСТЕМА И УСТРОЙСТВО ДЛЯ БИОМЕТРИЧЕСКОГО РАСПОЗНАВАНИЯ РАДУЖНОЙ ОБОЛОЧКИ ГЛАЗА Российский патент 2017 года по МПК G06K9/46 G06K9/64 G06F21/32 

Уровень техники

[0001] 1. Область техники, к которой относится изобретение

[0002] Настоящее изобретение, в общем, относится к способу, системе и устройству для биометрического распознавания радужной оболочки глаза (радужки, или просто радужной оболочки), а более конкретно, к способу, системе и устройству для распознавания радужной оболочки глаза посредством использования алгоритма распознавания радужной оболочки глаза с многостадийными промежуточными проверками для различных критериев качества.

2. Описание предшествующего уровня техники

[0003] Электронное устройство может сохранять информацию, связанную с конфиденциальностью, такую как информация местоположения пользователей, заметки, финансовые транзакции и т.д., а также данные, такие как контакты, предыстория вызовов, сообщения и т.д. Чтобы защищать эту информацию, связанную с конфиденциальностью, электронное устройство может содержать различные функции обеспечения безопасности. В частности, широко используется способ для поддержания безопасности электронного устройства посредством использования биометрической информации пользователя. Этот способ для поддержания безопасности электронного устройства посредством использования биометрической информации может включать в себя распознавание отпечатков пальцев, распознавание лиц, распознавание радужной оболочки глаза и т.д.

[0004] В частности, распознавание радужной оболочки глаза представляет собой технологию идентификации для целей безопасности, которая использует характеристики радужной оболочки глаза, которые у людей различаются. Помимо этого, распознавание радужной оболочки глаза может быть выполнено посредством использования камеры без прямого физического контакта. Обычный процесс распознавания радужной оболочки глаза, который может считаться традиционным, представлен на схеме на фиг. 1; этапы, представленные на этой иллюстрации, в основном являются одинаковыми для различных реализаций процессов распознавания радужной оболочки глаза. Эти этапы следующие:

S100 - получение изображения;

S101 - обнаружение глаза в изображении с тем, чтобы получать изображение глаза;

S102 - сегментация радужной оболочки глаза для глаза;

S103 - нормализация изображения радужной оболочки глаза и создание маски;

S104 - извлечение признаков нормализованного изображения радужной оболочки глаза и

S105 - кодирование нормализованного изображения радужной оболочки глаза и маски.

Кодированное изображение радужной оболочки глаза (т.е. код радужной оболочки глаза) может сравниваться с опорным изображением (для идентификации или аутентификации личности).

[0005] Тем не менее, использование технологии распознавания радужной оболочки глаза в мобильных устройствах связано с рядом проблем и трудностей, таких как изменяющиеся условия окружающей среды (например, в помещениях/вне помещений, солнечная/пасмурная погода, ношение очков/контактных линз), трудности взаимодействия с пользователем и ограничения производительности (CPU, RAM, разрешение камеры и т.д.). Они могут вызывать ухудшение качества изображения радужной оболочки глаза, задержки при работе, увеличение времени распознавания и увеличение времени обработки. В качестве примера, качество изображения радужной оболочки глаза может быть значительно ухудшено вследствие недостаточного освещения радужной оболочки глаза, отражений от очков, сильного затемнения век, острого угла направления взгляда, сильных отклонений зрачка и переэкспозиции и т.д. В итоге этот факт приводит к ошибкам распознавания, избыточному потреблению мощности и большему неудобству пользователя. Один из подходов, который повышает точность процедуры сопоставления радужной оболочки глаза и уменьшает ресурсоемкие вычисления, представляет собой автоматический выбор наиболее пригодных изображений из последовательности полученных изображений.

[0006] Заявка на патент (США), опубликованная как US2015071503 A1 (от имени Delta ID, опубликована 03.12.2015) и озаглавленная "APPARATUSES AND METHODS FOR IRIS BASED BIOMETRIC RECOGNITION", предлагает автоматический выбор изображения из последовательности полученных изображений. Цель состоит в том, чтобы повысить точность процедуры сопоставления радужной оболочки глаза, сокращая число ложноположительных результатов. В этом решении различные критерии используются для того, чтобы выбирать изображения с лучшей "способностью к совпадению", другие изображения отбрасываются. В остальном процесс, описанный в данной заявке, аналогичен традиционному процессу, проиллюстрированному на фиг. 1. Недостаток этого решения состоит в том, что изображения отбрасываются после ресурсоемкой операции сегментации радужной оболочки глаза. Таким образом, операция сегментации может тратить впустую ресурсы ввиду избыточной обработки непригодного изображения. Это может повышать вычислительную сложность, потребление мощности и снижать точность сопоставления радужной оболочки глаза. Эти недостатки дополнительно усугубляются тем, что решение просто отбрасывает изображения, которые не удовлетворяют предложенным критериям, но не собирает набор наиболее пригодных изображений из тех изображений, которые удовлетворяют критериям. Таким образом, на последующие стадии обработки передаются все удовлетворительные изображения, а не "наилучшие" из них. Другими словами, это решение предшествующего уровня техники тратит больше вычислительных ресурсов, поскольку оно не пытается отделять "хорошие" изображения на начальных стадиях. Это может как ухудшать точность распознавания, так и увеличивать частоту ошибок по FTA (FTA представляет собой счетчик безуспешных попыток идентификации пользователя, которые обусловлены недостаточным качеством изображения радужной оболочки глаза).

[0007] Аналогом настоящего изобретения является решение из патента (США) US 8280119 (от имени Honeywell International Inc., опубликован 10.02.2012), который озаглавлен "IRIS RECOGNITION SYSTEM USING QUALITY METRICS". Это решение предлагает автоматический выбор изображения из последовательности полученных изображений, выполнение нескольких предварительных проверок качества изображения перед ресурсоемкой операцией сегментации радужной оболочки глаза. В частности, решение проверяет позицию глаза, обнаруживает зрачок и оценивает параметры зрачка перед операцией сегментации. Недостаток состоит в том, что некоторые проверки критериев качества изображения выполняются после ресурсоемких операций. В частности, это решение проверяет глаз на предмет затемнения только после ресурсоемкой операции сегментации радужной оболочки глаза. Таким образом, операция сегментации может тратить впустую ресурсы ввиду избыточной обработки затемненного изображения глаза. Это может повышать вычислительную сложность, потребление мощности и снижать точность сопоставления радужной оболочки глаза. Эти недостатки дополнительно усугубляются тем, что в решении используется только отбрасывание неудовлетворительных изображений, отсутствует выбор и сбор наилучших изображений из удовлетворительных изображений. Другими словами, это решение предшествующего уровня техники тратит больше вычислительных ресурсов, поскольку оно не пытается отделять "хорошие" изображения на начальных стадиях. Это может как ухудшать точность распознавания, так и увеличивать частоту ошибок по FTA (FTA представляет собой счетчик безуспешных попыток идентификации пользователя, которые обусловлены недостаточным качеством изображения радужной оболочки глаза). В завершение, упомянутый способ не предоставляет обратную связь с аппаратными средствами или пользователем.

[0008] Настоящее изобретение осуществлено для того, чтобы разрешать, по меньшей мере, проблемы и/или недостатки, описанные выше, и предоставлять, по меньшей мере, преимущества, описанные ниже.

Сущность изобретения

[0009] С учетом вышеизложенного, в предшествующем уровне техники имеется потребность в способе, системе и устройстве для биометрического распознавания радужной оболочки глаза, которые избегают обработку ненадлежащих изображений посредством оценки правильности изображений по различным критериям на всех стадиях потока обработки и работают при любых типичных условиях окружающей среды. Благодаря такому подходу с многостадийными промежуточными проверками качества объем избыточной обработки уменьшается, приводя к снижению потребления мощности и вычислительной сложности (вследствие уменьшения избыточной обработки и значительного роста скорости распознавания). Кроме того, эти промежуточные проверки позволяют сократить число безуспешных попыток идентификации пользователя, которые обусловлены недостаточным качеством изображения радужной оболочки глаза, поскольку все изображения недостаточного качества отклоняются во время проверок до самой идентификации. В некоторых аспектах настоящего изобретения точность идентификации может дополнительно повышаться за счет выполнения идентификации на основе пула из n изображений высшего качества, собранных посредством дополнительного отбора (с помощью сравнения их критериев качества) из удовлетворительных изображений, прошедших предыдущие проверки. Дополнительно, заявленное изобретение обеспечивает удобство и простоту процедуры взаимодействия для пользователя и дополнительно повышает точность распознавания посредством предоставления пользователю обратной связи в отношении того, как перемещать устройство для биометрического распознавания радужной оболочки глаза, либо в отношении того, как перемещать часть тела пользователя с тем, чтобы надлежащим образом захватывать изображение. В завершение, некоторые аспекты настоящего изобретения дают возможность повышать точность распознавания посредством автоматического регулирования различных параметров на основе обратной связи, обеспечиваемой промежуточными проверками качества в аппаратные компоненты устройства, включающие в себя, но без ограничения, камеру, средство освещения. Все вышеизложенное дает возможность получать в реальном времени более надежные данные, чтобы избегать временных затрат на обработку ненадлежащих изображений, повышать устойчивость распознавания радужной оболочки глаза и обеспечивать более эффективную управляемую процедуру захвата изображений.

[0010] Соответственно, аспект настоящего изобретения предоставляет способ распознавания пользователя посредством радужной оболочки глаза, при этом способ содержит: получение последовательности изображений; получение изображений глаза из последовательности; сбор набора из n изображений глаза посредством следующего: отбрасывание ненадлежащих изображений глаза; определение значения качества изображения глаза для каждого из изображений глаза, оставшихся после отбрасывания; и компоновку набора из n изображений глаза посредством замены одного или более изображений глаза, имеющих более низкое значение качества изображения глаза, на одно или более изображений глаза, имеющих более высокое значение качества изображения глаза; выполнение следующих этапов для каждого изображения глаза в собранном наборе из n изображений глаза: получение изображения радужной оболочки глаза из каждого изображения глаза в собранном наборе из n изображений глаза; нормализация изображения радужной оболочки глаза, создание маски для нормализованного изображения радужной оболочки глаза и применение маски к нормализованному изображению радужной оболочки глаза; выполнение извлечения признаков для маскированного нормализованного изображения радужной оболочки глаза; кодирование маскированного нормализованного изображения радужной оболочки глаза с целью получения кода радужной оболочки глаза и сопоставление кода радужной оболочки глаза с эталонным кодом радужной оболочки глаза, предварительно сохраненным пользователем.

[0011] Соответственно, другой аспект настоящего изобретения предоставляет пользовательское устройство, способное идентифицировать пользователя посредством способа согласно приведенному выше аспекту.

[0012] Соответственно, другой аспект настоящего изобретения предоставляет машиночитаемый носитель, хранящий выполняемые инструкции, которые при выполнении посредством компьютера инструктируют компьютер осуществлять способ вышеописанного аспекта.

[0013] Соответственно, другой аспект настоящего изобретения предоставляет способ идентификации пользователя посредством радужной оболочки глаза, при этом способ содержит: получение последовательности изображений; получение последовательности изображений с тем, чтобы получать изображения глаза; нахождение зрачка посредством проверки одного или более видов блика в каждом из изображений глаза на предмет того, что он представляет собой блик от зрачка; сегментацию каждого из изображений глаза на основе найденного зрачка, чтобы получить изображение радужной оболочки глаза; нормализацию изображения радужной оболочки глаза, создание маски для нормализованного изображения радужной оболочки глаза и применение маски к нормализованному изображению радужной оболочки глаза; выполнение извлечения признаков для нормализованного изображения радужной оболочки глаза; кодирование нормализованного изображения радужной оболочки глаза, чтобы получить код радужной оболочки глаза; и сопоставление кода радужной оболочки глаза с эталонным кодом радужной оболочки глаза, предварительно сохраненным пользователем, при этом, если зрачок не найден на этапе определения местонахождения, способ дополнительно содержит этап отправки сигнала обратной связи на использование инфракрасной (IR) подсветки на этапе получения последовательности изображений.

Краткое описание чертежей

[0014] Вышеуказанные и другие аспекты, признаки и преимущества настоящего изобретения станут более понятными из нижеприведенного подробного описания, рассматриваемого вместе с прилагаемыми чертежами, на которых:

[0015] Фиг. 1 является блок-схемой последовательности операций, иллюстрирующей традиционный способ подготовки изображения радужной оболочки глаза для процесса сопоставления радужной оболочки глаза.

[0016] Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей предложенный способ подготовки изображения радужной оболочки глаза для процесса сопоставления радужной оболочки глаза согласно варианту осуществления изобретения.

[0017] Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S201 (из способа, проиллюстрированного на фиг. 2) обнаружения глаза в изображении последовательности согласно варианту осуществления изобретения.

[0018] Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S202 (из способа, проиллюстрированного на фиг. 2) обнаружения блика зрачка согласно варианту осуществления изобретения.

[0019] Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S203 (из способа, проиллюстрированного на фиг. 2) обнаружения зрачка согласно варианту осуществления изобретения.

[0020] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S204 (из способа, проиллюстрированного на фиг. 2) оценки открытия век и искажающего блика согласно варианту осуществления изобретения.

[0021] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S205 (из способа, проиллюстрированного на фиг. 2) оценки качества глаза согласно варианту осуществления изобретения.

[0022] Фиг. 8 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S206 (из способа, проиллюстрированного на фиг. 2) сбора набора из n изображений глаза из полученной последовательности изображений посредством замены худших изображений на лучшие изображения согласно варианту осуществления изобретения;

[0023] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S207 (из способа, проиллюстрированного на фиг. 2) сегментации радужной оболочки глаза согласно варианту осуществления изобретения.

[0024] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S208 (из способа, проиллюстрированного на фиг. 2) проверки качества изображения радужной оболочки глаза перед нормализацией изображения радужной оболочки глаза согласно варианту осуществления изобретения.

[0025] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S209 (из способа, проиллюстрированного на фиг. 2) проверки качества изображения радужной оболочки глаза после нормализации изображения радужной оболочки глаза согласно варианту осуществления изобретения.

[0026] Фиг. 12A иллюстрирует схему операции нормализации.

[0027] Фиг. 12B иллюстрирует пример изображения радужной оболочки глаза и соответствующего нормализованного изображения радужной оболочки глаза.

[0028] Фиг. 13 иллюстрирует примеры участков глаза, которые могут распознаваться с помощью различных многоугольников.

[0029] Фиг. 14 иллюстрирует пример предписанной центральной области с распознанным участком, расположенным частично за пределами предписанной центральной области.

[0030] Фиг. 15 иллюстрирует разности контрастности между бликом и зрачком, радужной оболочкой глаза, склерой.

[0031] Фиг. 16 иллюстрирует пользовательское устройство 1600, допускающее сопоставление радужной оболочки глаза согласно варианту осуществления настоящей заявки.

[0032] Фиг. 17 иллюстрирует схему, примерно показывающую предварительную оценку радиуса зрачка.

[0033] Фиг. 18 иллюстрирует схему, примерно показывающую поиск границы между зрачком и радужной оболочкой глаза в ранее ограниченном участке.

[0034] Фиг. 19 иллюстрирует схему, примерно показывающую уточнение радиуса зрачка.

[0035] Фиг. 20 иллюстрирует область, используемую для вычисления контрастности между зрачком и радужной оболочкой глаза.

[0036] Фиг. 21 иллюстрирует кодирование нормализованного изображения радужной оболочки глаза для конкретного случая, в котором два бита созданы для каждого элемента нормализованного изображения.

[0037] Фиг. 22 иллюстрирует схему, примерно показывающую вычисление расстояния открытия век.

[0038] Фиг. 23 иллюстрирует отношение между усредненным статистическим радиусом радужной оболочки глаза, фокусным расстоянием, проекцией радиуса радужной оболочки глаза и расстоянием (между радужной оболочкой глаза и камерой), которое должно быть найдено.

[0039] Фиг. 24 иллюстрирует пример оцененного искажающего блика.

[0040] Фиг. 25 (a, b, c) иллюстрирует подробности этапа S207.2 нахождения границы между радужной оболочкой глаза и склерой в изображении глаза.

[0041] Фиг. 26 (a, b, c) иллюстрирует подробности этапа S207.3 оценки центра (ICenter) и радиуса (R) радужной оболочки глаза.

[0042] Фиг. 27 (a, b, c) иллюстрирует различные фазы расширения зрачка.

[0043] Фиг. 28 иллюстрирует пример сегментации радужной оболочки глаза.

[0044] Фиг. 29 иллюстрирует пример применения базовой маски к нормализованному изображению радужной оболочки глаза.

[0045] Фиг. 30 иллюстрирует результат операции извлечения признаков, выполняемой для нормализованного изображения радужной оболочки глаза.

[0046] Фиг. 31 иллюстрирует фрагмент кодированного изображения радужной оболочки глаза (кода радужной оболочки глаза), базовую маску и результат их комбинации для получения кода радужной оболочки глаза для процедуры сопоставления радужной оболочки глаза.

[0047] В нижеприведенном описании, если не описано иное, идентичные ссылки с номерами используются для идентичных элементов, когда они иллюстрируются в различных чертежах, и их перекрывающееся описание опускается.

Подробное описание вариантов осуществления настоящего изобретения

[0048] Нижеприведенное описание со ссылкой на прилагаемые чертежи предоставляется для помощи в полном понимании различных вариантов осуществления раскрытия, заданного посредством формулы изобретения и ее эквивалентов. Оно включает в себя различные сведения, облегчающие понимание, но они должны рассматриваться просто как иллюстративные. Соответственно, специалисты в данной области техники должны понимать, что различные изменения и модификации различных вариантов осуществления, описанных в данном документе, могут осуществляться без отступления от объема настоящего раскрытия. Помимо этого, описания хорошо известных функций и конструкций могут быть опущены для ясности и краткости.

[0049] Термины и слова, используемые в нижеприведенном описании и в формуле изобретения, не ограничены библиографическими значениями, а используются авторами изобретения просто для того, чтобы обеспечивать четкое и согласованное понимание настоящего раскрытия. Соответственно, специалистам в данной области техники должно быть очевидным, что нижеприведенное описание различных вариантов осуществления настоящего раскрытия предоставляется только в целях иллюстрации.

[0050] Следует понимать, что формы единственного числа включают в себя несколько объектов ссылки, если контекст явно не предписывает иное. Таким образом, например, ссылка на "участок глаза" включает в себя ссылку на один или более таких участков.

[0051] Следует понимать, что, хотя термины "первый", "второй" и т.д. могут использоваться в данном документе в отношении элементов настоящего раскрытия, такие элементы не должны истолковываться как ограниченные посредством этих терминов. Термины используются только для того, чтобы отличать один элемент от других элементов.

[0052] Следует дополнительно понимать, что термины "содержит", "содержащий", "включает в себя" и/или "включающий в себя" при использовании в данном документе задают наличие изложенных признаков, целых чисел, операций, элементов или компонентов, однако не препятствуют наличию или добавлению одного или более других признаков, целых чисел, операций, элементов, компонентов или их групп.

[0053] В различных вариантах осуществления настоящего раскрытия "модуль" или "блок" может выполнять, по меньшей мере, одну функцию или операцию и может реализовываться с помощью аппаратных средств, программного обеспечения или комбинации вышеозначенного. "Множество модулей" или "множество блоков" могут реализовываться, по меньшей мере, с помощью одного процессора (не показан) через его интеграцию, по меньшей мере, с одним модулем, отличным от "модуля" или "блока", который должен реализовываться с помощью специальных аппаратных средств.

[0054] В дальнейшем в этом документе подробнее описываются различные варианты осуществления настоящего раскрытия со ссылкой на прилагаемые чертежи.

[0055] Фиг. 1 является блок-схемой последовательности операций, иллюстрирующей традиционный способ подготовки изображения радужной оболочки глаза для процесса сопоставления радужной оболочки глаза. Способ содержит следующие этапы:

S100 - получение изображения;

S101 - обнаружение глаза в изображении с тем, чтобы получать изображение глаза;

S102 - сегментация радужной оболочки глаза;

S103 - нормализация изображения радужной оболочки глаза и создание маски;

S104 - извлечение признаков нормализованного изображения радужной оболочки глаза и

S105 - кодирование изображения радужной оболочки глаза и маски.

[0056] В конце вышеуказанного традиционного способа код радужной оболочки глаза и маска в битовой форме могут передаваться в процесс сопоставления радужной оболочки глаза для сопоставления радужной оболочки глаза с применяемой маской в битовой форме с эталонным кодом радужной оболочки глаза, предварительно сохраненным легальным пользователем устройства. Формирование этого эталонного кода радужной оболочки глаза может выполняться тем же описанным способом.

[0057] Фиг. 2 является блок-схемой последовательности операций, иллюстрирующей предложенный способ подготовки изображения радужной оболочки глаза для процесса сопоставления радужной оболочки глаза согласно варианту осуществления изобретения. Способ содержит следующие этапы:

S200 - получение последовательности изображений;

S201 - обнаружение глаза в последовательности изображений с тем, чтобы получать изображение глаза;

S202 - обнаружение блика зрачка;

S203 - обнаружение зрачка;

S204 - оценка открытия век и искажающего блика;

S205 - оценка качества глаза;

S206 - сбор набора из n изображений глаза из полученной последовательности изображений посредством замены худших изображений на лучшие изображения;

S207 - сегментация радужной оболочки глаза;

S208 - проверка качества изображения радужной оболочки глаза перед нормализацией;

S209 - проверка качества нормализованного изображения радужной оболочки глаза;

S210 - извлечение признаков нормализованного изображения радужной оболочки глаза и

S211 - кодирование изображения радужной оболочки глаза и маски.

[0058] На этапе S200 последовательность изображений получается посредством камеры, включенной в пользовательское устройство. Альтернативно, на этом этапе может получаться изображение, кадр или видеопоследовательность. Следует понимать, что последовательность изображений или видеопоследовательность не ограничена некоторым конкретным размером. Пользовательское устройство, согласно различным вариантам осуществления изобретения, может включать в себя, по меньшей мере, одно из смартфона, планшетного персонального компьютера (PC), мобильного телефона, видеотелефона, устройства для чтения электронных книг, настольного PC, переносного PC, нетбука, персонального цифрового устройства (PDA), портативного мультимедийного проигрывателя (PMP), MP3-проигрывателя, мобильного медицинского устройства, камеры или носимого устройства (например, шлема-дисплея (HMD), такого как электронные очки, электронная одежда, электронный браслет, электронное ожерелье, электронные аксессуары, электронная татуировка или интеллектуальные часы). Камера, согласно различным вариантам осуществления изобретения, может включать в себя внутреннюю камеру, внешнюю камеру, фронтальную камеру, камеру с инфракрасной (IR) подсветкой, IR-камеру и т.д. либо комбинацию вышеозначенного.

[0059] Затем каждый из этапов S201-S205 выполняет обработку каждого из изображений из полученной последовательности изображений (и работает в основном с изображениями глаза вместо полных изображений) на первой стадии способа, чтобы отбрасывать изображения ненадлежащего качества и собирать набор из n изображений глаза наилучшего качества из всех изображений надлежащего качества посредством замены худших изображений на лучшие, где n является предписанным числом изображений глаза, которые должны собираться на этапе S206 до того, как способ переходит ко второй стадии способа, содержащей этапы S207-S209, выполняющие последующую обработку только для собранного набора из n изображений глаза. Как правило, n должно быть меньше числа изображений в полученной последовательности, так что можно выбрать n изображений глаза наилучшего качества из всей последовательности. Каждый из этапов S201-S205 и S207-S209 содержит набор подэтапов для проверки качества или правильности изображений глаза на основе различных критериев, при этом этапы S207-S209 со всеми соответствующими подэтапами выполняются только для набора из n изображений глаза, собранных на этапе S206 (т.е. для набора из n изображений глаза, собранных в качестве наилучших из изображений, успешно прошедших все проверки на этапах S201-S205 и на соответствующих подэтапах). Если проверка на этапах S201-S205 или на соответствующих подэтапах завершается неудачно, способ возвращается к этапу S200, на котором получается следующее изображение последовательности, и этапы S201-S205 выполняются для этого следующего изображения и т.д. до конца полученной последовательности. В варианте осуществления настоящего изобретения, если число изображений, собранных на этапе S206, не достигает предписанного числа n и каждое изображение полученной последовательности обработано, способ выполнен с возможностью возврата к этапу S200, чтобы получать следующую последовательность изображений, чтобы продолжать работу до тех пор, пока предписанное число n не будет достигнуто. Альтернативно, все изображения, которые получены (даже если n не достигнуто), отправляются на вторую стадию способа. В альтернативном варианте осуществления этапы S205 и S206 могут комбинироваться в один этап.

[0060] Затем, после сбора требуемого числа n изображений глаза, выбранных в качестве наилучших изображений, эти n изображений глаза вводятся на вторую стадию способа, содержащего этапы S207-S209 с соответствующими подэтапами. Все этапы S201-S209, их соответствующие подэтапы, проверки и критерии, предусмотренные на подэтапах, подробно описываются ниже со ссылкой на фиг. 3-11. Этот двухстадийный подход в варианте осуществления настоящего изобретения экономит ресурсы, необходимые для обработки изображений глаза, поскольку этапы S207-S209 выполняются только для набора из n изображений глаза, собранных на этапе S206, в качестве наилучших из неотброшенных изображений полученной последовательности, посредством замены худших изображений на лучшие, а не для каждого неотброшенного изображения, как в решениях предшествующего уровня техники. Таким образом, этот подход уменьшает ошибки распознавания радужной оболочки глаза (т.е. повышает точность распознавания радужной оболочки глаза), снижает потребление мощности и вычислительную сложность и улучшает впечатление от использования. Кроме того, важно отметить, что предложенный способ работает с полученным полным изображением только на этапе S201. Все следующие этапы выполняются только для изображения глаза, представляющего собой часть целого изображения. Вследствие этого предложенный способ дополнительно уменьшает потребление памяти запоминающего устройства, что является важным, когда способ реализуется по прямому назначению на мобильном устройстве. В то же время, в варианте осуществления настоящего изобретения, если какая-либо проверка на этапах S201-S205, S207-S209 и на соответствующем подэтапе завершается неудачно, способ дополнительно выполнен с возможностью отправлять обратную связь в соответствующий аппаратный компонент и/или отображать инструкцию для пользователя. Обратная связь может содержать всю необходимую информацию, позволяющую соответствующему аппаратному компоненту регулировать параметр, чтобы повысить качество следующего изображения автоматически. Инструкция для пользователя может содержать всю необходимую информацию, позволяющую пользователю улучшать качество следующего изображения путем выполнения некоторых инструктируемых действий.

[0061] На этапах S207-S208 в изображении сегментируют радужную оболочку глаза, обнаруживают затеняющие объекты (ресницы) и соответствующую маску создают для рабочей зоны радужной оболочки глаза, разрешенной для дальнейшего сопоставления. На этапе S209 выполняется нормализация изображений радужной оболочки глаза (преобразование пикселов из полярных координат в линейные координаты таким образом, что изображение радужной оболочки глаза преобразуется в прямоугольную матрицу изображения).

[0062] На этапе S210 извлекаются признаки нормализованного изображения радужной оболочки глаза.

[0063] На этапе S211 кодируются нормализованное изображение радужной оболочки глаза с извлеченными признаками и маска для того, чтобы получать код радужной оболочки глаза и маску в битовой форме.

[0064] В конце вышеуказанного предложенного способа код радужной оболочки глаза и маска в битовой форме могут передаваться в процесс сопоставления радужной оболочки глаза. Процесс сопоставления (сравнения) радужной оболочки глаза сопоставляет код радужной оболочки глаза с эталонным кодом радужной оболочки глаза, предварительно сохраненным легальным пользователем устройства, с учетом соответствующей битовой маски. Фрагмент кодированного изображения радужной оболочки глаза (код радужной оболочки глаза), базовая маска и результат их объединения для получения кода радужной оболочки глаза для процедуры сопоставления радужной оболочки глаза проиллюстрированы на фиг. 31. Формирование эталонного кода радужной оболочки глаза может выполняться, по меньшей мере, с помощью некоторых этапов вышеописанного способа согласно варианту осуществления настоящего изобретения.

[0065] Таким образом, вышеописанный способ согласно варианту осуществления настоящей заявки снижает потребление мощности и вычислительную сложность и повышает точность сопоставления радужной оболочки глаза вследствие оценки качества или правильности изображений глаза по различным критериям и выбора только надлежащих изображений радужной оболочки глаза для последующей обработки (т.е. нет необходимости тратить время и ресурсы на обработку ненадлежащего изображения на второй стадии).

[0066] Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S201 (из способа, проиллюстрированного на фиг. 2) обнаружения глаза в изображении согласно варианту осуществления изобретения.

Этот этап может автоматически оценивать участок глаза в изображении и выполнять следующие три подэтапа:

S201.1 - обнаружение местоположения участка глаза и проверка того, расположен или нет участок в предписанной центральной области изображения;

S201.2 - оценка средней яркости участка и

S201.3 - оценка контрастности участка.

[0067] На подэтапе S201.1 обнаруживается местоположение участка глаза и выполняется проверка того, расположен ли участок в предписанной центральной области изображения. В варианте осуществления настоящего изобретения этот этап автоматически распознает участок глаза (возможно употребление термина "изображения глаза") с окружающими объектами. Это распознавание может быть основано на любом виде алгоритма классификации, который обучен для классификации (распознавания) элементов человеческого лица (носа, подбородка, глаз), например: a) прямое использование шаблонов элементов лица (с варьированием их масштаба и позиции), b) вейвлеты Хаара (конкретные шаблоны для обнаружения участков), c) сверточные нейронные сети, d) вычислительные алгоритмы для классификации с параметрами, предварительно обученными на экспериментальных данных. Распознанный участок ограничивается многоугольником (например, прямоугольником). Фиг. 13 иллюстрирует примеры участков глаза, которые ограничены с помощью различных многоугольников. Прямоугольный участок может описываться, например, посредством двух противостоящих по диагонали вершин или, в общем, посредством, по меньшей мере, двух вершин. Если распознанный участок расположен, по меньшей мере, частично за пределами предписанной центральной области, ситуация считается безуспешной, поскольку периферийная область изображения может быть подвержена оптическим искажениям. Пример предписанной центральной области с распознанным участком, расположенным частично за пределами предписанной центральной области, проиллюстрирован на фиг. 14. Центральная область предписывается в виде ограничивающей фигуры, например прямоугольника, который может описываться посредством, по меньшей мере, двух вершин. Распознанный участок может вырезаться из изображения для последующей обработки. Для выполнения проверки способ выполнен с возможностью сравнения, по меньшей мере, двух вершин распознанного участка с, по меньшей мере, двумя соответствующими вершинами предписанной центральной области. Каждая из вершин может описываться посредством координат. Таким образом, этот подэтап может проверять, лежат ли координаты, по меньшей мере, двух вершин распознанного участка в интервале, заданном посредством координат предписанной центральной области. Если координаты, по меньшей мере, одной из вершин распознанного участка (представленного, например, прямоугольником) лежат за пределами интервала, заданного координатами предписанной центральной области, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку участок интереса (т.е. участок глаза) может быть расположен за пределами предписанной центральной области и, следовательно, может быть подвержен оптическим искажениям, присущим периферийной области изображения.

[0068] На подэтапе S201.2 оценивается средняя яркость ранее распознанного участка. Если оцененная средняя яркость ранее распознанного участка превышает предписанную пороговую яркость, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку оцененная яркость участка не является пригодной для последующей обработки участка. Другими словами, избыточное освещение участка рассматривается на этом подэтапе как [его] недостаток. Недостаточная освещенность может не возникнуть, поскольку при недостатке естественного освещения включается инфракрасная (IR) подсветка.

[0069] На подэтапе S201.3 оценивается контрастность ранее распознанного участка, например, как среднеквадратическое отклонение от оцененной средней яркости участка. Если оцененная контрастность ранее распознанного участка меньше предписанной пороговой контрастности, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку оцененная контрастность участка не является пригодной для последующей обработки участка.

[0070] Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S202 (из способа, проиллюстрированного на фиг. 2) обнаружения блика зрачка согласно варианту осуществления изобретения. Чтобы найти блик зрачка, оцениваются несколько возможных кандидатов около предполагаемого центра участка глаза. Возможные кандидаты могут быть получены путем бинаризации изображения как светлые фигуры на темном фоне.

[0071] Таким образом, этап S202 может содержать следующие подэтапы:

S202.1 - бинаризация распознанного участка глаза;

S202.2 - сегментация светлых фигур в распознанном участке;

S202.3 - аппроксимация сегментированных светлых фигур посредством эллипсов;

S202.4 - вычисление отношения осей эллипса и площади эллипса для каждого эллипса;

S202.5 - удаление эллипсов с отношением осей эллипса, меньшим предписанного порогового отношения осей эллипса, удаление эллипсов с площадью эллипса, большей предписанной площади эллипса, и проверка того, остались ли еще эллипсы;

S202.6 - оценка контрастности эллипса для каждого оставшегося эллипса и

S202.7 - выбор эллипса с максимальной контрастностью эллипса.

[0072] На подэтапе S202.1 распознанный участок глаза бинаризуется. Пороговое значение бинаризации может быть выбрано, например, как средняя яркость участка. Возможны другие способы выбора порога бинаризации: как медианная яркость участка, как взвешенное среднее яркости участка, как серединное значение между максимальной и минимальной яркостью участка и т.д.

[0073] На подэтапе S202.2 сегментируются светлые фигуры в распознанном участке. Предполагается, что распознанные участки глаза содержат, по меньшей мере, одну светлую фигуру, такую как, например, блик зрачка, другие виды блика, вследствие IR-подсветки, используемой камерой для получения исходной последовательности изображений.

[0074] На подэтапе S202.3 сегментированные светлые фигуры аппроксимируются эллипсами. Альтернативно, сегментированные светлые фигуры могут быть аппроксимированы прямоугольниками или шестиугольниками. Этот подэтап выполняется для того, чтобы исключать ложный блик зрачка.

[0075] На подэтапе S202.4 отношение осей эллипса и площади эллипса вычисляются для каждого эллипса. Отношение осей эллипса может быть вычислено путем деления длины малой оси на длину главной оси. Площадь эллипса может быть вычислена любым стандартным способом, известным в геометрии. Если на предыдущем подэтапе вместо эллипса для аппроксимации используется другая геометрическая фигура, для нее вычисляется так называемый "коэффициент формы" (формфактор) по аналогии с отношением осей эллипса. Конкретные схемы вычисления, используемые на этом подэтапе, не должны ограничиваться описанными выше схемами и известны специалисту в данной области техники.

[0076] На подэтапе S202.5 удаляются эллипсы с отношением осей эллипса, меньшим предписанного порогового отношения осей эллипса, и эллипсы с площадью эллипса, большей некоторой предписанной площади эллипса, и выполняется проверка, остались ли еще эллипсы. Если в наборе больше не осталось эллипсов, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку не найдены возможные кандидаты, которые могут считаться бликом зрачка. Если в наборе остались несколько эллипсов, то эллипс с наибольшей контрастностью может быть принят за блик зрачка.

[0077] На подэтапе S202.6 контрастность эллипса оценивается для каждого оставшегося эллипса. Контрастность эллипса может вычисляться как абсолютная разность между средней яркостью эллипса и средней яркостью окружающей области.

[0078] На подэтапе S202.7 выбирается эллипс с максимальной контрастностью эллипса. Поскольку зрачок темнее радужной оболочки глаза, разность между яркостями на границе зрачка/блика зрачка превышает разность яркостей где-либо еще в обработанном участке глаза. Таким образом, блик с наибольшей контрастностью может считаться бликом зрачка в варианте осуществления настоящего изобретения (см. фиг. 15). Дополнительно этап S202 может содержать подэтап определения центра Cpg найденного блика зрачка.

[0079] Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S203 (из способа, проиллюстрированного на фиг. 2) обнаружения зрачка согласно варианту осуществления изобретения. Распознанный участок глаза и обнаруженный блик зрачка, имеющий центр Cpg, вводятся на этот этап с описанных выше этапов.

Этот этап может содержать следующие подэтапы:

S203.1 - предварительная оценка радиуса зрачка;

S203.2 - нахождение границы между зрачком и радужной оболочкой глаза;

S203.3 - уточнение оцененного радиуса и оценка центра зрачка и

S203.4 - вычисление контрастности зрачка.

[0080] На подэтапе S203.1 оценивается радиус зрачка. Эта оценка может считаться предварительной, т.е. приблизительной. Эта оценка может выполняться посредством создания набора прямых радиальных линий, исходящих из центра Cpg, и определения длин каждой прямой линии набора вплоть до границы между зрачком и радужной оболочкой глаза. Эта граница может быть обнаружена по контрастности между более темным участком зрачка и более светлой областью радужной оболочки глаза (т.е. требуемой границы). В итоге самую длинную прямую линию выбирают в качестве первого приближения радиуса r зрачка. Иллюстрация предварительной оценки радиуса зрачка предоставляется на фиг. 17.

[0081] На подэтапе S203.2 выполняется поиск границы между зрачком и радужной оболочкой глаза. Поиск границы может выполняться в участке глаза, ограниченном кругом, имеющим центр, совпадающий с центром Cpg блика зрачка, и предварительно оцененный радиус r. В качестве примера, в этой ограниченной области граница может определяться на основе разности локальных яркостей. Альтернативно, граница в ограниченной области может определяться на основе детектора краев Кэнни. Найденная граница может быть представлена посредством набора точек. Иллюстрация выполнения поиска границы между зрачком и радужной оболочкой глаза в ранее ограниченной области предоставляется на фиг. 18.

[0082] На подэтапе S203.3 оцененный радиус зрачка уточняется. Поскольку граница между зрачком и радужной оболочкой глаза найдена (как набор точек), центр Cp зрачка может быть найден посредством аппроксимации границы с помощью окружности (аппроксимация может быть выполнена методом наименьших квадратов). Уточненный радиус зрачка может быть найден как радиус аппроксимирующей окружности. Таким образом, в результате этого подэтапа могут быть получены граница зрачка, центр Cp и радиус. Если уточненный радиус зрачка превышает предписанный пороговый радиус зрачка, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку не найдены возможные кандидаты, которые могут считаться зрачком. Иллюстрация уточнения радиуса зрачка предоставляется на фиг. 19.

[0083] На подэтапе S203.4 вычисляется контрастность зрачка. Контрастность может вычисляться как усредненная абсолютная разность яркостей около определенной границы. Поскольку верхняя часть границы между зрачком и радужной оболочкой глаза может закрываться веком, в варианте осуществления настоящего изобретения нижняя часть границы может быть использована на этом подэтапе для вычисления контрастности. Альтернативно, любая открытая часть границы может быть использована для вычисления. Иллюстрация области, используемой в предпочтительном варианте осуществления для вычисления контрастности между зрачком и радужной оболочкой глаза, показана на фиг. 20. Если вычисленная контрастность меньше предписанной пороговой контрастности, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку контрастность обнаруженного зрачка не является подходящей для последующей обработки.

[0084] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S204 (из способа, проиллюстрированного на фиг. 2) оценки открытия век и искажающего блика (бликов) согласно варианту осуществления изобретения. Искажающим (помеховым) бликом является любой блик, создаваемый солнцем или любым другим источником освещения, который ухудшает качество изображения глаза за счет отражения от глаз или очковых линз, например, из-за перекрытия радужной оболочки глаза. Этот искажающий блик не следует путать с бликом зрачка, который используется в контексте настоящей заявки в качестве начальной точки для выполнения поиска самого зрачка (см. этап S202). Радиус зрачка, центр Cp зрачка и контрастность зрачка вводятся на этот этап из вышеописанных этапов.

Этот этап может содержать следующие подэтапы:

S204.1 - обнаружение век;

S204.2 - вычисление расстояния открытия век;

S204.3 - нахождение всех светлых фигур;

S204.4 - извлечение искажающего блика в качестве фигуры из набора;

S204.5 - оценка площади и центра искажающего блика и

S204.6 - вычисление расстояния между центром зрачка и центром искажающего блика.

[0085] На подэтапе S204.1 веки обнаруживают через контрастность между радужной оболочкой глаза и веками. Контрастность между радужной оболочкой глаза и веками может быть определена в "вертикальной области зрачка" (колонке), определяемой шириной зрачка. Вертикальная область зрачка представляет собой область, ограниченную двумя вертикальными линиями, проведенными слева и справа от зрачка соответственно. Линии проводятся как вертикальные линии, удаленные от центра зрачка на некоторое расстояние, равное радиусу зрачка. В области, описанной выше, строится набор вертикальных линий, которые начинаются от произвольных горизонтальных координат, имеющихся в данной области, вертикальные координаты центра зрачка принимаются за вертикальные координаты исходных точек линий. Эти линии продолжаются вниз и вверх вплоть до достижения границы между радужной оболочки и соответствующего века (эта граница может быть обнаружена, например, по разности яркостей).

[0086] На подэтапе S204.2 вычисляется расстояние открытия век как минимальное расстояние в вертикальной области зрачка, заданной ранее. Иллюстрация вычисления расстояния открытия век предоставляется на фиг. 22. Если вычисленное расстояние меньше предписанного порогового расстояния, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку расстояние открытия век не является подходящим для последующей обработки такого изображения глаза. Для термина «Расстояние открытия век» далее в тексте может быть использовано сокращение "EODistance".

[0087] На подэтапе S204.3 все светлые фигуры в участке глаза собираются в набор; подэтапы S204.4, S204.5, S204.6 представляют обработку этих фигур по одной до тех пор, пока набор не опустеет либо пока проверка свойств фигур не инициирует ветвь "Выход" процесса. Более подробно:

[0088] На подэтапе S204.4 искажающий блик извлекается как светлая фигура из набора. Пример искажающего блика, оцененного из следующих подэтапов S204.5-S204.6, проиллюстрирован на фиг. 24.

[0089] На подэтапе S204.5 оцениваются площадь и центр извлеченного искажающего блика. Площадь искажающего блика может оцениваться посредством подсчета числа элементов, составляющих фигуру искажающего блика (например, числа пикселов). Центр искажающего блика может быть найден как центр масс плоской фигуры искажающего блика. Конкретные технологии для оценки центра масс плоской фигуры известны в данной области техники. Если площадь искажающего блика превышает предписанную пороговую площадь, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку искажающий блик оцененной площади делает изображение глаза непригодным для последующей обработки. На этом подэтапе проверяется каждый искажающий блик на обрабатываемом в текущий момент изображении глаза. Если по меньшей мере один из искажающих бликов, имеющихся на обрабатываемом в текущий момент изображении глаза, не удовлетворяет описанному выше условию, данный подэтап может завершаться и инициировать обратную связь, как описано выше.

[0090] На подэтапе S204.6 вычисляется расстояние между центром зрачка и центром каждого искажающего блика. Если вычисленное расстояние меньше предписанного порогового расстояния, этот подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку искажающий блик может быть расположен близко к зрачку и радужной оболочке глаза и в силу этого может перекрывать часть зрачка или радужной оболочки глаза, что приводит к тому, что изображение глаза становится непригодным для последующей обработки. Затем, после вышеописанных двух проверок свойств, выполняется проверка того, остались ли еще блики. Если блики остались, то каждый из оставшихся бликов обрабатывается так, как описано выше. Если расстояние между центром зрачка и центром некоторого одного из искажающих бликов, имеющихся на обрабатываемом в текущий момент изображении глаза, меньше некоторого предписанного порогового расстояния, изображение глаза может быть отброшено, и подэтап может завершаться и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства. Если бликов не осталось, процесс переходит к этапу S205.

[0091] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S205 (из способа, проиллюстрированного на фиг. 2) оценки качества глаза согласно варианту осуществления изобретения. Радиус зрачка (PRadius), центр зрачка (PCenter), контрастность зрачка (PContrast), расстояние открытия век (EODistance) вводятся на этот этап из вышеописанных этапов. Также на этап вводятся весовые коэффициенты (w1, w2, w3) для назначения значений качества изображения глаза, где w1 является весовым коэффициентом для PContrast, w2 является весовым коэффициентом для коэффициента открытия век (EOFactor), w3 является весовым коэффициентом для коэффициента резкости (SFactor).

Этот этап может содержать следующие подэтапы:

S205.1 - вычисление коэффициента открытия век;

S205.2 - вычисление коэффициента резкости и

S205.3 - оценка значения качества изображения глаза как взвешенной суммы критериев.

[0092] На подэтапе S205.1 вычисляется коэффициент открытия век (EOFactor). Этот коэффициент может вычисляться как EODistance/(2*PRadius).

[0093] На подэтапе S205.2 вычисляется коэффициент резкости (SFactor). Этот коэффициент может вычисляться как среднеквадратическое отклонение яркости в предписанной внешней области около границы зрачка.

[0094] На подэтапе S205.3 значение качества изображения глаза (IQValue) оценивается как взвешенная сумма критериев. Это значение может определяться следующим образом:

IQValue=w1*PContrast+w2*EOFactor+w3*SFactor.

Данные весовые коэффициенты выбираются экспериментально. Весовые коэффициенты первоначально оцениваются таким образом, чтобы доля каждого компонента равнялась доле других компонентов. Например, если IQValue принять равным 1, то w1, w2, w3 выбираются таким образом, чтобы доли w1*PContrast, w2*EOFactor и w3*SFactor были равны друг другу (1/3 в этом примере).

[0095] Фиг. 8 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S206 (из способа, проиллюстрированного на фиг. 2) сбора набора из n изображений глаза из неотброшенных (посредством проверок соответствующих критериев) изображений полученной последовательности изображений. Этап собирает наилучшие изображения путем замены худших изображений на лучшие изображения согласно варианту осуществления изобретения. Собираемые изображения сравниваются друг с другом посредством значения качества изображения (IQValue), описанного выше. Этот этап содержит следующие подэтапы:

S206.1 - получение изображения глаза с соответствующим значением качества изображения глаза;

S206.2 - проверка того, заполнен или нет уже набор изображениями глаза в количестве n, где n является некоторым предписанным числом изображений глаза;

S206.3 - в случае "Нет" на подэтапе S206.2 помещение полученного изображения глаза в набор и

S206.4 - перекомпоновка набора из n изображений глаза на основе значения качества изображения глаза;

S206.5 - в случае "Да" на подэтапе S206.5 проверка того, не превышает ли значение качества изображения глаза значение качества изображения глаза, уже имеющегося в наборе;

S206.6 - исключение из набора изображения глаза с наименьшим значением качества изображения глаза;

S206.7 - помещение полученного изображения глаза в набор и

S206.8 - перекомпоновка набора из n изображений глаза на основе значения качества изображения глаза.

Этот этап выполняется для каждого изображения глаза, введенного из предыдущего подэтапа S205.3, с соответствующим значением качества изображения глаза, вплоть до конца обработки последнего изображения в последовательности изображений, первоначально полученной на первой стадии способа. Следует понимать, что в результате первой стадии способа изображения из первоначальной последовательности изображений либо отбрасываются как непригодные (инициируя обратную связь, как описано выше), либо достигают (успешно проходя все предыдущие проверки на соответствующих подэтапах) подэтапа S205.3, на котором значение качества изображения глаза вычисляется и используется затем, на этапе S206, для переупорядочения набора из n изображений посредством замены худших изображений на лучшие. Первая стадия способа завершается на этом этапе S206. Результат первой стадии состоит в том, что из первоначальной последовательности собирается набор из наилучших n изображений глаза для последующей обработки. Благодаря этому вся последующая обработка выполняется только для надлежащих изображений глаза, поскольку все ненадлежащие изображения отброшены в ходе первой стадии способа. Также следует отметить, что изображения из собранного набора из n изображений глаза имеют максимально возможное качество из всех изображений начальной последовательности (поскольку изображения с худшим качеством заменены в наборе из n изображений глаза на лучшие изображения). Кроме того, следует понимать, что фраза "подэтап может завершаться", которая используется выше, может означать отбрасывание последнего обработанного изображения (которое не прошло соответствующую проверку на любом из вышеописанных подэтапов), отправку информации обратной связи в аппаратный компонент, такой как, но без ограничения, процессор или контроллер пользовательского устройства (например, когда проверка на этапе S202 указывает то, что блик зрачка не обнаружен, информация обратной связи может содержать информацию (например, управляющий сигнал), чтобы автоматически включать IR-подсветку в следующий раз, когда получается последовательность изображений, или автоматически повторно получать последовательность изображений с IR-подсветкой и т.д.), и извлечение следующего изображения (если остаются) из первоначальной последовательности изображений для обработки на вышеописанной первой стадии способа, либо (если изображений не остается в уже полученной последовательности, т.е. все изображения уже обработаны) отправку пользователю информации обратной связи, предписывающей ему получать новую последовательность изображений. Также следует понимать, что, даже если n изображений глаза не собраны на первой стадии способа, этот набор по-прежнему может передаваться на вторую стадию способа, если он содержит, по меньшей мере, одно изображение глаза, которое прошло все проверки на первой стадии способа. Альтернативно, информация обратной связи может быть отправлена для захвата новой последовательности и отбрасывания созданного набора либо для захвата новой последовательности с пополнением созданного ранее набора и т.д.

[0096] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S207 (из способа, проиллюстрированного на фиг. 2) сегментации радужной оболочки глаза согласно варианту осуществления изобретения. Пример сегментации радужной оболочки глаза проиллюстрирован на фиг. 28. На вход этого этапа поступает набор из n изображений, собранный на первой стадии данного способа, и вся соответствующая информация, определенная на первой стадии в отношении каждого изображения из упомянутого набора. Здесь необходимо отметить, что этот ресурсоемкий этап обеспечивает преимущество, поскольку выполняется только в отношении набора из n изображений глаза с самым лучшим качеством, которые были предварительно отобраны из первоначально полученной последовательности изображений. Следовательно, этот способ избегает избыточной обработкуи.

Этот этап может содержать следующие подэтапы:

S207.1 - получение изображения глаза из собранного набора из n изображений глаза;

S207.2 - нахождение границы между радужной оболочкой глаза и склерой в изображении глаза;

S207.3 - оценка центра и радиуса радужной оболочки глаза;

S207.4 - оценка контрастности радужной оболочки глаза;

S207.5 - оценка коэффициента расширения зрачка и

S207.6 - вычисление расстояния между центром зрачка и центром радужной оболочки глаза.

[0097] На подэтапе S207.1 изображение глаза извлекается из собранного набора из n изображений глаза. В качестве примера, первое изображение глаза из собранного набора из n изображений глаза извлекается для последующей обработки. Тем не менее, настоящее изобретение не должно быть ограничено некоторым конкретным порядком обработки. Порядок обработки может быть произвольным.

[0098] На подэтапе S207.2 выполняется поиск границы между склерой и радужной оболочкой глаза в изображении глаза. Эта граница может быть определена на основе локальных яркостей. Граница между зрачком и радужной оболочкой глаза для обрабатываемого изображения глаза была определена на подэтапе S203.2, описанном выше. Граница между склерой и радужной оболочкой глаза определяется на этом подэтапе. Эта граница может быть определена путем построения набора прямых радиальных линий, исходящих из центра зрачка во всех направлениях (как проиллюстрировано на фиг. 25(a)). Затем, средняя яркость вычисляется в окрестности каждой из этих линий (и за пределами радиуса r зрачка) в предписанных зонах вдоль линии (эти зоны проиллюстрированы прямоугольниками на фиг. 25(b)). Поскольку склера ярче радужной оболочки глаза, граница может быть найдена как переход от более темных участков (радужной оболочки глаза) вдоль линий к более ярким участкам склеры. Таким образом, внешняя граница радужной оболочки может быть найдена по разнице (перепаду) средней яркости. Аналогичный подход может быть использован и для поиска границы между радужной оболочкой глаза и веками. В результате этого этапа могут быть получены набор точек, описывающих внешнюю границу радужной оболочки глаза, и набор точек, описывающих границу радужная оболочка глаза/веки (как проиллюстрировано на фиг. 25(c)). Радужная оболочка глаза может считаться сегментированной, когда найдена граница между зрачком и радужной оболочкой глаза и склерой и радужной оболочкой глаза.

[0099] На подэтапе S207.3 центр (ICenter) и радиус (R) радужной оболочки глаза могут быть оценены. При этой оценке аппроксимирующая окружность (аппроксимирующая окружность проиллюстрирована на фигуре 26(b)) строится на наборе точек, описывающих внешнюю границу радужной оболочки глаза (этот набор проиллюстрирован на фиг. 26 (a)). Эта аппроксимация может быть основана на методе наименьших квадратов. Затем, аппроксимирующая окружность принимается за участок радужной оболочки, который может быть описан некоторым радиусом и центром (как проиллюстрировано на фиг. 26(с)). Следует отметить, что аппроксимирующая окружность может быть построена даже в случае, когда граница радужная оболочка/склера обнаружена лишь частично вследствие ее закрытия веком. Следует также отметить, что аппроксимирующий эллипс может быть использован вместо аппроксимирующей окружности, если форма радужной оболочки глаза значительно искажена направлением взгляда.

[0100] На подэтапе S207.4 оценивается контрастность радужной оболочки глаза. Эта контрастность может оцениваться как усредненная разность яркостей вблизи границы между склерой и радужной оболочкой глаза. Если оцененная контрастность меньше некоторой предписанной пороговой контрастности, этот подэтап может завершаться возвратом к подэтапу S207.1, на котором для обработки берется следующее изображение глаза из собранного набора n изображений глаза, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку оцененная контрастность участка делает обрабатываемое в настоящий момент изображение глаза непригодным для последующей обработки.

[0101] На подэтапе S207.5 оценивается коэффициент расширения зрачка (PDRatio). Расширение зрачка в темноте и его сужение на свету является общеизвестным фактом. Этот коэффициент может оцениваться следующим образом: PDRatio=PRadius/R. Различные примерные фазы расширения зрачка проиллюстрированы на фиг. 27(a, b, c). Здесь PRadius является радиусом зрачка, R является радиусом радужной оболочки глаза (оцененным ранее путем создания аппроксимирующей окружности). Если оцененное PDRatio превышает некоторый предписанный пороговый PDRatio, этот подэтап может завершаться выходом на подэтап S207.1, на котором для обработки берется следующее изображение глаза из собранного набора из n изображений глаза, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку оцененный PDRatio обрабатываемого в текущий момент изображения глаза указывает на то, что область радужной оболочки глаза существенно уменьшена (как проиллюстрировано на фиг. 27(c)) вследствие расширения зрачка, делая обрабатываемое в текущий момент изображение непригодным для дальнейшей обработки.

[0102] На подэтапе S207.6 вычисляется расстояние (PIDistance) между центром зрачка и центром радужной оболочки. Это расстояние может быть вычислено следующим образом: PIDistance=|PCenter-ICenter|; оно вычисляется общеизвестным способом как расстояние между двумя точками, каждая из которых представлена посредством пары координат. Относительное расстояние может быть вычислено как PIDistance/R. Если это относительное расстояние превышает некоторое предписанное пороговое значение, этот подэтап может завершаться выходом на подэтап S207.1, на котором для обработки берется следующее изображение глаза из собранного набора из n изображений глаза, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку оцененное PIDistance обрабатываемого в текущий момент изображения глаза указывает на непригодность обрабатываемого в текущий момент изображения глаза для дальнейшей обработки. Тот факт, что это расстояние превышает пороговое значение, означает так называемую "ошибку центрирования" (эксцентриситет), вследствие такой ошибки центрирования невозможно выполнять операцию нормализации изображений радужной оболочки глаза (преобразование полярных координат радужной оболочки глаза в линейные координаты), поскольку эта операция предполагает совпадение центра зрачка и центра радужной оболочки глаза, вследствие чего этот центр может быть выбран в качестве начала системы полярных координат.

[0103] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S208 (из способа, проиллюстрированного на фиг. 2) проверки качества изображения радужной оболочки глаза перед нормализацией изображения радужной оболочки глаза согласно варианту осуществления изобретения.

Этот этап может содержать следующие подэтапы:

S208.1 - оценка расстояния между глазом и камерой;

S208.2 - вычисление нормализованного расстояния открытия век;

S208.3 - оценка площади перекрытия между всем представленным искажающим бликом (видами блика) и радужной оболочкой глаза;

S208.4 - обнаружение ресниц;

S208.5 - создание базовой маски;

S208.6 - вычисление относительного расстояния между центром зрачка и центром блика зрачка.

[0104] На подэтапе S208.1 оценивается расстояние между глазом и камерой. Расстояние между глазом и камерой может оцениваться приблизительно на основе параметров камеры и усредненного статистического радиуса (Rstat) радужной оболочки глаза человека. Фокусное расстояние (f) камеры предварительно определено, линейный размер пиксела (p) в фотоматрице камеры известен (линейный размер элемента (пиксела) фотоматрицы может вычисляться путем деления длины матрицы вдоль соответствующей стороны на число элементов (пикселов), расположенных вдоль этой стороны). Таким образом, линейный размер проекции радиуса радужной оболочки глаза (Rproj) на фотоматрицу может вычисляться через длину радиуса в пикселах (Rpixels) и размер пиксела (p) как: Rproj=Rpixels*p. Геометрическая схема на фиг. 23 иллюстрирует отношение между усредненным статистическим радиусом радужной оболочки глаза, фокусным расстоянием, проекцией радиуса радужной оболочки глаза и расстоянием (между радужной оболочкой глаза и камерой), которое должно быть найдено. Исходя из проиллюстрированного геометрического подобия треугольников, расстояние между радужной оболочкой глаза и камерой может вычисляться как L=(f*Rstat)/Rproj. Если оцененное расстояние не находится в пределах предписанного диапазона расстояний, этот подэтап может завершаться выходом на подэтап S207.1, на котором для обработки берется следующее изображение глаза из собранного набора из n изображений глаза, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку оцененное расстояние между глазом и камерой является слишком большим или маленьким, что делает обрабатываемое в настоящий момент изображение глаза непригодным для дальнейшей обработки.

[0105] На подэтапе S208.2 вычисляется нормализованное расстояние открытия век (nEODistance). Это вычисление может выполняться, например, следующим образом: nEODistance=EODistance/R. Когда оцененное расстояние не превышает некоторого предписанного порогового nEODistance, этот подэтап может завершаться выходом на подэтап S207.1, на котором для обработки берется следующее изображение глаза из собранного набора из n изображений глаза, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку глаз не открыт в достаточной степени и радужная оболочка является по большей части невидимой в такой ситуации. На этом подэтапе используется нормализованное расстояние открытия век, несмотря на тот факт, что соответствующее абсолютное расстояние было проверено ранее, поскольку нормализованное (относительное) расстояние более адекватно соответствует ситуациям с различными абсолютными размерами черт человеческого лица и их проекциями на фотоматрицу камеры, представленными в пикселах.

[0106] На подэтапе S208.3 оценивается площадь перекрытия между всеми имеющимися искажающими бликами (бликом) и радужной оболочкой глаза. Светлые фигуры, собранные ранее (на подэтапе S204.3), считаются искажающими бликами на подэтапе S208.3. Они тестируются одна за другой, для проверки на предмет их перекрытия с областью радужной оболочки глаза (их перекрытие с другими областями глаза можно не учитывать, поскольку для последующей процедуры идентификации нужна только радужная оболочка глаза). Для каждого предполагаемого искажающего блика площадь его перекрытия с радужной оболочкой глаза вычисляется непосредственно как сумма пикселов, принадлежащих как области блика, так и области радужной оболочки глаза. Если вычисленная площадь перекрытия превышает некоторое пороговое значение, этот подэтап может завершаться выходом на подэтап S207.1, на котором для обработки берется следующее изображение глаза из собранного набора из n изображений глаза, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку значительная часть изображения радужной оболочки глаза закрывается искажающим бликом, что ухудшает точность сравнения радужных оболочек глаза. Для проверки области перекрытия можно использовать как абсолютную, так и относительную (нормализованную) меру (площадь перекрытия, деленная на полную площадь радужной оболочки глаза).

[0107] На подэтапе S208.4 обнаруживают ресницы. Это обнаружение может выполняться путем сравнения текстур изображения. Текстура представляет собой фрагмент изображения (образец), характеризуемый своими статистическими показателями, описывающими направленные свойства и пространственные частоты образца. Практически требуется различить участки, заполненные текстурой радужной оболочки, и участки, заполненные текстурой ресниц. Для статистических оценок признаков текстур могут использоваться различные способы. Например, в описанном варианте осуществления был использован фильтр Габора. Для оценки свойств текстуры изображения могут использоваться другие способы: преобразование LBP (локальные двоичные шаблоны), преобразование Фурье и т.д. Когда проводят различие между участками, заполненными шаблонами ресниц, и участками, заполненными шаблонами радужной оболочки глаза, участки ресниц должны маскироваться (маскированные участки изображения не допускаются для последующего сравнения кодов радужной оболочки глаза).

[0108] На подэтапе S208.5 создается базовая маска. Базовая маска необходима для того, чтобы исключать из процесса сравнения радужной оболочки глаза все пикселы, которые расположены в аппроксимирующей радужную оболочку глаза окружности (S207.3) и закрыты (затенены) другими объектами, обнаруженными до этого: веками, ресницами, бликами. На этой стадии указанные пикселы должны маркироваться посредством любого подходящего способа: скажем, может быть создана копия изображения глаза, в которой пикселы, подлежащие запрету, маркируются как 0, а другие пикселы этой области радужной оболочки глаза маркируются как 1; или, например, может быть создан список запрещенных пикселов с соответствующими координатами или индексами пикселов.

[0109] На подэтапе S208.6 вычисляется относительное расстояние (RDistance) между центром зрачка и центром блика зрачка. Это вычисление может выполняться, например, следующим образом:

RDistance=|Cpg-Cp|/R.

Здесь Cpg является центром блика зрачка, Cp является центром зрачка, R является радиусом радужной оболочки глаза, определенным ранее. Когда оцененное относительное расстояние превышает предписанное пороговое RDistance, этот подэтап может завершаться переходом к подэтапу S207.1, на котором из собранного набора из n изображений извлекается очередное изображение для его обработки, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку оцененное RDistance обрабатываемого в текущий момент изображения глаза указывает на непригодность текущего изображения для последующей обработки. Тот факт, что это расстояние превышает пороговое значение, означает так называемую "ошибку центрирования" (эксцентриситет), вследствие такой ошибки центрирования невозможно выполнять операцию нормализации изображений радужной оболочки глаза (преобразование полярных координат радужной оболочки глаза в линейные координаты), поскольку эта операция предполагает совпадение центра зрачка и центра радужной оболочки, вследствие чего этот центр может быть выбран в качестве начала системы полярных координат.

[0110] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей подробности этапа S209 (из способа, проиллюстрированного на фиг. 2) проверки качества изображения радужной оболочки глаза после нормализации изображения радужной оболочки глаза согласно варианту осуществления изобретения.

Этот этап может содержать следующие подэтапы:

S209.1 - нормализация изображения радужной оболочки глаза и создание базовой маски для нормализованного изображения радужной оболочки глаза и

S209.2 - вычисление коэффициента полезной площади в нормализованном изображении радужной оболочки глаза.

[0111] На подэтапе S209.1 нормализуется изображение радужной оболочки глаза и создается базовая маска для нормализованного изображения радужной оболочки глаза.

Нормализация может быть определена как преобразование пикселов изображения радужной оболочки глаза из полярных координат в линейные координаты. Схема этого процесса проиллюстрирована на фиг. 12A. Другими словами, пикселы изображения радужной оболочки глаза преобразованы из кругового положения в прямоугольную матрицу пикселов. Эта операция альтернативно может называться "развертка изображений радужной оболочки глаза". Пример изображения радужной оболочки глаза и соответствующего нормализованного изображения радужной оболочки глаза проиллюстрирован на фиг. 12B. Маска помечает определенные точки нормализованного изображения радужной оболочки глаза, которые перекрыты, например, веками, ресницами, бликами и т.д. В соответствии с подэтапом S208.5 позиции (или соответствующие индексы) маскированных точек (пикселов) строго определены, поэтому для нормализации маски используется та же операция, что и для нормализации изображений радужной оболочки глаза (преобразования элементов маски из полярных координат в линейные координаты). Маскированные точки запрещаются в процессе сопоставления радужной оболочки глаза. В качестве примера точка, запрещенная для процесса сопоставления радужной оболочки глаза, помечается с помощью 0 в маске, а точка, разрешенная для процесса сопоставления радужной оболочки глаза, помечается с помощью 1 в маске, или наоборот. Следует отметить, что маска является обязательным атрибутом нормализованного изображения радужной оболочки глаза. Фиг. 29 иллюстрирует пример применения базовой маски к нормализованному изображению радужной оболочки глаза. Фиг. 31 подробнее иллюстрирует операцию маскирования.

Когда выполняется сопоставление (сравнение) пары изображений радужной оболочки глаза, каждое изображение радужной оболочки снабжено соответствующей маской. Две маски комбинируются посредством операции "Logic OR". Таким образом, в комбинированной маске точка запрещается в том случае, если она запрещается в одной из этих двух масок или в обеих масках.

[0112] На подэтапе S209.2 вычисляется отношение полезных областей (REA) в нормализованном изображении радужной оболочки глаза. Это вычисление может выполняться, например, следующим образом:

REA= площадь демаскированной области/полная площадь.

Когда оцененное REA меньше предписанного порогового REA, этот подэтап может завершаться переходом к подэтапу S207.1, на котором из собранного набора из n изображений извлекается очередное изображение для его обработки, и инициировать обратную связь с пользователем и/или с соответствующим аппаратным компонентом пользовательского устройства, поскольку немаскированная область, которая используется для процедуры сравнения радужной оболочки глаза, не является достаточно большой для того, чтобы выполнять надежное (устойчивое) сопоставление изображения радужной оболочки глаза с соответствующим эталонным изображением. В математике такая часть целого объекта характеризуется как "непредставительная". Если все изображения из собранного набора из n "наилучших" изображений проверены описанным ранее способом и в итоге оказались отброшенными из-за провала вышеописанных проверок (для отбрасывания изображения достаточно, чтобы, по меньшей мере, одна из его проверок провалилась), весь процесс считается завершенным неудачно, т.е. не получено изображений радужной оболочки глаза, пригодных для последующей идентификации, основанной на изображении радужной оболочки глаза. Соответствующий сигнал обратной связи посылается в аппаратный компонент и пользователю, завершая весь процесс получения изображений радужной оболочки глаза и/или уведомляя пользователя, что процесс завершен неудачно и, в некоторых вариантах осуществления, предлагая ему получить новую последовательность изображений для идентификации.

[0113] На этапе S210 извлекаются признаки нормализованного изображения радужной оболочки глаза. Результат операции извлечения признаков, выполняемой над нормализованным изображением радужной оболочки глаза, проиллюстрирован на фиг. 30. Это извлечение может выполняться на основе, по меньшей мере, одного из следующих подходов: фильтрация Габора, преобразование по локальным двоичным шаблонам (LBP), преобразование Фурье, вейвлет-преобразование. Упомянутая фильтрация Габора усиливает пространственные гармоники изображений с наиболее характерными признаками и подавляет пространственные гармоники изображений с менее характерными признаками. Эти пространственные гармоники изображений аналогичны гармоникам ряда Фурье для изображений. Эта фильтрация преобразует пиксельные значения изображения радужной оболочки глаза в набор комплексных значений, каждое из которых представляет яркость (силу света) соответствующего пиксела. Альтернативно, LBP-преобразование оценивает целочисленное значение для точки изображения радужной оболочки глаза, это значение может не быть комплексным. LBP-преобразование усиливает локальные вариации яркости изображения, поскольку она вычисляется как соотношение яркостей, взятых между центральной точки и соседних точек образца, заданного для каждой точки изображения. Эти локальные вариации считаются признаком изображения радужной оболочки глаза. Кроме того, в качестве признаков изображений могут использоваться непосредственно исходные значения яркостей без дополнительного преобразования.

[0114] На этапе S211 нормализованное изображение радужной оболочки глаза с извлеченными признаками и базовая маска кодируются для того, чтобы получать код радужной оболочки глаза и маску в битовой форме. Это кодирование может выполняться, по меньшей мере, на основе одной из следующих технологий: фильтр на основе преобразования Фурье, фильтр на основе вейвлет-преобразования, LBP и т.д. В варианте осуществления настоящего изобретения этот этап может преобразовывать комплексное значение в пару битов через кодирование действительной (Re) и мнимой (Im) части комплексного числа и дополнительно может заключать в себе такие этапы, как квантование (преобразование в двоичную форму). В качестве примера комплексное значение (полученное на стадии извлечения признаков, например, посредством преобразования Габора) может кодироваться в пару битов на основе следующей схемы преобразования в двоичную форму (другие возможные схемы кодирования должны быть известными для специалистов в данной области техники):

if Re>0, Im>0 then {1, 1}

if Re>0, Im<0 then {1, 0}

if Re<0, Im<0 then {0, 0}

if Re<0, Im>0 then {0, 1}

Битовое представление изображения радужной оболочки глаза, полученное по такой схеме преобразования в двоичную форму, называется кодом радужной оболочки глаза.

Фиг. 21 иллюстрирует кодирование нормализованного изображения радужной оболочки глаза для конкретного случая, в котором для каждого элемента нормализованного изображения радужной оболочки глаза созданы два бита.

[0115] В конце вышеуказанного предложенного способа код радужной оболочки глаза и маска в битовой форме могут передаваться в процесс сопоставления радужной оболочки глаза для сопоставления радужной оболочки глаза с применяемой маской в битовой форме с эталонным кодом радужной оболочки глаза, предварительно сохраненным легальным пользователем устройства. Формирование этого эталонного кода радужной оболочки глаза может выполняться легальным пользователем, по меньшей мере, с помощью некоторых этапов вышеописанного способа согласно варианту осуществления настоящей заявки. Вышеописанный способ подготовки изображений радужной оболочки глаза может использоваться в качестве части любой процедуры сравнения радужной оболочки глаза (скажем, процедуры идентификации личности), а также части заполнения данными (внесения) баз данных изображений радужных оболочек глаза.

[0116] В другом аспекте настоящего изобретения предоставляется машиночитаемый носитель, хранящий выполняемые инструкции, которые при выполнении посредством компьютера или процессора, инструктируют компьютеру или процессору осуществлять любой из вышеизложенных способов.

[0117] Фиг. 16 иллюстрирует пользовательское устройство 1600, допускающее сопоставление радужной оболочки глаза согласно варианту осуществления настоящей заявки. Пользовательское устройство 1600 содержит в варианте осуществления настоящего изобретения:

1601 - процессор;

1602 - дисплей;

1603 - камеру с IR-подсветкой;

1604 - запоминающее устройство и

1605 - клавиатуру.

[0118] Пользовательское устройство, согласно различным вариантам осуществления изобретения, может включать в себя, по меньшей мере, одно из смартфона, планшетного персонального компьютера (PC), мобильного телефона, видеотелефона, устройства для чтения электронных книг, настольного PC, переносного PC, нетбука, персонального цифрового устройства (PDA), портативного мультимедийного проигрывателя (PMP), MP3-проигрывателя, мобильного медицинского устройства, камеры или носимого устройства (например, шлема-дисплея (HMD), такого как электронные очки, электронная одежда, электронный браслет, электронное ожерелье, электронные аксессуары, электронная татуировка или интеллектуальные часы).

[0119] Процессор 1601 выполнен с возможностью получать последовательность изображений с помощью камеры 903, обрабатывать изображения в соответствии со способами, описанными в данном документе, сохранять информацию в запоминающее устройство 904.

[0120] Дисплей 1602 выполнен с возможностью отображать информацию пользователю. Например, дисплей может отображать пользовательский интерфейс для захвата изображения, результат сопоставления радужной оболочки глаза и всю другую необходимую информацию. В варианте осуществления дисплей может быть сенсорным.

[0121] Камера 1603 оснащена IR-подсветкой и выполнена с возможностью захватывать изображения в соответствии с инструкциями процессора 1601. Камера может быть оснащена источником света другого типа. Следует понимать, что изобретательский способ может модифицироваться с возможностью использовать свет другого типа на этапе захвата кадра.

[0122] Запоминающее устройство 1604 выполнено с возможностью сохранять информацию. В качестве примера запоминающее устройство может сохранять полученные изображения, обработанные изображения, дополнительную информацию для изображений (например, коды радужной оболочки глаза, маски, эталонные коды радужной оболочки глаза и т.д.).

[0123] Клавиатура 1605 используется пользователем для того, чтобы управлять устройством. Клавиатура может использоваться, например, для того чтобы управлять процессом захвата изображений. Клавиатура может быть не только физической, но также может быть виртуальной в случае сенсорного дисплея.

[0124] Следует понимать, что вышеприведенное описание пользовательского устройства является примерным и пользовательское устройство также может содержать другие аппаратные, программные или микропрограммные компоненты помимо или вместо вышеуказанных компонентов 1601-1605. Также следует понимать, что описанное пользовательское устройство выполнено с возможностью осуществлять один или более этапов любого из способов, описанных в данном документе. Кроме того, пользователь может создавать эталонный код(ы) радужной оболочки глаза заранее с использованием этого пользовательского устройства. С этой целью пользовательское устройство может захватывать изображение лица для извлечения изображения глаза пользователя, обрабатывать изображение глаза посредством, по меньшей мере, некоторых раскрытых этапов, входящих в способы, и сохранять его в запоминающее устройство, тем самым обеспечивая его доступность для последующего процесса сопоставления радужной оболочки глаза.

[0125] Следует понимать, что вышеописанные варианты осуществления также могут быть реализованы с использованием действительных чисел вместо или в дополнение к вышеописанным комплексным числам. В этом варианте осуществления одно действительное число, представляющее полутоновую яркость соответствующего элемента нормализованного изображения радужной оболочки глаза, преобразуется в двоичную форму в один бит вместо двух, как описано выше для комплексных чисел. Также следует понимать, что код радужной оболочки глаза является битовым представлением нормализованного изображения радужной оболочки глаза, при этом битовое представление получается в процессе кодирования, в котором пара битов соответствует одной точке исходного изображения (согласно квантованию комплексного числа). Также следует понимать, что возможно применение и других технологий извлечения и кодирования признаков. В качестве примера может использоваться преобразование по LBP (локальным двоичным шаблонам). Это LBP-преобразование преобразует нормализованное изображение радужной оболочки глаза в матрицу целых чисел (8-битовую или 16-битовую в зависимости от выбранного типа LBP). В этом случае размер результирующей матрицы не удваивается по горизонтали, как описано выше для кодов радужной оболочки глаза, полученных в качестве пары битов для каждого элемента изображения.

[0126] В контексте настоящей заявки под квантованием может подразумеваться преобразование одного комплексного или действительного значения соответственно в одно или два дискретных значения (бита). Кроме того, в контексте настоящей заявки преобразование числовых значений яркостей изображений в битовую форму (код радужной оболочки) следует истолковывать в зависимости от принципа кодирования. Кодирование может охватывать все этапы, начиная с извлечения признаков до конечной формы кодов, которые должны сохраняться в запоминающем устройстве.

[0127] Следует отметить, что на основе вышеописанных проверок качества изображения можно сформировать обратную связь, подстраивающую (регулирующую) аппаратные компоненты изделия таким образом, чтобы обеспечить лучшее качество изображений, содержащихся в принимаемой последовательности изображений, то есть их бóльшую пригодность для процесса распознавания. Соответствующие сигналы обратной связи могут подаваться в аппаратные средства на соответствующих блоках схем, помеченных с помощью слова "Выход". Например:

- если на этапе S201 подэтап S201.3 выявляет низкую контрастность изображения глаза, в аппаратный компонент (например, процессор или контроллер) устройства, реализующего настоящее изобретение, может быть подан сигнал обратной связи, чтобы автоматически увеличивать уровень усиления, используемый для последовательности входных изображений;

- если на этапе S203 подэтап S203.3 выявляет оцененный радиус зрачка, бóльший порогового значения, это означает большое расширение зрачка, например, вследствие темного окружения, в аппаратные средства устройства может быть подан сигнал обратной связи, чтобы автоматически увеличивать значение экспозиции камеры и/или IR-подсветку;

- если на этапе S203 подэтап S203.4 выявляет низкую контрастность зрачка, в аппаратные средства устройства, реализующего настоящее изобретение, может быть подан сигнал обратной связи, чтобы автоматически увеличивать уровень усиления, используемый для последовательности входных изображений автоматически;

- если на этапе S204 подэтап S204.4 выявляет то, что искажающий блик превышает соответствующее пороговое значение, в аппаратные средства устройства, реализующего настоящее изобретение, может быть подан сигнал обратной связи, автоматически снижающий экспозицию камеры, и т.д.

Таким образом, настоящее изобретение предусматривает передачу сигнала обратной связи в соответствии с причиной, по которой забраковано изображение, с целью автоматической настройки аппаратного компонента устройства, реализующего описываемый способ, для улучшения качества новых последовательностей изображений. Настоящее изобретение не должно быть ограничено вышеприведенными примерами сигналов обратной связи, для специалистов данной области техники после прочтения настоящего описания будут очевидным и другие типы сигналов обратной связи.

[0128] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными, и модификации в конфигурации и реализации находятся в пределах объема текущего описания. Например, хотя варианты осуществления изобретения описаны в общем виде со ссылками на фиг. 1-9, эти описания являются примерными. Хотя предмет изобретения описан на языке, характерном для структурных признаков или технологических этапов, ясно, что предмет изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничен характерными признаками или действиями, описанными выше. Характерные признаки и этапы, описанные выше, являются примерами формы реализации формулы изобретения. Кроме того, изобретение не ограничено проиллюстрированным порядком этапов способа, этот порядок может модифицироваться специалистами в данной области техники без творческих усилий. Некоторые или все этапы способа могут выполняться последовательно или параллельно. Объем варианта осуществления изобретения, соответственно, может быть ограничен только последующей формулой изобретения.

Группа изобретений относится к технологиям биометрической идентификации пользователей. Техническим результатом является расширение арсенала технических средств по биометрическому распознаванию радужной оболочки глаза пользователя. Предложен способ для биометрического распознавания радужной оболочки глаза пользователя. Способ содержит этап, на котором получают последовательность изображений, получают изображения глаза из последовательности. Далее согласно способу собирают набор из n изображений глаза посредством этапов, на которых: отбрасывают изображения глаза ненадлежащего качества; определяют значение качества изображения глаза для каждого из изображений глаза, оставшихся после отбрасывания. Далее компонуют набор из n изображений глаза посредством замены одного или более изображений глаза, имеющих более низкое значение качества изображения глаза, на одно или более изображений глаза, имеющих более высокое значение качества изображения глаза. 3 н. и 10 з.п. ф-лы, 31 ил.

1. Способ для биометрического распознавания радужной оболочки глаза пользователя, при этом способ содержит этапы, на которых:

получают последовательность изображений;

получают изображения глаза из последовательности;

собирают набор из n изображений глаза посредством этапов, на которых:

отбрасывают изображения глаза ненадлежащего качества;

определяют значение качества изображения глаза для каждого из изображений глаза, оставшихся после отбрасывания; и

компонуют набор из n изображений глаза посредством замены одного или более изображений глаза, имеющих более низкое значение качества изображения глаза, на одно или более изображений глаза, имеющих более высокое значение качества изображения глаза;

выполняют следующие этапы для каждого изображения глаза в собранном наборе из n изображений глаза, на которых:

получают изображение радужной оболочки глаза из каждого изображения глаза в собранном наборе из n изображений глаза;

нормализуют изображение радужной оболочки глаза, создают маску для нормализованного изображения радужной оболочки глаза и применяют маску к нормализованному изображению радужной оболочки глаза;

выполняют извлечение признаков для маскированного нормализованного изображения радужной оболочки глаза;

кодируют маскированное нормализованное изображение радужной оболочки глаза, чтобы получать код радужной оболочки глаза; и

для биометрического распознавания радужной оболочки глаза пользователя сопоставляют код радужной оболочки глаза с эталонным кодом радужной оболочки глаза, предварительно сохраненным пользователем.

2. Способ по п. 1, в котором отбрасывание основано на сравнении свойства изображения глаза с соответствующим предписанным пороговым значением,

свойство содержит одно или более из контрастности изображения глаза, средней яркости изображения глаза, радиуса зрачка, контрастности зрачка, расстояния открытия век, площади искажающего блика, расстояния между центром зрачка и центром искажающего блика,

соответствующее предписанное пороговое значение содержит одно или более из пороговой контрастности изображения глаза, пороговой средней яркости изображения глаза, порогового радиуса зрачка, пороговой контрастности зрачка, порогового расстояния открытия век, пороговой площади искажающего блика, порогового расстояния между центром зрачка и центром искажающего блика.

3. Способ по п. 1, в котором отбрасывание дополнительно основано на том, расположено или нет изображение глаза в предписанной центральной области изображения из полученной последовательности изображений.

4. Способ по п. 1, в котором сбор дополнительно содержит этап, на котором определяют зрачок, содержащий этапы, на которых:

сегментируют светлые фигуры в изображении глаза;

аппроксимируют сегментированные светлые фигуры посредством эллипсов;

вычисляют отношение осей эллипса и площадь эллипса для каждого эллипса;

удаляют эллипсы с отношением осей эллипса, меньшим предписанного порогового отношения осей эллипса;

удаляют эллипсы с площадью эллипса, большей предписанной пороговой площади эллипса;

оценивают контрастность эллипса для каждого оставшегося эллипса;

выбирают эллипс с наибольшей оцененной контрастностью в качестве блика зрачка и

определяют зрачок на основе выбранного блика.

5. Способ по п. 4, в котором отбрасывание дополнительно основано на том, остается или нет по меньшей мере один эллипс после этапов удаления.

6. Способ по любому из предшествующих пунктов, в котором расстояние открытия век вычисляется как кратчайшее расстояние между веками в области, ограниченной диаметром зрачка.

7. Способ по п. 1, в котором значение качества изображения глаза определяется как взвешенная сумма контрастности зрачка, коэффициента открытия век и коэффициента резкости границы зрачка,

при этом контрастность зрачка определяется как усредненная абсолютная разность яркостей около границы зрачка,

коэффициент открытия век определяется как расстояние открытия век, деленное на удвоенный радиус зрачка,

коэффициент резкости границы зрачка определяется как среднеквадратическое отклонение яркости в предписанной внешней области около границы зрачка.

8. Способ по п. 1, в котором компоновка дополнительно содержит этапы, на которых:

получают изображение глаза с соответствующим значением качества изображения глаза;

проверяют, заполнен или нет уже набор n изображениями глаза, при этом n предписывается меньшим, чем число изображений в последовательности;

если определено, что набор еще не заполнен n изображениями глаза, полученное изображение глаза помещают в набор и осуществляют перекомпоновку набора из n изображений глаза на основе значения качества изображения глаза для полученного изображения глаза; или

если определено, что набор уже заполнен n изображениями глаза, значение качества изображения глаза для полученного изображения глаза сравнивается со значениями качества изображения глаза для изображений глаза, уже содержащихся в наборе:

если значение качества изображения глаза для полученного изображения глаза выше значения качества изображения глаза по меньшей мере одного изображения глаза из изображений глаза, уже содержащихся в наборе, полученное изображение глаза помещают в набор, осуществляют перекомпоновку набора согласно значениям качества изображения глаза для изображений глаза, уже содержащихся в наборе, и (n+1)-е изображение глаза с наименьшим значением качества изображения глаза вытесняют из набора; или

если значение качества изображения глаза для полученного изображения глаза ниже наименьшего значения качества изображения глаза для изображения глаза, уже содержащегося в наборе, полученное изображение глаза отбрасывают.

9. Способ по п. 1, дополнительно содержащий этап, на котором отбрасывают непригодные изображения глаза из собранного набора из n изображений глаза,

при этом упомянутое отбрасывание основано на сравнении свойства изображения глаза с соответствующим предписанным пороговым значением,

упомянутое свойство содержит одно или более из контрастности радужной оболочки глаза, коэффициента расширения зрачка, расстояния между зрачком и радужной оболочкой глаза, нормализованного расстояния открытия век, площади перекрытия искажающего блика с радужной оболочкой глаза, относительного расстояния между центром зрачка и центром блика зрачка, коэффициента полезной площади в нормализованном изображении радужной оболочки глаза,

упомянутое соответствующее предписанное пороговое значение содержит одно или более из пороговой контрастности радужной оболочки глаза, порогового коэффициента расширения зрачка, порогового расстояния между зрачком и радужной оболочкой глаза, порогового нормализованного расстояния открытия век, пороговой площади перекрытия искажающего блика с радужной оболочкой глаза, порогового относительного расстояния между центром зрачка и центром блика зрачка, порогового коэффициента полезной площади.

10. Способ по п. 9, в котором упомянутое отбрасывание дополнительно основано на том, лежит или нет расстояние между глазом в изображении глаза и камерой в пределах предписанного диапазона расстояний.

11. Способ по п. 1, в котором, когда изображение отбрасывается, способ дополнительно содержит этап, на котором отправляют сигнал обратной связи для того, чтобы автоматически подстраивать на основе причины отбрасывания аппаратный компонент устройства, реализующего способ, таким образом, чтобы обеспечить лучшее качество изображений, содержащихся в принимаемой последовательности изображений.

12. Пользовательское устройство, допускающее биометрическое распознавание радужной оболочки глаза пользователя согласно способу по любому из пп. 1-11.

13. Машиночитаемый носитель, хранящий выполняемые инструкции, которые при выполнении посредством компьютера инструктируют компьютер осуществлять способ по любому из пп. 1-11.