СИСТЕМА ДЛЯ ИДЕНТИФИКАЦИИ ПОЛЬЗОВАТЕЛЯ Российский патент 2025 года по МПК G06V40/14 G06V40/16 G06V10/774 

Область техники, к которой относится изобретение

Изобретение относится к области распознавания биометрических шаблонов, относящихся к человеку, в изображениях или видеоданных, в частности к идентификации человека по изображению его лица и ладони.

Уровень техники

Известна система биометрической идентификации субъекта (US 20220300593 A1, опубл. 2022-09-22), выполненная с возможностью обеспечения источника света и формирователя изображений, расположения ладони субъекта лицом к источнику света и формирователю изображения, освещения ладони источником света, захвата изображения ладони и определения характеристик капиллярных слоев на изображении. Известное изобретение может включать этап идентификации субъекта на основе характеристик капиллярных слоев. Определение характеристик капиллярных слоев на изображении может включать в себя определение местоположения капиллярных слоев. Известное изобретение может включать в себя этап обработки изображения для фильтрации особенностей изображения ладони, отличных от капиллярных слоев.

Также в известной системе обеспечена возможность съемки руки, которая может находиться не в центре кадра; возможность съемки руки на большем расстоянии (например, одна камера фокусируется ближе, а другая дальше); возможность определения расстояния и размера руки (посредством измерения параллакса), возможность определения ориентации/положении руки; возможность определения пальцев, ладони, запястья; возможность поворота и растягивания изображения по осям x и y; возможность использования аффинного преобразования для компенсации деформаций; возможность усиления глобального контраста, усиления локального контраста, повышения резкости, выравнивания гистограммы, пространственной фильтрации. Также раскрыто применение методологий машинного обучения, искусственного интеллекта или нейронных сетей. Кроме того, в US 20220300593 A1 заявляется возможность идентификации пользователя не только по ладони, но и по лицу.

Однако в US 20220300593 A1 не раскрывается возможности идентификации пользователя последовательно по лицу и по ладони, что может быть необходимо в некоторых ситуациях и позволяет повысить точность идентификации.

В еще одной известной системе распознавания биологических признаков (CN 115457602 A, опубл. 2022-12-09) раскрывается следующая последовательность распознавания: размещение источника света и формирователя изображения; направление целевой ладони в сторону источника света и формирователя изображения; освещение целевой ладони источником света; захват изображения целевой ладони с помощью формирователя изображения; определение с помощью процессора характеристики капиллярного русла на изображении ладони. Известное решение может включать этап идентификации целевого объекта на основе характеристик капиллярного слоя. Этап определения характеристики капиллярного слоя на изображении может включать определение положения капиллярного слоя. Известное решение может включать в себя этап обработки изображения для фильтрации особенностей изображения ладони, отличных от капиллярного русла. Обработка изображения для фильтрации особенностей изображения ладони, отличных от капиллярного слоя, может включать в себя удаление особенностей выпуклостей поверхности и выполнение пространственной фильтрации для удаления деталей с частотами, меньшими выбранного порога.

Также из CN 115457602 A известен учет расстояния от ладони до формирователя изображения, угла расположения ладони относительно формирователя изображения, использование аффинного преобразования, для компенсации деформации и растяжения кожи. Кроме того, в CN 115457602 A заявляется возможность идентификации пользователя не только по ладони, но и по лицу.

Однако в CN 115457602 A не раскрывается возможности идентификации пользователя последовательно по лицу и по ладони, что может быть необходимо в некоторых ситуациях и позволяет повысить точность идентификации.

Известно выбранное в качестве прототипа решение, в котором описывается система с селективной комбинированной аутентификацией (US 11625473 B2, опубл. 2019-08-15), в которой выполняют одиночную аутентификацию на основе первой модальности из множества модальностей и в ответ на неудачную одиночную аутентификацию определяют, следует ли выполнять комбинированную аутентификацию посредством комбинации двух или более из множества модальностей, и выборочно, в зависимости от результата определения того, выполнять ли комбинированную аутентификацию, выполняют комбинированную аутентификацию.

В прототипе раскрывается возможность идентификации пользователя по лицу, а затем при определенных условиях – по ладони, однако в нем не раскрывается особенностей идентификации по ладони, которые повышают точность идентификации.

Раскрытие изобретения

В одном аспекте изобретения раскрыта система для идентификации пользователя, содержащая:

устройство считывания изображения, выполненное с возможностью получения изображения лица и ладони,

устройство обработки изображения на связи с устройством считывания изображения, причем устройство обработки изображения выполнено с возможностью распознавания лица и определения достоверности распознавания лица, с возможностью распознавания ладони и определения достоверности распознавания ладони,

при этом устройство обработки изображения выполнено с возможностью идентификации пользователя, если достоверность распознавания лица превышает предварительно заданный первый порог, с возможностью инициирования распознавания ладони, если достоверность распознавания лица превышает предварительно заданный второй порог, но не превышает предварительно заданный первый порог, с возможностью принятия решения о невозможности идентификации пользователя, если достоверность распознавания лица ниже предварительно заданного второго порога, с возможностью идентификации пользователя, если достоверность распознавания ладони превышает предварительно заданный третий порог и принятия решения о невозможности идентификации пользователя, если достоверность распознавания ладони ниже предварительно заданного третьего порога,

характеризующаяся тем, что

устройство считывания изображения содержит камеру видимого диапазона, камеру ИК-диапазона, камеру глубины; средство освещения, выполненное с возможностью облучать лицо по меньшей мере частью из видимого света, ИК-излучения, структурированного излучения,

устройство считывания изображения выполнено с возможностью приема изображения, детектирования лица на изображении, определения качества изображения, определения витальности лица на изображении с помощью по меньшей мере ИК-камеры и камеры глубины, приведения геометрических и пространственных параметров изображения лица к требуемым с помощью аффинных преобразований, направления на устройство обработки изображения только изображения лица, прошедшего проверку витальности и обладающего достаточным качеством,

устройство считывания изображения выполнено с возможностью приема ИК-изображения ладони, определения качества ИК-изображения, определения витальности ладони на ИК-изображении, приведения геометрических и пространственных параметров ИК-изображения ладони к требуемым, направления на устройство обработки изображения только ИК-изображения ладони, прошедшие проверку витальности и обладающие достаточным качеством,

при этом устройство обработки выполнено с возможностью получать рисунок вен ладони на основании кривизны вен ладони, извлеченной из ИК-изображения, с возможностью корректировки сохраненных в базе данных эталонных изображений ладоней, моделируя рисунок вен при снижении температуры, с возможностью получения вектора признаков из ИК-изображений ладоней и с возможностью выявления соответствия между вектором признаков, полученным из принятого устройством считывания ИК-изображения ладони, и векторами признаков, полученными из скорректированных эталонных изображений.

В дополнительных аспектах раскрыто, что средство освещения содержит множество светодиодов, первая группа из которых выполнена с возможностью излучения на длине волны 850 нм, а вторая группа выполнена с возможностью излучения на длине волны 940 нм, устройство считывания выполнено с возможностью управлять яркостью групп светодиодов так, чтобы повышать точность распознавания ладони; устройство считывания изображения выполнено с возможностью определять расстояние от средства получения изображения ладони до ладони и с возможностью определения углов расположения ладони относительно средства получения изображения; устройство обработки выполнено с возможностью моделировать пониженные температуры ладони посредством применения алгоритма случайного стирания изображений к изображениям вен ладони, применения деформирующей функции на основе двумерного шума Перлина к изображениям ладони; алгоритм обучения выполнен на основе нейронной сети, реализующей функцию отображения из множества изображений рисунка вен ладоней в множество биометрических шаблонов; устройство обработки изображения выполнено с возможностью определять количество ладоней-кандидатов, если достоверность распознавания по лицу выше предварительно заданного второго порога, но ниже предварительно заданного первого порога, с возможностью изменять предварительно заданный третий порог в зависимости от количества ладоней-кандидатов, при этом чем меньше ладоней-кандидатов, тем ниже предварительно заданный третий порог; устройство обработки изображения выполнено с возможностью уменьшать предварительно заданный второй порог для изображений лица низкого качества и для изображений лица, которые требуют больших преобразований геометрических и пространственных параметров.

Основной задачей, решаемой заявленным изобретением, является повышение точности и скорости идентификации человека по изображению лица и ладони.

Сущность изобретения заключается в том, что пользователь сначала распознается по лицу, если достоверность распознания оказывается ниже предварительно заданного первого порога, но выше предварительно заданного второго порога, то пользователь распознается по ладони, при этом при распознании по ладони учитывают ее температуру.

Технический результат, достигаемый решением, заключается в повышении точности и скорости идентификации человека.

Краткое описание чертежей

Фиг.1 показывает блок-схему последовательности идентификации пользователя.

Фиг.2 показывает средство получения изображения.

Фиг.3 показывает последовательность действий на этапе подготовки.

Фиг.4 показывает сегментацию ладони.

Фиг.5 показывает углы расположения ладони над камерой.

Фиг.6 показывает преобразование изображения ладони на основе кривизны сосудов.

Фиг.7 показывает примеры изображений с различными параметрами контрастирования.

Фиг.8 показывает примеры изображений с различными искажениями шумом Перлина.

Осуществление изобретения

Касательно работы системы в целом

В уровне техники достаточно хорошо известны системы идентификации, которые могут идентифицировать пользователя по нескольким биометрическим характеристикам: изображению лица, изображению ладони, изображению радужной оболочки глаза, отпечаткам пальцев, записи голоса и т.д. В заявленном решении предлагается идентифицировать пользователя с помощью изображения лица (изображения, полученного в спектре видимого света) и изображения ладони (рисунка вен ладони, полученного в спектре инфракрасного (ИК) света).

Последовательность действий при такой идентификации показана на фиг.1. Идентификация начинается с обнаружения лица на кадрах, принимаемых по меньшей мере одной камерой, после обнаружения происходит обработка изображения лица и далее распознавание лица (поиск соответствия между принятым изображением лица и множеством изображений лиц, сохраненных в базе данных пользователей).

Если лицо распознано с требуемой достоверностью, например, выше 95%, предпочтительно выше 96%, еще предпочтительнее выше 97%, еще предпочтительнее выше 98%, еще предпочтительнее выше 99%, еще предпочтительнее выше 99,5%, то принимается решение, что пользователь идентифицирован и дополнительных действий не требуется. Далее пользователю обеспечивается доступ к информации, физический доступ в какую-то область и т.п.

Если лицо распознано с достоверностью ниже предварительно заданного второго порога, например, ниже 70%, в другом варианте осуществления ниже 75%, в другом варианте осуществления ниже 80%, в другом варианте осуществления ниже 85%, в другом варианте осуществления ниже 90%, то принимается решение, что пользователь не может быть идентифицирован и пользователю не предоставляется доступ к информации, физический доступ в какую-то область и т.п.

Приведенные числовые значения достоверности являются примерными и в зависимости от условий могут быть выбраны специалистом наиболее подходящими.

Если лицо распознано с достоверностью ниже предварительно заданного первого порога, но выше предварительно заданного второго порога, то принимается решение о необходимости дополнительного этапа распознавания, используя вторую биометрическую характеристику – изображение ладони.

Если ладонь распознана с достоверностью выше предварительно заданного третьего порога, например выше 95%, предпочтительно выше 96%, еще предпочтительнее выше 97%, еще предпочтительнее выше 98%, еще предпочтительнее выше 99%, еще предпочтительнее выше 99,5%, то принимается решение, что пользователь идентифицирован и дополнительных действий не требуется. Далее пользователю обеспечивается доступ к информации, физический доступ в какую-то область и т.п.

Если достоверность распознавания ладони ниже предварительно заданного третьего порога, то принимается решение, что пользователь не может быть идентифицирован и ему отказывается в доступе.

Для того, чтобы ускорить дальнейшее распознавание пользователя на втором этапе распознавания, изображение его ладони сравнивается только с теми изображениями ладони из базы данных, которые соответствуют вышеупомянутому массиву похожих лиц. То есть если в результате распознавания лица система для идентификации пользователя не может выбрать кому из пользователей с идентификационными номерами 12345678, 87654321, 12121212, 23456781 соответствует распознаваемое лицо, потому что вектор признаков распознаваемого лица достаточно близок к векторам признаков лиц с упомянутыми идентификационными номерами, то система просит идентифицируемого пользователя предоставить ладонь для сканирования и сравнивает полученное изображение ладони с изображениями ладоней только упомянутых пользователей с идентификационными номерами 12345678, 87654321, 12121212, 23456781 (эта выборка далее называется ладони-кандидаты), а не с изображениями ладоней всех пользователей в базе данных, что сильно ускоряет распознавание по ладони при сохранении высокой точности распознавания. Для дополнительного сокращения времени распознавания можно уменьшать разрешение изображений сравниваемых ладоней в зависимости от количества изображений ладоней-кандидатов, чем меньше ладоней, тем меньше может быть разрешение изображений. В другом варианте осуществления предварительно заданный третий порог уменьшается в зависимости от количества ладоней-кандидатов. Чем меньше ладоней, тем ниже можно взять предварительно заданный третий порог без снижения надежности распознания ладони и идентификации пользователя. Например, предварительно заданный третий порог может быть снижен на 20%, если ладоней-кандидатов меньше 5, на 10%, если ладоней-кандидатов меньше 10, на 5%, если ладоней кандидатов меньше 20.

Специалисту в данной области техники понятно, что для реализации вышеописанного подхода необходимо заранее заполнить базу данных векторами признаков эталонных изображений ладоней и лиц каждого пользователя, которому может быть предоставлен доступ, также при необходимости в базе данных должны быть записаны права доступа каждого пользователя и другая релевантная информация.

В одном из вариантов осуществления обеспечена с возможностью увеличивать предварительно заданный первый порог и уменьшать предварительно заданный второй порог для изображений лица низкого качества и для изображений лица, которые требуют больших преобразований геометрических и пространственных параметров (увеличение масштаба, поворот ладони или головы). Поскольку изображения низкого качества (низкая освещенность, высокая степень размытия, слишком маленькая площадь лица или ладони в кадре и т.п.) и изображения с большими отклонениями углов более сложны для обработки и распознавания, то возникает повышенный риск ошибок распознавания, чтобы повысить точность идентификации целесообразно повышать первый порог, чтобы уменьшить вероятность неверной идентификации из-за плохого качества изображения, и снижать второй порог, чтобы отправлять пользователей на распознавание ладони, а не сразу отказывать в доступе из-за плохого качества изображения. Такое решение позволяет повысить скорость и точность идентификации.

Например, если качество изображения ниже условных 80 единиц из 100, первый порог может быть увеличен в 1,05; 1,1; 1,2; 1,3 раза, а второй порог может быть уменьшен в 1,05; 1,1; 1,2; 1,3; 1,4; 1,5 раз.

Касательно распознавания лица

Заявленное решение среди прочего направлено на повышение безопасности и эффективности биометрической системы. Первый аспект заключается в предотвращении возможных атак на систему распознавания лиц за счет обнаружения в процессе сбора данных характерных особенностей, указывающих на то, что биометрический образец (изображение лица) получен от живого индивида (обнаружение витальности). Второй аспект связан с повышением качества и вычислительной эффективности распознавания и осуществляется за счет использования нейросетевых алгоритмов на этапе распознавания лица и специализированных решений на этапе сбора данных, которые обеспечивают обнаружение отклонений и искажений биометрических признаков, а также позволяют исправлять некоторые виды искажений. К указанным отклонениям относятся несоответствия нормальным условиям эксплуатации уровня освещённости, сфокусированности или смазанности изображения лица. К указанным искажениям биометрических признаков относятся неправильное положение головы и перекрытия области лица посторонними предметами, например, масками или элементами одежды. Вместе эти параметры формируют обобщенную оценку качества изображения, которая может составлять от 0 до 100%, где 100% соответствует изображению в фокусе, без смазанности, с приемлемым освещением, с подходящим масштабом и правильным положением головы.

Важно подчеркнуть, что функциональные свойства, связанные с достижением высоких показателей качества распознавания лиц, вычислительной эффективности и безопасности подвержены ложноположительным и ложно отрицательным результатам и, как правило, противоречат друг другу. Например, в случае ложноположительного результата биометрическая система может ошибочно принять биометрический образец живого человека за попытку атаки, тем самым снизив эффективность системы, а в случае ложноотрицательного решения может ошибочно классифицировать атаку нарушителя как надлежащий биометрический образец, в результате чего нарушается безопасность системы. Поэтому заявленное техническое решение позволяет гибко наставить характеристики системы распознавания лиц в зависимости от ее применения и, тем самым, находить компромисс между уровнями безопасности и эффективности.

Биометрическое распознавание лица состоит из трех независимых этапов. На первом этапе биометрического распознавания выполняется детектирование лиц. Детектирование направлено на то, чтобы анализировать и выявлять одну или несколько областей изображения, на которых присутствует лицо человека. Источником видеоизображений является специализированное устройство, предоставляющее изображения в видимом спектре (RGB-формат), инфракрасном спектре (IR-формат) и карте глубины (Depth-формат). В случае выявления более одного лица выполняется выбор одного лица, в отношении которого будут производится дальнейшие этапы распознавания. Выбор указанного лица осуществляется путем анализа и сравнения геометрических признаков областей, на которых находятся лица-кандидаты. Предпочтение отдается тому лицу, которое располагается ближе к центру изображения и имеет больший размер по сравнению с другими лицами-кандидатами.

Второй этап биометрического распознавания включает операции, на которых происходит обнаружение несоответствия уровня освещенности выбранного лица условиям, при которых биометрическое распознавание возможно без существенного снижения точности, происходит обнаружение витальности, происходит определение углового положения выбранного лица и обнаружение отклонения относительно фронтального положения, при котором биометрическое распознавание возможно без существенного снижения точности, происходит оценка степени размытости изображения выбранного лица и пригодности для дальнейшего биометрического распознавания, происходит обнаружение того, что выбранное лицо закрыто, и определение степени перекрытия области лица.

На третьем этапе выполняется выравнивание выбранного изображения лица, вычисление вектора признаков, характеризующего лицо, и осуществление сравнения полученного вектора с множеством других векторов признаков, с целью определения сходства с лицами, сохраненными в базе данных.

В настоящее время актуальной остается проблема взлома системы контроля управления доступом (СКУД) на базе технологии распознавания лиц со стороны нарушителей, которые могут имитировать субъектов доступа (например, демонстрацией распечатанных изображений или изображений лиц с экранов телефонов), биометрические данные которых есть в системе, и тем самым получить несанкционированный доступ. Еще один недостаток распознавания лиц связан со снижением точности распознавания, когда не удается получить полной информации о лице человека, например, когда лицо скрыто маской или уровня освещения, отличного от нормальных условий эксплуатации. Предлагаемое решение направлено на решение вышеуказанных проблем, а также на устранение недостатков существующих систем распознавания лиц.

Способ распознавания лица и идентификации пользователя по видеоизображениям состоит из нескольких этапов, и реализован в составе специализированного вычислительного устройства, которое позволяет производить:

· регистрацию и идентификацию человека по лицу,

· предоставление данных о зарегистрированных в системе людях,

· настройку отдельных параметров алгоритмов биометрического распознавания,

· распознавание лица в режиме, близком к реальному масштабу времени.

Способ реализуется с помощью средства получения изображения, содержащего камеру (видимого диапазона, ИК-диапазона, камеры глубины), модуль управления камерой.

В состав камеры входят RGB сенсор (сенсор видимого диапазона света), IR сенсор (сенсор инфракрасного диапазона света) и модуль камеры глубины, работающий по технологии структурированного света. Модуль управления камерой реализует функции полуавтоматического контроля экспозиции и фокусировки камеры.

На первом этапе биометрического распознавания осуществляется детектирование лиц в каждом кадре видеопоследовательности, захваченном с RGB сенсора камеры. Далее для каждого лица производится поиск особых точек, характеризующих специфику лица. Минимальное количество точек, которое находит алгоритм равно пяти. Указанные точки характеризуют положение глаз, кончика носа и двух уголков рта. В случае обнаружения нескольких лиц определяется то лицо, в отношении которого будут осуществляться дальнейшие операции биометрического распознавания.

После обнаружения лица осуществляются операции второго этапа биометрического распознавания. Операции второго этапа направлены на определение дополнительных атрибутов детектируемого лица, среди которых:

- качество освещенности,

- смазанность изображения,

- угловое положение головы,

- витальность.

Первая операция второго этапа заключается в определении качества освещенности лица. Данная операция реализуется с помощью сверточной нейронной сети, входным параметром которой является двумерный массив - область лица на RGB изображении, выходным параметром является число с плавающей точкой. Результат предсказания нейронной сети лежит в диапазоне от 0 до 100 и характеризует степень качества освещенности лица. 0 характеризует низкое качество освещенности лица, 100 - высокое.

В случае если качество освещенности оказалось выше порогового значения освещенности, происходит выполнение второй операции второго этапа биометрического распознавания. В противном случае происходит повторный захват лица при помощи детектора. При этом будет также сформирован запрос в модуль управления камеры для установки области лица, чтобы камера имела приоритет этой области для установки уровня экспозиции при повторном захвате кадра.

Вторая операция второго этапа заключается в определении размытости изображения захваченного лица. Данная операция реализуется с помощью сверточной нейронной сети, входным параметром которой является двумерный массив - область лица на RGB изображении, выходным параметром является число с плавающей точкой. Результат предсказания нейронной сети лежит в диапазоне от 0 до 100 и характеризует степень размытости лица. 0 характеризует низкое качество лица, 100 - высокое.

В случае если качество изображения по размытию оказалось выше порогового значения размытия, происходит выполнение третьей операции второго этапа биометрического распознавания. Иначе происходит повторный захват лица. Данный шаг необходим чтобы исключить обработку изображений, подверженных эффекту смаза, например, из-за движения лица или расфокусировки камеры.

Третья операция второго этапа заключается в определении углового положения головы и реализуется с помощью сверточной нейронной сети. Входным параметром нейронной сети является двумерный массив - область лица на RGB изображении, выходным параметром является вектор, состоящий из трех чисел с плавающей точкой, соответствующие трём углам Эйлера (крен, тангаж, рысканье), которые задают ориентацию головы относительно камеры.

Четвертая операция второго этапа заключается в определении витальности и реализуется с помощью сверточной нейронной сети. Входным параметром нейронной сети является трехмерный массив (тензор) области лица, составленный из следующих компонентов - RGB изображение (изображение в видимом спектре) области лица; IR изображение (изображение в инфракрасном спектре) области лица; Depth изображение (изображение глубины) области лица. Выходным параметром нейронной сети является число с плавающей точкой, характеризующее вероятность того, что образец лица получен от живого индивида. Результат предсказания нейронной сети лежит в диапазоне от 0 до 100, 100 характеризует высокую степень уверенности того, что лицо получено от живого индивида, 0 - велика вероятность что лицо подделано (распечатка или демонстрация с экрана смартфона, планшета).

Второй этап завершается выравниванием изображения лица. После выравнивания лица происходит процедура извлечения векторов признаков, реализуемая с помощью сверточной нейронной сети. Результатом работы является вектор длинной 128 элементов типа float32. Для определения того, что субъект зарегистрирован в базе данных используется процедура поиска похожего вектора путем сравнения. Для этого производится сверка вектора с базой векторов пользователей по квадрату Евклидова расстояния. Если анализируемый вектор лица оказался достаточно близок к какому-нибудь одному вектору из базы данных, то лицо считается распознанным и система идентификации предоставляет пользователю доступ. Если анализируемый вектор лица близок к нескольким векторам из базы данных, то принимается решение о необходимости дополнительного этапа идентификации, осуществляемого по изображению ладони.

Касательно распознавания ладони

Заявленная система конструктивно представляет собой устройство считывания изображения (обозначено числом 100 на фиг.2) на связи с удаленным устройством обработки (не показано на фиг.2). Предпочтительно устройство считывания лица и ладони представляет собой одно и то же устройство.

Устройство 100 считывания содержит корпус любой подходящей формы с установленными в нем следующими элементами:

- средство 101 освещения, которое содержит набор светодиодов 102, который содержит светодиоды видимого диапазона для облучения лица и набор инфракрасных (ИК) светодиодов для облучения ладони ИК-излучением с требуемой длиной волны. Причем количество светодиодов 102, длина волны излучения могут быть выбраны любыми подходящими для получения качественного изображения. Предпочтительно светодиоды 102 равномерно расположены вокруг средства 103 получения изображения;

- средство 103 получения изображения, которое содержит по меньшей мере одну камеру, выполненную с возможностью приема видимого спектра и ИК-спектра, в котором излучают упомянутые светодиоды 102. В некоторых вариантах средство 103 может выполнять функциональность по обработке полученных изображений;

- средство определения параметров ладони (не показано на фиг.2), которое реализовано на основе вычислительного блока (процессор, микропроцессор, контроллер, микроконтроллер) на связи с блоком памяти, содержащем инструкции, которые при исполнении вычислительным блоком предписывают ему определять геометрические и пространственные параметры ладони на основании принятого изображения ладони, в частности расстояние от ладони до камеры, три угла поворота ладони относительно камеры (углы рысканья, тангажа и крена);

- средство корректировки изображения (не показано на фиг.2), которое представляет собой вычислительный блок (процессор, микропроцессор, контроллер, микроконтроллер) на связи с блоком памяти, содержащем инструкции, которые при исполнении вычислительным блоком предписывают ему приводить изображение к требуемому виду (поворачивать изображение, чтобы углы тангажа, крена и поворота составляли по существу ноль градусов, увеличивать изображение ладони, чтобы оно занимало требуемую область в кадре). Также средство корректировки может быть выполнено с возможностью детектирования пальцев, запястья, фона и самой ладони;

- средство передачи данных изображения к средству распознавания по линии связи (не показано на фиг.2). Линия связи предпочтительно является проводной, однако возможны варианты с беспроводной линией связи. Соответственно средство передачи данных изображения может использовать витую пару, оптоволоконный кабель, модули связи Wi-Fi, Bluetooth и т.д.

Средство распознавания находится в удаленном устройстве обработки, которое представляет собой вычислительный блок (процессор, микропроцессор, контроллер, микроконтроллер, специализированную интегральную схему) на связи с блоком памяти. Поскольку распознавание является ресурсоемкой задачей, то предпочтителен вариант, в котором эта операция выполняется на мощном и соответственно достаточно большом по размерам устройстве (ПК, сервер и т.п.), тогда как описанная выше корректировка изображения может выполняться в относительно небольшом по размерам блоке считывания.

Средство распознавания выполнено с возможностью вычислять биометрический шаблон из изображения венозного узора ладони и выявлять соответствие между принятым шаблоном и шаблонами ладоней, сохраненными в базе данных.

Биометрический шаблон представляет собой вектор признаков, получаемый из изображений ладони. Вектора признаков используются для обучения нейронной сети, которая распознает ладони. При этом алгоритм обучения нейронной сети выполнен с возможностью принимать на входе обучающую выборку изображений ладоней, преобразованную таким образом, чтобы моделировать разную температуру ладоней.

Распознавание ладони осуществляется на основе выбранной меры сходства биометрических шаблонов, представленных векторами признаков в многомерном пространстве, и в случае выявления сходства с заданной достоверностью, происходит идентификация человека, определение его уровней доступа (на основании заранее сохраненных в блоке памяти данных) и далее предоставляется доступ к локациям, устройствам, информации и т.д. Для определения сходства может применяться квадрат Евклидовой меры или косинусная мера расстояния между биометрическими шаблонами. Средство идентификации и обеспечения доступа может быть реализовано на той же аппаратной базе, что и средство распознавания ладони, на отдельной аппаратной базе или быть реализовано посредством комбинирования первых двух вариантов. Если под доступом понимается доступ к локации, то при идентификации человека, который имеет права доступа в локацию, средство идентификации и обеспечения доступа отправляет сигнал к замку двери, чтобы открыть ее и пропустить человека. После его прохода средство идентификации и обеспечения доступа закрывает дверь. Если под доступом понимается доступ к информации, то при идентификации человека, который имеет соответствующие права доступа, средство идентификации и обеспечения доступа разрешает получение информации из базы данных, носителей информации и т.п.

Устройство считывания изображения ладони выполнено с возможностью оценивать качество считанного изображения и отправлять в удаленное устройство обработки только изображения, у которых оценка качества превышает заранее заданное пороговое значение. Оценка качества определяется на основании оценки изображения на этапе получения изображения, определения параметров ладони, корректировки изображения ладони. На любом из этапов может быть определено, что изображение не соответствует заранее заданным критериям и не должно направляться на удаленное средство обработки, так как оно не сможет распознать ладонь (ладонь слишком сильно повернута по любой из осей, слишком сильно смещен ее центр, ладонь находится слишком далеко или близко, ладонь закрыта или загрязнена и т.д.). Это позволяет сэкономить время на отправку и обработку изображения. Вместо отправки изображения на удаленное средство обработки устройство считывания инструктирует пользователя повторно отсканировать ладонь.

Когда речь идет о программно-аппаратных решениях, они могут быть реализованы на локальной элементной базе или быть физически распределенными, что не относится к сущности заявленного решения. Все элементы системы и указанных выше устройств соединены друг с другом посредством функциональных линий связи. Все программируемые средства, описанные в заявке, содержат или находятся на функциональной связи с машиночитаемыми носителями информации, которые хранят инструкции, исполняемые программируемыми средствами.

Предложенное решение относится к решениям в области информационных технологий, оно характеризуется наличием программируемого (настраиваемого) многофункционального средства, способного выполнять множественные вычислительно-логические операции на основе заданной программы и информации (в данном решении это по меньшей мере средство определения параметров ладони, средство корректировки изображения ладони, средство распознавания ладони); наличием устройств ввода (в данном решении это по меньшей мере средство получения изображения ладони (по меньшей мере одна камера), средство передачи данных), вывода (в данном решении это по меньшей мере средство передачи данных, индикаторы, показывающие результат распознавания ладони и т.п.), хранения информации (машиночитаемые носители), исполнительных механизмов (в данном решении это по меньшей мере приводы замков и дверей);

наличием вычислительно-логических операций, выполняемых над информацией программируемым (настраиваемым) многофункциональным средством (заявленные функции системы осуществляются посредством выполнения вычислительно-логических операций (программных кодов) процессорами);

наличием машиночитаемого носителя информации, содержащего программное обеспечение, которое обеспечивает выполнение программируемым (настраиваемым) многофункциональным средством определенных вычислительно-логических операций (в заявленном решении машиночитаемый носитель представляет собой жесткий диск, флеш-память, постоянную память, оперативную память, энергонезависимую память, энергозависимую память или их комбинацию, причем этот носитель хранит команды, которые при исполнении программируемым средством приводят к реализации описанных в заявке функций);

наличием машиночитаемого носителя информации, содержащего данные, форма представления которых (структура или формат) или содержание которых обеспечивает управление работой программируемого (настраиваемого) многофункционального средства, обрабатывающего информацию (в заявленном решении машиночитаемый носитель хранит по меньшей мере часть из следующего: данные о заранее записанных изображениях вен ладоней, данные о преобразованных изображениях, моделирующих уменьшение температуры вен ладоней, данные об обучении нейронных сетей, данные о биометрических шаблонах, данные о соответствии биометрических шаблонов и пользователей, данные о правах доступа и т.д.).

В заявленном решении могут применяться технологии искусственного интеллекта. В частности, может производиться обучение нейронных сетей для распознавания ладони человека: формируется массив изображений ладоней рук множества пользователей с отличающимися характеристиками (по меньшей мере частью из следующего: разной температурой, разными углами наклона, разным расположением центра, при разном освещении, разной степени раскрытии ладони и т.д.) нейронная сеть обучается определять, кому принадлежит ладонь, по этим изображениям, а затем эта сеть используется для распознавания ладоней по изображениям, полученным с камеры. Описанные технологии искусственного интеллекта реализуются на базе вычислительного средства (процессор) и машиночитаемого носителя информации (память). Если отдельно не указано, то может использоваться любой подход к обучению нейронной сети и любая подходящая ее структура.

На фиг.2 показан процесс получения изображения ладони (аналогичным образом получается изображение лица). Средство 101 освещения с помощью светодиодов 102 создает поток ИК-излучения, который попадает на объект перед камерой, отражается от него, отраженное излучение через фильтр 104 попадает в средство 103 получения изображения, где оцифровывается и далее обрабатывается в соответствующих блоках.

Захваченное изображение кисти обрабатывается с целью определения расстояния до кисти, в заявленном решении диапазон расстояний, в котором обеспечивается работоспособность, может составлять от 5 до 15 см. Далее из изображения с кистью вычитается фон.

Часть последующих этапов обработки показана на фиг.3. На первом этапе осуществляется детектирование 201 кисти, во время которого определяется число (от 0 до 100), которое характеризует корректность приложения ладони.

Предпочтительно при детектировании 201 используется регрессионная свёрточная нейронная сеть, на выходе которое получают скаляр - число от 0 до 100, характеризующее на сколько корректно приложена ладонь, относительно устройства 100. Под определением корректности в задаче детектирования понимается следующее:

внутренняя сторона ладони целиком находится в кадре,

ее размеры позволяют с достаточной точностью идентифицировать венозный рисунок,

ладонь не закрыта посторонними предметами,

ладонь раскрыта и в достаточной степени плоская,

угловые характеристики плоскости ладони относительно плоскости устройства 100 находятся в допустимых пределах.

Далее осуществляется проверка 202, является ли кисть настоящей (например, не является ли она макетом или не предоставлена ли фотография). Предпочтительно этот этап реализуется на основе обученной сверточной нейронной сети - бинарного классификатора, который возвращает скаляр, 0 либо 1, в зависимости от принятого решения – предоставлена живая ладонь или нет.

После этого осуществляется сегментация 203 изображения кисти, в ходе которой выделяют пальцы, запястье и ладонь (фиг.4). Этот этап позволяет более точно сопоставлять изображения ладоней на последующих этапах за счет исключения незначимых частей изображения (на которых не определяется венозный рисунок). На фиг.4 разными цветами обозначены пальцы, ладонь, запястье и фон.

После сегментации осуществляют определение 204 позы (расположения ладони/кисти). На фиг.5 показано расположение кисти над камерой (устройством считывания изображения ладони) и оси, относительно, которых кисть может быть повернута, углы поворота по осям X, Y, Z называются далее углами крена, тангажа и рысканья. Для точного и быстрого распознавания ладони заранее сохраненные (эталонные) изображения и считываемые (сравниваемые) изображения должны быть получены с ладоней, расположенных под одинаковыми углами. Кроме углов также определяется центр ладони и ее масштаб. Масштаб ладони оценивается относительно эталонного объекта. Эталонным объектом является среднестатистическая ладонь, расположенная на высоте 6 см от сканера. Геометрической характеристикой эталонного объекта, относительно которого определяется масштаб ладоней, является площадь. Площадь эталонного объекта рассчитывается заранее по ее бинарной маске, и используется в дальнейшем для оценки масштаба остальных ладоней.

В заявленном решении применяются алгоритмы для выравнивания 205 изображения ладони, чтобы углы крена, тангажа и рысканья составляли ноль градусов. Алгоритм для определения углов ладони (крен, тангаж и рысканье) по изображению может быть построен с использованием глубокого обучения, на основе регрессионной нейронной сети.

В завершении осуществляется выравнивание 205 изображения ладони. В зависимости от того, какие характеристики ладони будут получены на предыдущих этапах обработки изображения, процесс выравнивания может заключатся либо в аффинном преобразовании изображения ладони (если ладонь имеет не очень большие отклонения по углам вокруг осей X и Y), либо в преобразовании перспективы. Аффинное преобразование – это частный случай перспективного преобразования (гомографии). Для него нужно знать только сдвиг относительно центра ладони, масштаб и поворот вокруг оси Z - вокруг оптической оси камеры. Аффинное преобразование в отличие от преобразования перспективы не компенсирует искажения по углам вокруг осей X и Y, даже если такие деформации есть у ладони. В одном из вариантов осуществления средство распознавания ладони оценивает эти углы и, зная сдвиг центра ладони и ее масштаб, приводит ладонь из системы координат XYZ в новую систему X'Y'Z' такую, что новая плоскость ладони X'Y' будет параллельна плоскости камеры, будет располагаться в центре изображения и будет иметь соответствующий масштаб.

В одном из вариантов осуществления средство распознавания ладони оценивает углы вокруг осей X и Y, если отклонения по крену и тангажу составляют менее 15, предпочтительно менее 10 градусов, то оно применяет к таким ладоням аффинное преобразование, если отклонения по крену и тангажу составляют более 35 градусов обработка не осуществляется и средство распознавания ладони инициирует процесс повторного сканирования, во всех других случаях средство распознавания ладони применяет преобразование перспективы. Такой подход позволяет ускорить обработку изображений.

В одном из вариантов осуществления средство распознавания ладони всегда применяют преобразование перспективы (при допустимых углах наклона ладони). В этом случае достигается несколько более высокая точность, но уменьшается скорость работы, так как преобразование перспективы занимает больше времени по сравнению с аффинным преобразованием.

Нормирование изображения ладони (приведение к одному масштабу, расположение центра ладоней в одной точке и обеспечение всех углов в 0 градусов) позволяет устранить различия в смещении, масштабном коэффициенте и повороте ладоней между разными изображениями. Это может улучшить производительность моделей машинного обучения, так как позволяет им обучаться на данных с более устойчивыми и стандартизированными геометрическими характеристиками.

Если в ходе вышеописанных этапов обработки было выявлено, что ладонь расположена так, что идентификация человека невозможна, то выдается инструкция, что необходимо изменить: раскрыть ладонь, поднести ее ближе или отодвинуть, повернуть в определенной плоскости на определенный угол.

Полученное после всех описанных действий изображение ладони показано на фиг.6а. На этом изображении виден венозный рисунок, который служит признаком, однозначно идентифицирующим человека. Далее изображение на фиг.6а преобразуется на основании кривизны сосудов, в результате получается изображение на фиг.6b, на котором изображение венозного рисунка выглядит более контрастным по сравнению с фиг.6а. Далее это изображение нормируется и получается итоговый рисунок вен (фиг.6с). Далее подробно раскрыто, как получают рисунок вен согласно настоящему решению.

Рассмотрим математическую модель, на основе которой строится алгоритм извлечения сосудов ладони. Для функции y = f(x), заданной аналитически, можно определить кривизну как скорость поворота касательной при движении вдоль оси X. Ее можно вычислить в каждой точке вдоль этой кривой следующим образом:

(1)

где κ(x) – значение кривизны, f' – первая производная в этой точке, f'' – вторая производная.

В случае если кривая задается как функция двух переменных I(x,y), где I – это интенсивность в точке с координатами (x,y), то для ее оценки используются другие выражения. Поскольку методы на основе кривизны используют тот факт, что изображение вены в профиле похоже на колокол, ее вычисление строится на основе двумерной функции плотности Гаусса:

(2)

Размер ядра функции Гаусса (2) определяется величиной σ (стандартное отклонение) и должен выбирается исходя из размеров сосудов на изображении. Ядрами меньшего размера можно извлечь более детальные узоры вен, а ядра большего размера позволяют обнаруживать более крупные сосудистые структуры. Далее нужно определить фильтры первых (3), (4) и вторых производных Гауссовой функции по горизонтали (5), вертикали (6) и диагонали (7):

(3)

(4)

(5)

(6)

(7)

Поскольку изображение вены представляет собой 3D-поверхность, ориентация которой неизвестна, для определения ее направления функция кривизны должна быть рассчитана в каждой точке изображения в четырех направлениях (0, 90, 45, 135). Выражения для расчета горизонтальной (8), вертикальной (9) и двух диагональных составляющих кривизны (10), (11) определяются следующим образом:

(8)

(9)

(10)

(11)

Символом * показана операция свертки исходного изображения ладони l(x,y) с соответствующими ядрами. На следующем шаге определяется максимальное значение среди всех направлений и строится итоговое изображения кривизны сосудов:

(12)

Результат такого преобразования представлен на фиг. 6b. На последнем этапе алгоритма выполняется нормализация полученного изображения (12). Нормализация необходима чтобы убрать пиксели с отрицательной кривизной и уменьшить влияние шумов в области положительных значений, которые могут содержаться в исходном изображении ладони (фиг. 6a) и усиливаются за счет операций дифференцирования. Нормализация выполняется с помощью двух пороговых значений T1 =0 (нижнего) и T2. (верхнего). Величина порога T2 и выбор стандартного отклонения σ в выражениях (2-7) определялись авторами эмпирически на основе характеристик качества нейронных сетей. Результат нормирования представлен на фиг. 6с.

Этот рисунок вен соответствует руке с обычной температурой. Однако если рука холодная, то рисунок вен меняется: мелкие вены становятся невидимы или практически невидимы, большие вены уменьшаются в диаметре. Из-за этого одна и та же рука, имеющая разные температуры, дает настолько разные изображения рисунка вен, что при сопоставлении они могут определиться как разные.

Чтобы изучить влияние температуры окружающей среды на формирование структуры венозного рисунка ладони авторы провели натурные испытания. Анализ изображений холодных и горячих рук позволил сделать следующие выводы:

Низкая температура окружающей среды повышает вязкость крови и вызывает сужение сосудов ладони таким образом, что они становятся меньше в диаметре.

Холодные руки формируют изображение с низкой контрастностью, т.к. Разница интенсивностей пикселей сосудов и ладони уменьшается (вены становятся более светлые).

При более высокой температуре окружающей среды кровь становится менее вязкой, вены ладони расширяются и увеличивается в диаметре, пиксели вен становятся темнее. Для таких условий сьемки характерно более контрастное изображение.

Горячие руки формируют более богатую структуру сосудистого узора, по сравнению с холодными и нормальными условиями сканирования.

Основной характеристикой изображения ладони, которая изменяется под действием температуры, является различимость областей сосудов от окружающего фона ладони, т.е. контрастность. Поэтому для достижения реалистичных преобразований изображений ладони, имитирующих влияние окружающей среды, может быть использован метод линейного контрастирования. Достоинства этого алгоритма – исключительная простота реализации и высокая производительность. При линейном контрастировании используется поэлементное преобразование следующего вида:

где f(x,y) – это исходное изображение, параметры α и β определяют целевые значения контрастности и яркости результирующего изображения g(x,y). При α < 1 контраст изображения уменьшается, при α > 1 диапазон яркостей исходного изображения увеличивается, параметр β изменяет среднюю яркость изображения. Ладони, которые мы сканировали в ходе эксперимента, были получены с одинаковой средней яркостью, а поскольку параметр α также влияет на яркость изображения, ее нужно скомпенсировать.

Чтобы результирующее изображение g(x,y), после контрастирования c некоторым значением α, имело такую же среднюю яркость как исходное изображение f(x,y), параметр β должен иметь следующее значение:

где μ - математическое ожидание (среднее значение) яркости ладони исходного изображения f(x,y). Примеры изображений с различными параметрами контрастирования продемонстрированы на фиг. 7.

Таким образом, было смоделировано изменение рисунка вен при снижении температуры, эти измененные изображения использовались для обучения нейронной сети, что позволило повысить точность распознавания холодных ладоней.

Результат работы метода линейного контрастирования может быть признан удовлетворительным, поскольку предложенный способ довольно реалистично моделирует яркостные искажения ладони. Из недостатков данного метода следует отметить тот факт, что преобразования применяются ко всем пикселям изображения, соответственно, яркость и контраст меняется глобально. В то время как в натурных экспериментах авторы наблюдали, что температурные искажения характеризуются неравномерным распределением интенсивности по площади ладони.

Еще один недостаток указанного подхода – это то, что линейное контрастирование, незначительно влияет на толщину сосудов. Для учета недостатка глобальных яркостных преобразований и получения искажений, обеспечивающих плавность и естественность процедуры контрастирования вен ладони, был применен алгоритм случайного стирания изображений (англ. random erasing). В качестве деформирующей функции использовался двумерный шум Перлина. Двумерный шум Перлина задается двумя основными параметрами - масштабом и количеством октав.

Изображения, иллюстрирующие данный поход, приводятся на фиг. 8. Дополнительные требования, которые можно улучшить на этапе обучения нейронной сети, состоят в следующем:

1. Рука должна располагаться как можно ближе к камере, чтобы ладонь занимала как можно больше пространства на изображении.

2. Ладонь должна располагаться параллельно плоскости сенсора.

В случае опытной эксплуатации бесконтактной биометрической системы данные условия не выполняются. Более того, добавляются другие искажения, вызванные несовершенством оптической системы, т.е. шум сенсора камеры или оптические аберрации. Чтобы в полной мере обеспечить указанные требования, в дополнение к уже имеющимся яркостным искажениям, добавляются геометрические, которые заключаются в следующем:

аффинные преобразования,

перспективные преобразования,

«Подушкообразная» и «Бочкообразная» дисторсия.

Для осуществления некоторых операций могут применяться технологии искусственного интеллекта, некоторые операции осуществляются посредством простых математических преобразований, если эти операции отдельно не раскрыты здесь, то предполагается, что они могут быть реализованы любым известным для специалиста в данной области техники способом.

Предложенный способ обработки на основании алгоритма случайного стирания изображений и деформирования двумерным шумом Перлина показал высокую точность моделирования холодных ладоней и позволил быстро и точно распознавать ладони, имеющие разные температуры.

Описание работы системы

Первоначально собирается база данных эталонных изображений лиц и ладоней и извлеченных из них биометрических шаблонов пользователей, по которым будет проводиться идентификация, для каждого пользователя задаются права доступа, эта информация записывается в базу данных. Настраивается взаимодействие элементов системы.

Пользователь располагает лицо у устройства считывания или подносит ладонь к нему, оно получает изображение, предварительно обрабатывает его, если изображение удовлетворяет заданным требованиям, направляет на удаленное устройство обработки, которое извлекает биометрический шаблон и ищет соответствие между полученным шаблоном и эталонными биометрическими шаблонами, если с заданной мерой сходства (квадрат Евклида или косинусное расстояние) и пороговым значением расстояния найдено соответствующее эталонное лицо или эталонная ладонь, то идентифицируется пользователь, которому принадлежит найденное лицо или ладонь, определяются его права доступа и эти права предоставляются посредством передачи сигналов на соответствующие устройства (привод или замок двери, компьютер, хранилище и т.д.).

Мера сходства, упомянутая выше – это метрика, которая используется для измерения расстояния между шаблонами (векторами признаков), а пороговое значение – это конкретное число, с помощью которого можно задать границу того, что считать похожими шаблонами в используемой метрике.

Вариант 1 осуществления

В одном из вариантов осуществления средство освещения содержит множество светодиодов часть, из которых излучает на длине волны 850 нм, а другая часть излучает на длине волны 940 нм. Предпочтительно половина светодиодов излучает на одной длине волны, половина – на другой, но возможны варианты с разным количеством светодиодов или с их разной яркостью.

Использование светодиодов с разной длиной волны позволяет обогатить получаемые изображения и тем самым повысить точность идентификации.

Вариант 2 осуществления

В одном из вариантов осуществления средство определения параметров ладони выполнено с возможностью определять расстояние от средства получения изображения ладони до ладони и с возможностью определения углов расположения ладони относительно средства получения изображения на основании чего принимается решение о том, можно ли использовать полученное изображение для идентификации, если да, то необходимо ли преобразование, чтобы привести изображение к требуемому виду, и какое, что повышает точность идентификации.

Вариант 3 осуществления

Средство распознавания ладони выполнено с возможностью извлечения шаблонов ладони (векторов признаков ладони в многомерном пространстве), при сравнении двух шаблонов измеряется расстояние между ними, используя либо квадрат Евклидовой меры, либо косинусное расстояние. И на основе измеренного расстояния принимается решение о схожести шаблонов, то есть распознается ладонь (в базе данных находится ладонь, соответствующая считываемой ладони).

В одном из вариантов осуществления средство распознавания ладони выполнено с возможностью моделировать разную температуру ладоней и использовать эти данные для обучения нейронной сети, реализующей функцию отображения из множества изображений рисунка вен ладоней в множество биометрических шаблонов, таким образом чтобы минимизировать ошибки ложного допуска (FAR) и ложного не допуска (FRR) при поиске шаблонов в базе данных.

Таким образом, первоначально получают эталонные изображения ладоней пользователей (изображения для ладоней с нормальной температурой), моделируют понижение температуры этих ладоней, получают эталонные изображения ладоней с пониженной температурой. Все вышеупомянутые изображения используют для обучения нейронной сети.

Благодаря такому подходу уменьшается количество ошибок при распознавании ладоней с пониженной температурой.

Вариант 4 осуществления

В одном из вариантов осуществления средство освещения содержит множество светодиодов, первая группа из которых излучает на длине волны 850 нм, а вторая группа излучает на длине волны 940 нм, удаленное устройство обработки выполнено с возможностью управлять яркостью групп светодиодов так, чтобы повышать точность распознавания ладони.

При распознавании ладони определяется соответствие векторов признаков распознаваемой ладони и сохраненных векторов признаков ладоней пользователей с правами доступа. Если достоверность распознавания меньше предварительно заданного первого порога, принимается решение, что распознаваемая ладонь не принадлежит пользователю, имеющему права доступа, если достоверность распознавания больше предварительно заданного второго порога, принимается решение, что распознаваемая ладонь принадлежит пользователю, имеющему права доступа, идентифицируется пользователь и ему предоставляются его права (доступ).

Свет с разной длиной волны позволяет лучше выделить разные признаки ладони, что может быть полезно для повышения точности распознавания ладони.

Если при сравнении вектора признаков распознаваемой ладони и векторов признаков сохраненных изображений ладони было выявлено, что степень соответствия векторов недостаточна для достоверного распознавания ладони (например, Евклидово расстояние больше первого значения и меньше второго значения), то удаленное устройство обработки снижает яркость одной группы светодиодов на предварительно заданное значение (10, 20, 30, 40 или 50%), производит сравнение вновь полученного вектора с сохраненными в базе данных, если достоверность распознавания снова недостаточно высокая, устройство обработки снижает повторно изменяет яркость одной из групп светодиодов и снова распознает ладонь.

Если через заданное количество циклов (2, 3, 4 или 5) не получено достаточно достоверного результата (Евклидово расстояние больше первого порогового значения и меньше второго порогового значения) принимается решение о том, что распознаваемая ладонь принадлежит человеку без прав доступа.

Для ускорения процесса яркость светодиодов и получение новых изображений могут осуществляться заранее, пока устройство обработки выполняет обработку уже полученного изображения.

Такое решение позволяет повысить точность распознавания ладони.

Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.

В заявке не указано конкретное программное и аппаратное обеспечение для реализации элементов на чертежах, но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.

Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации, раскрытые в различных частях описания, могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.

Изобретение относится к области распознавания биометрических шаблонов, относящихся к человеку, в изображениях или видеоданных, в частности к идентификации человека по изображению его лица и ладони. Технический результат заключается в повышении точности и скорости идентификации человека. Система для идентификации пользователя содержит устройство считывания изображения лица и ладони пользователя и устройство обработки изображения. Идентифицируют пользователя, если достоверность распознавания лица превышает предварительно заданный первый порог. Если достоверность распознания оказывается ниже предварительно заданного первого порога, но выше предварительно заданного второго порога, то пользователь распознается по ладони, при этом при распознании ладони учитывают ее температуру. Принимают решение о невозможности идентификации пользователя, если достоверность распознавания лица ниже предварительно заданного второго порога. 5 з.п. ф-лы, 8 ил.

1. Система для идентификации пользователя, содержащая:

устройство считывания изображения, выполненное с возможностью получения изображения лица и ладони,

устройство обработки изображения на связи с устройством считывания изображения, причем устройство обработки изображения выполнено с возможностью распознавания лица и определения достоверности распознавания лица, с возможностью распознавания ладони и определения достоверности распознавания ладони,

при этом устройство обработки изображения выполнено с возможностью идентификации пользователя, если достоверность распознавания лица превышает предварительно заданный первый порог, с возможностью инициирования распознавания ладони, если достоверность распознавания лица превышает предварительно заданный второй порог, но не превышает предварительно заданный первый порог, с возможностью принятия решения о невозможности идентификации пользователя, если достоверность распознавания лица ниже предварительно заданного второго порога, с возможностью идентификации пользователя, если достоверность распознавания ладони превышает предварительно заданный третий порог и принятия решения о невозможности идентификации пользователя, если достоверность распознавания ладони ниже предварительно заданного третьего порога,

характеризующаяся тем, что

устройство считывания изображения содержит камеру видимого диапазона, камеру ИК-диапазона, камеру глубины; средство освещения, выполненное с возможностью облучать лицо по меньшей мере частью из видимого света, ИК-излучения, структурированного излучения,

устройство считывания изображения выполнено с возможностью приема изображения, детектирования лица на изображении, определения качества изображения, определения витальности лица на изображении с помощью по меньшей мере ИК-камеры и камеры глубины, приведения геометрических и пространственных параметров изображения лица к требуемым с помощью аффинных преобразований, направления на устройство обработки изображения только изображения лица, прошедшего проверку витальности и обладающего достаточным качеством,

устройство считывания изображения выполнено с возможностью приема ИК-изображения ладони, определения качества ИК-изображения, определения витальности ладони на ИК-изображении, приведения геометрических и пространственных параметров ИК-изображения ладони к требуемым, направления на устройство обработки изображения только ИК-изображения ладони, прошедшие проверку витальности и обладающие достаточным качеством,

при этом устройство обработки выполнено с возможностью получать рисунок вен ладони на основании кривизны вен ладони, извлеченной из ИК-изображения, с возможностью корректировки сохраненных в базе данных эталонных изображений ладоней, моделируя рисунок вен при снижении температуры, с возможностью получения вектора признаков рисунка вен ладони из ИК-изображений ладоней и с возможностью выявления соответствия между вектором признаков рисунка вен ладони, полученным из принятого устройством считывания ИК-изображения ладони, и векторами признаков рисунка вен ладоней, полученными из скорректированных эталонных изображений.

2. Система по п.1, в которой средство освещения содержит множество светодиодов, первая группа из которых выполнена с возможностью излучения на длине волны 850 нм, а вторая группа выполнена с возможностью излучения на длине волны 940 нм, устройство считывания выполнено с возможностью управлять яркостью групп светодиодов.

3. Система по п.1, в которой устройство считывания изображения выполнено с возможностью определять расстояние от средства получения изображения ладони до ладони и с возможностью определения углов расположения ладони относительно средства получения изображения.

4. Система по п.1, в которой устройство обработки выполнено с возможностью моделировать изображения ладони с измененным рисунком вен при пониженных температурах для обучения нейронной сети и распознавания рисунка вен ладони обученной нейронной сетью при пониженных температурах посредством применения алгоритма случайного стирания изображений к изображениям вен ладони, применения деформирующей функции на основе двумерного шума Перлина к изображениям ладони; алгоритм обучения выполнен на основе нейронной сети, реализующей функцию отображения из множества изображений рисунка вен ладоней в множество биометрических шаблонов.

5. Система по п.1, в которой устройство обработки изображения выполнено с возможностью определять количество ладоней-кандидатов, если достоверность распознавания по лицу выше предварительно заданного второго порога, но ниже предварительно заданного первого порога, с возможностью изменять предварительно заданный третий порог в зависимости от количества ладоней-кандидатов, при этом чем меньше ладоней-кандидатов, тем ниже предварительно заданный третий порог.

6. Система по п.1, в которой устройство обработки изображения выполнено с возможностью уменьшать предварительно заданный второй порог для изображений лица низкого качества и для изображений лица, которые требуют больших преобразований геометрических и пространственных параметров.