Способ опознавания личности по рисунку вен ладони Российский патент 2023 года по МПК G06V40/14 G06V10/82 

Изобретение относится к биометрии, а именно к технике защиты различных объектов от доступа посторонних лиц путем идентификации личности по рисунку вен ладони (РВЛ).

Известен способ идентификации личности человека по его РВЛ (RU 2563157 С1), который захватывает изображение с помощью двух противоположно расположенных камер, работающих в видимом свете, обрабатывает исходное изображение с выделением RGB компонент и сопоставляет их с эталонными данными методом фазовой корреляции.

Недостатком известного способа является недостаточно высокая точность и длительность идентификации, связанная с необходимостью проведения большого количества операций для сравнения с каждым эталонным изображением, что увеличивает время обработки результата и обусловлено использованием метода фазовой корреляции.

Известен способ идентификации личности человека по его РВЛ (US 20180357499 А1), который определяет ключевые точки на рисунке вен ладони, бинаризует полученные значения и хранит только значимые параметры.

Недостатком известного способа является длительность и недостаточно высокая точность идентификации, ввиду анализа предопределенного набора параметров и отсутствия учета значимости каждого из узлов и параметров изображения.

Наиболее близким к заявляемому является способ идентификации личности человека по его РВЛ (US 8229178 В2), согласно которому получают изображение ладони и изображение вен ладони человека с возможностью переключения между видимым и ближним инфракрасным излучением, последующим извлечением идентификационных признаков программным способом и сравнением полученных данных с эталоном, хранимым в базе данных

Недостатком известного способа является недостаточно высокая точность и длительное время обработки результата, что обусловлено необходимостью постоянного доступа системы к незашифрованным эталонным биометрическим образцам и использованием метода фазовой корреляции, требующего большого количества операций для сравнения с каждым эталонным изображением.

Задачей заявляемого изобретения является усовершенствование способа опознавания личности по рисунку вен ладони с целью расширения арсенала средств данного назначения.

Технический результат заключается в повышении точности и скорости идентификации личности.

Технический результат достигается тем, что способ опознавания личности по рисунку вен ладони, включающий потоковое считывание рисунка вен ладони субъектов идентификации, получение кадра из потока, анализ полученного кадра, факт биометрической идентификации, при этом, после получения из потока кадра, отображаемого рисунок вен ладони и линейные характеристики, проводят его предварительную обработку, не изменяющую тип данных, а анализ полученного кадра осуществляют сверточной нейронной сетью, предварительно обученной для классификации изображений известного формата на классы, каждый из которых соответствует одному зарегистрированному субъекту, тогда как результатом анализа является первый вектор вероятностей принадлежности выбранного изображения каждому из известных классов:

где I - множество субъектов, которым соответствуют вероятности Р; n - мощность множеств I и Р; р₁, р₂,…, р_n - вероятности, полученные в результате анализа сверточной нейронной сети и соответствующие субъектам идентификации от 1 до n;

при этом факт биометрической идентификации устанавливают в два этапа, на первом этапе устанавливают субъект идентификации, соответствующий i-ому выходу нейросети в соответствии с условием (2):

где P_approve - минимальное пороговое значение вероятности, при котором идентификация будет подтверждена, P_reject - максимальное допустимое значение вероятности прочих субъектов идентификации, при этом P_approve и P_reject определяются эмпирически в ходе подготовки системы к эксплуатации, pi - наибольшая вероятность из вектора Р, i - индекс класса, обладающего данной вероятностью, j - индекс любого другого допустимого класса, кроме i;

а на втором этапе подтверждают выбор субъекта идентификации путем проверки i-й сверточной нейронной сетью, соответствующей выбранному на первом этапе субъекту идентификации, предварительно обученной для бинарной классификации изображений известного формата на два класса, один из которых указывает на соответствие кадра с выбранным субъектом, а второй - на несоотвествие, с получением второго вектора вероятностей принадлежности выбранного изображения каждому из двух названных классов, при этом подтверждение выбора субъекта идентификации устанавливают при выполнении условия (3)

где P_{approve_bin} - минимальное пороговое значение вероятности, при котором идентификация будет подтверждена, определяется эмпирически.

Потоковое считывание рисунка вен ладони осуществляют фото- или видеокамерой с отсутствующим инфракрасным фильтром, с использованием ИК подсветки ладони со стороны видеокамеры или с обратной стороны ладони, относительно видеокамеры. Линейные характеристики включают папиллярные линии ладони, текстуру и рельеф кожи. Этап предварительной обработки не изменяющий тип данных, проводят доступными фильтрами и функциями обработки изображений, в том числе гаммирование, повышение четкости, повышение яркости, сжатие, инверсии.

Повышение точности идентификации по РВЛ достигается за счет учета на выбранном кадре помимо РВЛ линейных характеристик ладони: папиллярных линий ладони, текстуры и рельефа кожи, неразделимо отображаемых на получаемых нейросетью кадрах.

Применение на каждом этапе анализа кадра сверточных нейронных сетей, обучаемых на целевом наборе, позволяет повысить точность на этапе обучения моделей. Двухэтапное подтверждение факта биометрической идентификации личности позволяет повысить его точность. Также за счет точной настройки системы с применением пороговых параметров P_approve, P_reject и P_{approve_bin}, позволяющих минимизировать возможное количество ошибок первого и второго рода соответственно на этапе ввода системы в эксплуатацию.

Повышение скорости достигается тем, что анализ кадра РВЛ производят сначала сверточной нейронной сетью, которая в процессе сопоставления производит классификацию изображения по всем группам одновременно, каждой из которых соответствует зарегистрированный субъект идентификации, выдавая на выходе вероятность принадлежности изображения к каждому классу (каждый класс соответствует отдельному субъекту идентификации или сигнализирует о его отсутствии), без прямого сопоставления извлеченных характеристик ладоней и ладоней, сохраненных в базе данных для идентификации человека, а затем анализ кадра РВЛ производят невзаимосвязанные между собой легковесные нейронные сети. Такие сети обладают лишь 2-мя выходными нейронами, следовательно обучение происходит значительно быстрее. Каждая обученная нейросеть выдает на выходе вероятность принадлежности изображения к соответствующему классу (каждая нейросеть соответствует отдельному субъекту идентификации и сигнализирует о совпадении или несовпадении с ним), без прямого сопоставления извлеченных характеристик ладоней и ладоней, сохраненных в базе данных для идентификации человека. При этом образцы идентификационных характеристик хранятся отдельно от системы идентификации и не используются в процессе эксплуатации, ввиду отдельного хранения образцов изображений биометрических данных вместе с модулем подготовки (обучения) сверточной нейросети от системы идентификации личности, что дополнительно снижает риск компрометации хранимых биометрических персональных данных.

Способ опознавания личности по рисунку вен ладони осуществляют следующим образом.

Производят сбор образцов характеристик, которые являются кадрами, аналогичными считываемым тем же устройством, которым будет проводиться идентификация личности у зарегистрированных в системе субъектов идентификации. Данные образцы характеристик используют только перед введением системы в эксплуатацию, для обучения сверточной нейросети для классификации кадров известного формата на классы, каждый из которых соответствует одному зарегистрированному субъекту идентификации, а также для обучения сверточных нейросетей для определения соответствия или несоответствия кадров известного формата с каждым из зарегистрированных субъектов идентификации. Кадры при необходимости, могут быть предварительно подвергнуты ряду обработок, таких как повышение яркости, контрастности, инверсия, сжатие и другие, модифицирующие изображение, но не изменяющие тип данных. Нейросеть обучают учитывать масштабирование и поворот объекта на изображении.

Для опознавания личности производят потоковое считывание данных с ладони в черно-белом формате при помощи цифровой фото- или видеокамеры с отсутствующим фильтром инфракрасного излучения. При считывании используют подсветку ладони с тыльной или фронтальной стороны. Кадр из потока получают путем периодического фотографирования. Кадр при необходимости может быть предварительно подвергнут ряду обработок, таких как повышения яркости, контрастности, инверсия, сжатие и другие, модифицирующие изображение, но не изменяющие тип данных.

Помимо рисунка вен, на кадрах, полученных с помощью устройства, присутствуют линейные характеристики ладони, папиллярные линии ладони, текстура и рельеф кожи. Благодаря этому, сверточная нейросеть обучается учитывать все названные параметры в комплексе, а также, в силу особенностей архитектуры, масштабирование и поворот объекта на кадрах.

Затем проводят анализ кадра с помощью сверточной нейронной сети, предварительно обученной для классификации изображений известного формата на классы, каждый из которых соответствует одному из зарегистрированных субъектов идентификации, тогда как результатом анализа является вектор вероятностей принадлежности выбранного изображения каждому из известных классов, длина которого равна количеству субъектов доступа, каждая из компонент вектора соответствует вероятности принадлежности анализируемого изображения субъекту доступа:

где I - множество субъектов, которым соответствуют вероятности Р; n - мощность множеств I и Р; р₁, р₂,…, р_n - вероятности, полученные в результате нейросетевого анализа и соответствующие субъектам идентификации от 1 до n. Таким образом, сверточная нейросеть выполняет роль анализатора кадров, выдавая на выходе вероятность принадлежности кадра к каждому классу (каждый класс соответствует отдельному субъекту идентификации).

Факт биометрической идентификации устанавливают в два этапа, на первом этапе устанавливают субъект идентификации, соответствующий i-му выходу нейросети в соответствии с условием 2.

где P_approve - минимальное пороговое значение вероятности, при котором идентификация будет подтверждена, P_reject - максимальное допустимое значение вероятности прочих субъектов идентификации, при этом Р_аpprove и P_reject определяются эмпирически в ходе подготовки системы к эксплуатации, p_i - наибольшая вероятность из вектора Р, i - индекс класса, обладающего данной вероятностью, j - индекс любого другого допустимого класса, кроме i.

На втором этапе подтверждают выбор субъекта идентификации, путем проверки i-ой сверточной нейросетью, соответствующей выбранному на первом этапе субъекту идентификации, предварительно обученной для бинарной классификации изображений известного формата на два класса, один из которых указывает на соответствие кадра с выбранным субъектом, а второй - на несоотвествие, с получением второго вектора вероятностей принадлежности выбранного изображения каждому из двух названных классов, при этом подтверждение выбора субъекта идентификации устанавливают при выполнении условия (3)

где P_{approve_bin} - минимальное пороговое значение вероятности, при котором идентификация будет подтверждена, определяется эмпирически.

Пример 1. Субъект идентификации подносит ладонь к устройству сканирования, состоящему из видеокамеры с удаленным ИК-фильтром и светодиодами с длиной волны, лежащей в ближнем ИК диапазоне. Подсветку ладони осуществляют со стороны видеокамеры. Устройство с заданной периодичностью выбирает из видеопотока кадр, на котором изображен снимок ладони субъекта в свете ближнего ИК диапазона. На таком снимке виден рисунок вен ладони, а также линейные характеристики: папиллярные линии ладони текстура и рельеф кожи, неразделимо отображаемых на получаемых нейросетью кадрах.

Далее данный выбранный кадр подвергают предварительной обработке, не изменяющей тип данных - гаммирования, повышения четкости, повышения яркости, сжатия, инверсии и посылают на вход предварительно обученной сверточной нейронной сети. Нейронная сеть обучена классифицировать изображения, подаваемые на вход, по классам, выдавая на выходе вектор вероятностей принадлежности данного изображения каждому из классов, длина которого равна количеству субъектов доступа. Каждому классу соответствует свой субъект идентификации. Так, если в системе зарегистрировано 5 пользователей, а текущий субъект числится в ней под номером 3 (нумеруя с единицы) и является подлинным, то возможным выходом нейросети является вектор: (0.1, 0.07, 0.7, 0.03, 0.1). В таком векторе наибольшим значением обладает компонента pj=0.7, находящаяся под номером 3 (соответственно, j=3). При допустимых порогах вероятности P_approve=0.6 и P_reject=0.2, установленных эмпирически в процессе подготовке системы, выполняется условие подтверждения первого этапа идентификации, соответственно субъект переходит на второй этап с предварительным результатом как пользователь с номером 3. Далее прежний кадр, подвергнутый предварительной обработке, посылают на вход предварительно обученной сверточной нейронной сети, соответствующей пользователю под номером 3. Каждому субъекту идентификации соответствует своя нейросеть. Возможными выходами нейросети третьего субъекта является вектор (0.75, 0.25). В таком векторе компонента p_t3=0.7 (анализ произведен нейросетью третьего пользователя, соответственно, i=3). При допустимом пороге вероятности P_{approve_bin}=0.6, установленном эмпирически в процессе подготовке системы, выполняется условие подтверждения идентификации, соответственно субъект идентифицируется как пользователь с номером 3, а проверки пользователей с остальными номерами не производятся.

Пример 2. Субъект идентификации подносит ладонь к устройству сканирования, состоящему из видеокамеры с удаленным ИК-фильтром и светодиодами с длиной волны, лежащей в ближнем ИК диапазоне. Подсветку ладони осуществляют со стороны видеокамеры. Устройство с заданной периодичностью выбирает из видеопотока кадр, на котором изображен снимок ладони субъекта в свете ближнего ИК диапазона. На таком снимке виден рисунок вен ладони, а также линейные характеристики: папиллярные линии ладони, текстура и рельеф кожи, неразделимо отображаемых на получаемых сверточной нейронной сетью кадрах.

Далее данный выбранный кадр подвергают предварительной обработке, не изменяющей тип данных - гаммирования, повышения четкости, повышения яркости, сжатия, инверсии и посылают на вход предварительно обученной сверточной нейронной сети. Нейронная сеть обучена классифицировать изображения, подаваемые на вход, по классам, выдавая на выходе вектор вероятностей принадлежности данного изображения каждому из классов, длина которого равна количеству субъектов доступа. Каждому классу соответствует свой субъект идентификации. Так, если в системе зарегистрировано 10 пользователей, а текущий субъект числится в ней под номером 9 (нумеруя с единицы) и является подлинным, то возможным выходом нейросети является вектор: (0.01, 0.07, 0.07, 0.03, 0.1, 0.001, 0.01, 0.07, 0.609, 0.03). В таком векторе наибольшим значением обладает компонента p_j=0.609, находящаяся под номером 9 (соответственно, j=9). При допустимых порогах вероятности P_approve=0.5 и P_reject=0.15, установленных эмпирически в процессе подготовке системы, выполняется условие подтверждения идентификации, соответственно субъект переходит на второй шаг с предварительным результатом как пользователь с номером 9. Далее прежний кадр, подвергнутый предварительной обработке, посылают на вход предварительно обученной сверточной нейронной сети, соответствующей пользователю под номером 9. Каждому субъекту идентификации соответствует своя нейросеть. Возможными выходами нейросети девятого субъекта является вектор (0.85, 0.15). В таком векторе компонента p_t3=0.85 (анализ произведен нейросетью девятого пользователя, соответственно, i=9). При допустимом пороге вероятности P_{approve_bin}=0.8, установленном эмпирически в процессе подготовке системы, выполняется условие подтверждения идентификации, соответственно субъект идентифицируется как пользователь с номером 9, а проверка пользователей с остальными номерами не производятся.

Изобретение относится к биометрии, а именно к технике защиты различных объектов от доступа посторонних лиц путем идентификации личности по рисунку вен ладони. Технический результат заключается в повышении точности и скорости идентификации личности. Способ опознавания личности по рисунку вен ладони включает получение из потока кадра, отображающего рисунок вен ладони и линейные характеристики, его предварительную обработку, не изменяющую тип данных, анализ полученного кадра сверточной нейронной сетью, предварительно обученной для классификации изображений известного формата на классы, каждый из которых соответствует одному зарегистрированному субъекту, тогда как результатом анализа является первый вектор вероятностей принадлежности выбранного изображения каждому из известных классов; при этом факт биометрической идентификации устанавливают в два этапа, на первом этапе устанавливают субъект идентификации, соответствующий i-му выходу нейросети, а на втором этапе подтверждают выбор субъекта идентификации путем проверки i-й сверточной нейронной сетью, соответствующей выбранному на первом этапе субъекту идентификации. 4 з.п. ф-лы.

1. Способ опознавания личности по рисунку вен ладони, включающий потоковое считывание рисунка вен ладони субъекта идентификации, получение кадра из потока, анализ полученного кадра, факт биометрической идентификации, отличающийся тем, что после получения из потока кадра, отображающего рисунок вен ладони и линейные характеристики, проводят его предварительную обработку, не изменяющую тип данных, а анализ полученного кадра осуществляют сверточной нейронной сетью, предварительно обученной для классификации изображений известного формата на классы, каждый из которых соответствует одному зарегистрированному субъекту, тогда как результатом анализа является первый вектор вероятностей принадлежности выбранного изображения каждому из известных классов:

где I - множество субъектов, которым соответствуют вероятности Р; n - мощность множеств I и Р; р₁, р₂,…, р_n - вероятности, полученные в результате анализа сверточной нейронной сети и соответствующие субъектам идентификации от 1 до n;

при этом факт биометрической идентификации устанавливают в два этапа, на первом этапе устанавливают субъект идентификации, соответствующий i-му выходу нейросети в соответствии с условием (2)

,

где P_approve - минимальное пороговое значение вероятности, при котором идентификация будет подтверждена, P_reject - максимальное допустимое значение вероятности прочих субъектов идентификации, при этом P_approve и P_reject определяются эмпирически в ходе подготовки системы к эксплуатации, p_i - наибольшая вероятность из вектора Р, i - индекс класса, обладающего данной вероятностью, j - индекс любого другого допустимого класса, кроме i; а на втором этапе подтверждают выбор субъекта идентификации путем проверки i-й сверточной нейронной сетью, соответствующей выбранному на первом этапе субъекту идентификации, предварительно обученной для бинарной классификации изображений известного формата на два класса, один из которых указывает на соответствие кадра с выбранным субъектом, а второй - на несоответствие, с получением второго вектора вероятностей принадлежности выбранного изображения каждому из двух названных классов, при этом подтверждение выбора субъекта идентификации устанавливают при выполнении условия (3)

,

где P_{approve_bin} - минимальное пороговое значение вероятности, при котором идентификация будет подтверждена, определяется эмпирически.

2. Способ опознавания личности по рисунку вен ладони по п. 1, отличающийся тем, что линейные характеристики включают папиллярные линии ладони, текстуру и рельеф кожи.

3. Способ опознавания личности по рисунку вен ладони по п. 1, отличающийся тем, что потоковое считывание рисунка вен ладони осуществляют фото- или видеокамерой с отсутствующим инфракрасным фильтром, с использованием инфракрасной подсветки ладони со стороны видеокамеры.

4. Способ опознавания личности по рисунку вен ладони по п. 1, отличающийся тем, что потоковое считывание рисунка вен ладони осуществляют фото- или видеокамерой с отсутствующим инфракрасным фильтром, с использованием инфракрасной подсветки на просвет, с обратной стороны ладони, относительно видеокамеры.

5. Способ опознавания личности по рисунку вен ладони по п. 1, отличающийся тем, что на этапе предварительной обработки, не изменяющей тип данных, проводят гаммирование, повышение четкости, повышение яркости, сжатие, инверсию.