СПОСОБ, ТЕРМИНАЛ И СИСТЕМА ДЛЯ БИОМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ Российский патент 2023 года по МПК G06F18/20 G06F18/22 G06F18/40 

Область техники

Настоящее изобретение относится к области биометрической идентификации и, в частности, к способу, терминалу и системе, применяемым в системах, требующих применения биометрии в качестве средств идентификации и аутентификации.

Уровень техники

Известные методы биометрической идентификации включают в себя идентификацию по отпечатку пальца, по лицу, по радужной оболочке глаза, по геометрии руки, по рисунку вен, по голосу, по рукописному почерку и т.д.

В настоящее время в качестве биометрических признаков в процессе биометрической идентификации чаще всего используется голос, а также метрики лица человека в видимом и/или инфракрасном (ИК) диапазонах. Другие типы признаков либо не обеспечивают достаточную точность/скорость идентификации пользователя, либо требуют контакта со считывающим устройством (сканер отпечатка пальца, рисунка вен и т.д.).

Минимальная система идентификации по лицу состоит из камеры видеонаблюдения, устройства захвата и программного обеспечения, которое выполняет анализ изображений. Программное обеспечение для распознавания лиц основано на сложных математических алгоритмах, которые требуют большого количества вычислений.

Основная масса устройств и алгоритмов относятся к системам 2D (двухмерного) распознавания лиц, как следствие широкого распространения систем видеонаблюдения. В таких решениях непрерывный видеопоток с камеры разделяется на кадры, из которых после некоторой обработки выделяются участки изображения, содержащие лицо человека. Эти участки обрабатываются компьютерной программой, которая ищет максимально возможную степень сходства предъявленного изображения с набором заранее сохраненных изображений лиц, зарегистрированных с уникальными идентификаторами. Наибольшие успехи в этой области связаны с нейронными сетями. Параметры поиска, образующие многомерную модель, должны быть предварительно вычислены в процессе обучения нейронной сети на специально подготовленных наборах данных (dataset, датасет). Обучение сети это неоднозначный и самый трудоемкий подготовительный процесс, определяющий наряду с объемом и качеством датасета будущую способность модели идентифицировать людей. В то же время такие системы обрабатывают 2D модели лица пользователя и тем самым позволяют получить несанкционированный доступ путем предоставления камерам фотографии зарегистрированного пользователя.

Технология 3D (трехмерного) распознавания может использовать тот же математический аппарат, что и 2D, но отличается большим количеством параметров, которые могут быть проанализированы.

Известные решения 3D распознавания представлены сканерами со структурированной лазерной подсветкой и фотограмметрическими сканерами стереоизображений. Преимуществом 3D технологии является на порядок меньший уровень ошибок 1 и 2 рода. Для реализации этого преимущества требуется соответствующие сканеры и обучение нейронной сети на соответствующих датасетах.

Всем нейронным сетям требуется обучение, но качественные 2D наборы несоизмеримо более доступны. Косвенной иллюстрацией большей привлекательности 2D решения является применение 3D сканирования в первую очередь в системах верификации.

Точность распознавания лиц всегда имеет ненулевую ошибку. Это связано с тем, что условия съемки, освещение, повороты лица в кадре и другие факторы отличаются от тех, при которых была произведена регистрация шаблона, не считая того, что люди часто меняют внешность, одежду, прически и так далее. Наибольшее влияние оказывает освещение. Не всегда есть возможность обеспечить равномерное бестеневое освещение (по стандарту РФ ГОСТ Р ИСО/МЭК 19794-5-2013). На практике при установке систем контроля доступа камеры почти всегда оказываются засвечены контровым светом.

Различают ошибку 1 рода - FAR (False Acceptance Rate), когда система сопоставляет неверный шаблон, и ошибку 2 рода – FRR (False Rejection Rate), когда система не находит изображение в базе, хотя шаблон для него там зарегистрирован.

Бурное развитие биометрических систем идентификации порождает предпосылки для разработки систем и методов фальсификации биометрических параметров - спуфинга (spoofing).

Разработки систем и методов по защите от фальсификации при биометрической идентификации демонстрируют множество направлений защиты от атак. В основном это усложненные алгоритмы, различное сочетание статических и динамических методов, в том числе интерактивное распознавание, мультимодальная биометрия, а также сочетание биометрических и небиометрических методов, которое на самом деле относится уже не к идентификации, а к верификации. Все эти методы существенно улучшают стойкость к атакам. Платой за это является усложнение и удорожание систем, а также значительное увеличение времени распознавания. Следствием является сужение области применения систем.

В качестве примера можно рассмотреть условную автоматизированную систему учета рабочего времени, либо систему контроля доступа на нережимные обьекты. Приоритетным требованием для такой системы является высокая скорость распознавания, умеренный уровень ошибок, защита от элементарного спуфинга фотографией и изображением на экране мобильного устройства. Поскольку персонал не заинтересован в саботаже, то некоторый процент несрабатывания или ложных срабатываний до определенного предела не влияет на субъективную оценку качества работы. Гораздо важнее скорость распознавания - это интуитивно понятный критерий, поскольку человек без всяких приборов может оценить и сравнить собственную скорость прохождения турникета с биометрией, с обычной RFID картой или даже обычным бумажным пропуском с визуальным контролем.

Противоположный случай - получение дистанционных государственных или банковских услуг с аутентификацией по биометрии. Приоритетным свойством системы здесь является стойкость к спуфингу, причем зачастую весьма изощренному. С точки зрения пользователя дополнительные проверки биометрии в мультимодальных системах не должны быть утомительными или неудобными. Фактор скорости хоть и имеет второстепенное значение, но только до определенного предела. Поэтому реальное коммерческое применение нашли системы, декларирующие высокий уровень безопасности и удобство, которое является субъективной характеристикой. Скорость работы системы мультимодальной автоматической идентификации и верификации также можно оценить в терминах «быстро-медленно».

Преимущественное распространение получили системы одномоментного распознавания (single-shot face recognition), которые не требуют выполнения дополнительных действий при идентификации, таких как действие по определенному позиционированию себя перед камерой, произнесение неких фраз, действий над предметами и т.д. Приоритет в таких системах отдается скорости распознавания, которая дает пользователю ощущение комфорта. В основном это неплатежные терминалы для систем контроля доступа, программ лояльности и т.д.

Наиболее массовые реализации систем одномоментного распознавания лиц используют двухмерные цветные изображения лица. Ограничения существующих методов включают в себя влияние:

- положения и наклона лица в кадре,

- эмоций и маскирующих факторов (прическа, одежда, маски),

- интенсивности и направления освещения,

- необходимости защиты от спуфинга.

Последние два фактора могут решаться с помощью захвата изображения в ближнем ИК диапазоне (0,7-0,9 мкм).

Изображения в ближнем инфракрасном диапазоне не искажаются окружающим светом и тенями от него, поэтому аппаратные терминалы неплатежного применения обычно используют инфракрасные камеры для защиты от подделок. По сравнению с камерами RGB, инфракрасные камеры имеют более высокую точность защиты от подделок. В то же время, по сравнению со структурированной подсветкой или камерами глубокого зондирования (TOF - Time of flight) в технологии 3D-зрения, инфракрасные камеры дешевле и проще.

По сравнению с RGB-камерами, инфракрасные камеры менее подвержены влиянию света, а также могут отображать высококачественные изображения лиц в темноте, при сильном контровом свете и сильном прямом свете (см., например, патентный документ CN112364842A). Тепловые инфракрасные изображения отображают только реальные лица, поэтому они могут решить проблему спуфинга, но низкое разрешение тепловых инфракрасных изображений серьезно влияет на эффект распознавания (см., например, патентные документы US2020311238A1, CN107169483A).

Проблема обнаружения живого пользователя (liveness detection, определение «живости») при одномоментном распознавании может решаться методом триангуляции стереокамерами (см. патент RU 2316051 C2). При этом строится карта глубин объекта и на основании этой карты принимается решение, обладает ли объект рельефом. Это пример решения, когда распознавание изображения лица и определение живости - независимые процессы и окончательное решение о распознавании объекта принимается путем сравнения взвешенных метрик с порогом. Стоит иметь в виду, что данное решение дополнительно включает в себя анализ поведенческих признаков, а также интерактивных действий пользователя, например, визуальных, аудиальных, кинестетических, на определенный набор команд системы и т.д., что требует дополнительных вычислительных мощностей и дополнительного времени обработки.

Кроме того, сложность при монтаже и последующей эксплуатации терминалов биометрической идентификации вызывает расположение и установка упомянутых терминалов таким образом, чтобы они не мешали пользователям и не вызывали у них дискомфорт, при этом обеспечивая надлежащий угол обзора для камер, подходящий для захвата изображений лица пользователя, пригодных для идентификации, а также снижающий негативное влияние контрового и/или прямого света на захватываемое изображение.

Таким образом, в настоящее время к терминалам для биометрической идентификации предъявляются следующие требования:

- высокое быстродействие для выбранного применения;

- высокая точность по ошибкам 1 и 2 рода;

- устойчивость к помехам (сильный прямой и контровый свет и т.д.) и преднамеренным атакам (спуфинг и т.д.);

- хорошая эргономика при монтаже и эксплуатации.

Краткое изложение существа изобретения

Настоящее изобретение направлено на решение по меньшей мере некоторых из указанных выше проблем.

В соответствии с одним аспектом настоящее изобретение обеспечивает способ биометрической идентификации, содержащий этапы, на которых:

- активируют в терминале для биометрической идентификации режим поиска человеческого лица на цветных изображениях, полученных из видеопотока от одной камеры из стереокамеры;

- осуществляют предварительную обработку изображений со стереокамеры и инфракрасной или тепловой камеры упомянутого терминала, которая включает в себя, по меньшей мере, одну из операций линейной коррекции, баланса белого, адаптивной экспозиции и удаления шума;

- обнаруживают и отслеживают лицо человека в изображении с упомянутой одной камеры из стереокамеры и определяют его размеры и координаты;

- осуществляют поиск лица человека в изображении с инфракрасной или тепловой камеры, синхронизированном с упомянутым изображением с цветной камеры, и определяют его размеры и координаты;

- сравнивают размеры и координаты лица человека, определенные для изображения с цветной камеры и для изображения с инфракрасной или тепловой камеры, и делают вывод о наличии человека перед упомянутыми камерами на основании упомянутого сравнения;

- осуществляют нормализацию изображений со стереокамеры и инфракрасной или тепловой камеры и отправляют их на сервер распознавания;

- на сервере распознавания осуществляют распознавание лица человека, включающее в себя этапы, на которых сопоставляют изображения лица человека на упомянутых изображениях, принятых от терминала, с шаблонами, сохраненными в базе данных, и делают вывод относительно наличия или отсутствия совпадения с шаблоном;

- отправляют результаты распознавания человека с сервера распознавания на терминал.

Согласно одному варианту осуществления способа активируют в терминале для биометрической идентификации режим поиска человеческого лица на изображениях, полученных из видеопотока от одной цветной камеры из стереокамеры, в ответ на обнаружение движения в захватываемых изображениях от упомянутой одной цветной камеры из стереокамеры, сопровождающегося изменением общей освещенности в кадре.

Согласно другому варианту осуществления способа до активации режима обнаружения человеческого лица подсветка интересующей области, в которой возможно появление человеческого лица, осуществляемая блоком подсветки, приглушена, поиск лица не производится, изображения от одной камеры из стереокамеры анализируются только на общий уровень освещенности, а после активации режима поиска человеческого лица происходит выход подсветки на рабочий режим.

Согласно другому варианту осуществления способа на этапе предварительной обработки изображения со стереокамеры и инфракрасной или тепловой камеры записываются в кольцевой буфер и подвергаются упомянутой предварительной обработке, при этом сохраняется их синхронность.

Согласно другому варианту осуществления способа поиск лица человека в изображении с инфракрасной или тепловой камеры осуществляют по всему полю захватываемого изображения.

Согласно другому варианту осуществления способа, если на этапе поиска лица человека в изображении с инфракрасной или тепловой камеры лицо человека не обнаружено, то данное изображение отбрасывается, отслеживание лица человека на изображении с цветной камеры прекращается и происходит возврат к этапу поиска человеческого лица на изображениях от одной цветной камеры из стереокамеры.

Согласно другому варианту осуществления способа перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа цветного изображения от одной камеры из стереокамеры, при этом анализу подвергается как лицо человека, так и фоновые объекты на изображении.

Согласно другому варианту осуществления способа перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа карты глубин, построенной на основе двух синхронных цветных изображений от стереокамеры.

Согласно другому варианту осуществления способа анализ карты глубин осуществляют посредством сравнения карты глубин, вычисленной в текущий момент на основе двух синхронных цветных изображений от стереокамеры, с шаблоном карты глубины, представляющим рельеф некоторого усредненного лица человека.

Согласно другому варианту осуществления способа перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры.

Согласно другому варианту осуществления способа перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры и изображения от инфракрасной камеры.

Согласно другому варианту осуществления способа упомянутый анализ для определения присутствия живого человека на захватываемом изображении выполняют посредством нейронной сети.

Согласно другому варианту осуществления способ дополнительно содержит этапы, на которых осуществляют дополнительное подтверждение идентификации посредством записи аудиосигнала от микрофона/микрофонов терминала в синхронизированном режиме с захватом видеоизображений от камер и идентификации человека по голосу, выделенному из записанного аудиосигнала.

Согласно другому варианту осуществления способ дополнительно содержит этап, на котором осуществляют дополнительную проверку присутствия живого человека посредством сопоставления движения губ человека на видеоизображениях с фразой, произнесенной человеком и захваченной посредством записи аудиосигнала от микрофона/микрофонов терминала.

Согласно другому варианту осуществления способ дополнительно содержит этапы, на которых осуществляют дополнительное подтверждение идентификации посредством считывания метки или карты, подтверждающей личность человека, бесконтактным устройством считывания.

В соответствии с другим аспектом настоящее изобретение обеспечивает компьютерно-читаемый носитель данных, хранящий на себе компьютерную программу, которая при выполнении процессором предписывает упомянутому процессору осуществлять вышеупомянутый способ биометрической идентификации.

В соответствии с еще одним аспектом настоящее изобретение обеспечивает терминал для биометрической идентификации, включающий в себя блок камер, содержащий блок подсветки, стереокамеру, инфракрасную или тепловую камеру, а также процессорный блок, соединенный с блоком камер, причем процессорный блок выполнен с возможностью:

- активировать режим поиска человеческого лица на изображениях, полученных из видеопотока от одной цветной камеры из стереокамеры;

- осуществлять предварительную обработку изображений со стереокамеры и инфракрасной или тепловой камеры упомянутого терминала, которая включает в себя, по меньшей мере, одну из операций линейной коррекции, баланса белого, адаптивной экспозиции и удаления шума;

- обнаруживать и отслеживать лицо человека в изображении с упомянутой одной цветной камеры из стереокамеры и определять его размеры и координаты;

- осуществлять поиск лица человека в изображении с инфракрасной или тепловой камеры, синхронизированном с упомянутым изображением с цветной камеры, и определять его размеры и координаты;

- сравнивать размеры и координаты лица человека, определенные для изображения с цветной камеры и для изображения с инфракрасной или тепловой камеры, и делать вывод о наличии человека перед упомянутыми камерами на основании упомянутого сравнения;

- осуществлять нормализацию изображений со стереокамеры и инфракрасной или тепловой камеры и отправлять их на сервер распознавания;

- принимать результаты распознавания человека с сервера распознавания.

Согласно одному варианту осуществления терминала процессорный блок выполнен с возможностью активировать режим поиска человеческого лица на изображениях, полученных из видеопотока от одной цветной камеры из стереокамеры, в ответ на обнаружение движения в захватываемых изображениях от упомянутой одной цветной камеры из стереокамеры, сопровождающегося изменением общей освещенности в кадре.

Согласно другому варианту осуществления терминала до активации режима обнаружения человеческого лица подсветка интересующей области, в которой возможно появление человеческого лица, осуществляемая блоком подсветки, приглушена, поиск лица не производится, изображения от одной камеры из стереокамеры анализируются только на общий уровень освещенности, а после активации режима поиска человеческого лица происходит выход подсветки на рабочий режим.

Согласно другому варианту осуществления терминала процессорный блок выполнен с возможностью записывать изображения со стереокамеры и инфракрасной или тепловой камеры в кольцевой буфер и подвергать их упомянутой предварительной обработке, при этом сохраняя их синхронность.

Согласно другому варианту осуществления терминала процессорный блок выполнен с возможностью осуществлять поиск лица человека в изображении с инфракрасной или тепловой камеры по всему полю захватываемого изображения.

Согласно другому варианту осуществления терминала процессорный блок выполнен с возможностью, если на этапе поиска лица человека в изображении с инфракрасной или тепловой камеры лицо человека не обнаружено, отбрасывать данное изображение, прекращать отслеживание лица человека на изображении с цветной камеры и осуществлять возврат к этапу поиска человеческого лица на изображениях от одной цветной камеры из стереокамеры.

Согласно другому варианту осуществления терминала блок камер соединен с корпусом, содержащим процессорный блок, посредством поворотного кронштейна.

В соответствии с еще одним аспектом настоящее изобретение обеспечивает систему для биометрической идентификации, включающую в себя вышеупомянутый терминал и сервер распознавания, выполненный с возможностью:

- принимать нормализованные изображения от терминала;

- осуществлять распознавание лица человека, включающее в себя сопоставление изображений лица человека на нормализованных изображениях, принятых от терминала, с шаблонами, сохраненными в базе данных, и принятие решения относительно наличия или отсутствия совпадения с шаблоном;

- отправлять результаты распознавания человека на терминал.

Согласно одному варианту осуществления системы сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа цветного изображения от одной камеры из стереокамеры, при этом анализу подвергается как лицо человека, так и фоновые объекты на изображении.

Согласно одному варианту осуществления системы сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа карты глубин, построенной на основе двух синхронных цветных изображений от стереокамеры.

Согласно одному варианту осуществления системы сервер распознавания выполнен с возможностью анализа карты глубин посредством сравнения карты глубин, вычисленной в текущий момент на основе двух синхронных цветных изображений от стереокамеры, с шаблоном карты глубины, представляющим рельеф некоторого усредненного лица человека.

Согласно одному варианту осуществления системы сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры.

Согласно одному варианту осуществления системы сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры и изображения от инфракрасной камеры.

Согласно одному варианту осуществления системы упомянутый анализ для определения присутствия живого человека на захватываемом изображении выполняется в сервере распознавания посредством нейронной сети.

Согласно одному варианту осуществления системы терминал дополнительно содержит микрофон/микрофоны для захвата аудиосигнала, а система выполнена с возможностью осуществлять дополнительное подтверждение идентификации посредством записи аудиосигнала от микрофона/микрофонов терминала в синхронизированном режиме с захватом видеоизображений от камер и идентификации человека по голосу, выделенному из записанного аудиосигнала.

Согласно одному варианту осуществления система выполнена с возможностью осуществлять дополнительную проверку присутствия живого человека посредством сопоставления движения губ человека на видеоизображениях с фразой, произнесенной человеком и захваченной посредством записи аудиосигнала от микрофона/микрофонов терминала.

Согласно одному варианту осуществления системы терминал дополнительно содержит бесконтактное устройство считывания, а система выполнена с возможностью осуществлять дополнительное подтверждение идентификации посредством считывания метки или карты, подтверждающей личность человека, бесконтактным устройством считывания.

Таким образом, настоящее изобретение обеспечивает простое и недорогое решение для осуществления биометрической идентификации, обладающее высоким быстродействием, точностью, надежностью и высоким уровнем защиты от несанкционированного доступа.

Краткое описание чертежей

В дальнейшем изобретение поясняется описанием предпочтительных вариантов воплощения изобретения со ссылками на сопроводительные чертежи, на которых:

На фиг. 1 изображен примерный вариант осуществления терминала для биометрической идентификации в соответствии с настоящим изобретением;

На фиг. 2 изображена примерная блок-схема процесса биометрической идентификации в соответствии с настоящим изобретением.

Описание предпочтительных вариантов осуществления изобретения

В соответствии с одним аспектом настоящее изобретение раскрывает терминал для биометрической идентификации.

Примерный терминал для биометрической идентификации (см. фиг. 1) включает в себя блок (1) камер, содержащий блок (2) подсветки, стереокамеру (3), инфракрасную камеру (4), а также процессорный блок в корпусе (7), соединенном с блоком (1) камер посредством поворотного кронштейна (5). Опционально, терминал для биометрической идентификации в соответствии с настоящим изобретением может включать в себя дисплей (6) и бесконтактное устройство (8) считывания.

Терминал является частью распределенной информационной системы. Его функционирование определяется программным обеспечением, как его собственным, так и сетевым. Терминал в соответствии с примерным вариантом осуществления оснащен всей необходимой периферией для реализации большинства функций, которые нужны для универсального терминала распознавания лиц. Подключение периферии к процессорному блоку осуществляется через стандартные интерфейсы, поэтому программное обеспечение, реализующее тот или иной алгоритм работы, может быть изменено без изменений аппаратного уровня.

Стоит отметить, что терминал в соответствии с настоящим изобретением может использоваться, например, в системах электронной торговли, электронного банковского обслуживания, электронного документооборота, контроля доступа и т.д. В таком случае терминал, помимо непосредственно биометрической идентификации, дополнительно выполнен с возможностью реализации функций, присущих области применения. Например, терминал может быть выполнен с возможностью осуществления оплаты (транзакции) за товары или услуги в системах электронной торговли, управления доступом пользователя в помещение (открытие двери/турникета, включение/отключение сигнализации и т.д.) в системах контроля доступа и т.д.

Блок (1) камер на поворотном кронштейне (5) включает в себя стереокамеру (3), инфракрасную камеру (4) и блок (2) подсветки. Блок (2) подсветки представляет собой блок белой и инфракрасной подсветки. Все три камеры имеют одинаковые матрицы высокого разрешения, установленные в портретной ориентации, одинаковую оптику и работают синхронно. Оси камер направлены параллельно. Средняя камера на фиг. 1 включает в себя ИК светофильтр с пропусканием в диапазоне 700нм и более и представляет собой ИК камеру. Камеры по краям образуют RGB стереопару (стереокамеру), в них установлены фильтры, обрезающие ИК излучение длиннее 650 нм, чтобы избежать искажений цветопередачи в условиях мощной ИК подсветки. Портретная ориентация матриц имеет преимущество при обработке видео людей разного роста за счет увеличения охвата зоны обслуживания по вертикали и в сочетании с широкоугольной светосильной оптикой позволяет покрыть весь диапазон ростов пользователей.

Регулируемый блок (2) подсветки содержит ИК излучатели (например, 940нм) и светодиоды белого свечения. Блок (2) подсветки служит для приведения изображения в требуемый диапазон освещенности. Размещение узла подсветки в блоке камер дает возможность эффективно использовать световой поток. Адаптивная регулировка яркости подсветки использует в качестве сигнала управления уровень яркости лица, выделенного алгоритмом поиска.

Стереокамера (3) используется для построения карты глубин изображения. По этой карте происходит выявление плоских изображений, фотографий для предотвращения несанкционированного доступа посредством предъявления камере фотографии или плоского изображения зарегистрированного пользователя. Одна из камер стереопары может являться источником изображения для цифровой видеосвязи, а также для дальнейшей обработки кадров изображения, прошедших антиспуфинг-контроль. То есть изображение со стереопары используется одновременно в нескольких целях, как для 3D обнаружения, так и для основного назначения - 2D распознавания.

Инфракрасная камера (4) высокого разрешения применяется для обнаружения атак с помощью изображений на экранах мобильных устройств. ИК камера (4) работает в ближнем ИК диапазоне (например, 800-960 нм) и формирует черно-белое изображение. Матрица установлена также в портретной ориентации. Угол зрения ИК камеры (4) согласован с углом зрения основных камер стереопары, так что программное обеспечение при обработке выполняет совмещение ИК изображения с цветным используя все доступное поле зрения. Экраны гаджетов в этой спектральной области имеют низкую яркость и контрастность, поэтому если в ИК области в кадре нет объекта распознавания, дальнейшая обработка изображений со стереокамеры (3) не требуется. Применение ИК камеры (4) в дополнение к основной цветной камере существенно уменьшает нагрузку на процессор и его тепловыделение. Черно-белое изображение имеет меньший объём и вследствие упрощенного алгоритма может иметь и меньшее разрешение. Вследствие распараллеливания процессов обработки по ИК каналу и по видимому диапазону снижается сложность вычислений и объем обрабатываемых данных, а, следовательно, увеличивается скорость обработки, так как в основном канале обработки не требуется проводить анализ по этому вектору атаки.

В альтернативном варианте осуществления вместо ИК камеры (4) используется тепловая камера низкого разрешения, например, класса FLIR Lepton. Она работает в средневолновой и длинноволновой инфракрасной области спектра (2-20 мкм). Небольшое разрешение (например, 160*120 пикселей) массовых недорогих тепловизионных камер не позволяет использовать их для распознавания лиц, но такая камера эффективно отсеивает неживые объекты и применяется в дополнение к основным камерам для обнаружения латексных масок, накладок на лица и других способов имитации, которые неизбежно изменяют тепловую сигнатуру изображения лица. Кроме того, тепловая камера может служить для оценки температуры тела человека и в системах контроля учета доступа может дополнительно использоваться для выявления людей с повышенной температурой.

Поворотный кронштейн (5) служит для обеспечения возможности регулировки наклона и поворота блока (1) камер относительно корпуса (7) терминала и, следовательно, дисплея (6). Поворотный кронштейн (5) содержит полость для пропуска кабелей от камер и подсветки в корпус (7) терминала. Использование поворотного кронштейна (5) существенно повышает удобство использования терминалов. В качестве примера - крепление корпуса (7) терминала на стену рядом с проходом. Возможность поворота блока (1) камер решает проблему угла зрения камер, т.к. для большего охвата пространства угол зрения должен быть широким. Короткофокусные камеры имеют большую дисторсию и геометрические искажения. Поворотный кронштейн (5) дает возможность применить более узконаправленную оптику и более эффективно согласовать требуемый охват и угол зрения камер. Допустимый угол обзора хорошего дисплея достигает 170-175 градусов. А практически применимый угол зрения камер ограничен геометрическими искажениями и дисторсией. Таким образом, поворотный кронштейн обеспечивает преимущества по расположению терминала и по углу зрения камер терминала, что позволяет расширить спектр применения терминала и удобство установки/настройки/использования терминала.

Дисплей (6) представляет собой жидкокристаллический (LCD) дисплей с сенсорным экраном для обеспечения взаимодействия пользователя с терминалом. Сенсорный экран может представлять собой, например, резисистивный, проекционно-емкостной, поверхностно-емкостной, сенсорно-сканирующий экран и т.п. Дисплей (6) может отображать изображение с камер для повышения комфорта пользователя (режим «цифрового зеркала»). Попутно на экране отображается текстовая информация, содержащая инструкции для пользователя. Сенсорный экран используется для навигации и ввода пользователем текстовой информации в процессе взаимодействия с терминалом. Дисплей (6) терминала выполнен сменным. Его можно отстыковать, отсоединить кабели и поменять. Унификация обусловлена конструкцией модуля, содержащего стыковочные узлы, а также высокой степенью унификации дисплеев на уровне стандартных HDMI, DP, USB интерфейсов. Такая конструкция позволяет повысить ремонтопригодность терминала, а также возможности по его модернизации на аппаратном уровне.

Процессорный блок в примерном варианте осуществления настоящего изобретения представляет собой одноплатный компьютер, оснащенный всеми требуемыми интерфейсами для работы с вышеописанными блоками, а также носители информации, используемые в работе. Процессорный блок осуществляет управление функционированием всех блоков терминала, включая ввод-вывод, захват и обработку видеоизображений с камер и звука с микрофона, а также ввод и обработку информации с карт и сенсорного экрана. Процессорный блок оснащен подсистемой питания и охлаждения, а также содержит необходимые коммуникационные проводные и беспроводные сетевые интерфейсы, такие как Ethernet, USB и т.д. Процессорный блок включает в себя набор графических ядер CUDA, на которых происходит обработка графики в нейронных сетях. Самостоятельная (то есть изолированно от сети) работа терминала возможна, но не является рациональной вследствие медленной скорости обработки данных из-за ограниченных вычислительных мощностей доступных в терминале. В итоге терминал ориентирован на работу с сервером распознавания по TCP/IP с использованием криптозащиты сетей и передаваемых данных и закрытым физическим доступом. Сервер распознавания, являющийся в примерном варианте осуществления настоящего изобретения удаленным сервером, обладает значительно более высокими вычислительными возможностями по сравнению с терминалом. Такая распределенная обработка по распознаванию позволяет снизить технические требования к терминалам, которых может быть значительное количество, при этом повысить скорость обработки за счет переноса наиболее ресурсозатратной ее части на мощный удаленный сервер.

Бесконтактное устройство (8) считывания обеспечивает выполнение как вспомогательных функций идентификации, так и основных функций, например защищенные операции с банковскими картами. Бесконтактное устройство (8) считывания, помимо считывания банковских карт, в зависимости от реализации может дополнительно применяться для считывания различных карт и меток (NFC, RFID и т.д.).

Дополнительно терминал может включать в себя звуковую подсистему для обеспечения голосовой связи по цифровым каналам связи (VoIP), состоящую из нескольких микрофонов (в том числе для целей адаптивного шумопонижения), громкоговорителей и цифрового интерфейса для подключения к процессорному блоку. Микрофоны, установленные в нескольких местах корпуса, служат для приема голоса и окружающего шума. Это обеспечивает возможность применения алгоритмов адаптивного шумопонижения и позволяет добиться повышения качества передачи звуков в условиях шумного окружения и устранения эха. Существенным расширением функционала терминала является потенциальная возможность использования звуковой подсистемы в качестве голосового канала связи с удаленной поддержкой. Для этого терминал имеет все необходимые условия, к которым следует отнести наличие достаточных аппаратных и вычислительных ресурсов процессорного блока, а также каналов связи.

Корпус терминала выполнен по модульной технологии. Модульный корпус позволяет без изменения конструкции менять конфигурацию и назначение терминала путем замены модуля дисплея, подключения блока считывателей различного назначения. В модуле основного корпуса размещены процессорный блок, звуковая подсистема. Конструкция этого модуля позволяет пристыковывать к нему сменный модуль дисплея. На корпусе предусмотрены точки крепления для установки подвесных кронштейнов стандарта VESA.

В соответствии с дополнительным аспектом настоящее изобретение обеспечивает систему для биометрической идентификации, включающую в себя описанный выше терминал для биометрической идентификации и удаленный сервер.

Способ биометрической идентификации, в котором применяется описанная выше система в соответствии с настоящим изобретением, описан далее со ссылкой на фиг. 2.

Процесс биометрической идентификации в соответствии с настоящим изобретением представляет собой последовательные операции обработки изображений с нескольких камер в двух диапазонах (например, видимом диапазоне и ближнем ИК диапазоне). Алгоритм может меняться в зависимости от требований к надежности распознавания и скорости.

Процесс биометрической идентификации в соответствии с настоящим изобретением включает в себя описанные далее этапы:

- этап (S1) активации режима поиска человеческого лица;

- этап (S2) предварительной обработки изображений;

- этап (S3) обнаружения человеческого лица и определение его местонахождения;

- этап (S4) нормализации изображения;

- этап (S5) сопоставления изображения лица с шаблонами;

- этап (S6) приема и использования результатов биометрической идентификации.

На этапе S1 активируют режим поиска человеческого лица на изображениях, полученных из видеопотока от цветной (одной из стереопары) камеры. Блок (2) подсветки осуществляет непрерывную подсветку интересующей области, в которой возможно появление человеческого лица. Активацию упомянутого режима осуществляют, например, при обнаружении движения, сопровождающегося изменением общей освещенности в кадре. Использование изображений только от одной из цветных камер на данном этапе позволяет снизить вычислительную нагрузку при обработке.

В режиме ожидания, когда в захватываемом изображении отсутствуют люди/движение/изменения освещенности, для снижения нагрева подсветка может быть приглушена, поиск лица не производится, изображение интересующей области пространства с одной цветной камеры анализируется только на общий уровень освещенности, дисплей может быть погашен. При обнаружении изменения общей освещенности в кадре выполняется активация режима поиска человеческого лица, для чего происходит выход подсветки на рабочий режим, и запускаются процессы обработки изображений этапа S2.

На этапе S2 осуществляют предварительную обработку изображений со всех камер, которая включает в себя по меньшей мере одну из операций линейной коррекции, баланса белого, адаптивной экспозиции и удаления шума.

Несмотря на то, что лицо на изображении еще не обнаружено, захватываемый кадр предварительно обрабатывается, так чтобы его можно было передать в дальнейшую обработку после нахождения на нем лица. Баланс белого редко корректно отрабатывается камерами, так как искусственное освещение может быть сильно неравномерным по спектру. В свете ламп накаливания лица могут быть красными. Низкокачественное (с индексом CRI менее 80-90) светодиодное освещение может дать непредсказуемые оттенки. Для целей распознавания цвет не должен сильно отличаться от эталонного изображения. Линейная коррекция нужна для устранения искажений типа «подушка» или «бочка». Особенно это актуально для широкоугольных камер, которые в углах изменяют лицо до неузнаваемости. При захвате изображения против света, например на фоне окна или стеклянной двери, простые алгоритмы автоматической экспозиции, реализованные в самих камерах, только портят изображения. Получая много света в кадре, они снижают экспозицию и лицо получается темным. Корректный алгоритм должен учитывать яркость интересующего объекта, а не общую засветку, и подстраивать экспозицию именно под объект. В описываемом случае экспозиция должна быть увеличена для вытягивания темного (относительно фона) лица из теней. При этом действительно темные элементы кадра оказываются зашумленными. Этот шум должен быть сглажен.

Во всех практических случаях обработка имеет характер конвейера. Однажды включенный, конвейер (pipeline) захватывает поток с камер, обрабатывает и «сохраняет» обработанные данные в кольцевом буфере. Размер буфера обычно соответствует длительности видео в единицы секунд. Только после записи данных графическим процессором в буфер изображение становится доступным для анализа с помощью свободно программируемых математических алгоритмов. Вторым следствием конвейерной обработки является то, что изображения со всех камер, прошедшие предварительную обработку, сохраняют синхронность и доступны в любой момент времени достаточно долго (долго с точки зрения работы алгоритмов). Конечно, конвейер для трех потоков потребляет больше энергии, чем для одного, но синхронность и возможность ретроспективного обращения к видео кадрам, обеспечивается только для вышеописанного режима работы.

На этапе S3 обнаружение и отслеживание лиц в кадрах от одной из цветных камер стереопары осуществляется, например, с использованием известного алгоритма Single Shot Detector, который обеспечивает высокую скорость обработки и минимальное количество ложных срабатываний. Мощности терминала вполне достаточно для его реализации

Когда лицо в цветном кадре обнаружено, включается поиск в ИК кадре, который выбирается из буфера и соответствует моменту времени захвата соответствующего цветного изображения. Поиск производится по всей площади кадра. Поиск лица по всему полю ИК кадра, а не в ожидаемой области, является одним из элементов защиты, и довольно эффективным. Т.к. изображение в оттенках серого имеет существенно меньший объем, чем цветное изображение, то такая обработка не потребует значительных вычислительных ресурсов. После нахождения лица в ИК кадре его размеры и координаты сравниваются с ожидаемыми величинами, полученными из цветной камеры. Некоторое смещение изображения от дистанционно разнесенных камер, вызванное параллаксом, учитывается при настройке системы. После нахождения лица на ИК кадре и сравнения его размеров/координат принимается решение о наличии человека перед камерами и о необходимости дальнейшей проверки на спуфинг, либо о начале форматирования изображения для собственно распознавания. Если в ИК кадре нет лица, то кадр отбрасывается и трекинг (слежение за лицом – при этом найденное лицо на кадре помечено) на цветном изображении прекращается, система возвращается в исходное состояние – снова поиск человеческого лица на изображениях от одной цветной камеры из стереокамеры и т.д.

Этап S3, реализует первый этап защиты от несанкционированного доступа, например, посредством демонстрации терминалу экрана смартфона (планшетного компьютера, графического планшета и т.д.) с изображением лица человека. Экраны смартфонов не обеспечивают достаточной яркости и контрастности изображения в ИК диапазоне. Кроме того, на экране смартфона будет присутствовать яркий блик от ИК подсветки терминала. Смартфон сам также является источником ИК излучения в обрабатываемом диапазоне (800-1000 нм), вследствие наличия яркого ИК светодиода в датчике обнаружения приближения смартфона к голове пользователя.

В альтернативном варианте осуществления, когда в терминале вместо ИК камеры используется тепловая камера, этап S3 выполняется несколько отличным от описанного выше образом. На изображении, полученном от тепловой камеры, лицо выглядит как более яркое пятно на общем сером фоне, и лишь при достаточном приближении становятся выражены более темные пятна (размером несколько пикселей) на месте глаз, носа и рта. Поэтому стандартный для обычных камер алгоритм поиска может не давать правильные результаты. Тем не менее, соответствие между координатами точек кадра цветной и тепловой камеры также устанавливается заранее. После обнаружения лица в изображении от цветной камеры ожидается, что в соответствующей зоне теплового изображения присутствует объект соответствующей площади с температурой примерно около 36 градусов, соответствующий лицу человека. Таким образом, на этапе S3 в соответствии с альтернативным вариантом осуществления сначала осуществляют обнаружение и отслеживание лица в изображениях с цветной камеры. После обнаружения лица в цветных кадрах осуществляют поиск объекта, соответствующего лицу человека, в изображениях с тепловой камеры. Далее приводят координаты и размеры изображения с тепловой камеры в соответствие с координатами и размерами цветного изображения, сравнивают результаты обнаружения на упомянутых изображениях и делают вывод относительно присутствия лица человека на захватываемых изображениях.

Использование на данном этапе изображений от одной из цветных камер для обнаружения лица и последующая проверка наличия лица на изображениях от инфракрасной или тепловой камеры, которые обладают значительно меньшим объемом, позволяет снизить вычислительную нагрузку при обработке.

На этапе S4 осуществляют нормализацию изображений со всех трех камер терминала, т.е. приведение к стандартному виду, и пересылку их в сервер распознавания посредством доступных сетевых интерфейсов. На данном этапе происходит измерение или оценка освещенности лица пользователя. Этот параметр используется для статистической подстройки яркости белой подсветки и экспозиции для отслеживания медленных изменений условий освещения.

На этапе S5 в сервере распознавания анализируют полученные от терминала изображения и сопоставляют изображения лица с сохраненными шаблонами в базе данных. Для этого используется предварительно обученная нейронная сеть. Анализ изображений от терминала выполняют согласно требуемому уровню надежности и скорости обработки.

В цветном видео поиск лица ведется в двух кадрах со стереокамеры и область кадра с лицом, которое есть на обоих кадрах, является источником для построения карты глубин, например, известным (из геодезии) фотограмметрическим способом, когда замеряется координата общей характерной точки на плоскости снимка, и по ним вычисляется дальность до точки с помощью триангуляцинных формул. Карта глубин является предметом анализа живости объекта перед камерой.

Алгоритм распознавания на этапе S5 может иметь несколько описанных далее сценариев, которые должны быть выбраны заранее в соответствии с целями и ограничениями конкретной задачи применения терминала для биометрической идентификации, причем переключение между сценариями на ходу затруднительно и нецелесообразно:

Сценарий 1. Вариант максимальной скорости обработки. На распознавание отправляется кадр только с одной цветной камеры. Определение живости при этом не осуществляется. Распознавание происходит при участии нейронной сети сверточного типа. Результатом распознавания является идентификатор, присвоенный одному из шаблонных изображений, а также степень совпадения в виде числа, либо факт отсутствия совпадения с шаблоном, выраженный слишком низким уровнем совпадения.

Описанные далее дополнительные сценарии 2-5 перед распознаванием изображения (сопоставлением изображения с шаблоном в базе данных) включают в себя выполнение определения присутствия живого человека на изображении (определение живости).

Сценарий 2. Более сложный вариант обработки подразумевает дополнительную обработку цветного изображения с одной камеры для определения живости пользователя. Изображение без обрезки подается на сверточную нейронную сеть. Для определения живости анализу подвергается не только лицо, но и фоновые объекты. В большинстве существующих решений лицо для анализа обрезается «впритирку» для снижения времени обработки. Поэтому атакующий может спокойно держать фотографию руками, зная, что обрабатываться будет только обнаруженное «лицо», а не края фотографии и руки. Сеть результатом своей работы имеет вычисленную вероятность атаки на систему биометрической идентификации в виде числа в диапазоне 0-1. Выставление доверительных границ позволяет выделить 3 зоны: условно «зеленая» - высокая степень уверенности в живости лица; «желтая» - требуется дополнительная проверка, при наличии возможности; «красная» - высокая вероятность попытки несанкционированного доступа, лицо «отбрасывается», для экономии вычислительных ресурсов изображение не отправляется на обработку следующими этапами. В случае попадания в зеленую зону изображение отправляется на распознавание, аналогично сценарию 1, описанному выше. Дополнительная проверка при попадании в «желтую» зону означает, что результаты обработки текущего кадра могут быть учтены при выставлении границ при обработке следующего (снижение или повышение порога).

Сценарий 3. Более затратный по ресурсам вариант предполагает вычисление карты глубин на основе двух синхронных цветных изображений от стереокамеры для отсеивания атаки плоским цветным изображением. Алгоритмы вычисления карты глубин хорошо известны. Для каждой точки на одном изображении должна быть найдена соответствующая ей парная точка на втором изображении. Поиск происходит путем вычисления и поиска экстремума некоторой функции (например, корреляции окрестности точек). С помощью геометрических построений, то есть триангуляцией, вычисляется расстояние до точки. Карта глубин содержит расстояние от камер до каждой точки изображения. Карта глубин может быть построена не только триангуляцией парных точек изображения. Для этого может использоваться, в частности, и сверточная нейронная сеть типа DenseNet, обученная на картах различия пар изображений.

Анализ карты глубин происходит двумя возможными вариантами:

а) Присутствует некоторый шаблон «глубинного» изображения, представляющий рельеф некоторого усредненного лица, с которым производится сравнение вычисленной в конкретной момент карты глубин. В случае, если вычисленное среднеквадратичное отклонение между шаблоном и текущей картой глубин находится в рамках заранее выставленных диапазонов, то изображение считается изображением живого человека и передается на дальнейшую обработку.

б) Обученная нейронная сеть, принимающая на входе карту глубин, приведенную к определенным размерам, соответствующим входной размерности первого сверточного слоя. Результатом прямого прогона данной сети является классификация изображения, относящая его к «зеленой», «желтой» или «красной» зоне, согласно вышеописанной классификации.

Способ с нейронной сетью является более надежным (устойчивым) относительно положения человека в кадре и прочих оптических факторов, однако требует большее количество вычислительных ресурсов. Выбор между вариантами делает эксплуататор системы исходя из необходимого баланса между скоростью и защищенностью системы.

Таким образом, анализ карты глубин обеспечивает дополнительный этап защиты от несанкционированного доступа, например, посредством демонстрации терминалу плоского цветного изображения.

Сценарий 4. Еще более нагруженный алгоритм определения живости – обработка одновременно двух фотографий в нейронной сети. Подход похож на сценарий 3 с точки зрения использования двух фотографий от стереопары, за исключением того, что на данном этапе используется специально обученная сверточная нейронная сеть, принимающая на вход отснятые в один момент времени изображения с обеих оптических камер стереопары.

Упомянутая нейронная сеть делает вывод, насколько похож снимок со стереопары на снимок объёмного объекта. Возможная необходимость применения данного сценария может быть обусловлена следующими факторами:

Априори понятно, что фотография, даже вырезанная и согнутая, имеет меньшую рельефность по сравнению с лицом. В сценарии 3 для использования этой априорной информации производится промежуточное построение в виде карты глубин, которая содержит в несколько раз меньше информации, чем цветной стереоснимок. Пиксель в каждом цветном снимке содержит от 15 до 32 бит информации о цвете. Точка на карте глубин имеет разрядность 8-12 бит, то есть карта в 3-6 раз меньше. Основная проблема при построении карты глубин – большая неравномерность распределения найденных парных точек. На многих частях изображения они не находятся достоверно даже для статических изображений. Поэтому в некоторых случаях попиксельно сравнивать карты не получится, многие пиксели могут просто отсутствовать. Вторая проблема – это внесение шумов квантования и округления при вычислениях.

В сценарии 4 упомянутые априорные данные о способе атаки также используются, но в отличие от сценария 3 информация не отбрасывается и не искажается искусственными преобразованиями и вычислениями. Увеличение количества информации и уменьшение шума непосредственно влияет на уменьшение вероятности ошибок.

Сценарий 4 также обеспечивает дополнительный этап защиты от несанкционированного доступа, например, посредством демонстрации терминалу плоского цветного изображения.

Сценарий 5. Самым высокоточным и ресурсозатратным является алгоритм, который принимает в качестве входной информации синхронизированные по времени съемки изображения с обеих оптических камер стереопары и ИК камеры. Алгоритм также представляет из себя нейронную сеть, обученную на заданном наборе данных при различных положениях испытуемого, различных положениях, направленностях и интенсивностях источников освещения и с учетом различных возможных типов атак (в головном уборе и без, плоское фото в рамке, фото с цифровых дисплеев, фото, вырезанное на бумаге по контуру лица, вырезанное фото с проделанными отверстиями под глаза, фото с отверстиями под глаза и нос, искривленные вокруг лица бумажные фото и т.д.).

В предпочтительном варианте осуществления в сценариях 4 и 5 фоновые объекты на изображениях не анализируются для снижения объема вычислений.

Таким образом, на этапе S5 возможна реализация второго этапа защиты от несанкционированного доступа посредством демонстрации терминалу цветной фотографии пользователя.

Непосредственно сопоставление изображения лица с шаблонами на этапе S5 (описано в сценарии 1) может быть реализовано различными известными методами. Например, путем прямого прогона нормализованного фото (т.е. с выровненным, обрезанным изображением лица, скорректированной экспозицией и т.п.) через заранее обученную сверточную нейронную сеть, выдающую как результат числовой вектор, содержащий в общем случае от 128 до 4096 элементов. Возможно и меньшее и большее количество, это зависит от конкретной архитектуры сети и не является предметом данного описания. Частным случаем такой сети является широкоиспользуемый ResNet50. Далее, полученный вектор сравнивается по некоторой метрике с эталонными векторами присутствующих в базе пользователей. В случае если расстояние, вычисленное по метрике (линейное, косинусное и т.п.) между полученным вектором и вектором, содержащимся в базе, меньше заранее определенной пороговой величины, то считается, что человек перед биометрическим терминалом - это человек, соответствующий данному эталонному вектору.

На этапе S6 терминал принимает от сервера распознавания результат биометрической идентификации (полученный идентификатор или факт отсутствия соответствия в базе данных) и использует его в соответствии с требуемой задачей.

Дальнейшие действия терминала реализуют соответствующую логику приложения, в которую интегрирован описываемый процесс. Это может быть открытие доступа, подтверждение прав и т.п.

В альтернативном варианте осуществления одним из возможных действий является многофакторная идентификация/аутентификация, т.е. дополнительное подтверждение идентификации с использованием других принципов.

Дополнительным преимуществом данного устройства может являться одновременная запись видео и аудио канала в синхронизированном режиме. Запись начинается с момента обнаружения лица в кадре и происходит параллельно и независимо от процесса идентификации. Запись может производиться как во внутреннюю память терминала для использования программным обеспечением терминала, так и транслироваться на сервер распознавания по стандартным протоколам TCP/IP, например, с использованием SIP. Синхронная запись позволяет решать следующие задачи:

- второй фактор биометрической идентификации/аутентификации, когда после успешного факта идентификации по лицу возможно осуществить аутентификацию по голосовой биометрии с использованием любой из доступных на данный момент технологий. Это может быть как текстозависимая, так и текстонезависимая идентификация.

- проверка живости путем сопоставления движения губ на видео отрезке и звуковой дорожки при произнесении человеком некоторой парольной фразы. Такая проверка может быть статичной или динамичной в зависимости от контекста бизнес цели. Данное сравнение происходит следующим образом:

1. Заранее обученная нейронная сеть (трехмерная сверточная или RCNN) анализирует входящий поток кадров, выделяя произносимые слова и буквы.

2. Заранее обученный алгоритм speach2text (Kaldi, например) позволяет осуществить преобразование аудиодорожки в текстовый формат

3. Проводится сравнение текстовых строк полученных в ходе шагов 1 и 2. В случае высокого процента совпадения считается, что перед экраном живой человек.

Наличие бесконтактного устройства считывания также позволяет производить двухфакторную аутентификацию путем сопоставления записей из различных разделов базы данных. Т.е. человек может дополнительно подтвердить свою личность посредством поднесения к бесконтактному устройству считывания некоторой метки (NFC, RFID и т.д.) или карты (банковской карты, идентификационной карты и т.д.).

В соответствии с еще одним аспектом настоящее изобретение обеспечивает компьютерно-читаемый носитель данных, хранящий на себе компьютерную программу, которая при выполнении процессором предписывает упомянутому процессору осуществлять описанный выше способ биометрической идентификации.

Таким образом, настоящее изобретение обеспечивает высокую стойкость к несанкционированному доступу (спуфингу), потому что имеет несколько степеней защиты от атак (может обнаруживать экраны гаджетов, цветные фотографии, маски). Дополнительно настоящее изобретение обеспечивает высокое быстродействие, потому что терминал выполняет только поиск лица в кадре, проверку на спуфинг и отправку данных на сервер распознавания, который имеет большую вычислительную мощность. Повышение быстродействия и снижение требований к вычислительной мощности терминала достигается также за счет того, что первоначально обрабатывается только изображение с одной камеры. Кроме того, настоящее изобретение является безопасным с точки зрения хранения данных, т.к. не хранит образцы для сравнения в терминале. Также обеспечена возможность многофакторной (мультимодальной) биометрической идентификации (то есть 2D+3D распознавание лица плюс распознавание голоса), а также использование дополнительных небиометрических идентификаторов. Терминал в соответствии с настоящим изобретением имеет преимущества по размещению и по углу зрения камер вследствие использования поворотного кронштейна, что расширяет спектр применения и удобство установки/настройки/использования терминала.

Настоящее изобретение может использоваться при первичном сборе биометрической информации вследствие наличия всех необходимых функциональных компонентов.

Настоящее изобретение может использоваться в решениях для идентификации на основе биометрического признака, например, в системах электронной торговли, электронного банковского обслуживания, электронного документооборота с биометрической авторизацией пользователей, а также в системах контроля доступа. Второе применение - терминал voIP связи с дополнительной аутентификацией по лицу и голосу.

Процессор может включать в себя один или несколько процессоров. В то же время, один или несколько процессоров могут быть процессором общего назначения, например, центральным процессором (CPU), прикладным процессором (AP) или т.п., блоком обработки только графики, таким как графический процессор (GPU), визуальный процессор (VPU) и/или специализированный процессор AI, такой как нейронный процессор (NPU).

Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.

Алгоритм обучения - это метод обучения предварительно определенного целевого устройства (например, нейронной сети на базе GPU) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Энергонезависимой памятью может быть постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM) или флэш-память. Энергозависимая память может быть оперативной памятью (RAM). Также память в вариантах осуществления настоящего раскрытия может быть статической памятью с произвольным доступом (SRAM), динамической памятью с произвольным доступом (DRAM), синхронной динамической памятью с произвольным доступом (синхронная DRAM, SDRAM), синхронной динамической памятью с произвольной выборкой с двойной скоростью передачи данных (SDRAM с двойной скоростью передачи данных, DDR SDRAM), синхронной динамической памятью с произвольной выборкой с повышенной скоростью (улучшенная SDRAM, ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативной памятью с шиной прямого доступа (DR RAM) и тд. То есть память в вариантах осуществления настоящего раскрытия включает в себя, но не ограничивается этим, эти и любые другие подходящие типы памяти.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством процессора, микропрограммном обеспечении или в любой комбинации вышеозначенного. При реализации в программном обеспечении, выполняемом посредством процессора, функции могут сохраняться или передаваться как одна или более инструкций или код на компьютерно-читаемом носителе. Другие примеры и реализации находятся в пределах объема раскрытия настоящего изобретения. Например, вследствие характера программного обеспечения, функции, описанные выше, могут реализовываться с использованием программного обеспечения, выполняемого посредством процессора, аппаратного обеспечения, микропрограммного обеспечения, фиксированного блока или комбинаций любого из вышеозначенного. Признаки, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях.

Компьютерно-читаемые носители включают в себя как некратковременные компьютерные носители хранения данных, так и среду связи, включающую в себя любую передающую среду, которая упрощает перемещение компьютерной программы из одного места в другое. Некратковременный носитель хранения данных может представлять собой любой доступный носитель, к которому можно осуществлять доступ посредством компьютера общего назначения или специального назначения. В качестве примера, а не ограничения, некратковременные компьютерно-читаемые носители могут содержать оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, ROM на компакт-дисках (CD) или другое устройство хранения данных на оптических дисках, устройство хранения данных на магнитных дисках или другие магнитные устройства хранения, либо любой другой некратковременный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера общего назначения или специального назначения либо процессора общего назначения или специального назначения.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном варианте осуществления элементы/блоки предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются стандартными, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Электрическое соединение одного элемента/схемы/порта/вывода с другим элементом/схемой/портом/выводом подразумевает, что эти элементы/схемы/порты/выводы могут быть как непосредственно соединены друг с другом, так и опосредованно через иные элементы или схемы.

Конструктивное исполнение элементов предложенного устройства является известным для специалистов в данной области техники и не описывается отдельно в данном документе, если не указано иное. Элементы устройства могут быть выполнены из любого подходящего материала. Эти составные части могут быть изготовлены с использованием известных способов, включая, лишь в качестве примера, механическую обработку на станках, литье по выплавляемой модели, наращивание кристаллов. Операции сборки, соединения и иные операции в соответствии с приведенным описанием также соответствуют знаниям специалиста в данной области и, таким образом, более подробно поясняться здесь не будут.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Изобретение относится к области биометрической идентификации. Технический результат заключается в повышении уровня защиты от несанкционированного доступа, повышении быстродействия и надежности идентификации. Способ биометрической идентификации содержит этапы, на которых: активируют в терминале для биометрической идентификации режим поиска человеческого лица на цветных изображениях, полученных из видеопотока от одной камеры из стереокамеры; осуществляют предварительную обработку изображений со стереокамеры и инфракрасной или тепловой камеры терминала; обнаруживают и отслеживают лицо человека в изображении с одной камеры из стереокамеры и определяют его размеры и координаты; осуществляют поиск лица человека в изображении с инфракрасной или тепловой камеры, синхронизированном с изображением с цветной камеры, и определяют его размеры и координаты; сравнивают размеры и координаты лица человека, определенные для изображения с цветной камеры и изображения с инфракрасной или тепловой камеры, и делают вывод о наличии человека перед камерами; осуществляют нормализацию изображений со стереокамеры и инфракрасной или тепловой камеры и отправляют их на сервер, где сопоставляют изображения лица человека на изображениях, принятых от терминала, с шаблонами, сохраненными в базе данных, и делают вывод относительно наличия или отсутствия совпадения с шаблоном; отправляют результаты распознавания человека с сервера распознавания на терминал. 4 н. и 29 з.п. ф-лы, 2 ил.

1. Способ биометрической идентификации, содержащий этапы, на которых:

- активируют в терминале для биометрической идентификации режим поиска человеческого лица на цветных изображениях, полученных из видеопотока от одной камеры из стереокамеры;

- осуществляют предварительную обработку изображений со стереокамеры и инфракрасной или тепловой камеры упомянутого терминала, которая включает в себя по меньшей мере одну из операций линейной коррекции, баланса белого, адаптивной экспозиции и удаления шума;

- обнаруживают и отслеживают лицо человека в изображении с упомянутой одной камеры из стереокамеры и определяют его размеры и координаты;

- осуществляют поиск лица человека в изображении с инфракрасной или тепловой камеры, синхронизированном с упомянутым изображением с цветной камеры, и определяют его размеры и координаты;

- сравнивают размеры и координаты лица человека, определенные для изображения с цветной камеры и для изображения с инфракрасной или тепловой камеры, и делают вывод о наличии человека перед упомянутыми камерами на основании упомянутого сравнения;

- осуществляют нормализацию изображений со стереокамеры и инфракрасной или тепловой камеры и отправляют их на сервер распознавания;

- на сервере распознавания осуществляют распознавание лица человека, включающее в себя этапы, на которых сопоставляют изображения лица человека на упомянутых изображениях, принятых от терминала, с шаблонами, сохраненными в базе данных, и делают вывод относительно наличия или отсутствия совпадения с шаблоном;

- отправляют результаты распознавания человека с сервера распознавания на терминал.

2. Способ по п.1, в котором активируют в терминале для биометрической идентификации режим поиска человеческого лица на изображениях, полученных из видеопотока от одной цветной камеры из стереокамеры, в ответ на обнаружение движения в захватываемых изображениях от упомянутой одной цветной камеры из стереокамеры, сопровождающегося изменением общей освещенности в кадре.

3. Способ по п.2, в котором до активации режима обнаружения человеческого лица подсветка интересующей области, в которой возможно появление человеческого лица, осуществляемая блоком подсветки, приглушена, поиск лица не производится, изображения от одной камеры из стереокамеры анализируются только на общий уровень освещенности, а после активации режима поиска человеческого лица происходит выход подсветки на рабочий режим.

4. Способ по п.1, в котором на этапе предварительной обработки изображения со стереокамеры и инфракрасной или тепловой камеры записываются в кольцевой буфер и подвергаются упомянутой предварительной обработке, при этом сохраняется их синхронность.

5. Способ по п.1, в котором поиск лица человека в изображении с инфракрасной или тепловой камеры осуществляют по всему полю захватываемого изображения.

6. Способ по п.1, в котором если на этапе поиска лица человека в изображении с инфракрасной или тепловой камеры лицо человека не обнаружено, то данное изображение отбрасывается, отслеживание лица человека на изображении с цветной камеры прекращается и происходит возврат к этапу поиска человеческого лица на изображениях от одной цветной камеры из стереокамеры.

7. Способ по п.1, в котором перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа цветного изображения от одной камеры из стереокамеры, при этом анализу подвергается как лицо человека, так и фоновые объекты на изображении.

8. Способ по п.1, в котором перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа карты глубин, построенной на основе двух синхронных цветных изображений от стереокамеры.

9. Способ по п.8, в котором анализ карты глубин осуществляют посредством сравнения карты глубин, вычисленной в текущий момент на основе двух синхронных цветных изображений от стереокамеры, с шаблоном карты глубины, представляющим рельеф некоторого усредненного лица человека.

10. Способ по п.1, в котором перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры.

11. Способ по п.1, в котором перед распознаванием лица человека на сервере распознавания осуществляют проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры и изображения от инфракрасной камеры.

12. Способ по любому из пп.7, 8, 10, 11, в котором упомянутый анализ для определения присутствия живого человека на захватываемом изображении выполняют посредством нейронной сети.

13. Способ по п.1, дополнительно содержащий этапы, на которых осуществляют дополнительное подтверждение идентификации посредством записи аудиосигнала от микрофона/микрофонов терминала в синхронизированном режиме с захватом видеоизображений от камер и идентификации человека по голосу, выделенному из записанного аудиосигнала.

14. Способ по п.13, дополнительно содержащий этап, на котором осуществляют дополнительную проверку присутствия живого человека посредством сопоставления движения губ человека на видеоизображениях с фразой, произнесенной человеком и захваченной посредством записи аудиосигнала от микрофона/микрофонов терминала.

15. Способ по п.1, дополнительно содержащий этапы, на которых осуществляют дополнительное подтверждение идентификации посредством считывания метки или карты, подтверждающей личность человека, бесконтактным устройством считывания.

16. Компьютерно-читаемый носитель данных, хранящий на себе компьютерную программу, которая при выполнении процессором предписывает упомянутому процессору осуществлять способ биометрической идентификации по любому из пп.1-15.

17. Терминал для биометрической идентификации, включающий в себя блок камер, содержащий блок подсветки, стереокамеру, инфракрасную или тепловую камеру, а также процессорный блок, соединенный с блоком камер, причем процессорный блок выполнен с возможностью:

- активировать режим поиска человеческого лица на изображениях, полученных из видеопотока от одной цветной камеры из стереокамеры;

- осуществлять предварительную обработку изображений со стереокамеры и инфракрасной или тепловой камеры упомянутого терминала, которая включает в себя по меньшей мере одну из операций линейной коррекции, баланса белого, адаптивной экспозиции и удаления шума;

- обнаруживать и отслеживать лицо человека в изображении с упомянутой одной цветной камеры из стереокамеры и определять его размеры и координаты;

- осуществлять поиск лица человека в изображении с инфракрасной или тепловой камеры, синхронизированном с упомянутым изображением с цветной камеры, и определять его размеры и координаты;

- сравнивать размеры и координаты лица человека, определенные для изображения с цветной камеры и для изображения с инфракрасной или тепловой камеры, и делать вывод о наличии человека перед упомянутыми камерами на основании упомянутого сравнения;

- осуществлять нормализацию изображений со стереокамеры и инфракрасной или тепловой камеры и отправлять их на сервер распознавания;

- принимать результаты распознавания человека с сервера распознавания.

18. Терминал по п.17, в котором процессорный блок выполнен с возможностью активировать режим поиска человеческого лица на изображениях, полученных из видеопотока от одной цветной камеры из стереокамеры, в ответ на обнаружение движения в захватываемых изображениях от упомянутой одной цветной камеры из стереокамеры, сопровождающегося изменением общей освещенности в кадре.

19. Терминал по п.18, в котором до активации режима обнаружения человеческого лица подсветка интересующей области, в которой возможно появление человеческого лица, осуществляемая блоком подсветки, приглушена, поиск лица не производится, изображения от одной камеры из стереокамеры анализируются только на общий уровень освещенности, а после активации режима поиска человеческого лица происходит выход подсветки на рабочий режим.

20. Терминал по п.17, в котором процессорный блок выполнен с возможностью записывать изображения со стереокамеры и инфракрасной или тепловой камеры в кольцевой буфер и подвергать их упомянутой предварительной обработке, при этом сохраняя их синхронность.

21. Терминал по п.17, в котором процессорный блок выполнен с возможностью осуществлять поиск лица человека в изображении с инфракрасной или тепловой камеры по всему полю захватываемого изображения.

22. Терминал по п.17, в котором процессорный блок выполнен с возможностью, если на этапе поиска лица человека в изображении с инфракрасной или тепловой камеры лицо человека не обнаружено, отбрасывать данное изображение, прекращать отслеживание лица человека на изображении с цветной камеры и осуществлять возврат к этапу поиска человеческого лица на изображениях от одной цветной камеры из стереокамеры.

23. Терминал по п.17, в котором блок камер соединен с корпусом, содержащим процессорный блок, посредством поворотного кронштейна.

24. Система для биометрической идентификации, включающая в себя терминал по любому из пп.17-23 и сервер распознавания, выполненный с возможностью:

- принимать нормализованные изображения от терминала;

- осуществлять распознавание лица человека, включающее в себя сопоставление изображений лица человека на нормализованных изображениях, принятых от терминала, с шаблонами, сохраненными в базе данных, и принятие решения относительно наличия или отсутствия совпадения с шаблоном;

- отправлять результаты распознавания человека на терминал.

25. Система по п.24, в которой сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа цветного изображения от одной камеры из стереокамеры, при этом анализу подвергается как лицо человека, так и фоновые объекты на изображении.

26. Система по п.24, в которой сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа карты глубин, построенной на основе двух синхронных цветных изображений от стереокамеры.

27. Система по п.26, в которой сервер распознавания выполнен с возможностью анализа карты глубин посредством сравнения карты глубин, вычисленной в текущий момент на основе двух синхронных цветных изображений от стереокамеры, с шаблоном карты глубины, представляющим рельеф некоторого усредненного лица человека.

28. Система по п.24, в которой сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры.

29. Система по п.24, в которой сервер распознавания выполнен с возможностью перед распознаванием лица человека осуществлять проверку присутствия живого человека на захватываемом изображении посредством анализа синхронизированных цветных изображений от двух камер из стереокамеры и изображения от инфракрасной камеры.

30. Система по любому из пп.25, 26, 28, 29, в которой упомянутый анализ для определения присутствия живого человека на захватываемом изображении выполняется в сервере распознавания посредством нейронной сети.

31. Система по п.24, в которой терминал дополнительно содержит микрофон/микрофоны для захвата аудиосигнала, а система выполнена с возможностью осуществлять дополнительное подтверждение идентификации посредством записи аудиосигнала от микрофона/микрофонов терминала в синхронизированном режиме с захватом видеоизображений от камер и идентификации человека по голосу, выделенному из записанного аудиосигнала.

32. Система по п.31, причем система выполнена с возможностью осуществлять дополнительную проверку присутствия живого человека посредством сопоставления движения губ человека на видеоизображениях с фразой, произнесенной человеком и захваченной посредством записи аудиосигнала от микрофона/микрофонов терминала.

33. Система по п.24, в которой терминал дополнительно содержит бесконтактное устройство считывания, а система выполнена с возможностью осуществлять дополнительное подтверждение идентификации посредством считывания метки или карты, подтверждающей личность человека, бесконтактным устройством считывания.