СИСТЕМА ДЛЯ РАСПОЗНАВАНИЯ РИСУНКА ВЕН ЛАДОНИ Российский патент 2025 года по МПК G06V40/14 G06V10/774 

Область техники, к которой относится изобретение

Изобретение относится к области распознавания биометрических шаблонов, относящихся к человеку, в изображениях или видеоданных, в частности, к идентификации человека по изображению его ладони.

Уровень техники

Известна система биометрической идентификации субъекта (US20220300593A1, опубл. 2022-09-22), выполненная с возможностью обеспечения источника света и формирователя изображений, расположения ладони субъекта лицом к источнику света и формирователю изображения, освещения ладони источником света, захвата изображения ладони и определения характеристик капиллярных слоев на изображении. Известное изобретение может включать этап идентификации субъекта на основе характеристик капиллярных слоев. Определение характеристик капиллярных слоев на изображении может включать в себя определение местоположения капиллярных слоев. Известное изобретение может включать в себя этап обработки изображения для фильтрации особенностей изображения ладони, отличных от капиллярных слоев.

Также в известной системе обеспечена возможность съемки руки, которая может находиться не в центре кадра; возможность съемки руки на большем расстоянии (например, одна камера фокусируется ближе, а другая дальше); возможность определения расстояния и размера руки (посредством измерения параллакса), возможность определения ориентации/положении руки; возможность определения пальцев, ладони, запястья; возможность поворота и растягивания изображения по осям x и y; возможность использования аффинного преобразования для компенсации деформаций; возможность усиления глобального контраста, усиления локального контраста, повышения резкости, выравнивания гистограммы, пространственной фильтрации. Также раскрыто применение методологий машинного обучения, искусственного интеллекта или нейронных сетей.

Однако в данном решении не предлагается и не подразумевается повышения точности и скорости при идентификации пользователя с холодными руками.

В еще одной известной системе распознавания биологических признаков (CN115457602A, опубл. 2022-12-09) раскрывается следующая последовательность распознавания: размещение источника света и формирователя изображения; направление целевой ладони в сторону источника света и формирователя изображения; освещение целевой ладони источником света; захват изображения целевой ладони с помощью формирователя изображения; определение с помощью процессора характеристики капиллярного русла на изображении ладони. Известное решение может включать этап идентификации целевого объекта на основе характеристик капиллярного слоя. Этап определения характеристики капиллярного слоя на изображении может включать определение положения капиллярного слоя. Известное решение может включать в себя этап обработки изображения для фильтрации особенностей изображения ладони, отличных от капиллярного русла. Обработка изображения для фильтрации особенностей изображения ладони, отличных от капиллярного слоя, может включать в себя удаление особенностей выпуклостей поверхности и выполнение пространственной фильтрации для удаления деталей с частотами, меньшими выбранного порога.

Также из CN115457602A известен учет расстояния от ладони до формирователя изображения, угла расположения ладони относительно формирователя изображения, использование аффинного преобразования, для компенсации деформации и растяжения кожи. Хотя в CN115457602A заявляется учет температуры рук, в частности учет холодных рык при распознании ладони, однако никаких деталей относительно этого не приводится.

Известно выбранное в качестве прототипа решение, в котором описывается способ улучшения распознания вен ладони (CN115063843A, опубл. 2024-03-29), который включает в себя следующие этапы: s1, выполнение улучшения обучающих данных, причем улучшение данных включает в себя аффинное преобразование данных на основе гамма-преобразования, усиление данных на основе алгоритма затухания основной текстуры и схемы усиления данных с ограничениями; после усиления данных осуществляется разделение значения серого на четыре уровня серого; s2, построение сети выделения признаков изображения вен ладони на основе сравнительного обучения, а также обучение и оптимизация сети выделения признаков; и s3, ввод изображения в обученную сеть выделения признаков изображения вен ладони на основе контрастного обучения для выполнения выделения признаков.

Из CN115063843A также известно изменение масштаба и нормализация размера изображения вен ладони на основе высоты ладони над камерой; известно преобразование угла поворота ладони; известно преобразование данных на основе аффинного преобразования; известно использование технологий искусственного интеллекта для распознавания ладони. Также из этого источника известно преобразование для уменьшения влияния холодных рук на распознание ладони, однако в качестве средства преобразования используется шестнадцатинаправленный фильтр Габора для получения бинарного текстурного изображения, что не обеспечивает достаточно высокой точности при распознании холодных рук.

Раскрытие изобретения

В одном аспекте изобретения раскрыта система для распознавания рисунка вен ладони, содержащая:

устройство считывания изображения ладони на связи с удаленным устройством обработки, при этом устройство считывания изображения ладони содержит

средство освещения, выполненное с возможностью облучать ладонь ИК-излучением;

средство получения изображения ладони, выполненное с возможностью принимать ИК-изображение ладони;

средство определения параметров ладони, выполненное с возможностью определять геометрические и пространственные параметры ладони на основании принятого изображения ладони;

средство корректировки, выполненное с возможностью приводить геометрические и пространственные параметры изображения ладони к требуемым;

средство передачи данных изображения к удаленному устройству обработки по линии связи;

при этом удаленное устройство обработки содержит

средство распознавания ладони, выполненное с возможностью выявлять соответствие между данными о считанной ладони и заранее сохраненными данными о ладонях пользователей, которым разрешен доступ, причем данные представляют собой вектор признаков ладони;

средство идентификации и обеспечения доступа, выполненное с возможностью идентифицировать человека по данным о считанной ладони и обеспечивать ему доступ в соответствии с предоставленными правами доступа;

причем средство корректировки выполнено с возможностью приводить геометрические и пространственные параметры изображения ладони к требуемым посредством аффинного преобразования,

средство распознавания ладони выполнено с возможностью получать рисунок вен на основании получения кривизны вен на ладони,

средство распознавания ладони выполнено с возможностью извлекать вектор признаков ладони из изображения, при этом средство распознавания ладони выполнено с возможностью моделировать пониженные температуры ладони;

устройство считывания изображения ладони выполнено с возможностью оценивать качество считанного изображения и отправлять в удаленное устройство обработки только изображения, у которых оценка качества превышает заранее заданное пороговое значение.

В дополнительных аспектах раскрыто, что средство освещения содержит множество светодиодов часть, из которых излучает на длине волны 850 нм, а другая часть излучает на длине волны 940 нм; средство определения параметров ладони выполнено с возможностью определять расстояние от средства получения изображения ладони до ладони и с возможностью определения углов расположения ладони относительно средства получения изображения; средство распознавания ладони выполнено с возможностью моделировать пониженные температуры ладони посредством применения алгоритма случайного стирания изображений к изображениям вен ладони, применения деформирующей функции на основе двумерного шума Перлина к изображениям ладони; алгоритм обучения для распознавания ладони выполнен на основе нейронной сети, реализующей функцию отображения из множества изображений рисунка вен ладоней в множество биометрических шаблонов, таким образом чтобы минимизировать ошибки ложного допуска (FAR) и ложного не допуска (FRR) при поиске шаблонов в базе данных

Основной задачей, решаемой заявленным изобретением, является повышение эффективности идентификации человека по изображению его ладони.

Сущность изобретения заключается в том, что ладонь освещают светодиодами подходящей длины волны; получают изображение ладони; при необходимости поворачивают изображение, с целью придания ему правильной перспективы, когда ладонь на фотографии выглядит искривленной или неправильно выровненной из-за угла съемки или других факторов; при необходимости масштабируют изображение; выявляют рисунок вен, распознают ладонь вне зависимости от ее температуры; идентифицируют человека и осуществляют действия, которые определяются возможностями системы и правами идентифицированного человека.

Технический результат, достигаемый решением, заключается в повышении точности и скорости идентификации человека по изображению его ладони.

Краткое описание чертежей

Фиг.1 показывает средство получения изображения ладони.

Фиг.2 показывает последовательность действий на этапе подготовки.

Фиг.3 показывает сегментацию ладони.

Фиг.4 показывает углы расположения ладони над камерой.

Фиг.5 показывает преобразование изображения ладони на основе кривизны сосудов.

Фиг.6 показывает примеры изображений с различными параметрами контрастирования.

Фиг.7 показывает примеры изображений с различными искажениями шумом Перлина.

Осуществление изобретения

Заявленная система конструктивно представляет собой устройство считывания изображения ладони (обозначено числом 100 на фиг.1) на связи с удаленным устройством обработки (не показано на фиг.1).

Устройство 100 считывания содержит корпус любой подходящей формы с установленными в нем следующими элементами:

- средство 101 освещения, которое содержит набор инфракрасных (ИК) светодиодов 102 для облучения ладони ИК-излучением с требуемой длиной волны. Причем количество светодиодов 102, длина волны излучения могут быть выбраны любыми подходящими для получения качественного изображения ладони. Предпочтительно светодиоды 102 равномерно расположены вокруг средства 103 получения изображения ладони;

- средство 103 получения изображения ладони, которое содержит по меньшей мере одну камеру, выполненную с возможностью приема ИК-спектра, в котором излучают упомянутые светодиоды 102. Камера может содержать полосовой (ИК) фильтр 104 для улучшения качества получаемого изображения. Камера расположена в корпусе так, чтобы объектив был параллелен плоскости, в которой должна располагаться ладонь. В некоторых вариантах средство 103 может выполнять функциональность по обработке полученных изображений;

- средство определения параметров ладони (не показано на фиг.1), которое реализовано на основе вычислительного блока (процессор, микропроцессор, контроллер, микроконтроллер) на связи с блоком памяти, содержащем инструкции, которые при исполнении вычислительным блоком предписывают ему определять геометрические и пространственные параметры ладони на основании принятого изображения ладони, в частности расстояние от ладони до камеры, три угла поворота ладони относительно камеры (углы рысканья, тангажа и крена);

- средство корректировки изображения ладони (не показано на фиг.1), которое представляет собой вычислительный блок (процессор, микропроцессор, контроллер, микроконтроллер) на связи с блоком памяти, содержащем инструкции, которые при исполнении вычислительным блоком предписывают ему приводить изображение к требуемому виду (поворачивать изображение ладони, чтобы углы тангажа, крена и поворота составляли по существу ноль градусов, увеличивать изображение ладони, чтобы оно занимало требуемую область в кадре). Также средство корректировки может быть выполнено с возможностью детектирования пальцев, запястья, фона и самой ладони;

- средство передачи данных изображения к средству распознавания ладони по линии связи (не показано на фиг.1). Линия связи предпочтительно является проводной, однако возможны варианты с беспроводной линией связи. Соответственно средство передачи данных изображения может использовать витую пару, оптоволоконный кабель, модули связи Wi-Fi, Bluetooth и т.д.

Средство распознавания ладони находится в удаленном устройстве обработки, которое представляет собой вычислительный блок (процессор, микропроцессор, контроллер, микроконтроллер, специализированную интегральную схему) на связи с блоком памяти. Поскольку распознавание ладони является ресурсоемкой задачей, то предпочтителен вариант, в котором эта операция выполняется на мощном и соответственно достаточно большом по размерам устройстве (ПК, сервер и т.п.), тогда как описанная выше корректировка изображения может выполняться в относительно небольшом по размерам блоке считывания.

Средство распознавания ладони выполнено с возможностью вычислять биометрический шаблон из изображения венозного узора ладони и выявлять соответствие между принятым шаблоном и шаблонами ладоней, сохраненными в базе данных.

Биометрический шаблон представляет собой вектор признаков, получаемый из изображений ладони. Вектора признаков используются для обучения нейронной сети, которая распознает ладони. При этом алгоритм обучения нейронной сети выполнен с возможностью принимать на входе обучающую выборку изображений ладоней, преобразованную таким образом, чтобы моделировать разную температуру ладоней.

Распознавание ладони осуществляется на основе выбранной меры сходства биометрических шаблонов, представленных векторами признаков в многомерном пространстве, и в случае выявления сходства с заданной достоверностью, происходит идентификация человека, определение его уровней доступа (на основании заранее сохраненных в блоке памяти данных) и далее предоставляется доступ к локациям, устройствам, информации и т.д. Для определения сходства может применяться квадрат Евклидовой меры или косинусная мера расстояния между биометрическими шаблонами. Средство идентификации и обеспечения доступа может быть реализовано на той же аппаратной базе, что и средство распознавания ладони, на отдельной аппаратной базе или быть реализовано посредством комбинирования первых двух вариантов. Если под доступом понимается доступ в локации, то при идентификации человека, который имеет права доступа в локацию, средство идентификации и обеспечения доступа отправляет сигнал к замку двери, чтобы открыть ее и пропустить человека. После его прохода средство идентификации и обеспечения доступа закрывает дверь. Если под доступом понимается доступ к информации, то при идентификации человека, который имеет соответствующие права доступа, средство идентификации и обеспечения доступа разрешает получение информации из базы данных, носителей информации и т.п.

Устройство считывания изображения ладони выполнено с возможностью оценивать качество считанного изображения и отправлять в удаленное устройство обработки только изображения, у которых оценка качества превышает заранее заданное пороговое значение. Оценка качества определяется на основании оценки изображения на этапе получения изображения, определения параметров ладони, корректировки изображения ладони. На любом из этапов может быть определено, что изображение не соответствует заранее заданным критериям и не должно направляться на удаленное средство обработки, так как оно не сможет распознать ладонь (ладонь слишком сильно повернута по любой из осей, слишком сильно смещен ее центр, ладонь находится слишком далеко или близко, ладонь закрыта или загрязнена и т.д.). Это позволяет сэкономить время на отправку и обработку изображения. Вместо отправки изображения на удаленное средство обработки устройство считывания инструктирует пользователя повторно отсканировать ладонь.

Когда речь идет о программно-аппаратных решениях, они могут быть реализованы на локальной элементной базе или быть физически распределенными, что не относится к сущности заявленного решения. Все элементы системы и указанных выше устройств соединены друг с другом посредством функциональных линий связи. Все программируемые средства, описанные в заявке, содержат или находятся на функциональной связи с машиночитаемыми носителями информации, которые хранят инструкции, исполняемые программируемыми средствами.

Предложенное решение относится к решениям в области информационных технологий, оно характеризуется наличием программируемого (настраиваемого) многофункционального средства, способного выполнять множественные вычислительно-логические операции на основе заданной программы и информации (в данном решении это по меньшей мере средство определения параметров ладони, средство корректировки изображения ладони, средство распознавания ладони); наличием устройств ввода (в данном решении это по меньшей мере средство получения изображения ладони (по меньшей мере одна камера), средство передачи данных), вывода (в данном решении это по меньшей мере средство передачи данных, индикаторы, показывающие результат распознания ладони и т.п.), хранения информации (машиночитаемые носители), исполнительных механизмов (в данном решении это по меньшей мере приводы замков и дверей);

наличием вычислительно-логических операций, выполняемых над информацией программируемым (настраиваемым) многофункциональным средством (заявленные функции системы осуществляются посредством выполнения вычислительно-логических операций (программных кодов) процессорами);

наличием машиночитаемого носителя информации, содержащего программное обеспечение, которое обеспечивает выполнение программируемым (настраиваемым) многофункциональным средством определенных вычислительно-логических операций (в заявленном решении машиночитаемый носитель представляет собой жесткий диск, флеш-память, постоянную память, оперативную память, энергонезависимую память, энергозависимую память или их комбинацию, причем этот носитель хранит команды, которые при исполнении программируемым средством приводят к реализации описанных в заявке функций);

наличием машиночитаемого носителя информации, содержащего данные, форма представления которых (структура или формат) или содержание которых обеспечивает управление работой программируемого (настраиваемого) многофункционального средства, обрабатывающего информацию (в заявленном решении машиночитаемый носитель хранит по меньшей мере часть из следующего: данные о заранее записанных изображениях вен ладоней, данные о преобразованных изображениях, моделирующих уменьшение температуры вен ладоней, данные об обучении нейронных сетей, данные о биометрических шаблонах, данные о соответствии биометрических шаблонов и пользователей, данные о правах доступа и т.д.).

В заявленном решении могут применяться технологии искусственного интеллекта. В частности, может производиться обучение нейронных сетей для распознавания ладони человека: формируется массив изображений ладоней рук множества пользователей с отличающимися характеристиками (по меньшей мере частью из следующего: разной температурой, разными углами наклона, разным расположением центра, при разном освещении, разной степени раскрытии ладони и т.д.) нейронная сеть обучается определять, кому принадлежит ладонь, по этим изображениям, а затем эта сеть используется для распознания ладоней по изображениям, полученным с камеры. Описанные технологии искусственного интеллекта реализуются на базе вычислительного средства (процессор) и машиночитаемого носителя информации (память). Если отдельно не указано, то может использоваться любой подход к обучению нейронной сети и любая подходящая ее структура.

На фиг.1 показан процесс получения изображения ладони. Средство 101 освещения с помощью светодиодов 102 создает поток ИК-излучения, который попадает на объект перед камерой, отражается от него, отраженное излучение через фильтр 104 попадает в средство 103 получения изображения, где оцифровывается и далее обрабатывается в соответствующих блоках.

Захваченное изображение кисти обрабатывается с целью определения расстояния до кисти, в заявленном решении диапазон расстояний, в котором обеспечивается работоспособность, может составлять от 5 до 15 см. Далее из изображения с кистью вычитается фон.

Часть последующих этапов обработки показана на фиг.2. На первом этапе осуществляется детектирование 201 кисти, во время которого определяется число (от 0 до 100), которое характеризует корректность приложения ладони.

Предпочтительно при детектировании 201 используется регрессионная свёрточная нейронная сеть, на выходе которое получают скаляр - число от 0 до 100, характеризующее на сколько корректно приложена ладонь, относительно устройства 100. Под определением корректности в задаче детектирования понимается следующее:

• внутренняя сторона ладони целиком находится в кадре,

• ее размеры позволяют с достаточной точностью идентифицировать венозный рисунок,

• ладонь не закрыта посторонними предметами,

• ладонь раскрыта и в достаточной степени плоская,

• угловые характеристики плоскости ладони относительно плоскости устройства 100 находятся в допустимых пределах.

Далее осуществляется проверка 202 является ли кисть настоящей (например, не является ли она макетом или не предоставлена ли фотография). Предпочтительно этот этап реализуется на основе обученной сверточной нейронной сети - бинарного классификатора, который возвращает скаляр, 0 либо 1, в зависимости от принятого решения – предоставлена живая ладонь или нет.

После этого осуществляется сегментация 203 изображения кисти, в ходе которой выделяют пальцы, запястье и ладонь (фиг.3). Этот этап позволяет более точно сопоставлять изображения ладоней на последующих этапах за счет исключения незначимых частей изображения (на которых не определяется венозный рисунок). На фиг.3 разными цветами обозначены пальцы, ладонь, запястье и фон.

После сегментации осуществляют определение 204 позы (расположения ладони/кисти). На фиг.4 показано расположение кисти над камерой (устройством считывания изображения ладони) и оси, относительно, которых кисть может быть повернута, углы поворота по осям X, Y, Z называются далее углами крена, тангажа и рысканья. Для точного и быстрого распознавания ладони заранее сохраненные (эталонные) изображения и считываемые (сравниваемые) изображения должны быть получены с ладоней, расположенных под одинаковыми углами. Кроме углов также определяется центр ладони и ее масштаб. Масштаб ладони оценивается относительно эталонного объекта. Эталонным объектом является среднестатистическая ладонь, расположенная на высоте 6 см от сканера. Геометрической характеристикой эталонного объекта, относительно которого определяется масштаб ладоней является площадь. Площадь эталонного объекта рассчитывается заранее по ее бинарной маске, и используется в дальнейшем для оценки масштаба остальных ладоней.

В заявленном решении применяются алгоритмы для выравнивания 205 изображения ладони, чтобы углы крена, тангажа и рысканья составляли ноль градусов. Алгоритм для определения углов ладони (крен, тангаж и рысканье) по изображению может быть построен с использованием глубокого обучения, на основе регрессионной нейронной сети.

В завершении осуществляется выравнивание 205 изображения ладони. В зависимости от того, какие характеристики ладони будут получены на предыдущих этапах обработки изображения, процесс выравнивания может заключатся либо в аффинном преобразовании изображения ладони (если ладонь имеет не очень большие отклонения по углам вокруг осей X и Y), либо в преобразовании перспективы. Аффинное преобразование – это частный случай перспективного преобразования (гомографии). Для него нужно знать только сдвиг относительно центра ладони, масштаб и поворот вокруг оси Z - вокруг оптической оси камеры. Аффинное преобразование в отличие от преобразования перспективы не компенсирует искажения по углам вокруг осей X и Y, даже если такие деформации есть у ладони. В одном из вариантов осуществления средство распознавания ладони оценивает эти углы и, зная сдвиг центра ладони и ее масштаб, приводит ладонь из системы координат XYZ в новую систему X`Y`Z` такую, что новая плоскость ладони X`Y` будет параллельна плоскости камеры, будет располагаться в центре изображения и будет иметь соответствующий масштаб.

В одном из вариантов осуществления средство распознавания ладони оценивает углы вокруг осей X и Y, если отклонения по крену и тангажу составляют менее 15, предпочтительно менее 10 градусов, то оно применяет к таким ладоням аффинное преобразование, если отклонения по крену и тангажу составляют более 35 градусов обработка не осуществляется и средство распознавания ладони инициирует процесс повторного сканирования, во всех других случаях средство распознавания ладони применяет преобразование перспективы. Такой подход позволяет ускорить обработку изображений.

В одном из вариантов осуществления средство распознавания ладони всегда применяет преобразование перспективы (при допустимых углах наклона ладони). В этом случае достигается несколько более высокая точность, но уменьшается скорость работы, так как преобразование перспективы занимает больше времени по сравнению с аффинным преобразованием.

Нормирование изображения ладони (приведение к одному масштабу, расположение центра ладоней в одной точке и обеспечение всех углов в 0 градусов) позволяет устранить различия в смещении, масштабном коэффициенте и повороте ладоней между разными изображениями. Это может улучшить производительность моделей машинного обучения, так как позволяет им обучаться на данных с более устойчивыми и стандартизированными геометрическими характеристиками.

Если в ходе вышеописанных этапов обработки было выявлено, что ладонь расположена так, что идентификация человека невозможна, то выдается инструкция, что необходимо изменить: раскрыть ладонь, поднести ее ближе или отодвинуть, повернуть в определенной плоскости на определенный угол.

Полученное после всех описанных действий изображение ладони показано на фиг.5а. На этом изображении виден венозный рисунок, который служит признаком, однозначно идентифицирующим человека. Далее изображение на фиг.5а преобразуется на основании кривизны сосудов, в результате получается изображение на фиг.5b, на котором изображение венозного рисунка выглядит более контрастным по сравнению с фиг.5а. Далее это изображение нормируется и получается итоговый рисунок вен (фиг.5с). Далее подробно раскрыто, как получают рисунок вен согласно настоящему решению.

Рассмотрим математическую модель, на основе которой строится алгоритм извлечения сосудов ладони. Для функции y = f(x), заданной аналитически, можно определить кривизну как скорость поворота касательной при движении вдоль оси X. Ее можно вычислить в каждой точке вдоль этой кривой следующим образом:

(1)

где κ(x) – значение кривизны, f′ – первая производная в этой точке, f′′ – вторая производная.

В случае если кривая задается как функция двух переменных I(x,y), где I – это интенсивность в точке с координатами (x,y), то для ее оценки используются другие выражения. Поскольку методы на основе кривизны используют тот факт, что изображение вены в профиле похоже на колокол, ее вычисление строится на основе двумерной функции плотности Гаусса:

(2)

Размер ядра функции Гаусса (2) определяется величиной σ (стандартное отклонение) и должен выбирается исходя из размеров сосудов на изображении. Ядрами меньшего размера можно извлечь более детальные узоры вен, а ядра большего размера позволяют обнаруживать более крупные сосудистые структуры. Далее нужно определить фильтры первых (3), (4) и вторых производных Гауссовой функции по горизонтали (5), вертикали (6) и диагонали (7):

(3)

(4)

(5)

(6)

(7)

Поскольку изображение вены представляет собой 3D-поверхность, ориентация которой неизвестна, для определения ее направления функция кривизны должна быть рассчитана в каждой точке изображения в четырех направлениях (0, 90, 45, 135). Выражения для расчета горизонтальной (8), вертикальной (9) и двух диагональных составляющих кривизны (10), (11) определяются следующим образом:

(10)

(11)

Символом * показана операция свертки исходного изображения ладони l(x,y) с соответствующими ядрами. На следующем шаге определяется максимальное значение среди всех направлений и строится итоговое изображения кривизны сосудов:

(12)

Результат такого преобразования представлен на фиг 5b. На последнем этапе алгоритма выполняется нормализация полученного изображения (12). Нормализация необходима чтобы убрать пиксели с отрицательной кривизной и уменьшить влияние шумов в области положительных значений, которые могут содержаться в исходном изображении ладони (фиг. 5a) и усиливаются за счет операций дифференцирования. Нормализация выполняется с помощью двух пороговых значений T1 =0 (нижнего) и T2. (верхнего). Величина порога T2 и выбор стандартного отклонения σ в выражениях (2-7) определялись авторами эмпирически на основе характеристик качества нейронных сетей. Результат нормирования представлен на фиг. 5с.

Этот рисунок вен соответствует руке с обычной температурой. Однако если рука холодная, то рисунок вен меняется: мелкие вены становятся невидимы или практически невидимы, большие вены уменьшаются в диаметре. Из-за этого одна и та же рука, имеющая разные температуры, дает настолько разные изображения рисунка вен, что при сопоставлении они могут определиться как разные.

Чтобы изучить влияние температуры окружающей среды на формирование структуры венозного рисунка ладони авторы провели натурные испытания. Анализ изображений холодных и горячих рук позволил сделать следующие выводы:

1. Низкая температура окружающей среды повышает вязкость крови и вызывает сужение сосудов ладони таким образом, что они становятся меньше в диаметре.

2. Холодные руки формируют изображение с низкой контрастностью, т.к. Разница интенсивностей пикселей сосудов и ладони уменьшается (вены становятся более светлые).

3. При более высокой температуре окружающей среды кровь становится менее вязкой, вены ладони расширяются и увеличивается в диаметре, пиксели вен становятся темнее. Для таких условий сьемки характерно более контрастное изображение.

4. Горячие руки формируют более богатую структуру сосудистого узора, по сравнению с холодными и нормальными условиями сканирования.

Основной характеристикой изображения ладони, которая изменяется под действием температуры, является различимость областей сосудов от окружающего фона ладони, т.е. контрастность. Поэтому для достижения реалистичных преобразований изображений ладони, имитирующих влияние окружающей среды, может быть использован метод линейного контрастирования. Достоинства этого алгоритма – исключительная простота реализации и высокая производительность. При линейном контрастировании используется поэлементное преобразование следующего вида:

где f(x,y) – это исходное изображение, параметры α и β определяют целевые значения контрастности и яркости результирующего изображения g(x,y). При α < 1 контраст изображения уменьшается, при α > 1 диапазон яркостей исходного изображения увеличивается, параметр β изменяет среднюю яркость изображения. Ладони, которые мы сканировали в ходе эксперимента, были получены с одинаковой средней яркостью, а поскольку параметр α также влияет на яркость изображения, ее нужно скомпенсировать.

Чтобы результирующее изображение g(x,y), после контрастирования c некоторым значением α , имело такую же среднюю яркость как исходное изображение f(x,y), параметр β должен иметь следующее значение:

где µ - математическое ожидание (среднее значение) яркости ладони исходного изображения f(x,y). Примеры изображений с различными параметрами контрастирования продемонстрированы на фиг.6.

Таким образом, было смоделировано изменение рисунка вен при снижении температуры, эти измененные изображения использовались для обучения нейронной сети, что позволило повысить точность распознавания холодных ладоней.

Результат работы метода линейного контрастирования может быть признан удовлетворительным, поскольку предложенный способ довольно реалистично моделирует яркостные искажения ладони. Из недостатков данного метода следует отметить тот факт, что преобразования применяются ко всем пикселям изображения, соответственно, яркость и контраст меняется глобально. В то время как в натурных экспериментах авторы наблюдали, что температурные искажения характеризуются неравномерным распределением интенсивности по площади ладони.

Еще один недостаток указанного подхода – это то, что линейное контрастирование, незначительно влияет на толщину сосудов. Для учета недостатка глобальных яркостных преобразований и получения искажений, обеспечивающих плавность и естественность процедуры контрастирования вен ладони, был применен алгоритм случайного стирания изображений (англ. random erasing). В качестве деформирующей функции использовался двумерный шум Перлина. Двумерный шум Перлина задается двумя основными параметрами - масштабом и количеством октав.

Изображения, иллюстрирующие данный поход, приводятся на фиг.7. Дополнительные требования, которые можно улучшить на этапе обучения нейронной сети, состоят в следующем:

1. Рука должна располагаться как можно ближе к камере, чтобы ладонь занимала как можно больше пространства на изображении.

2. Ладонь должна располагаться параллельно плоскости сенсора.

В случае опытной эксплуатации бесконтактной биометрической системы данные условия не выполняются. Более того, добавляются другие искажения, вызванные несовершенством оптической системы, т.е. шум сенсора камеры или оптические аберрации. Чтобы в полной мере обеспечить указанные требования, в дополнение к уже имеющимся яркостным искажениям, добавляются геометрические, которые заключаются в следующем:

• аффинные преобразования

• перспективные преобразования

• «Подушкообразная» и «Бочкообразная» дисторсия

Для осуществления некоторых операций могут применяться технологии искусственного интеллекта, некоторые операции осуществляются посредством простых математических преобразований, если эти операции отдельно не раскрыты здесь, то предполагается, что они могут быть реализованы любым известным для специалиста в данной области техники способом.

Предложенный способ обработки на основании алгоритма случайного стирания изображений и деформирования двумерным шумом Перлина показал высокую точность моделирования холодных ладоней и позволил быстро и точно распознавать ладони, имеющие разные температуры.

Описание работы системы

Первоначально собирается база данных эталонных изображений ладоней и извлеченных из них биометрических шаблонов пользователей, по которым будет проводиться идентификация, для каждого пользователя задаются права доступа, эта информация записывается в базу данных. Настраивается взаимодействие элементов системы.

Пользователь подносит ладонь к устройству считывания, оно получает изображение ладони, предварительно обрабатывает его, если изображение удовлетворяет заданным требованиям, направляет на удаленное устройство обработки, которое извлекает биометрический шаблон и ищет соответствие между полученным шаблоном ладони и эталонными биометрическими шаблонами, если с заданной мерой сходства (квадрат Евклида или косинусное расстояние) и пороговым значением расстояния найдена соответствующая эталонная ладонь, то идентифицируется пользователь, которому принадлежит найденная ладонь, определяются его права доступа и эти права предоставляются посредством передачи сигналов на соответствующие устройства (привод или замок двери, компьютер, хранилище и т.д.).

Вариант 1 осуществления

В одном из вариантов осуществления средство освещения содержит множество светодиодов часть, из которых излучает на длине волны 850 нм, а другая часть излучает на длине волны 940 нм. Предпочтительно половина светодиодов излучает на одной длине волны, половина – на другой, но возможны варианты с разным количеством светодиодов или с их разной яркостью.

Использование светодиодов с разной длиной волны позволяет обогатить получаемые изображения и тем самым повысить точность идентификации.

Вариант 2 осуществления

В одном из вариантов осуществления средство определения параметров ладони выполнено с возможностью определять расстояние от средства получения изображения ладони до ладони и с возможностью определения углов расположения ладони относительно средства получения изображения на основании чего принимается решение о том, можно ли использовать полученное изображение для идентификации, если да, то необходимо ли преобразование, чтобы привести изображение к требуемому виду, и какое, что повышает точность идентификации.

Вариант 3 осуществления

Средство распознавания ладони выполнено с возможностью извлечения шаблонов ладони (векторов признаков ладони в многомерном пространстве), при сравнении двух шаблонов измеряется расстояние между ними, используя либо квадрат Евклидовой меры, либо косинусное расстояние. И на основе измеренного расстояния принимается решение о схожести шаблонов, то есть распознается ладонь (в базе данных находится ладонь соответствующая считываемой ладони).

В одном из вариантов осуществления средство распознавания ладони выполнено с возможностью моделировать разную температуру ладоней и использовать эти данные для обучения нейронной сети, реализующей функцию отображения из множества изображений рисунка вен ладоней в множество биометрических шаблонов, таким образом чтобы минимизировать ошибки ложного допуска (FAR) и ложного не допуска (FRR) при поиске шаблонов в базе данных.

Таким образом, первоначально получают эталонные изображения ладоней пользователей (изображения для ладоней с нормальной температурой), моделируют понижение температуры этих ладоней, получают эталонные изображения ладоней с пониженной температурой. Все вышеупомянутые изображения используют для обучения нейронной сети.

Благодаря такому подходу уменьшается количество ошибок при распознании ладоней с пониженной температурой.

Вариант 4 осуществления

В одном из вариантов осуществления средство освещения содержит множество светодиодов, первая группа из которых излучает на длине волны 850 нм, а вторая группа излучает на длине волны 940 нм, удаленное устройство обработки выполнено с возможностью управлять яркостью групп светодиодов так, чтобы повышать точность распознавания ладони.

При распознании ладони определяется соответствие векторов признаков распознаваемой ладони и сохраненных векторов признаков ладоней пользователей с правами доступа. Если достоверность распознания меньше первого порогового значения, принимается решение, что распознаваемая ладонь не принадлежит пользователю, имеющему права доступа, если достоверность распознания больше второго порогового значения, принимается решение, что распознаваемая ладонь принадлежит пользователю, имеющему права доступа, идентифицируется пользователь и ему предоставляются его права (доступ).

Свет с разной длиной волны позволяет лучше выделить разные признаки ладони, что может быть полезно для повышения точности распознания ладони.

Если при сравнении вектора признаков распознаваемой ладони и векторов признаков сохраненных изображений ладони было выявлено, что степень соответствия векторов недостаточна для достоверного распознания ладони (например, Евклидово расстояние больше первого порогового значения и меньше второго порогового значения), то удаленное устройство обработки снижает яркость одной группы светодиодов на предварительно заданное значение (10, 20, 30, 40 или 50%), производит сравнение вновь полученного вектора с сохраненными в базе данных, если достоверность распознания снова недостаточно высокая, устройство обработки снижает повторно изменяет яркость одной из групп светодиодов и снова распознает ладонь.

Если через заданное количество циклов (2, 3, 4 или 5) не получено достаточно достоверного результата (Евклидово расстояние больше первого порогового значения и меньше второго порогового значения) принимается решение о том, что распознаваемая ладонь принадлежит человеку без прав доступа.

Для ускорения процесса яркость светодиодов и получение новых изображений могут осуществляться заранее, пока устройство обработки выполняет обработку уже полученного изображения.

Такое решение позволяет повысить точность распознания ладони.

Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.

В заявке не указано конкретное программное и аппаратное обеспечение для реализации элементов на чертежах, но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.

Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации, раскрытые в различных частях описания могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.

Изобретение относится к области биометрии, в частности к идентификации человека по изображению его ладони. Технический результат заключается в повышении точности и скорости идентификации человека по изображению его ладони при пониженных температурах. Система для распознавания рисунка вен ладони содержит устройство считывания изображения ладони на связи с удаленным устройством обработки. При этом устройство считывания изображения ладони содержит: средство освещения, выполненное с возможностью облучать ладонь ИК-излучением; средство получения изображения ладони; средство определения параметров ладони; средство корректировки; средство передачи данных изображения к удаленному устройству обработки. Удаленное устройство обработки содержит средство распознавания ладони и средство идентификации и обеспечения доступа. При этом средство распознавания ладони выполнено с возможностью моделировать изображения ладони с измененным рисунком вен при пониженных температурах для обучения нейронной сети и распознавания рисунка вен ладони обученной нейронной сетью при пониженных температурах. 2 з.п. ф-лы, 7 ил.

1. Система для распознавания рисунка вен ладони, содержащая:

устройство считывания изображения ладони на связи с удаленным устройством обработки, при этом устройство считывания изображения ладони содержит

средство освещения, выполненное с возможностью облучать ладонь ИК-излучением;

средство получения изображения ладони, выполненное с возможностью принимать ИК-изображение ладони;

средство определения параметров ладони, выполненное с возможностью определять геометрические и пространственные параметры ладони на основании принятого изображения ладони;

средство корректировки, выполненное с возможностью приводить геометрические и пространственные параметры изображения ладони к требуемым;

средство передачи данных изображения к удаленному устройству обработки по линии связи;

при этом удаленное устройство обработки содержит

- средство распознавания ладони, выполненное с возможностью выявлять соответствие между данными о считанной ладони и заранее сохраненными данными о ладонях пользователей, которым разрешен доступ, причем данные представляют собой вектор признаков ладони;

- средство идентификации и обеспечения доступа, выполненное с возможностью идентифицировать человека по данным о считанной ладони и обеспечивать ему доступ в соответствии с предоставленными правами доступа;

причем средство корректировки выполнено с возможностью приводить геометрические и пространственные параметры изображения ладони к требуемым посредством аффинного преобразования,

средство распознавания ладони выполнено с возможностью получать рисунок вен на основании получения кривизны вен на ладони,

средство распознавания ладони выполнено с возможностью извлекать вектор признаков ладони из изображения рисунка вен, при этом средство распознавания ладони выполнено с возможностью моделировать пониженные температуры ладони посредством применения алгоритма случайного стирания изображений к изображениям вен ладони, применения деформирующей функции на основе двумерного шума Перлина к изображениям ладони; алгоритм обучения выполнен на основе нейронной сети, реализующей функцию отображения из множества изображений рисунка вен ладоней в множество биометрических шаблонов;

устройство считывания изображения ладони выполнено с возможностью оценивать качество считанного изображения и отправлять в удаленное устройство обработки только изображения, у которых оценка качества превышает заранее заданное пороговое значение.

2. Система по п.1, в которой средство освещения содержит множество светодиодов, первая группа из которых излучает на длине волны 850 нм, а вторая группа излучает на длине волны 940 нм, удаленное устройство обработки выполнено с возможностью управлять яркостью групп светодиодов.

3. Система по п.1, в которой средство определения параметров ладони выполнено с возможностью определять расстояние от средства получения изображения ладони до ладони и с возможностью определения углов расположения ладони относительно средства получения изображения.