Способ детектирования пальцев на изображениях документов, снятых в неконтролируемых условиях Российский патент 2024 года по МПК G06T7/10 

Заявленное техническое решение относится к области проверки подлинности изображений документов различных видов.

Из уровня техники известны различные способы детектирования пальцев на изображениях документов, снятых в неконтролируемых условиях. Например, в работе (см. Yasen K. N. et al. Hand detection and segmentation using smart path tracking fingers as features and expert system classifier // International Journal of Electrical and Computer Engineering. - 2019. - T. 9. - №. 6. - C. 5277) решается задача детектирования руки в каждом отдельном кадре данного видеопотока, предполагается, что рука на изображениях должна иметь форму заданного ими шаблона, а именно ладонь с пятью широко расставленными пальцами, направленными вверх. Происходит обработка отдельного кадра путем фильтрации пикселей цвета кожи в RGB пространстве, граничные значения для фильтрации заданы в параметрах алгоритма. Затем для каждого объекта в полученной маске объектов цвета кожи строятся две прямые, вдоль которых подсчитывается, сколько раз происходит изменение яркости пикселей; предполагается, что для руки, удовлетворяющей шаблону, количество изменения яркости будет больше некоторого заданного параметра, так как между пальцами должны быть достаточно широкие промежутки. Помимо того, что для работы описанного метода рука должна иметь форму определенного шаблона, что сильно ограничивает возможности работы алгоритма, авторы замечают, что могут возникать проблемы, если объектов цвета кожи достаточно много, они могут мешать детектированию руки.

В источнике информации (см. et al. Geometric-based nail segmentation for clinical measurements //Multimedia Tools and Applications. - 2022. - T. 81. - №. 12. - C. 16117-16132) предлагается метод сегментирования ногтя на пальце. Предлагаемый метод используется в качестве первого шага в клинических испытаниях для объективной количественной оценки частоты возникновения той или иной патологии.

В источнике информации (см. Xu Y., Pok G. Identification of hand region based on YCgCr color representation // International Journal of Applied Engineering Research. - 2017. - T. 12. - №. 6. - C. 1031-1034) авторы детектируют жесты руки на изображении со сложным фоном. Алгоритм состоит из следующих этапов: сначала применяется цветовая нормализация, затем осуществляется переход из RGB в цветовое пространство YCrCg; предполагается, в этом пространстве просто выделить регионы с цветом кожи. Из примеров статьи видно, что несмотря на то, что фон на изображениях действительно неоднородный, цвет фона на всех примерах не имеет красного или розового оттенка, поэтому при переходе в новое пространство YCrCg рука, имеющая ярко выраженный красный канал, естественно выделяется, что позволяет сегментировать ее.

В источнике информации (см. Dawod A. Y., Abdullah J., Alam М. J. Adaptive skin color model for hand segmentation // 2010 International Conference on Computer Applications and Industrial Electronics. - IEEE, 2010. - C. 486-489) для детектирования руки используется идея с переходом в пространство YCbCr. Помимо этого авторы предлагают дополнительно определить цвет кожи руки, имеющейся на изображении, путем взятия региона кожи руки, что подразумевает наличие информации о расположении руки на изображении.

В работах (см. Kawulok М. Fast propagation-based skin regions segmentation in color images // 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). - IEEE, 2013. - C. 1-7; Chakraborty В. K., Bhuyan M. K., Kumar S. A weighted skin probability map for skin color segmentation // 2016 International Conference on Wireless Communications, Signal Processing and Networking (WiSPNET). - IEEE, 2016. - C. 2133-2136; Brand J. D., Mason J. S. D. Skin probability map and its use in face detection // Proceedings 2001 International Conference on Image Processing (Cat. No. 01CH37205). - IEEE, 2001. - Т. 1. - C. 1034-1037; Zhao Y. G., Zheng F., Song Z. A Robust Hand Detection Method Based on Skin Probability Map //Proceedings of the 9th International Conference on Signal Processing Systems. - 2017. - C. 104-108) для нахождения регионов цвета кожи подсчитывается карта вероятностей того, что пиксели имеют цвет кожи, затем на основе этой карты сегментируются регионы кожи. Для построения такой карты используется база данных цветов кожи.

Однако, все описанные выше источники опираются на выделение областей, схожих по цвету с цветом кожи, что делает такие алгоритмы неустойчивыми при детекции пальцев, ногти которых покрыты цветом, сильно отличным от прозрачного или телесного.

Задачей заявленного изобретения является устранение недостатков известного уровня техники. Технический результат заключается в обеспечении способа детектирования пальцев на изображениях документов, снятых в неконтролируемых условиях, который позволяет обеспечить повышение надежности выделения пальцев в случаях, когда положение пальцев на документе используется для принятия системой распознавания решения о присутствии и видимости какого-либо поля документа в кадре (серия/номер паспорта, MRZ и т.д.), а символы, составляющие строки, имеют относительно малый размер, а также в случаях, когда ногти покрыты цветом, сильно отличным от прозрачного или телесного.

Поставленная задача решается, а заявленный технический результат достигается посредством заявленного способа детектирования пальцев на изображениях документов, снятых в неконтролируемых условиях.

Заявленный способ детектирования пальцев на изображениях документов, снятых в неконтролируемых условиях, заключается в том, что получают кадр видеопотока, содержащий изображение документа, полученный мобильным устройством в неконтролируемой среде и предназначенный для передачи системе распознавания документов, на котором четырехугольниками обозначены границы страниц документа, причем каждый четырехугольник задает положение одной страницы документа на входном изображении,

далее проводят этап нормализации изображения, на котором входное изображение и четырехугольники, задающие положение документа, подвергаются масштабированию, затем к полученному изображению применяется морфологическое замыкание и производится цветокоррекция полученного изображения,

далее проводят этап сегментации нормализованного изображения на отдельные области, который включает предварительную сегментацию методом выращивания областей, слияние областей, при этом после слияния областей получают бинарное изображение - маску принадлежности пикселей входного изображения областям, закрытым пальцами, и далее проводят фильтрацию полученных областей, причем в случае для контрастирующих с цветностью пальцев ногтей после нахождения областей, принадлежащим пальцам на документе, запускается проверка для поиска областей, принадлежащих ногтям.

На фигурах представлены:

Фиг. 1: Пример рассматриваемой съемки документа с руки на мобильное устройство Фиг. 2: Пример работы алгоритма: (а) входное изображение, красными четырехугольниками обозначены границы страниц документа; (б) результат нормализации входного изображения; (в) результат предварительной сегментации нормализованного изображения; (г) результат слияния найденных областей, (д) результат нахождения областей, принадлежащих пальцам на документе, (е) результат построения бинарной маски для регионов, прошедших этап фильтрации Фиг. 3: Пример работы алгоритма: (а) входное изображение, красными четырехугольниками обозначены границы страниц документа; (б) результат нормализации входного изображения; (в) результат предварительной сегментации нормализованного изображения; (г) результат слияния найденных областей, (д) результат нахождения областей, принадлежащих пальцам на документе, (д) результат нахождения областей, принадлежащих ногтям, (е) результат построения бинарной маски для регионов, прошедших этап фильтрации

Рассматривается содержащий изображение документа кадр видеопотока, полученный мобильным устройством в неконтролируемой среде и предназначенный для передачи системе распознавания документов. Рассматривается сценарий, когда во время съемки документ либо находится в руках, либо положен на поверхность и придерживается пальцами для устранения изгиба документа как на Фиг. 1. Требуется определить местоположение пальцев на документе, чтобы, используя информацию о местонахождении пальцев, система распознавания могла выдать отказ при обработке закрытого пальцами поля документа.

Заявленный способ включает следующую последовательность действий.

1. Нормализация изображения.

Сначала входное изображение I и четырехугольники, задающие положение документа, подвергаются масштабированию с параметром s, таким, чтобы максимальная сторона полученного изображения была равна s_max. Затем к полученному изображению I_s применяется морфологическое замыкание с окном w_c × w_c.

Производится следующая цветокоррекция полученного изображения I_c:

1. Осуществляется переход из координат цвета RGB в координаты цветности rgb:

2. К полученному изображению применяется цветовая нормализация в модели серого мира:

где r_med, g_mtd, b_med - медиана значений, принадлежащих области документа, в каналах r, g, b соответственно. Пример результата нормализации входного изображения представлен на Фиг. 2б.

2. Сегментация нормализованного изображения на отдельные области.

2.1 Предварительная сегментация методом выращивания областей

Пусть I_n - результат нормализации входного изображения I. Опишем следующую последовательность формирования изображения R, такого, что R(x, y)=r_i, где r_i∈1, 2, 3… - уникальная пометка для i-ой найденной области, которой принадлежит пиксель I_n(х, у):

1. Возьмем очередной пиксель I_n(x, y)=[r,g,b], принадлежащий области документа, такой что R(x, y)=0;

2. Сформируем вокруг I_n(х, у) область путем присоединения пикселей I_n(x', у')=[r',g'], удовлетворяющих следующим критериям:

(а) пиксель-кандидат I_n(х', у') является 8-связным соседом для I_n(х, у)

где - средняя цветность сформированной к данному моменту области

3. Из каждого добавленного в регион нового пикселя рекурсивно выполняем шаг (2) до тех пор, пока не останется пикселей, удовлетворяющих критериям (а) - (с)

4. Пометить пиксели полученной области уникальной пометкой ri∈1, 2, 3…

Пример результата сегментации представлен на Фиг. 2в, где каждой уникальной метке г_£ сопоставлен уникальный цвет в пространстве RGB для визуализации найденных областей с большим контрастом. Черным областям соответствуют пиксели изображения, которые не попали ни в одну найденную область. Из-за того, что границы для документа, приведенного в качестве примера на Фиг. 2а, были найдены с погрешностью, процесс сегментации запустился и для некоторых областей фона, попавших в указанную зону документа.

2.2 Слияние областей

Построим граф соседства областей с V вершинами и Е ребрами. На первом шаге |V| равняется количеству найденных на этапе 2.1 областей.

Будем считать, что регионы r_i и r_j смежные, если хотя бы один любой пиксель из r_i является 8-связным соседом для какого-либо пикселя из r_j. Каждая пара смежных регионов r_i и r_j образует ребро с весом w, который вычисляется следующим образом [9]:

где a, b - смежные регионы, n - количество пикселей в регионе, μ - средняя цветность региона (компоненты ), ||⋅|| - евклидова норма.

Будем последовательно извлекать минимальное по весу ребро и объединять образующие данное ребро регионы, пока w<w_eps или пока |V|>1. Пример результата слияния областей представлен на Фиг. 2г.

3 Фильтрация полученных областей

Для каждой найденной области подсчитываются следующие характеристики: количество пикселей в регионе N; прямоугольник (X, Y, W, H), окаймляющий регион и задаваемый координатами верхнего левого угла, а также размерами по горизонтали и вертикали; средняя цветность региона

При наличии пальцев на документе утверждается, что достаточно, чтобы соответствующие им регионы удовлетворяли следующему набору условий:

где N_in - количество пикселей в регионе N внутри документа; Для контрастирующих с цветностью пальцев ногтей запускается следующая проверка:

2.3. регион, удовлетворяющий условиям 2.1 и 2.2, смежен с "пальцем" и не удовлетворяет условиям 1.1-1.4.

Далее формируется бинарное изображение F, такое что:

F(x, y)=255, если R(x, y)=r_j, где r_j - индекс области, удовлетворяющей всем проверкам 1.1-1.4;

F(x, y)=128, если R(x, y)=r_j, где r_j - индекс области, удовлетворяющей всем проверкам 2.1-2.3;

F(x, y)=0 - иначе (см. пример, на Фиг. 2г).

Дополнительно F подвергается морфологическому размыканию для сглаживания контуров найденных регионов. Результаты фильтрации и построения маски представлены на Фиг. 2д и 2е соответственно для простого случая (без дизайна ногтей). На Фиг. 3 представлен пример детекции пальцев рук в условиях покрытия ногтей цветом, контрастирующим с цветом пальца.

Изобретение относится к области проверки подлинности изображений документов различных видов. Способ детектирования пальцев на изображениях документов, снятых в неконтролируемых условиях, заключается в том, что получают кадр видеопотока, содержащий изображение документа, полученный мобильным устройством в неконтролируемой среде и предназначенный для передачи системе распознавания документов, на котором четырехугольниками обозначены границы страниц документа, причем каждый четырехугольник задает положение одной страницы документа на входном изображении, далее проводят этап нормализации изображения, на котором входное изображение и четырехугольники, задающие положение документа, подвергаются масштабированию, затем к полученному изображению применяется морфологическое замыкание и производится цветокоррекция полученного изображения, и проводят этап сегментации нормализованного изображения на отдельные области, который включает предварительную сегментацию методом выращивания областей, слияние областей. После слияния областей получают бинарное изображение - маску принадлежности пикселей входного изображения областям, закрытым пальцами, и далее проводят фильтрацию полученных областей, причем в случае для контрастирующих с цветностью пальцев ногтей после нахождения областей, принадлежащих пальцам на документе, запускается проверка для поиска областей, принадлежащих ногтям. Технический результат заключается в повышении надежности выделения пальцев. 3 ил.

Способ детектирования пальцев на изображениях документов, снятых в неконтролируемых условиях, заключается в том, что получают кадр видеопотока, содержащий изображение документа, полученный мобильным устройством в неконтролируемой среде и предназначенный для передачи системе распознавания документов, на котором четырехугольниками обозначены границы страниц документа, причем каждый четырехугольник задает положение одной страницы документа на входном изображении, далее проводят этап нормализации изображения, на котором входное изображение и четырехугольники, задающие положение документа, подвергаются масштабированию, затем к полученному изображению применяется морфологическое замыкание и производится цветокоррекция полученного изображения, далее проводят этап сегментации нормализованного изображения на отдельные области, который включает предварительную сегментацию методом выращивания областей, слияние областей, при этом после слияния областей получают бинарное изображение - маску принадлежности пикселей входного изображения областям, закрытым пальцами, и далее проводят фильтрацию полученных областей, причем в случае для контрастирующих с цветностью пальцев ногтей после нахождения областей, принадлежащих пальцам на документе, запускается проверка для поиска областей, принадлежащих ногтям.