СПОСОБ ВЫЯВЛЕНИЯ ПОДДЕЛКИ ДОКУМЕНТОВ Российский патент 2024 года по МПК G07D7/12 G06V30/10 

Изобретение относится к области проверки на подлинность государственных документов, в частности, к проверке на подлинность паспорта гражданина Российской Федерации.

Из уровня техники известно решение, предназначенное для проверки подлинности документов, раскрытое в патентном документе RU 2625253 С1, опубликованном 2017.07.12. Данное решение включает портативную приставку, подключенную к смартфону, в который загружены данные об антистоксовских метках различных типов документов. Указанные данные передаются в приставку. Приставка выполнена с возможностью сравнения данных, полученных от смартфона, с данными, которые получены при измерении отклика антистоксовских меток проверяемого документа. Частота излучения инфракрасного светодиода приставки установлена не кратной 10 Гц.

Недостатком прототипа является невысокая надежность определения подлинности документов вследствие использования антистоксовских меток.

Задачей изобретения является устранение недостатков прототипа.

Технический результат изобретения заключается в повышении точности определения подлинности документов.

Технический результат достигается за счет того, что способ выявления подделки паспорта гражданина Российской Федерации, характеризуется тем, что сканируют первую страницу паспорта в видимом и инфракрасном диапазонах, затем для каждого из диапазонов выполняют следующие действия:

a) осуществляют стабилизацию фона изображения, для чего входное изображение попиксельно делят на изображение фона, полученное путем применения ко входному изображению морфологической операции закрытия по квадратному примитиву,

b) осуществляют нейросетевую сегментацию текст/фон, для чего полученное нормализованное изображение подается на вход сверточной нейронной сети, на выходе которой получается нечеткая сегментация текст/фон, причем чем ближе значение к 1, тем выше вероятность, что пиксель принадлежит тексту,

c) осуществляют сегментацию изображения с помощью бинаризации по методу Оцу с ограничением на минимальную межклассовую дисперсию, при этом на полученном бинарном изображении осуществляется поиск компонент связности, и для компонент, превышающих по размеру заданный порог, считается занимаемая ими площадь, и если эта площадь выше заданного порога, то считается что текст присутствует, иначе - нет;

после чего делается вывод о подлинности паспорта, исходя из следующего: если текст присутствует в обеих половинах страницы, полученной в видимом диапазоне, и отсутствует на одной из половин на странице в инфракрасном диапазоне, то первая страница паспорта считается прошедшей проверку на подлинность, иначе - не прошедшей.

Краткое описание чертежей

На фиг. 1 представлен пример первой страницы подлинного паспорта гражданина РФ в видимом (слева) и инфракрасном (справа) диапазонах.

На фиг. 2 представлены примеры обучающих данных для нейронной сети для сегментации пикселей изображения на фон/текст. В левом столбце - искусственно сгенерированные изображения с текстом, в правом - бинарные маски-ответы для соответствующих изображений.

На фиг. 3 представлен пример анализа и контроля правильного облика первой страницы паспорта в инфракрасном диапазоне на примере проверки присутствия только половины надписи "ПАСПОРТ ГРАЖДАНИНА РОССИЙСКОЙ ФЕДЕРАЦИИ", где а) входное изображение страницы документа, синим цветом отмечены анализируемые зоны; б) входные изображения анализируемых зон; в) результат стабилизации фона; г) результат нейросетевой сегментации текст/фон; д) результат бинаризации Оцу и поиска компонент связности.

Для первой страницы подлинного паспорта гражданина Российской Федерации в инфракрасном диапазоне характерно наличие только части надписи "ПАСПОРТ ГРАЖДАНИНА РОССИЙСКОЙ ФЕДЕРАЦИИ", видимой полностью при обычном освещении (см. фиг. 1). При подделке документа это свойство может нарушаться.

При проверке первой страницы паспорта гражданина РФ необходимо анализировать регион, содержащий надпись "ПАСПОРТ ГРАЖДАНИНА РОССИЙСКОЙ ФЕДЕРАЦИИ", по половинам - в видимом и ИК-диапазонах. Модуль анализа региона на вход принимает изображение конкретной половины и подает на выход значение, характеризующее наличие в ней текста.

Комбинация ответов осуществляется следующим образом: если текст присутствует в обеих половинах на странице, полученной при обычном освещении, и отсутствует на одной из половин на странице, полученной при помощи ИК-подсветки, то первая страница паспорта считается прошедшей проверку на подлинность, иначе - не прошедшей.

Изображения первой страницы паспорта гражданина РФ могут быть получены с помощью малогабаритного полностраничного сканера документов при использовании видимого и ИК-режима подсветки соответственно. Примером подобного устройства может служить считыватель документов ПС4-02 ПШНК.468469.009.

Способ включает в себя следующие этапы обработки изображений, полученных в видимом и инфракрасном диапазонах. Указанные ниже этапы обработки изображений применяются как к изображению, полученному в видимом диапазоне, так и к изображению, полученному в инфракрасном диапазоне.

На первом этапе осуществляют нормализацию изображения.

Для этого осуществляют стабилизацию фона изображения, которая означает процесс устранения изменений в фоне изображения для достижения более стабильного и однородного внешнего вида фона.

Сначала входное изображение, которое содержит как объекты (текст), так и фон, делится попиксельно на изображение фона. Этот процесс выполняется путем применения морфологической операции закрытия на входное изображение с использованием квадратного примитива.

Морфологическая операция закрытия позволяет размыть контуры объектов и заполнить маленькие пробелы, которые могут быть присутствовать между объектами. Она выполняется путем свертки изображения с квадратным элементом, называемым структурным элементом. Структурный элемент имеет размер, равный размеру фильтра, в данном случае, квадратного примитива.

Процесс закрытия применяется к каждому пикселю входного изображения для выявления участков, которые могут представлять собой фон. Закрытие позволяет сгладить неровности и устранить мелкие дефекты фона.

После применения операции закрытия к входному изображению, получается изображение фона. Это изображение фона имеет более стабильный и однородный вид.

Таким образом, применение морфологической операции закрытия с использованием квадратного примитива позволяет выполнить стабилизацию фона изображения путем разделения его на отдельное изображение фона. Это улучшает качество и однородность фона в изображении (см. фиг. 3в).

На втором этапе осуществляют нейросетевую сегментацию текста и фона, которая подразумевает проведение процесса, в котором нейронная сеть обнаруживает и выделяет текст и фон на изображении.

После нормализации, изображение подается на вход сверточной нейронной сети. Сверточная нейронная сеть - это тип нейронной сети, способный эффективно работать с двухмерными данными, такими как изображения. Она состоит из сверточных слоев, выполняющих операцию свертки с изображением. Нейронная сеть обучается на размеченном наборе данных, чтобы научиться распознавать текст и фон. Архитектура нейросети представлена в таблице 1.

На выходе сверточной нейронной сети получается нечеткая сегментация текста и фона. Нечеткая сегментация означает, что каждому пикселю изображения присваивается значение вероятности принадлежности к тексту или фону. Чем ближе это значение к 1, тем выше вероятность того, что пиксель принадлежит тексту.

Таким образом, значения близкие к 1 позволяют определить границы текста на изображении. Это необходимо для дальнейшего анализа изображения (см. фиг. 3г).

На третьем этапе применяется алгоритм для определения наличия текста на изображении.

Вначале осуществляется сегментация изображения с помощью метода бинаризации по методу Оцу. Этот метод позволяет разделить изображение на две области: фон и передний план. В результате бинаризации получается бинарное изображение, где пиксели фона (не содержащие текст) помечены черным цветом, а пиксели переднего плана (содержащие текст) - белым цветом.

Затем, на полученном бинарном изображении, осуществляется поиск компонент связности. Компонентами связности называются группы соседних белых пикселей, которые составляют отдельные объекты на изображении.

После этого, для каждой компоненты связности, определяется ее размер, то есть площадь, занимаемая текстом. Если эта площадь превышает заданный порог, то считается, что на изображении присутствует текст . В противном случае - текста на изображении нет (см. фиг. 3д).

После обработки изображений видимого диапазона и инфракрасного диапазона делается вывод о подлинности паспорта, исходя из следующего: если текст присутствует в обеих половинах страницы, полученной в видимом диапазоне, и отсутствует на одной из половин на странице в инфракрасном диапазоне, то первая страница паспорта считается прошедшей проверку на подлинность, иначе - не прошедшей.

Изобретение может быть реализовано следующим образом.

Как уже было отмечено выше, изображения первой страницы паспорта могут быть получены с помощью считывателя документов ПС4-02 ПШНК.468469.009.

Затем изображения передаются на вычислительное устройство, в котором к изображениям применяются раскрытие выше алгоритмы обработки.

Алгоритм стабилизации фона изображения с использованием морфологической операции закрытия по квадратному примитиву может быть реализован с использованием библиотеки OpenCV. Данная операция осуществляется следующим образом:

Для осуществления нейросетевой сегментации текста и фона может быть использована сверточная нейронная сеть U-Net, которая широко применяется для сегментации изображений, включая сегментацию медицинских изображений и позиционирование объектов в изображении.

U-Net состоит из кодировщика (энкодера) и декодировщика (декодера). Энкодер получает входное изображение и последовательно снижает его размерность, используя сверточные слои с пуллингом, что помогает извлекать характеристики изображения в виде карт признаков. Последний слой энкодера называется "сжатым представлением" (latent representation), которое содержит информацию о сегментации текста и фона. Декодер восстанавливает исходное изображение, увеличивая его размерность и, соединяя признаки из энкодера с помощью слоев, называемых Skip Connections.

Чтобы добавить нечеткость в сегментацию, можно использовать конволюционные слои с мягким нелинейным активационным функциями, такими как сигмоида или ReLU, вместо бинарных активаций.

Для получения вероятности пикселя принадлежности к тексту, можно добавить слой с одним выходным каналом с активацией, например, сигмоидой. Значения выхода этого слоя будут находиться в диапазоне от 0 до 1, где 0 означает фон, а 1 - текст. Чем ближе значение к 1, тем выше вероятность, что пиксель принадлежит тексту.

Общая архитектура U-Net и добавление слоя с одним выходным каналом для получения нечеткой сегментации текста/фона позволят эффективно решать задачу нейросетевой сегментации.

Сегментация изображения с помощью бинаризации по методу Оцу с ограничением на минимальную межклассовую дисперсию также может быть реализована с использованием библиотеки OpenCV:

Значение порога min_size_threshold может принимать различные значения в зависимости от размера текста в изображении. Предпочтительно для текста высотой порядка 30 пикселей выбрать min_size_threshold, равным 100, чтобы исключить шум и небольшие объекты.

Значение порога area_threshold также может быть задано индивидуально. Предпочтительно выбрать area_threshold, равным 0.1, чтобы текст занимал не менее 10% от всей площади изображения.

Таким образом, за счет того, что способ выявления подделки паспорта гражданина Российской Федерации характеризуется тем, что сканируют первую страницу паспорта в видимом и инфракрасном диапазонах, затем для каждого из диапазонов выполняют следующие действия:

a) осуществляют стабилизацию фона изображения, для чего входное изображение попиксельно делят на изображение фона, полученное путем применения ко входному изображению морфологической операции закрытия по квадратному примитиву,

b) осуществляют нейросетевую сегментацию текст/фон, для чего полученное нормализованное изображение подается на вход сверточной нейронной сети, на выходе которой получается нечеткая сегментация текст/фон, причем чем ближе значение к 1, тем выше вероятность, что пиксель принадлежит тексту,

c) осуществляют сегментацию изображения с помощью бинаризации по методу Оцу с ограничением на минимальную межклассовую дисперсию, при этом на полученном бинарном изображении осуществляется поиск компонент связности, и для компонент, превышающих по размеру заданный порог, считается занимаемая ими площадь, и если эта площадь выше заданного порога, то считается что текст присутствует, иначе - нет;

после чего делается вывод о подлинности паспорта, исходя из следующего: если текст присутствует в обеих половинах страницы, полученной в видимом диапазоне, и отсутствует на одной из половин на странице в инфракрасном диапазоне, то первая страница паспорта считается прошедшей проверку на подлинность, иначе - не прошедшей, обеспечивается повышение точности определения подлинности паспорта гражданина Российской Федерации.

Предлагаемое изобретение относится к способам проверки документов на подлинность. Заявленный способ характеризуется тем, что сканируют первую страницу паспорта в видимом и инфракрасном (ИК) диапазонах, затем для каждого из диапазонов выполняют стабилизацию фона изображения, осуществляют сегментацию текст/фон посредством подачи нормализованного изображения на вход сверточной нейронной сети, проводят сегментацию изображения с помощью бинаризации по методу Оцу, при этом на полученном бинарном изображении осуществляется поиск компонент связности, для которых при превышении по размеру заданного порога определяется занимаемая этими компонентами площадь. Если вычисленная площадь выше заданного порога, то считается, что текст присутствует. Затем принимается решение о подлинности паспорта исходя из условия: если текст присутствует в обеих половинах изображения страницы, полученного в видимом диапазоне, и отсутствует на одной из половин на изображении страницы, полученном в ИК-диапазоне, то первая страница паспорта считается прошедшей проверку. Технический результат, достигаемый при осуществлении предлагаемого решения, заключается в повышении точности определения подлинности документов. 3 ил., 1 табл.

Способ выявления подделки документов, характеризующийся тем, что сканируют первую страницу паспорта в видимом и инфракрасном диапазонах, затем для каждого из диапазонов выполняют следующие действия: осуществляют стабилизацию фона изображения, для чего входное изображение попиксельно делят на изображение фона, полученное путем применения ко входному изображению морфологической операции закрытия по квадратному примитиву; осуществляют нейросетевую сегментацию текст/фон, для чего полученное нормализованное изображение подается на вход сверточной нейронной сети, на выходе которой получается нечеткая сегментация текст/фон, причем чем ближе значение к 1, тем выше вероятность, что пиксель принадлежит тексту; осуществляют сегментацию изображения с помощью бинаризации по методу Оцу с ограничением на минимальную межклассовую дисперсию, при этом на полученном бинарном изображении осуществляется поиск компонент связности, и для компонент, превышающих по размеру заданный порог, считается занимаемая ими площадь, и если эта площадь выше заданного порога, то считается что текст присутствует, иначе - нет; после чего делается вывод о подлинности паспорта исходя из следующего: если текст присутствует в обеих половинах страницы, полученной в видимом диапазоне, и отсутствует на одной из половин на странице в инфракрасном диапазоне, то первая страница паспорта считается прошедшей проверку на подлинность, иначе - не прошедшей.