Способ контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки Российский патент 2023 года по МПК G06T7/90 

Заявленное изобретение относится к области проверки подлинности изображений документов различных видов, а именно к области проверок, является ли демонстрируемый документ образом оригинального цветного документа или его черно-белой копии, полученный мобильным устройством в неконтролируемой среде.

Основной особенностью получения изображений документов при помощи малоформатных цифровых камер является невозможность контролировать условия съемки. Так, источник освещения влияет на наблюдаемую цветность документа (к примеру, черно-белая копия приобретает желтоватый оттенок из-за ламп с теплым светом как на фиг. 1б), в кадр попадают пальцы, которыми удерживается документ (см. примеры на фиг. 1а и б), на копии могут быть пометки или печати, документ может быть локализован с погрешностью, что приведет к захвату фона. Поэтому для различения черно-белой копии документа и цветного оригинала недостаточно опираться на нулевую или малую насыщенность образа документа, которая характерна для ахроматических цветов черно-белой копии: белого, черного, серого.

Из уровня техники известны способы выявление единичных фотографий цветных физических и цифровых копий документа (например, см. Jiabin Yan и Changsheng Chen. «Cross-Domain Recaptured Document Detection with Texture and Reflectance Characteristics». B: 2021 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE. 2021, c. 1708-1715; Changsheng Chen и др. «А distortion model-based pre-screening method for document image tampering localization under recapturing attack». B: Signal Processing 200 (2022), c. 108666; Raghavendra Mudgalgundurao и др. «Pixel-wise supervision for presentation attack detection on identity document cards». B: IET Biometrics n/a (2022), с. 1-13. doi: 10.1049/bme2.12088), способы анализа визуальной изменчивости голографических элементов в видеопотоке, теряющуюся на физической копии (например, см. Andreas Hartl, Clemens Arm и Dieter Schmalstieg. «AR-based hologram detection on security documents using a mobile phone». B: International Symposium on Visual Computing. Springer. 2014, c. 335-346; Oumayma Kada и др. «Hologram Detection for Identity Document Authentication». B: International Conference on Pattern Recognition and Artificial Intelligence. Springer. 2022, c. 346-357). Однако из уровня техники не выявлено способов по теме различения фотографий черно-белых и цветных документов.

Задачей заявленного изобретения является устранение недостатков известного уровня техники. Технический результат заключается в обеспечении способа контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки, который позволяет обеспечить повышение точности проверки, является ли демонстрируемый документ образом оригинального цветного документа или его черно-белой копии, полученный мобильным устройством в неконтролируемой среде.

Поставленная задача решается, а заявленный технический результат достигается посредством заявленного способа контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки.

Заявленный способ контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки, содержащий

сравнение гистограмм цветности поступаемой на вход цветной фотографии документа (см. примеры на фиг. 1а и б) и шаблона документа (см. фиг. 1в), при этом образом документа является квадратное изображение, левая верхняя вершина которого находится в начале координат изображения, а стороны документа параллельны сторонам изображения, при этом шаблон задает множество элементов документа, неизменных для разных экземпляров документов данного типа (например, фон, статический текст, линии разграфки, гильош, их положение и цвет) и анизотропно масштабирован до размеров входного изображения документа, при этом способ содержит этап предварительной обработки входного изображения, включающий повышение контраста, фильтрацию "черных" пикселей, цветовую нормализацию, переход в координаты цветности, этап построения и предварительной обработки гистограмм цветности, включающий построение гистограммы цветности и задание регионов, обработку гистограмм цветности, этап сравнения гистограмм изображений входного документа и шаблона и принятия решения о цветности документа.

Осуществление изобретения.

Предварительная обработка входного изображения включает следующие действия.

1. Повышение контраста, на котором стабилизируют динамический диапазон значений пикселей входного изображения Для этого в каждом канале независимо отображают 1% пикселей с наименьшими значениями в 0, а 1% с наибольшими в 255. Дополнительно устанавливают ограничение сверху на расширение диапазона значений максимум в 3 раза со сдвигом значений таким образом, чтобы максимум гистограммы был в 255. Обозначают результат повышения контраста как

2. Фильтрация "черных" пикселей.

Путь - результат применения к морфологической операции дилатации с квадратным окном Заменим 15% пикселей изображения имеющих самую низкую яркость на соответствующие пиксели изображения . Обозначим результирующее изображение как

3. Цветовая нормализация

Применим к изображению цветовую нормализацию в модели "серого мира":

где - среднее значение в каждом из каналов изображения соответственно.

4. Переход в координаты цветности

Завершим обработку входного изображения, перейдя из координат цвета в координаты цветности следующим образом:

Ахроматическим цветам здесь соответствует значение

Пример предобработки для входных изображений оригинального документа и его черно-белой копии приведен на фиг. 2а-д и фиг. 3а-д соответственно. К изображению шаблона применялся только этап 4 (см. фиг. 4а, б).

Построение и предварительная обработка гистограмм цветности включает следующие этапы.

1. Построение гистограммы цветности и задание регионов

Построим гистограммы и для нормализованных изображений документа и шаблона соответственно, такие что значение соответствует количеству пикселей на изображении, имеющих значения На каждой построенной гистограмме зададим регионы описываемые координатами левого верхнего угла а также размерами по горизонтали и вертикали и соответственно. Будем задавать нейтральный цвет регионом:

где а регионы гистограммы, ограниченные серой точкой будем обозначать в соответствии с доминирующим цветовым тоном: - синим, зеленым, красным и желтым соответственно:

2. Обработка гистограмм цветности

Из-за различий в печати документов и условий съемки гистограмма цветности входного оригинального документа может незначительно отличаться от гистограммы цветности шаблона. Поэтому будет приводить подсчитанную гистограмму к гистограмме шаблона Для этого независимо спроецируем построенные гистограммы и на оси и путем интегрирования по горизонтали и вертикали соответственно. Полученный результат интегрирования обозначим как для - для где

Будем искать преобразование следующим образом: для каждого найдем отображение яркости такое что:

где

Здесь условие (5) ограничивает приведение точек черно-белой копии к гистограмме шаблона цветного документа путем анализа близости до нейтральной точки Получив независимо для всех приведем гистограмму следующим образом:

Завершим обработку гистограмм обнулением точек на гистограммах внутри

Пример построения и предобработки гистограмм для входных изображений оригинального документа и его черно-белой копии приведен на фиг. 2е-з и фиг. 3е-з соответственно. Для шаблона все этапы, кроме пропущенного этапа приведения гистограммы, приведены на фиг. 4в, г.

Сравнение гистограмм изображений входного документа и шаблона и принятие решения о цветности документа.

Формальная процедура принятия решения о цветности входного изображения состоит в следующем:

1. из гистограммы шаблона вычтем результат дилатации гистограммы рассматриваемого изображения документа полученную гистограмму разности ограничим снизу нулем;

2. вычислим суммы значений гистограммы в регионах

3. вычислим суммы значений гистограммы в регионах

4. проверим выполнение следующих условий в регионах

5. будем считать документ черно-белой копией, если условия (а)-(b) одновременно выполняются хотя бы для одного региона.

Пусть Рассмотрим результат вычитания гистограмм для рассмотренных документов с фиг. 2 и 3. Для рассмотренного шаблона документа (см. фиг. 1в) условию (а) удовлетворяют два региона

Для рассматриваемой в качестве примера цветного документа (см. фиг. 1а) условие (b) для не выполняется:

Для рассматриваемой черно-белой копии (см. фиг. 1б) условие (b) выполняется для тогда какиз-за попадания пальцев в кадр.

На фигурах представлены:

Фиг. 1: Примеры входных данных: цветные изображения (а) «оригинального» документа и (б) его черно-белой копии, (в) шаблон документа данного типа. Все документы взяты из открытого набора данных DLC-2021

Фиг. 2 а-д: Пример предобработки входного «оригинального» документа и построения гистограммы: (а) входное цветное изображение, (б) результат усиления контраста, (в) результат фильтрации "черных" пикселей, (г) результат цветовой нормализации в модели "серого мира", (д) результат перехода в координаты цветности, (е) гистограмма цветности нормализованного изображения, (ж) результат приведения гистограммы цветности к гистограмме шаблона, (з) гистограмма цветности с обнуленным регионом .

Фиг. 3 а-д: Пример предобработки входной черно-белой копии документа и построения гистограммы: (а) входное цветное изображение, (б) результат усиления контраста, (в) результат фильтрации "черных" пикселей, (г) результат цветовой нормализации в модели "серого мира", (д) результат перехода в координаты цветности, (е) гистограмма цветности нормализованного изображения, (ж) результат приведения гистограммы цветности к гистограмме шаблона, (з) гистограмма цветности с обнуленным регионом .

Фиг. 4 а,б: Пример предобработки шаблона документа и построения гистограммы: (а) входное цветное изображение, (б) результат перехода в координаты цветности,

(в) гистограмма цветности нормализованного изображения, (г) гистограмма цветности с обнуленным регионом .

Фиг. 5: Пример разности гистограмм шаблона и входного документа: (а) гистограмма цветности шаблона с исключенным серым регионом, (б) приведенная гистограмма цветности входного документа с исключенным серым регионом, (в) результат разности (а) и (б),

(г)-(е) несут тот же смысл для рассматриваемой черно-белой копии документа.

Изобретение относится к области проверки подлинности изображений документов различных видов, а именно к области проверок, является ли демонстрируемый документ образом оригинального цветного документа или его черно-белой копии, полученным мобильным устройством в неконтролируемой среде. Технический результат заключается в повышении точности проверки документа. Способ контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки, содержит сравнение гистограмм цветности поступаемой на вход цветной фотографии документа и шаблона документа, при этом образом документа является квадратное изображение, левая верхняя вершина которого находится в начале координат изображения, а стороны документа параллельны сторонам изображения, при этом шаблон задает множество элементов документа, неизменных для разных экземпляров документов данного типа и анизотропно масштабирован до размеров входного изображения документа, при этом способ содержит этап предварительной обработки входною изображения, включающий повышение контраста, фильтрацию "черных" пикселей, цветовую нормализацию, переход в координаты цветности, этап построения и предварительной обработки гистограмм цветности, включающий построение гистограммы цветности и задание регионов, обработку гистограмм цветности, этап сравнения гистограмм изображений входного документа и шаблона и принятия решения о цветности документа. 5 ил.

Способ контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки, содержащий сравнение гистограмм цветности поступаемой на вход цветной фотографии документа и шаблона документа, при этом образом документа является квадратное изображение, левая верхняя вершина которого находится в начале координат изображения, а стороны документа параллельны сторонам изображения, при этом шаблон задает множество элементов документа, неизменных для разных экземпляров документов данного типа и анизотропно масштабирован до размеров входного изображения документа, при этом способ содержит этап предварительной обработки входного изображения, включающий повышение контраста, фильтрацию "черных" пикселей, цветовую нормализацию, переход в координаты цветности, этап построения и предварительной обработки гистограмм цветности, включающий построение гистограммы цветности и задание регионов, обработку гистограмм цветности, этап сравнения гистограмм изображений входного документа и шаблона и принятия решения о цветности документа.