Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана Российский патент 2022 года по МПК G06V10/44 G07D7/12 

Настоящее изобретение относится к способу для защиты и аутентификации документов, в особенности к способу определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана.

Анализ известного уровня техники не выявил аналогов и прототипов. Все известные методы направлены на изображения трехмерных сцен внутри и вне помещений.

Методы, направленные на определение факта предъявления копии изображения, полученной с монитора, можно разделить на две группы. Первая группа направлена на поиск определенных деформаций, которые можно найти в повторно захваченном изображении (ПЗИ), но нет в единично захваченном изображении (ЕЗИ). Вторая группа не нацелена на поиск определенных артефактов, лишь предполагает что повторный захват изображения вносит некоторые отклонения от обычных изображений.

Работы из первой группы направлены на поиск деформаций, таких как размытие, алиасинг, цветовые различия и т.д. В [1] авторы используют размытость границ для идентификации ПЗИ. В [2] авторы определяют присутствие текстурированного узора, цветовые аномалии и потерю мелких деталей для классификации изображений на ЕЗИ и ПЗИ. В [3, 4] авторы оценивают размытие как результат двойного пересжатия JPEG, аргументируя это тем, что повторно захваченные JPEG-изображения подвергаются двойному сжатию, что приводит к блочности изображения и размытости. В [3] авторы также анализируют эффекты алиасинга, а в [4] дополнительно анализируются цветовые различия между ЕЗИ и ПЗИ. Изменения в цвете между ЕЗИ и ПЗИ анализируются и в [2, 5]. В [6] для поиска периодического узора из-за алиасинга авторы используют теорию и методы циклостационарных процессов.

Ко второй группе методов относится работа [7], которая не делает предположение о характере артефактов. Вектор признаков формируется на вычислении попиксельных коэффициентов корреляции разбитого на блоки изображения. Мотивированные эффективностью предложенного в [7] подхода авторы работы [8] предлагают подход, основанный на улучшенных остаточных коэффициентах корреляции. В частности, это аргументируется тем, что из-за того, что артефакты размытости и наложения спектров, вызванные повторным захватом, нечеткие в размытых и плоских областях, для расчета используются только блоки, содержащие границы.

В отличие от алгоритмов, приведенных выше, предлагаемый в заявке способ учитывает как специфику получаемых с малоформатных цифровых камер кадров видеопотока, так и особенности анализируемого объекта (изображение именно ДОКУМЕНТА). Во-первых, неточность фокусировки камеры или смещение камеры относительно документа во время экспозиции приводит к размытию или смазыванию изображения, из-за чего поведение методов, ориентирующихся на размытие изображенных объектов, будет приводить к ложным срабатываниям. Во-вторых, сложный неоднородный фон самого документа делает глобальные подходы типа анализа текстур или цветовых различий крайне ненадежным. Цветовой аномалией может посчитаться голографическая защита документа, а автоматическое изменение баланса белого и сильная вариативность возможных источников освещения приведут к тому, что образ одного и того же документа будет выглядеть совершенно по-разному на разных кадрах. Одновременно с этим глобальный анализ текстурированных узоров даст ложные срабатывания на изображении документа с периодическим узором. Голографические элементы делают нестабильными и алгоритмы, анализирующие различие статистик в пространственной области ПЗИ и ЕЗИ. Также предлагаемый в заявке метод не зависит от формата входных данных.

Таким образом, задачей заявленного изобретения является предоставление способа определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана, направленного на достижение технического результата, заключающегося в обеспечении:

а) учета специфики получаемых с малоформатных цифровых камер кадров видеопотока, так и особенностей анализируемого объекта;

б) повышение точности и надежности;

в) независимости от формата входных данных и т.д.

Раскрытие сущности заявленного изобретения.

Рассматривается способ, направленный на определение факта съемки предъявляемого документа с экрана монитора. Предполагается, что при повторной съемке на изображении документа будут специфические искажения, не характерные для изображения, захваченного единожды.

Система принимает на вход изображение документа, границы и внутренняя структура которого считаются известными, причем границы локализованного документа необязательно совпадают с границами входного изображения. Далее система независимо анализирует заданные участки изображения документа на предмет определенных аномалий, возникновение которых возможно при съемке с экрана. Для принятия решения, что на входном изображении цифровая копия вместо физического документа, достаточно выявления хотя бы одного из заданных типов аномалий.

Анализируемые системой аномалии делятся по типу анализируемых участков: анализ всего изображения документа внутри локализованных границ (А1), изображения границ документа (А2) или зоны документа (A3), выбранной в соответствии с известной структурой документа.

Далее рассматриваются алгоритмы, разработанные для каждого типа зон.

Начинка системы А1. Детектор полос

Анализируется вся область изображения документа внутри найденных границ.

Для выделения полос и подавления фона рассматриваемая область подвергается следующей последовательности морфологических операций:

I₁ = I - I₀, I₂ = I_c - I, I_res = max(I₁, I₂).

Здесь I₀ - результат применения морфологической операции "размыкание" к изображению I, I_c - морфологической операции "замыкание" к изображению I, I_res - выходное изображение с подавленным фоном.

Рассматриваются параллельно два результата предложенной фильтрации: результат с окном фильтра шириной 3 пикселя и высотой 1 и результат с окном шириной 1 и высотой 3. Далее для всех возможных прямых в диапазонах [-45°, 45°] и [45°, 135°] вычисляются два Хаф-образа H_h и H_ν изображений и соответственно с помощью быстрого преобразования Хафа.

Далее в каждой строке t каждого полученного Хаф-образа считается сумма квадратов значений пикселей: ζ(t) = ∑_s [H(s, t)]². Если значение ζ(t) для рассматриваемого Хаф-образа Я превышает некоторое фиксированное значение, то значит, что на изображении найдены параллельные полосы, т.е. на изображении присутствует аномалия.

На фиг.А1.1: а) пример документа с искомым видом аномалии, б) результат выделения полос с помощью предложенных морфологических операций, в) визуализация результата работы детектора: зеленым обозначены направления первых пяти полос.

А2. Текстурный детектор

На входном изображении детектор выделяет вокруг каждой границы документа некоторую область прямоугольной формы и анализирует полученные области на предмет существования внутри них периодического рисунка с четкой ориентацией, которая по обе стороны от конкретной границы документа одинакова. Для поиска такого рисунка и его ориентации используется быстрое преобразование Хафа (БПХ). Аномалия считается найденной, если найдена хотя бы для одной границы документа.

1 Выделение области вокруг границы на входном изображении и коррекция скоса границы

Для заданной -ой границы документа с координатами начала и конца вычисляется выпуклый четырехугольник Q с вершинами в координатах входного изображения I. Здесь α - угол наклона границы на изображении относительно оси X, w - шаг отступа от границы в направлении нормали, задаваемый конфигурационно.

Далее полученный четырехугольник Q усекается до четырехугольника меньшего размера Q' вдоль оси, совпадающей с границей документа, если Q выходит за границы изображения. Если Q полностью лежит внутри области изображения I, то Q' будет равен Q.

Далее область изображения, описываемая сторонами Q', поворачивается на 90° градусов если ориентация границы документа на исходном изображении в диапазоне [45°, 135°] относительно оси X и нормализуется с помощью преобразования скоса таким образом, чтобы граница документа стала параллельна строкам изображения. Полученное нормализованное изображение усекается до прямоугольника с высотой 2w, где одной из осей симметрии является рассматриваемая граница документа (см. рисунок А2.1). Полученное геометрически нормализованное изображение -ой границы I_bound(j) подается на вход следующему этапу.

2 Яркостная нормализация изображения границы

Суть нормализации - выровнять изображение по яркости, сохранив перепады яркости вследствие текстуры.

Пусть I_bound(j) - изображение границы после геометрической нормализации скоса, I_m - это результат медианной фильтрации изображения I_bound(j), I_d = |I_bound(j) - I_m| - разница соответствующих пикселей изображений I_hound(j) и I_m, взятая с абсолютным знаком, I_dm - результат медианной фильтрации I_d. Тогда нормализованное изображение I_norm(j) рассчитывается как:

где Р₁, Р₂ - задаваемые конфигурационно значения яркости (см. рисунок А2.2).

3 Анализ текстуры с помощью БПХ

Нормализованное изображение I_norm(j) обрабатывается скользящим квадратным окном со стороной w и шагом w. Для каждого нового положения окна вычисляются два Хаф-образа H_h и H_ν для всех возможных прямых в диапазонах [-45°,45°]и [45°, 135°] соответственно с помощью БПХ. Далее в каждой строке t каждого полученного Хаф-образа считается сумма квадратов градиентов ζ(t) = Σ_s [H(s, t) - H(s - 1, t)]².

Доминирующим направлением текстуры считается то направление, которому соответствует строка с индексом Полученному направлению приписывается коэффициент уверенности если доминирующее направление вертикальное или -- если горизонтальное.

4 Поиск совпадающей структуры

Если для двух найденных направлений в окнах с верхними левыми вершинами (х, у) и (x, y+w) соответственно выполняются условия |t₀₁ - t₀₂| ≤ t_ε и |conf₁ - conf₂| ≤ conƒ_ε u min(ζ_h(t₀₁), ζ_h(t_o2)) ≥ ζ_ε то совпадающая структура для рассматриваемого х-положения считается найденной. Здесь t_oi- найденный в i-м окне t₀, conƒ_I - коэффициент уверенности для t_oi.

Если таких совпадающих структур для разных x больше задаваемого конфигурационно значения, то считается, что аномалия для границы найдена, а значит, найдена и для всего изображения.

На фиг. А2.1: а) входное изображение, на котором красными прямыми отмечены найденные границы документа, а желтым - Q' зоны шириной 2w, где w - шаг отступа от границы в направлении нормали; б) нижняя граница после нормализации скоса.

На фиг. А2.2: изображение границы, исходное и с нормализованной яркостью, для а) цифровой копии документа и б) физического документа.

На фиг. А2.3: визуализация нахождения совпадающей структурой. Здесь циановым цветом отмечены области изображения шириной w и высотой 2w, для которых найдена совпадающая текстура по обе стороны от границы (аномалия), остальными цветами визуализированы найденные направления текстур и уверенность в ответе: здесь зеленому соответствует показатель уверенности, близкий к 1, красным и оранжевым - близкий к 0.

A3. Детектор ложных цветов

Детектор основывается на предположении, что цвет окраски документа внутри рассматриваемой зоны документа должен быть преимущественно однородным.

Первым этапом проверяется распределение цветового тона внутри рассматриваемой области изображения: строится гистограмма цветового тона и проверяется, в каком интервале лежит заданная доля значений гистограммы. Насыщенность S и цветовой тон Η вычисляются по следующим формулам:

S = max(R, G, В) - min(R, G, В),

Для всех определенных значений Η вычисляется гистограмма цветового тона, если соответствующие им значения S лежат в некотором задаваемом конфигурационно диапазоне [s_min, s_max], и проверяется, какова величина отрезка, в которой лежит задаваемая доля значений гистограммы. Если отрезок мал относительно задаваемого, то считается, что область окрашена преимущественно однородно и рассматриваемых аномалий здесь нет.

В случае, если отрезок велик, построенная карта насыщенности бинаризуется с помощью метода Ниблэка. Далее на полученном бинарном изображении ищутся компоненты связности и фильтруются по площади (это делается для случая возможного нарушения однородности окраски голограммами известного размера), а для оставшихся компонент связности считается, какую долю от общей площади изображения они занимают. Если такая доля превышает некоторое критическое значение, то считается, что аномалия найдена, иначе - не найдена.

На фиг. А3.1: Пример рассматриваемой зоны документа (слева) и результат бинаризации ее карты насыщенности (справа).

Источники информации.

1. Thongkamwitoon Т., Muammar Η., Dragotti P. L. An image recapture detection algorithm based on learning dictionaries of edge profiles //IEEE Transactions on Information Forensics and Security. - 2015. - T. 10. - №5. - C. 953-968.

2. Cao H., Kot A. C. Identification of recaptured photographs on LCD screens //2010 IEEE International Conference on Acoustics, Speech and Signal Processing. - IEEE, 2010. - C. 1790-1793.

3. Li R., Ni R., Zhao Y. An effective detection method based on physical traits of recaptured images on LCD screens //International Workshop on Digital Watermarking. - Springer, Cham, 2015. - C. 107-116.

4. Ni R., Zhao Y., Zhai X. Recaptured images forensics based on color moments and DCT coefficients features //J. Inf. Hiding Multimedia Signal Process. - 2015. - Т. 6. - №2. - C. 323-333.

5. Gao X. et al. Single-view recaptured image detection based on physics-based features //2010 IEEE International Conference on Multimedia and Expo. - IEEE, 2010. - C. 1469-1474.

6. Mahdian В., Saic S. Identification of aliasing-based patterns in re-captured LCD screens //2015 IEEE International Conference on Image Processing (ICIP). - IEEE, 2015. - C. 616-620.

7. Wang K. A simple and effective image-statistics-based approach to detecting recaptured images from LCD screens //Digital Investigation. - 2017. - T. 23. - C. 75-87.

8. Zhu N., Li Z. Recaptured image detection through enhanced residual-based correlation coefficients //International Conference on Cloud Computing and Security. - Springer, Cham, 2018. - C. 624-634.

Изобретение относится к области вычислительной техники для защиты и аутентификации документов. Технический результат заключается в повышении точности и надежности определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана. Технический результат достигается за счет приема на вход изображения документа, границы и внутренняя структура которого считаются известными, причем границы локализованного документа необязательно совпадают с границами входного изображения, независимого анализа заданных участков изображения документа на предмет определенных аномалий, возникновение которых возможно при съемке с экрана; при этом для принятия решения, что на входном изображении цифровая копия вместо физического документа, достаточно выявления хотя бы одного из заданных типов аномалий, причем анализируемые аномалии делятся по типу анализируемых участков: анализ всего изображения документа внутри локализованных границ (А1), изображения границ документа (А2) или зоны документа (A3), выбранной в соответствии с известной структурой документа. 10 ил.

Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана, отличающийся тем, что принимают на вход изображение документа, границы и внутренняя структура которого считаются известными, причем границы локализованного документа необязательно совпадают с границами входного изображения, далее независимо анализируют заданные участки изображения документа на предмет определенных аномалий, возникновение которых возможно при съемке с экрана, для принятия решения, что на входном изображении цифровая копия вместо физического документа, достаточно выявления хотя бы одного из заданных типов аномалий,

причем анализируемые аномалии делятся по типу анализируемых участков: анализ всего изображения документа внутри локализованных границ (А1), изображения границ документа (А2) или зоны документа (A3), выбранной в соответствии с известной структурой документа,

при этом используют следующие алгоритмы для каждого типа зон:

А1 - анализируют всю область изображения документа внутри найденных границ, для выделения полос и подавления фона рассматриваемая область подвергается следующей последовательности морфологических операций:

I₁=I-I₀, I₂=I_c-I, I_res=max(I₁, I₂),

I₀ - результат применения морфологической операции "размыкание" к изображению I, I_c - морфологической операции "замыкание" к изображению I, I_res - выходное изображение с подавленным фоном,

рассматривают параллельно два результата предложенной фильтрации: результат с окном фильтра шириной 3 пикселя и высотой 1 и результат с окном шириной 1 и высотой 3, далее для всех возможных прямых в диапазонах [-45°, 45°]и [45°, 135°] вычисляются два Хаф-образа H_h и H_ν изображений и соответственно с помощью быстрого преобразования Хафа, далее в каждой строке t каждого полученного Хаф-образа считается сумма квадратов значений пикселей: ζ(t)=∑_s [H(s, t)]², если значение ζ(t) для рассматриваемого Хаф-образа Η превышает некоторое фиксированное значение, то значит, что на изображении найдены параллельные полосы, т.е. на изображении присутствует аномалия;

А2 - на входном изображении детектор выделяет вокруг каждой границы документа некоторую область прямоугольной формы и анализирует полученные области на предмет существования внутри них периодического рисунка с четкой ориентацией, которая по обе стороны от конкретной границы документа одинакова, для поиска такого рисунка и его ориентации используется быстрое преобразование Хафа (БПХ), аномалия считается найденной, если найдена хотя бы для одной границы документа;

A3 - первым этапом проверяется распределение цветового тона внутри рассматриваемой области изображения: строится гистограмма цветового тона и проверяется, в каком интервале лежит заданная доля значений гистограммы,

насыщенность S и цветовой тон Η вычисляются по следующим формулам:

S=max(R, G, В)-min(R, G, В),

для всех определенных значений Η вычисляется гистограмма цветового тона, если соответствующие им значения S лежат в некотором задаваемом конфигурационно диапазоне [s_min, s_max], и проверяется, какова величина отрезка, в которой лежит задаваемая доля значений гистограммы, если отрезок мал относительно задаваемого, то считается, что область окрашена преимущественно однородно и рассматриваемых аномалий здесь нет, в случае, если отрезок велик, построенная карта насыщенности бинаризуется с помощью метода Ниблэка, далее на полученном бинарном изображении ищутся компоненты связности и фильтруются по площади (это делается для случая возможного нарушения однородности окраски голограммами известного размера), а для оставшихся компонент связности считается, какую долю от общей площади изображения они занимают, если такая доля превышает некоторое критическое значение, то считается, что аномалия найдена, иначе - не найдена.