Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана Российский патент 2022 года по МПК G06V10/44 G07D7/12 

Описание патента на изобретение RU2774058C1

Настоящее изобретение относится к способу для защиты и аутентификации документов, в особенности к способу определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана.

Анализ известного уровня техники не выявил аналогов и прототипов. Все известные методы направлены на изображения трехмерных сцен внутри и вне помещений.

Методы, направленные на определение факта предъявления копии изображения, полученной с монитора, можно разделить на две группы. Первая группа направлена на поиск определенных деформаций, которые можно найти в повторно захваченном изображении (ПЗИ), но нет в единично захваченном изображении (ЕЗИ). Вторая группа не нацелена на поиск определенных артефактов, лишь предполагает что повторный захват изображения вносит некоторые отклонения от обычных изображений.

Работы из первой группы направлены на поиск деформаций, таких как размытие, алиасинг, цветовые различия и т.д. В [1] авторы используют размытость границ для идентификации ПЗИ. В [2] авторы определяют присутствие текстурированного узора, цветовые аномалии и потерю мелких деталей для классификации изображений на ЕЗИ и ПЗИ. В [3, 4] авторы оценивают размытие как результат двойного пересжатия JPEG, аргументируя это тем, что повторно захваченные JPEG-изображения подвергаются двойному сжатию, что приводит к блочности изображения и размытости. В [3] авторы также анализируют эффекты алиасинга, а в [4] дополнительно анализируются цветовые различия между ЕЗИ и ПЗИ. Изменения в цвете между ЕЗИ и ПЗИ анализируются и в [2, 5]. В [6] для поиска периодического узора из-за алиасинга авторы используют теорию и методы циклостационарных процессов.

Ко второй группе методов относится работа [7], которая не делает предположение о характере артефактов. Вектор признаков формируется на вычислении попиксельных коэффициентов корреляции разбитого на блоки изображения. Мотивированные эффективностью предложенного в [7] подхода авторы работы [8] предлагают подход, основанный на улучшенных остаточных коэффициентах корреляции. В частности, это аргументируется тем, что из-за того, что артефакты размытости и наложения спектров, вызванные повторным захватом, нечеткие в размытых и плоских областях, для расчета используются только блоки, содержащие границы.

В отличие от алгоритмов, приведенных выше, предлагаемый в заявке способ учитывает как специфику получаемых с малоформатных цифровых камер кадров видеопотока, так и особенности анализируемого объекта (изображение именно ДОКУМЕНТА). Во-первых, неточность фокусировки камеры или смещение камеры относительно документа во время экспозиции приводит к размытию или смазыванию изображения, из-за чего поведение методов, ориентирующихся на размытие изображенных объектов, будет приводить к ложным срабатываниям. Во-вторых, сложный неоднородный фон самого документа делает глобальные подходы типа анализа текстур или цветовых различий крайне ненадежным. Цветовой аномалией может посчитаться голографическая защита документа, а автоматическое изменение баланса белого и сильная вариативность возможных источников освещения приведут к тому, что образ одного и того же документа будет выглядеть совершенно по-разному на разных кадрах. Одновременно с этим глобальный анализ текстурированных узоров даст ложные срабатывания на изображении документа с периодическим узором. Голографические элементы делают нестабильными и алгоритмы, анализирующие различие статистик в пространственной области ПЗИ и ЕЗИ. Также предлагаемый в заявке метод не зависит от формата входных данных.

Таким образом, задачей заявленного изобретения является предоставление способа определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана, направленного на достижение технического результата, заключающегося в обеспечении:

а) учета специфики получаемых с малоформатных цифровых камер кадров видеопотока, так и особенностей анализируемого объекта;

б) повышение точности и надежности;

в) независимости от формата входных данных и т.д.

Раскрытие сущности заявленного изобретения.

Рассматривается способ, направленный на определение факта съемки предъявляемого документа с экрана монитора. Предполагается, что при повторной съемке на изображении документа будут специфические искажения, не характерные для изображения, захваченного единожды.

Система принимает на вход изображение документа, границы и внутренняя структура которого считаются известными, причем границы локализованного документа необязательно совпадают с границами входного изображения. Далее система независимо анализирует заданные участки изображения документа на предмет определенных аномалий, возникновение которых возможно при съемке с экрана. Для принятия решения, что на входном изображении цифровая копия вместо физического документа, достаточно выявления хотя бы одного из заданных типов аномалий.

Анализируемые системой аномалии делятся по типу анализируемых участков: анализ всего изображения документа внутри локализованных границ (А1), изображения границ документа (А2) или зоны документа (A3), выбранной в соответствии с известной структурой документа.

Далее рассматриваются алгоритмы, разработанные для каждого типа зон.

Начинка системы А1. Детектор полос

Анализируется вся область изображения документа внутри найденных границ.

Для выделения полос и подавления фона рассматриваемая область подвергается следующей последовательности морфологических операций:

I1 = I - I0, I2 = Ic - I, Ires = max(I1, I2).

Здесь I0 - результат применения морфологической операции "размыкание" к изображению I, Ic - морфологической операции "замыкание" к изображению I, Ires - выходное изображение с подавленным фоном.

Рассматриваются параллельно два результата предложенной фильтрации: результат с окном фильтра шириной 3 пикселя и высотой 1 и результат с окном шириной 1 и высотой 3. Далее для всех возможных прямых в диапазонах [-45°, 45°] и [45°, 135°] вычисляются два Хаф-образа Hh и Hν изображений и соответственно с помощью быстрого преобразования Хафа.

Далее в каждой строке t каждого полученного Хаф-образа считается сумма квадратов значений пикселей: ζ(t) = ∑s [H(s, t)]2. Если значение ζ(t) для рассматриваемого Хаф-образа Я превышает некоторое фиксированное значение, то значит, что на изображении найдены параллельные полосы, т.е. на изображении присутствует аномалия.

На фиг.А1.1: а) пример документа с искомым видом аномалии, б) результат выделения полос с помощью предложенных морфологических операций, в) визуализация результата работы детектора: зеленым обозначены направления первых пяти полос.

А2. Текстурный детектор

На входном изображении детектор выделяет вокруг каждой границы документа некоторую область прямоугольной формы и анализирует полученные области на предмет существования внутри них периодического рисунка с четкой ориентацией, которая по обе стороны от конкретной границы документа одинакова. Для поиска такого рисунка и его ориентации используется быстрое преобразование Хафа (БПХ). Аномалия считается найденной, если найдена хотя бы для одной границы документа.

1 Выделение области вокруг границы на входном изображении и коррекция скоса границы

Для заданной -ой границы документа с координатами начала и конца вычисляется выпуклый четырехугольник Q с вершинами в координатах входного изображения I. Здесь α - угол наклона границы на изображении относительно оси X, w - шаг отступа от границы в направлении нормали, задаваемый конфигурационно.

Далее полученный четырехугольник Q усекается до четырехугольника меньшего размера Q' вдоль оси, совпадающей с границей документа, если Q выходит за границы изображения. Если Q полностью лежит внутри области изображения I, то Q' будет равен Q.

Далее область изображения, описываемая сторонами Q', поворачивается на 90° градусов если ориентация границы документа на исходном изображении в диапазоне [45°, 135°] относительно оси X и нормализуется с помощью преобразования скоса таким образом, чтобы граница документа стала параллельна строкам изображения. Полученное нормализованное изображение усекается до прямоугольника с высотой 2w, где одной из осей симметрии является рассматриваемая граница документа (см. рисунок А2.1). Полученное геометрически нормализованное изображение -ой границы Ibound(j) подается на вход следующему этапу.

2 Яркостная нормализация изображения границы

Суть нормализации - выровнять изображение по яркости, сохранив перепады яркости вследствие текстуры.

Пусть Ibound(j) - изображение границы после геометрической нормализации скоса, Im - это результат медианной фильтрации изображения Ibound(j), Id = |Ibound(j) - Im| - разница соответствующих пикселей изображений Ihound(j) и Im, взятая с абсолютным знаком, Idm - результат медианной фильтрации Id. Тогда нормализованное изображение Inorm(j) рассчитывается как:

где Р1, Р2 - задаваемые конфигурационно значения яркости (см. рисунок А2.2).

3 Анализ текстуры с помощью БПХ

Нормализованное изображение Inorm(j) обрабатывается скользящим квадратным окном со стороной w и шагом w. Для каждого нового положения окна вычисляются два Хаф-образа Hh и Hν для всех возможных прямых в диапазонах [-45°,45°]и [45°, 135°] соответственно с помощью БПХ. Далее в каждой строке t каждого полученного Хаф-образа считается сумма квадратов градиентов ζ(t) = Σs [H(s, t) - H(s - 1, t)]2.

Доминирующим направлением текстуры считается то направление, которому соответствует строка с индексом Полученному направлению приписывается коэффициент уверенности если доминирующее направление вертикальное или -- если горизонтальное.

4 Поиск совпадающей структуры

Если для двух найденных направлений в окнах с верхними левыми вершинами (х, у) и (x, y+w) соответственно выполняются условия |t01 - t02| ≤ tε и |conf1 - conf2| ≤ conƒε u min(ζh(t01), ζh(to2)) ≥ ζε то совпадающая структура для рассматриваемого х-положения считается найденной. Здесь toi- найденный в i-м окне t0, conƒI - коэффициент уверенности для toi.

Если таких совпадающих структур для разных x больше задаваемого конфигурационно значения, то считается, что аномалия для границы найдена, а значит, найдена и для всего изображения.

На фиг. А2.1: а) входное изображение, на котором красными прямыми отмечены найденные границы документа, а желтым - Q' зоны шириной 2w, где w - шаг отступа от границы в направлении нормали; б) нижняя граница после нормализации скоса.

На фиг. А2.2: изображение границы, исходное и с нормализованной яркостью, для а) цифровой копии документа и б) физического документа.

На фиг. А2.3: визуализация нахождения совпадающей структурой. Здесь циановым цветом отмечены области изображения шириной w и высотой 2w, для которых найдена совпадающая текстура по обе стороны от границы (аномалия), остальными цветами визуализированы найденные направления текстур и уверенность в ответе: здесь зеленому соответствует показатель уверенности, близкий к 1, красным и оранжевым - близкий к 0.

A3. Детектор ложных цветов

Детектор основывается на предположении, что цвет окраски документа внутри рассматриваемой зоны документа должен быть преимущественно однородным.

Первым этапом проверяется распределение цветового тона внутри рассматриваемой области изображения: строится гистограмма цветового тона и проверяется, в каком интервале лежит заданная доля значений гистограммы. Насыщенность S и цветовой тон Η вычисляются по следующим формулам:

S = max(R, G, В) - min(R, G, В),

Для всех определенных значений Η вычисляется гистограмма цветового тона, если соответствующие им значения S лежат в некотором задаваемом конфигурационно диапазоне [smin, smax], и проверяется, какова величина отрезка, в которой лежит задаваемая доля значений гистограммы. Если отрезок мал относительно задаваемого, то считается, что область окрашена преимущественно однородно и рассматриваемых аномалий здесь нет.

В случае, если отрезок велик, построенная карта насыщенности бинаризуется с помощью метода Ниблэка. Далее на полученном бинарном изображении ищутся компоненты связности и фильтруются по площади (это делается для случая возможного нарушения однородности окраски голограммами известного размера), а для оставшихся компонент связности считается, какую долю от общей площади изображения они занимают. Если такая доля превышает некоторое критическое значение, то считается, что аномалия найдена, иначе - не найдена.

На фиг. А3.1: Пример рассматриваемой зоны документа (слева) и результат бинаризации ее карты насыщенности (справа).

Источники информации.

1. Thongkamwitoon Т., Muammar Η., Dragotti P. L. An image recapture detection algorithm based on learning dictionaries of edge profiles //IEEE Transactions on Information Forensics and Security. - 2015. - T. 10. - №5. - C. 953-968.

2. Cao H., Kot A. C. Identification of recaptured photographs on LCD screens //2010 IEEE International Conference on Acoustics, Speech and Signal Processing. - IEEE, 2010. - C. 1790-1793.

3. Li R., Ni R., Zhao Y. An effective detection method based on physical traits of recaptured images on LCD screens //International Workshop on Digital Watermarking. - Springer, Cham, 2015. - C. 107-116.

4. Ni R., Zhao Y., Zhai X. Recaptured images forensics based on color moments and DCT coefficients features //J. Inf. Hiding Multimedia Signal Process. - 2015. - Т. 6. - №2. - C. 323-333.

5. Gao X. et al. Single-view recaptured image detection based on physics-based features //2010 IEEE International Conference on Multimedia and Expo. - IEEE, 2010. - C. 1469-1474.

6. Mahdian В., Saic S. Identification of aliasing-based patterns in re-captured LCD screens //2015 IEEE International Conference on Image Processing (ICIP). - IEEE, 2015. - C. 616-620.

7. Wang K. A simple and effective image-statistics-based approach to detecting recaptured images from LCD screens //Digital Investigation. - 2017. - T. 23. - C. 75-87.

8. Zhu N., Li Z. Recaptured image detection through enhanced residual-based correlation coefficients //International Conference on Cloud Computing and Security. - Springer, Cham, 2018. - C. 624-634.

Похожие патенты RU2774058C1

название год авторы номер документа
Способ контроля цветности документа по его изображению, полученному в неконтролируемых условиях съемки 2023
  • Кунина Ирина Андреевна
  • Надас Ольга Александровна
RU2807460C1
Способ детектирования голографической защиты на документах в видеопотоке 2021
  • Арлазаров Владимир Викторович
  • Коляскина Лейсан Ильдаровна
  • Николаев Дмитрий Петрович
  • Полевой Дмитрий Валерьевич
  • Тропин Даниил Вячеславович
  • Усилин Сергей Александрович
RU2771005C1
СПОСОБ РАСПОЗНАВАНИЯ ТЕКСТА НА ИЗОБРАЖЕНИЯХ ДОКУМЕНТОВ 2021
  • Гордеев Дмитрий Владимирович
  • Кондратьев Кирилл Андреевич
  • Островский Константин Игоревич
RU2768544C1
Способ нейросетевого контроля текстовых данных на изображениях документов 2023
  • Арлазаров Никита Викторович
  • Кунина Ирина Андреевна
  • Полевой Дмитрий Валерьевич
  • Чуйко Александр Васильевич
RU2806012C1
Способ детектирования и локализации фальсифицированной области в JPEG-изображениях 2022
  • Арлазаров Никита Викторович
  • Кунина Ирина Андреевна
  • Полевой Дмитрий Валерьевич
  • Чуйко Александр Васильевич
RU2788314C1
Способ получения ректифицированных изображений документов, сложенных пополам 2023
  • Арлазаров Владимир Викторович
  • Ершов Александр Михайлович
  • Николаев Дмитрий Петрович
  • Тропин Даниил Вячеславович
RU2820743C1
СПОСОБ АДАПТИВНОГО СГЛАЖИВАНИЯ ДЛЯ ПОДАВЛЕНИЯ РАСТРОВОЙ СТРУКТУРЫ ИЗОБРАЖЕНИЙ 2008
  • Курилин Илья Васильевич
  • Сафонов Илья Владимирович
RU2411584C2
Способ детектирования флуоресцирующих клеевых пятен на изображениях документов, удостоверяющих личность, в УФ спектре 2023
  • Бурсиков Алексей Дмитриевич
  • Кунина Ирина Андреевна
RU2814914C1
СПОСОБ ПОВЫШЕНИЯ КАЧЕСТВА ЦИФРОВОГО ФОТОИЗОБРАЖЕНИЯ 2006
  • Рычагов Михаил Николаевич
  • Сафонов Илья Владимирович
  • Толстая Екатерина Витальевна
  • Ефимов Сергей Викентьевич
  • Канг Ки-Мин
  • Ким Санг-Хо
RU2400815C2
АВТОМАТИЧЕСКАЯ СЪЕМКА ДОКУМЕНТА С ЗАДАННЫМИ ПРОПОРЦИЯМИ 2013
  • Загайнов Иван Германович
  • Логинов Василий Васильевич
  • Любимов Яков Александрович
  • Бочаров Константин Юрьевич
RU2541353C2

Иллюстрации к изобретению RU 2 774 058 C1

Реферат патента 2022 года Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана

Изобретение относится к области вычислительной техники для защиты и аутентификации документов. Технический результат заключается в повышении точности и надежности определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана. Технический результат достигается за счет приема на вход изображения документа, границы и внутренняя структура которого считаются известными, причем границы локализованного документа необязательно совпадают с границами входного изображения, независимого анализа заданных участков изображения документа на предмет определенных аномалий, возникновение которых возможно при съемке с экрана; при этом для принятия решения, что на входном изображении цифровая копия вместо физического документа, достаточно выявления хотя бы одного из заданных типов аномалий, причем анализируемые аномалии делятся по типу анализируемых участков: анализ всего изображения документа внутри локализованных границ (А1), изображения границ документа (А2) или зоны документа (A3), выбранной в соответствии с известной структурой документа. 10 ил.

Формула изобретения RU 2 774 058 C1

Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана, отличающийся тем, что принимают на вход изображение документа, границы и внутренняя структура которого считаются известными, причем границы локализованного документа необязательно совпадают с границами входного изображения, далее независимо анализируют заданные участки изображения документа на предмет определенных аномалий, возникновение которых возможно при съемке с экрана, для принятия решения, что на входном изображении цифровая копия вместо физического документа, достаточно выявления хотя бы одного из заданных типов аномалий,

причем анализируемые аномалии делятся по типу анализируемых участков: анализ всего изображения документа внутри локализованных границ (А1), изображения границ документа (А2) или зоны документа (A3), выбранной в соответствии с известной структурой документа,

при этом используют следующие алгоритмы для каждого типа зон:

А1 - анализируют всю область изображения документа внутри найденных границ, для выделения полос и подавления фона рассматриваемая область подвергается следующей последовательности морфологических операций:

I1=I-I0, I2=Ic-I, Ires=max(I1, I2),

I0 - результат применения морфологической операции "размыкание" к изображению I, Ic - морфологической операции "замыкание" к изображению I, Ires - выходное изображение с подавленным фоном,

рассматривают параллельно два результата предложенной фильтрации: результат с окном фильтра шириной 3 пикселя и высотой 1 и результат с окном шириной 1 и высотой 3, далее для всех возможных прямых в диапазонах [-45°, 45°]и [45°, 135°] вычисляются два Хаф-образа Hh и Hν изображений и соответственно с помощью быстрого преобразования Хафа, далее в каждой строке t каждого полученного Хаф-образа считается сумма квадратов значений пикселей: ζ(t)=∑s [H(s, t)]2, если значение ζ(t) для рассматриваемого Хаф-образа Η превышает некоторое фиксированное значение, то значит, что на изображении найдены параллельные полосы, т.е. на изображении присутствует аномалия;

А2 - на входном изображении детектор выделяет вокруг каждой границы документа некоторую область прямоугольной формы и анализирует полученные области на предмет существования внутри них периодического рисунка с четкой ориентацией, которая по обе стороны от конкретной границы документа одинакова, для поиска такого рисунка и его ориентации используется быстрое преобразование Хафа (БПХ), аномалия считается найденной, если найдена хотя бы для одной границы документа;

A3 - первым этапом проверяется распределение цветового тона внутри рассматриваемой области изображения: строится гистограмма цветового тона и проверяется, в каком интервале лежит заданная доля значений гистограммы,

насыщенность S и цветовой тон Η вычисляются по следующим формулам:

S=max(R, G, В)-min(R, G, В),

для всех определенных значений Η вычисляется гистограмма цветового тона, если соответствующие им значения S лежат в некотором задаваемом конфигурационно диапазоне [smin, smax], и проверяется, какова величина отрезка, в которой лежит задаваемая доля значений гистограммы, если отрезок мал относительно задаваемого, то считается, что область окрашена преимущественно однородно и рассматриваемых аномалий здесь нет, в случае, если отрезок велик, построенная карта насыщенности бинаризуется с помощью метода Ниблэка, далее на полученном бинарном изображении ищутся компоненты связности и фильтруются по площади (это делается для случая возможного нарушения однородности окраски голограммами известного размера), а для оставшихся компонент связности считается, какую долю от общей площади изображения они занимают, если такая доля превышает некоторое критическое значение, то считается, что аномалия найдена, иначе - не найдена.

Документы, цитированные в отчете о поиске Патент 2022 года RU2774058C1

Способ защиты переносных электрических установок от опасностей, связанных с заземлением одной из фаз 1924
  • Подольский Л.П.
SU2014A1
US 7792837 B1, 07.09.2010
Способ оценки действительности документа при помощи оптического распознавания текста на изображении круглого оттиска печати/штампа на цифровом изображении документа 2020
  • Алиев Михаил Александрович
  • Арлазаров Владимир Викторович
  • Маталов Даниил Павлович
  • Николаев Дмитрий Петрович
  • Полевой Дмитрий Валерьевич
  • Усилин Сергей Александрович
RU2750395C1
ОПТИЧЕСКОЕ РАСПОЗНАВАНИЕ СИМВОЛОВ СЕРИИ ИЗОБРАЖЕНИЙ 2016
  • Калюжный Алексей Иванович
RU2619712C1
УСТРОЙСТВО РАСПОЗНАВАНИЯ БУМАЖНОГО ДОКУМЕНТА И СПОСОБ РАСПОЗНАВАНИЯ БУМАЖНОГО ДОКУМЕНТА 2007
  • Тору
  • Охмацу Казухиро
  • Камеяма Хирофуми
RU2449376C2

RU 2 774 058 C1

Авторы

Арлазаров Владимир Викторович

Николаев Дмитрий Петрович

Полевой Дмитрий Валерьевич

Слугин Дмитрий Геннадьевич

Кунина Ирина Андреевна

Сигарева Ирина Витальевна

Даты

2022-06-14Публикация

2021-09-30Подача