Способ валидации ответов систем локализации и идентификации документов с помощью глобальных особенностей Российский патент 2024 года по МПК G06V30/40 G07D7/00 

Описание патента на изобретение RU2826893C1

Заявленное техническое решение относится к области распознавания документа на фотокадре.

Задачей распознавания документа на фотокадре предшествует задача идентификации и локализации документа. Суть данной задачи состоит в том, что подсистеме локализации и идентификации (далее - система) на вход подается снимок, на котором может присутствовать документ, а на выход система должна дать ответ в виде тина документа и координат его местоположения на снимке. От того, правильный ли ответ дала система, зависит качество дальнейшего распознавания документа.

Алгоритмы идентификации и локализации бывают разные, но все они используют информацию о документе. Такой информацией могут быть границы фотографии, статический текст, точки (локальные особенности) с сильным перепадом цвета, гербы и изображения (глобальные особенности) и т.д. Среди всего этого многообразия можно выделить подмножество глобальных особенностей соответствующих конкретно одному типу документа. Важно отметить, что особенность определяется не только тем. чем она представлена (изображение герба, специфический текст), но и нем, где она находится (в верхнем правом углу документа или где-то слева по центру). Так статический текст названия поля, например "имя", не является особенностью, по которой можно определить тип документа. А изображение, например, герба - является.

Из уровня техники известны различные способы валидации ответов систем локализации и идентификации документов с помощью глобальных особенностей. Например, в статье [Rusinol, М., & Llados, J. (2009). Logo Spotting by a Bag-ol-words Approach for Document Categorization. 2009 10th International Con Terence on Document Analysis and Recognition, doi: 10.1109/ICDAR.2009.1031 приводится алгоритм идентификации документа по глобальным особенностям. Авторы отмечают, что имеет место ложное срабатывания на документах с повторяющимися особенностями. Отличие настоящего изобретения от рассматриваемой работы в том, что в рамках изобретения не решается задача идентификации, а рассматривается задача отклонения по глобальным особенностям.

Задачей заявленного изобретения является устранение недостатков известного уровня 'техники и использование уникальных глобальных особенностей документов, представляемых в виде зон, для отклонения ложных ответов системы локализации и идентификации документов. Технический результат заключается в обеспечении способа валидации ответов систем локализации и идентификации документов с помощью глобальных особенностей, который позволяет обеспечить повышение качества и надежности системы и последующего распознавания документов.

Поставленная задача решается, а заявленный технический результат достигается посредством заявленного способа валидации ответов систем локализации и идентификации документов с помощью верификации глобальных особенностей документа.

Заявленный способ валидации ответов систем локализации и идентификации документов с помощью верификации глобальных особенностей документа заключается в том, что для изображений-шаблонов и для изображения-запроса выделяются ключевые точки и дескрибируются, далее точки запроса приводятся в единообразие с каждым набором точек шаблонов полным перебором, далее по полученным сопоставлениям находится проективное преобразование, по которому определяется четырехугольник документа, далее из всех кандидатов сопоставления выбирается кандидат с наибольшем количеством ключевых точек внутри этого четырехугольника, отличающийся тем, что на вход приходит нормализованное изображение, на котором по ответу системы находится документ, при этом у данного документа есть зоны, разбитые на блоки, каждому блоку ставят в соответствие дескриптор, все дескрипторы образуют множество, далее проверяют па схожесть каждую зону следующем образом: попарно сопоставляют дескриптор блока зоны, посчитанного на документе, и дескриптор того же блока зоны, посчитанного на изображении, при этом если расстояние между дескрипторами больше заданного порога, то блоки не похожи, если меньше - похожи, если количество похожих блоков больше половины, то зоны похожи, если количество похожих зон меньше половины от общего числа зон на документе, то ответ системы отклоняется.

Кроме того, заявленный способ содержит этап валидации результата внутрь системы локализации и идентификации, который обрабатывает только общий для всех алгоритмов ответ в виде типа найденного документа, что соответствует этапу идентификации, и местоположения документа на кадре, что соответствует этапу локализации.

На фигурах представлены:

Фиг: 1: Примеры документов, на которых синим выделены глобальные особенности документа, соответствующие конкретному типу документа.

Фиг. 2: Пример зоны.

Фиг. 3: Пример ответа системы и проективная нормализация изображения по ответу.

Фиг. 4: Зоны, выделенные на паспорте Латвии.

Фиг. 5: Схема общего алгоритма распознавания

В качестве частного случая, без потери общности, рассмотрим сербское удостоверение личности. На данном документе присутствуют такие уникальные признаки, как герб в верхнем левом углу, изображение справа в центре и текст, соответствующий только этой стране (см. фиг. 1). Каждую такую зону предлагается окаймить четырехугольником и разбить его на блоки (см. фиг. 2). Для валидации ответа предлагается следующее. По ответу системы нормализовать изображение, приведя его в изображение с соотношением сторон документа, типу которого она соответствует (см. фиг. 3). Каждую зону предлагается проверить на схожесть и, если зоны на нормализованном изображении-запросе не похожи на зоны документа, отклонить, иначе допустить до дальнейшей обработки ответа.

Важно отметить, что попиксельное сравнение зон не допустимо, так как ответ системы может отличаться от истинного положения документа на изображении на некритичные пару пикселей, что приведет к некорректному сравнению по факту схожих зон. Для сравнения зон предлагается их дескрибировать и сравнивать уже дескрипторы, а не сами изображения зон.

Дескриптор зоны изображения - это информация, которая описывает характеристики и особенности конкретной зоны на изображении. Обычно представим в виде вектора чисел, вычисленных в соответствии с некоторым алгоритмом (алгоритм дескри6ирования).

В качестве примера, как можно реализовать такой метод, рассмотрим следующий алгоритм. На вход приходит нормализованное изображение, на котором по ответу системы находится документ. Пусть у данного документа есть зоны Zq, разбитые па блоки. Каждому блоку поставим в соответствие дескриптор. Все дескрипторы образуют множество Dq.

Будем проверять на схожесть каждую зону следующим образом. Попарно сопоставим дескриптор блока зоны, посчитанного на документе, и дескриптор того же блока зоны, посчитанного на изображении. Если расстояние между дескрипторами больше некоторого заданного порога, то блоки не похожи, если меньше - похожи. Если количество похожих блоков больше половины, то зоны похожи. Если количество похожих зон меньше половины от общего числа зон на документе, то ответ системы отклоняется.

Вход изображение зоны шаблона Zq, дескрипторы зон шаблона Dg

Выход reject

Для каждого выполнить

Пусь В множество блоков, содержащихся в zi

Для каждого bj ∈ В выполнить

Пусть дескриптор bj, вычисленный на изображении

Пусть dj дескриптор bj из Dq

Если тогда

Конец если

Конец цикла

Если тогда

Конец если

Конец цикла

Если тогда

Конец если

Вернуть

В качестве дескрибирующих алгоритмов могут быть использованы такие алгоритмы как: SURF'[1], SIFT[2], RFD[3] и любые другие. Точки запроса могут приводиться в единообразие с каждым набором точек шаблонов полным перебором методом BRUTEFORCE. Проективное преобразование может быть осуществлено методом RAN SAC.

Для того чтобы показать, что предлагаемый метод работает вне зависимости от способа дескрибирования, были рассмотрены три различных способа дескрибирования: SURF[1], BINBOOST[2] и сеточный метод [3] (см. таблица 1).

На множестве изображений, содержащих различные документы, система в 7,5% случаев давала ложный ответ. Среди ложных ответов наблюдался неверная идентификация документа как латышского паспорта. Поэтому на него были добавлены зоны, соответствующие глобальным особенностям этого документа (см. фиг. 4). Патентуемый метод, не завися от способа дескрибирования зон, отклоняет часть ложный срабатываний, соответствующую данному типу документа.

Таким образом, сущность заявленного технического решения заключается в том, что предлагается использовать уникальные глобальные особенности документов, представляемые в виде зон, для отклонения ложных ответов системы локализации и идентификации документов, тем самым повышая качество и надежность системы и последующего распознавания документов.

Похожие патенты RU2826893C1

название год авторы номер документа
Способ детектирования голографической защиты на документах в видеопотоке 2021
  • Арлазаров Владимир Викторович
  • Коляскина Лейсан Ильдаровна
  • Николаев Дмитрий Петрович
  • Полевой Дмитрий Валерьевич
  • Тропин Даниил Вячеславович
  • Усилин Сергей Александрович
RU2771005C1
Способ получения ректифицированных изображений документов, сложенных пополам 2023
  • Арлазаров Владимир Викторович
  • Ершов Александр Михайлович
  • Николаев Дмитрий Петрович
  • Тропин Даниил Вячеславович
RU2820743C1
Способ оценки действительности документа при помощи оптического распознавания текста на изображении круглого оттиска печати/штампа на цифровом изображении документа 2020
  • Алиев Михаил Александрович
  • Арлазаров Владимир Викторович
  • Маталов Даниил Павлович
  • Николаев Дмитрий Петрович
  • Полевой Дмитрий Валерьевич
  • Усилин Сергей Александрович
RU2750395C1
СПОСОБ И СИСТЕМА ОПРЕДЕЛЕНИЯ МЕСТОПОЛОЖЕНИЯ ПОЛЬЗОВАТЕЛЯ 2020
  • Шафаростов Артем Алексеевич
  • Рыбаков Алексей Алексеевич
  • Козлов Максим Александрович
  • Батурин Илья Викторович
  • Евграшин Александр Сергеевич
RU2759773C1
Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана 2021
  • Арлазаров Владимир Викторович
  • Николаев Дмитрий Петрович
  • Полевой Дмитрий Валерьевич
  • Слугин Дмитрий Геннадьевич
  • Кунина Ирина Андреевна
  • Сигарева Ирина Витальевна
RU2774058C1
ГЕНЕРАЦИЯ РАЗМЕТКИ ИЗОБРАЖЕНИЙ ДОКУМЕНТОВ ДЛЯ ОБУЧАЮЩЕЙ ВЫБОРКИ 2017
  • Загайнов Иван Германович
  • Борин Павел Валерьевич
RU2668717C1
СИСТЕМА И СПОСОБ ДЛЯ ВЫБОРА ЗНАЧИМЫХ ЭЛЕМЕНТОВ СТРАНИЦЫ С НЕЯВНЫМ УКАЗАНИЕМ КООРДИНАТ ДЛЯ ИДЕНТИФИКАЦИИ И ПРОСМОТРА РЕЛЕВАНТНОЙ ИНФОРМАЦИИ 2015
  • Цыпляев Максим Викторович
  • Винокуров Никита Алексеевич
RU2708790C2
АВТОМАТИЗИРОВАННЫЕ СПОСОБЫ И СИСТЕМЫ ВЫЯВЛЕНИЯ НА ИЗОБРАЖЕНИЯХ, СОДЕРЖАЩИХ ДОКУМЕНТЫ, ФРАГМЕНТОВ ИЗОБРАЖЕНИЙ ДЛЯ ОБЛЕГЧЕНИЯ ИЗВЛЕЧЕНИЯ ИНФОРМАЦИИ ИЗ ВЫЯВЛЕННЫХ СОДЕРЖАЩИХ ДОКУМЕНТЫ ФРАГМЕНТОВ ИЗОБРАЖЕНИЙ 2016
  • Загайнов Иван Германович
  • Борин Павел Валерьевич
RU2647670C1
УСТРОЙСТВО ПОИСКА ДУБЛИКАТОВ ИЗОБРАЖЕНИЙ 2013
  • Марчук Владимир Иванович
  • Воронин Вячеслав Владимирович
  • Письменскова Марина Михайловна
  • Морозова Татьяна Владимировна
RU2538319C1
УСТРОЙСТВО АВТОМАТИЗИРОВАННОГО РАСПОЗНАВАНИЯ ЛИЦ ПРИ ОБРАБОТКЕ ГРУППОВОЙ ФОТОГРАФИИ 2013
  • Марчук Владимир Иванович
  • Шерстобитов Александр Иванович
  • Воронин Вячеслав Владимирович
  • Семенищев Евгений Александрович
  • Приходченко Владислав Александрович
  • Тимофеев Дмитрий Витальевич
  • Гапон Николай Валерьевич
RU2541918C2

Иллюстрации к изобретению RU 2 826 893 C1

Реферат патента 2024 года Способ валидации ответов систем локализации и идентификации документов с помощью глобальных особенностей

Заявленное техническое решение относится к области распознавания документа на фотокадре. Технический результат заключается в повышении качества и надежности распознавания документов. Технический результат достигается тем, что в заявленном решении валидацию ответов системы локализации и идентификации документов осуществляют с помощью верификации глобальных особенностей документа, при этом для изображений-шаблонов и для изображения-запроса выделяются и дескрибируются ключевые точки, далее точки запроса приводятся в единообразие с каждым набором точек шаблонов полным перебором, далее по полученным сопоставлениям находится проективное преобразование, по которому определяется четырехугольник документа, далее из всех кандидатов сопоставления выбирается кандидат с наибольшим количеством ключевых точек внутри этого четырехугольника, при этом на вход приходит нормализованное изображение, на котором по ответу системы находится документ, при этом у данного документа есть зоны, разбитые на блоки, каждому блоку ставят в соответствие дескриптор, все дескрипторы образуют множество, далее проверяют на схожесть каждую зону: попарно сопоставляют дескриптор блока зоны, посчитанный на документе, и дескриптор того же блока зоны, посчитанный на изображении. 5 ил.

Формула изобретения RU 2 826 893 C1

Способ валидации ответов систем локализации и идентификации документов с помощью верификации глобальных особенностей документа, заключающийся в том, что для изображений-шаблонов и для изображения-запроса выделяются ключевые точки и дескрибируются, далее точки запроса приводятся в единообразие с каждым набором точек шаблонов полным перебором, далее по полученным сопоставлениям находится проективное преобразование, по которому определяется четырехугольник документа, далее из всех кандидатов сопоставления выбирается кандидат с наибольшим количеством ключевых точек внутри этого четырехугольника, отличающийся тем, что на вход приходит нормализованное изображение, на котором по ответу системы находится документ, при этом у данного документа есть зоны, разбитые на блоки, каждому блоку ставят в соответствие дескриптор, все дескрипторы образуют множество, далее проверяют на схожесть каждую зону следующим образом: попарно сопоставляют дескриптор блока зоны, посчитанного на документе, и дескриптор того же блока зоны, посчитанного на изображении, при этом если расстояние между дескрипторами больше заданного порога, то блоки не похожи, если меньше - похожи, если количество похожих блоков больше половины, то зоны похожи, если количество похожих зон меньше половины от общего числа зон на документе, то ответ системы отклоняется.

Документы, цитированные в отчете о поиске Патент 2024 года RU2826893C1

US 20220067363 A1, 03.03.2022
WO 2023203170 A1, 26.10.2023
Станок для придания концам круглых радиаторных трубок шестигранного сечения 1924
  • Гаркин В.А.
SU2019A1
AHMAD-MONTASER AWAL et al.: "Complex Document Classification and Localization Application on Identity Document Images", Найдено в: "https://ieeexplore.ieee.org/abstract/document/8270008", 29.01.2018
DANIIL MATALOV et al.: "RFDoc: Memory Efficient Local

RU 2 826 893 C1

Авторы

Арлазаров Владимир Викторович

Скорюкина Наталья Сергеевна

Шальнова Евгения Александровна

Даты

2024-09-18Публикация

2023-10-30Подача