Способ валидации ответов систем локализации и идентификации документов с помощью глобальных особенностей Российский патент 2024 года по МПК G06V30/40 G07D7/00 

Заявленное техническое решение относится к области распознавания документа на фотокадре.

Задачей распознавания документа на фотокадре предшествует задача идентификации и локализации документа. Суть данной задачи состоит в том, что подсистеме локализации и идентификации (далее - система) на вход подается снимок, на котором может присутствовать документ, а на выход система должна дать ответ в виде тина документа и координат его местоположения на снимке. От того, правильный ли ответ дала система, зависит качество дальнейшего распознавания документа.

Алгоритмы идентификации и локализации бывают разные, но все они используют информацию о документе. Такой информацией могут быть границы фотографии, статический текст, точки (локальные особенности) с сильным перепадом цвета, гербы и изображения (глобальные особенности) и т.д. Среди всего этого многообразия можно выделить подмножество глобальных особенностей соответствующих конкретно одному типу документа. Важно отметить, что особенность определяется не только тем. чем она представлена (изображение герба, специфический текст), но и нем, где она находится (в верхнем правом углу документа или где-то слева по центру). Так статический текст названия поля, например "имя", не является особенностью, по которой можно определить тип документа. А изображение, например, герба - является.

Из уровня техники известны различные способы валидации ответов систем локализации и идентификации документов с помощью глобальных особенностей. Например, в статье [Rusinol, М., & Llados, J. (2009). Logo Spotting by a Bag-ol-words Approach for Document Categorization. 2009 10th International Con Terence on Document Analysis and Recognition, doi: 10.1109/ICDAR.2009.1031 приводится алгоритм идентификации документа по глобальным особенностям. Авторы отмечают, что имеет место ложное срабатывания на документах с повторяющимися особенностями. Отличие настоящего изобретения от рассматриваемой работы в том, что в рамках изобретения не решается задача идентификации, а рассматривается задача отклонения по глобальным особенностям.

Задачей заявленного изобретения является устранение недостатков известного уровня 'техники и использование уникальных глобальных особенностей документов, представляемых в виде зон, для отклонения ложных ответов системы локализации и идентификации документов. Технический результат заключается в обеспечении способа валидации ответов систем локализации и идентификации документов с помощью глобальных особенностей, который позволяет обеспечить повышение качества и надежности системы и последующего распознавания документов.

Поставленная задача решается, а заявленный технический результат достигается посредством заявленного способа валидации ответов систем локализации и идентификации документов с помощью верификации глобальных особенностей документа.

Заявленный способ валидации ответов систем локализации и идентификации документов с помощью верификации глобальных особенностей документа заключается в том, что для изображений-шаблонов и для изображения-запроса выделяются ключевые точки и дескрибируются, далее точки запроса приводятся в единообразие с каждым набором точек шаблонов полным перебором, далее по полученным сопоставлениям находится проективное преобразование, по которому определяется четырехугольник документа, далее из всех кандидатов сопоставления выбирается кандидат с наибольшем количеством ключевых точек внутри этого четырехугольника, отличающийся тем, что на вход приходит нормализованное изображение, на котором по ответу системы находится документ, при этом у данного документа есть зоны, разбитые на блоки, каждому блоку ставят в соответствие дескриптор, все дескрипторы образуют множество, далее проверяют па схожесть каждую зону следующем образом: попарно сопоставляют дескриптор блока зоны, посчитанного на документе, и дескриптор того же блока зоны, посчитанного на изображении, при этом если расстояние между дескрипторами больше заданного порога, то блоки не похожи, если меньше - похожи, если количество похожих блоков больше половины, то зоны похожи, если количество похожих зон меньше половины от общего числа зон на документе, то ответ системы отклоняется.

Кроме того, заявленный способ содержит этап валидации результата внутрь системы локализации и идентификации, который обрабатывает только общий для всех алгоритмов ответ в виде типа найденного документа, что соответствует этапу идентификации, и местоположения документа на кадре, что соответствует этапу локализации.

На фигурах представлены:

Фиг: 1: Примеры документов, на которых синим выделены глобальные особенности документа, соответствующие конкретному типу документа.

Фиг. 2: Пример зоны.

Фиг. 3: Пример ответа системы и проективная нормализация изображения по ответу.

Фиг. 4: Зоны, выделенные на паспорте Латвии.

Фиг. 5: Схема общего алгоритма распознавания

В качестве частного случая, без потери общности, рассмотрим сербское удостоверение личности. На данном документе присутствуют такие уникальные признаки, как герб в верхнем левом углу, изображение справа в центре и текст, соответствующий только этой стране (см. фиг. 1). Каждую такую зону предлагается окаймить четырехугольником и разбить его на блоки (см. фиг. 2). Для валидации ответа предлагается следующее. По ответу системы нормализовать изображение, приведя его в изображение с соотношением сторон документа, типу которого она соответствует (см. фиг. 3). Каждую зону предлагается проверить на схожесть и, если зоны на нормализованном изображении-запросе не похожи на зоны документа, отклонить, иначе допустить до дальнейшей обработки ответа.

Важно отметить, что попиксельное сравнение зон не допустимо, так как ответ системы может отличаться от истинного положения документа на изображении на некритичные пару пикселей, что приведет к некорректному сравнению по факту схожих зон. Для сравнения зон предлагается их дескрибировать и сравнивать уже дескрипторы, а не сами изображения зон.

Дескриптор зоны изображения - это информация, которая описывает характеристики и особенности конкретной зоны на изображении. Обычно представим в виде вектора чисел, вычисленных в соответствии с некоторым алгоритмом (алгоритм дескри6ирования).

В качестве примера, как можно реализовать такой метод, рассмотрим следующий алгоритм. На вход приходит нормализованное изображение, на котором по ответу системы находится документ. Пусть у данного документа есть зоны Zq, разбитые па блоки. Каждому блоку поставим в соответствие дескриптор. Все дескрипторы образуют множество D_q.

Будем проверять на схожесть каждую зону следующим образом. Попарно сопоставим дескриптор блока зоны, посчитанного на документе, и дескриптор того же блока зоны, посчитанного на изображении. Если расстояние между дескрипторами больше некоторого заданного порога, то блоки не похожи, если меньше - похожи. Если количество похожих блоков больше половины, то зоны похожи. Если количество похожих зон меньше половины от общего числа зон на документе, то ответ системы отклоняется.

Вход изображение зоны шаблона Z_q, дескрипторы зон шаблона D_g

Выход reject

Для каждого выполнить

Пусь В множество блоков, содержащихся в z_i

Для каждого b_j ∈ В выполнить

Пусть дескриптор b_j, вычисленный на изображении

Пусть d_j дескриптор b_j из D_q

Если тогда

Конец если

Конец цикла

Если тогда

Конец если

Конец цикла

Если тогда

Конец если

Вернуть

В качестве дескрибирующих алгоритмов могут быть использованы такие алгоритмы как: SURF'[1], SIFT[2], RFD[3] и любые другие. Точки запроса могут приводиться в единообразие с каждым набором точек шаблонов полным перебором методом BRUTEFORCE. Проективное преобразование может быть осуществлено методом RAN SAC.

Для того чтобы показать, что предлагаемый метод работает вне зависимости от способа дескрибирования, были рассмотрены три различных способа дескрибирования: SURF[1], BINBOOST[2] и сеточный метод [3] (см. таблица 1).

На множестве изображений, содержащих различные документы, система в 7,5% случаев давала ложный ответ. Среди ложных ответов наблюдался неверная идентификация документа как латышского паспорта. Поэтому на него были добавлены зоны, соответствующие глобальным особенностям этого документа (см. фиг. 4). Патентуемый метод, не завися от способа дескрибирования зон, отклоняет часть ложный срабатываний, соответствующую данному типу документа.

Таким образом, сущность заявленного технического решения заключается в том, что предлагается использовать уникальные глобальные особенности документов, представляемые в виде зон, для отклонения ложных ответов системы локализации и идентификации документов, тем самым повышая качество и надежность системы и последующего распознавания документов.

Заявленное техническое решение относится к области распознавания документа на фотокадре. Технический результат заключается в повышении качества и надежности распознавания документов. Технический результат достигается тем, что в заявленном решении валидацию ответов системы локализации и идентификации документов осуществляют с помощью верификации глобальных особенностей документа, при этом для изображений-шаблонов и для изображения-запроса выделяются и дескрибируются ключевые точки, далее точки запроса приводятся в единообразие с каждым набором точек шаблонов полным перебором, далее по полученным сопоставлениям находится проективное преобразование, по которому определяется четырехугольник документа, далее из всех кандидатов сопоставления выбирается кандидат с наибольшим количеством ключевых точек внутри этого четырехугольника, при этом на вход приходит нормализованное изображение, на котором по ответу системы находится документ, при этом у данного документа есть зоны, разбитые на блоки, каждому блоку ставят в соответствие дескриптор, все дескрипторы образуют множество, далее проверяют на схожесть каждую зону: попарно сопоставляют дескриптор блока зоны, посчитанный на документе, и дескриптор того же блока зоны, посчитанный на изображении. 5 ил.

Способ валидации ответов систем локализации и идентификации документов с помощью верификации глобальных особенностей документа, заключающийся в том, что для изображений-шаблонов и для изображения-запроса выделяются ключевые точки и дескрибируются, далее точки запроса приводятся в единообразие с каждым набором точек шаблонов полным перебором, далее по полученным сопоставлениям находится проективное преобразование, по которому определяется четырехугольник документа, далее из всех кандидатов сопоставления выбирается кандидат с наибольшим количеством ключевых точек внутри этого четырехугольника, отличающийся тем, что на вход приходит нормализованное изображение, на котором по ответу системы находится документ, при этом у данного документа есть зоны, разбитые на блоки, каждому блоку ставят в соответствие дескриптор, все дескрипторы образуют множество, далее проверяют на схожесть каждую зону следующим образом: попарно сопоставляют дескриптор блока зоны, посчитанного на документе, и дескриптор того же блока зоны, посчитанного на изображении, при этом если расстояние между дескрипторами больше заданного порога, то блоки не похожи, если меньше - похожи, если количество похожих блоков больше половины, то зоны похожи, если количество похожих зон меньше половины от общего числа зон на документе, то ответ системы отклоняется.