Система и способ выявления изображения, содержащего идентификационный документ Российский патент 2020 года по МПК G06K9/62 G06K9/46 

Изобретение относится к области предотвращения утечек информации, а более конкретно к системам и способам выявления документов, содержащих персональную информацию, на изображениях.

Уровень техники

Количество информации, передаваемое по каналам передачи данных, непрерывно возрастает. Одной из предпосылок возрастания может быть увеличение размеров файлов графического формата, содержащих различные изображения, например фотографии. Увеличение размеров происходит из-за стремления увеличить количество и улучшить качество изображений.

Улучшение качества изображения позволяет повысить детализацию объектов на изображении. Повышение детализации может быть так же использовано злоумышленниками в своих целях. Например, при фотографировании или видеозаписи в кадр случайным образом может попасть объект, содержащий персональный данные других людей, например страницу паспорта или водительских прав. Высокая детализация объекта может позволить прочесть зафиксированный документ, содержащий персональные данные, которые могут быть использованы злоумышленником.

В настоящее время существует ряд решений, предназначенных для анализа фотографий или отсканированных изображений документов с целью распознавания личности. Например, в патентной публикации US 8520908 B2 описана технология, в которой выявляют копию идентификационного документа (например, паспорта). Идентификационный документ может содержать фотографию владельца документа. Анализ фотографии может быть выполнен несколькими наборам фильтров. В другой патентной публикации US 8194933 B2 описана система, в которой выявляют идентификационный документ, используя многоуровневую модель фильтров. В зависимости от параметров используют различные наборы классификаторов для достижения баланса скорости и точности определения. Использование классификаторов осуществляется последовательно.

Хотя описанные выше способы работы успешно справляются с задачами анализа фотографий или изображений документа, они зачастую не помогают при анализе изображений, в которых точно не известно, есть ли какая-либо персональная информация или нет. Настоящее изобретение позволяет эффективно решать эту задачу.

Раскрытие изобретения

Изобретение относится к области предотвращения утечек информации, а более конкретно к системам и способам выявления документов, содержащих персональные данные, на изображениях. Технический результат настоящего изобретения заключается в обнаружении наличия возможности получения доступа к персональным данным пользователя из потока изображений. Технический результат достигается за счет выявления изображений, содержащих идентификационный документ.

В одном из вариантов реализации предоставляется система выявления изображения, содержащего идентификационный документ, при этом упомянутая система содержит средство быстрой обработки, предназначенное: для получения первого набора изображений, для формирования второго набора изображений путем исключения из первого набора изображений тех изображений, которые не содержат документов, для передачи сформированного второго набора средству медленной обработки; средство медленной обработки, предназначенное: для формирования третьего набора изображений путем исключения из второго набора изображений тех изображений, которые не содержат основные элементы структуры идентификационного документа, для передачи сформированного третьего набора изображений средству проверки; средство проверки, предназначенное для выявления на основе правил определения из сформированного третьего набора по крайней мере одного изображения, которое содержит по крайней мере один идентификационный документ; базу данных правил, предназначенную для хранения правил определения.

В другом варианте реализации системы изображениями, которые не содержат документ, считают изображения, которые не содержат общие для типовых документов элементы структуры документа.

Еще в одном варианте реализации системы основным элементом структуры идентификационного документа считают такой элемент структуры, который встречается и характерен только для идентификационных документов.

В другом варианте реализации системы общим для типовых документов элементом структуры документа является по крайней мере один из: фон оттенков светлого цвета, текст темного цвета.

Еще в одном варианте реализации системы элементом структуры идентификационного документа является по крайней мере один из: изображение лица, флаг страны или региона, печать государственного ведомства, текст с названием раздела идентификационного документа.

В одном из вариантов реализации предоставляется способ выявления изображения, содержащего идентификационный документ, при этом способ содержит этапы, которые реализуются с помощью средств из системы, и на которых получают первый набор изображений; формируют второй набор изображений путем исключения из первого набора изображений тех изображений, которые не содержат документов; формируют третий набор изображений путем исключения из второго набора изображений тех изображений, которые не содержат основных элементов структуры идентификационного документа; выявляют на основе правил определения из сформированного третьего набора изображений по крайней мере одно изображение, которое содержит по крайней мере один идентификационный документ.

В другом варианте реализации способа изображениями, которые не содержат документ, считают изображения, которые не содержат общие для типовых документов элементы структуры документа.

Еще в одном варианте реализации способа основным элементом структуры идентификационного документа считают такой элемент структуры, который встречается и характерен только для идентификационных документов.

В другом варианте реализации способа общим для типовых документов элементом структуры документа является по крайней мере один из: фон оттенков светлого цвета, текст темного цвета.

Еще в одном варианте реализации способ элементом структуры идентификационного документа является по крайней мере один из: изображение лица, флаг страны или региона, печать государственного ведомства, текст с названием раздела идентификационного документа.

Краткое описание чертежей

Фиг. 1 иллюстрирует примеры изображений идентификационных документов.

Фиг. 2 иллюстрирует систему выявления изображения, содержащих идентификационный документ.

Фиг. 3 иллюстрирует алгоритм работы системы изображения, содержащего идентификационный документ.

Фиг. 4 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер.

Хотя изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Следует понимать, однако, что цель описания заключается не в ограничении изобретения конкретным его воплощением. Наоборот, целью описания является охват всех изменений, модификаций, входящих в рамки данного изобретения, как это определено приложенной формуле.

Описание вариантов осуществления изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, необходимыми для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется в объеме приложенной формулы.

В общем случае документ - материальный носитель с зафиксированной на нем в любой форме информацией в виде текста, звукозаписи, изображения и (или) их сочетания, который имеет реквизиты, позволяющие его идентифицировать, и предназначен для передачи во времени и в пространстве в целях общественного использования и хранения (Федеральный закон от 29.12.1994 N 77-ФЗ (ред. от 03.07.2016) 1 "Об обязательном экземпляре документов").

Идентификационный документ - особый вид документов, который позволяет удостоверять личность владельца документа и содержит персональные данные (http://en.academic.ru/dic.nsf/enwiki/211576). Список документов, удостоверяющих личность - открытый и обновляемый.

Персональные данные - любая информация, относящаяся к прямо или косвенно определенному или определяемому физическому лицу (субъекту персональных данных) (Федеральный закон от 27.07.2006 N 152-ФЗ (ред. от 22.02.2017) "О персональных данных");

Под изображением понимают цифровое изображение - числовое представление изображения в двумерной системе координат, записанное в файл графического формата. Фиг. 1 иллюстрирует примеры изображений идентификационных документов, в частности паспорта 110, водительских прав 120 или военного билета 130.

Существует ряд организаций, которые используют изображения для идентификации, аутентификации и подтверждения действий пользователя. Один из примеров ситуации, в которых возникает опасность получения несанкционированного доступа к персональным данным, «селфи»-фотография с идентификационным документом. В этой ситуации для подтверждения легальности идентификационного документа, представленного на фотографии, владелец показывает свое лицо. Злоумышленник, получив доступ к этой фотографии, например перехватив его передачу с использованием смартфона, может несанкционированно получить доступ к чужим персональным данным и использовать их без ведома владельца в своих целях. Для того, чтобы препятствовать возникновению подобной ситуации, необходимо выявлять изображения, содержащие идентификационные документы. Для выполнения этих целей используют систему изображения, содержащего идентификационный документ.

Фиг. 2 иллюстрирует систему изображения, содержащего идентификационный документ. Система выявления изображения, содержащего идентификационный документ содержит средство быстрой обработки 220, средство медленной обработки 230, средство проверки 240 и базу данных правил 250.

Средство быстрой обработки 220 предназначено для получения первого набора изображений 210, для формирования второго набора изображений путем исключения из первого набора изображений тех изображений, которые не содержат документ, для передачи сформированного второго набора изображений средству медленной обработки 230.

Поток изображений - массив изображений, передаваемых по сети или хранимых в памяти компьютерной системы, которые использует пользователь. Получение первого набора изображений 210 средством быстрой обработки 220 может быть выполнено путем выделения изображений из потока изображений в произвольном порядке и формирования из них первого набора изображений.

Формирование второго набора изображений может быть выполнено средством быстрой обработки изображений 220 путем исключения из первого набора изображений тех изображений, которые не содержат документов.

Изображениями, которые не содержат документ, считают изображения, которые не содержат общие для типовых документов элементы структуры документа, например фона документа (фон оттенков светлого цвета, специализированный фон документа), текста документа (обычно черного или синего цвета). Поскольку элементы структуры документа являются частью изображения, при проверке их наличия используют алгоритмы и библиотеки обработки изображений.

Наличие такого элемента структуры как фон документа может быть подтверждено путем обнаружения небольшой области изображения, содержащей фон документа 140, в которой нет символов и данных. Небольшая область изображения, содержащая фон документа 140 может быть использована в качестве объекта для поиска и обнаружена на изображении путем использования алгоритмов по поиску объектов, например, на основе библиотеки компьютерного зрения с открытым кодом OpenCV (http://opencv.org/). Алгоритм Local Binary Pattern (LBP, http://media.cs.tsinghua.edu.cn/~ahz/papers/ICB07_demographic.pdf) является достаточно быстроработающим и после обучения позволяет перебирать большое количество изображений, отсеивая те, которые не содержат искомый объект.

Наличие такого элемента структуры как текст документа может быть подтверждено путем обнаружения области изображения, содержащей текст 150. Область изображения, содержащая текст 150, может быть обнаружена путем использования алгоритм поиска областей текста, например Stroke Width Transform (http://www.math.tau.ac.il/~turkel/imagepapers/text_detection.pdf). Область изображения, содержащая текст 150, должна находиться в непосредственной близости с областью изображения, содержащей фон документа 140. Поэтому нет необходимости применять алгоритмы по поиску областей текста по всему анализируемому изображению.

Таким образом из первого набора исключают изображения, содержащие фотографии пейзажей, животных и прочее. Далее средство быстрой обработки 220 передает второй набор изображений средству медленной обработки 230.

Средство медленной обработки 230 предназначено для формирования третьего набора изображений путем исключения из второго набора изображений тех изображений, которые не содержат основных элементов структуры идентификационного документа, для передачи третьего набора изображений средству формирования набора 240.

Основной элемент структуры идентификационного документа - это такой элемент структуры, который встречается и характерен только для идентификационных документов. Основными элементами структуры информационного документа может быть изображение лица определенного формата, флаг страны или региона, места где был выдан документ, условные знаки, характерные для конкретного типа документа, печать государственного ведомства, текст с названием определенного раздела документа особого вида или в особом шрифте и т.д.

Выявление изображений, не содержащих основной элемент структуры идентификационного документа, и их последующее исключение выполняют путем применения каскадов признаков медленных алгоритмов обработки изображений, обученных для поиска областей изображения, содержащих основной элемент структуры идентификационного документа 160.

Признаком изображения называется его простейшая отличительная характеристика или свойство. Некоторые признаки являются естественными в том смысле, что они устанавливаются визуальным анализом изображения, тогда как другие, так называемые искусственные признаки, получаются в результате его специальной обработки или измерений. К естественным признакам относятся яркость и текстура различных областей изображения, форма контуров объектов и т.д. (Прэтт У. Цифровая обработка изображений: Пер. с англ. - М.: Мир, 1982. - Кн. 2 - 480 с., http://sernam.ru/book_prett2.php).

Существует ряд признаков, которые могут быть использованы для поиска требуемых изображений, например признаки цифрового изображения, построенных на основе алгоритма Виолы-Джонса (признаки Хаара, http://docs.opencv.org/trunk/d7/d8b/tutorial_py_face_detection.html), построенных на основе алгоритма Histogram of Oriented Gradient (HOG) (http://www.learnopencv.com/histogram-of-oriented-gradients/)

Таким образом, из второго набора исключают изображения, содержащие те документы, которые не являются идентификационными, например фотографии рукописных писем, распечатанных текстовых документов, страниц из книг и т.д. Далее средство медленной обработки 230 передает сформированный третий набор изображений средству проверки 240.

Средство проверки 240 предназначено для выявления на основе правил определения из сформированного третьего набора изображений тех изображений, которые содержат идентификационный документ.

Выявление изображений, которые содержат идентификационный документ, выполняют путем использования сверхмедленных алгоритмов обработки изображений, нейронных сетей и правил определения.

Правила определения - набор условий, при выполнение которого изображение из третьего набора считают идентификационным документом. Каждое изображение из третьего набора с высокой долей вероятности может содержать область изображения, содержащая фон 140, область изображения, содержащая текст 150, и как минимум одну область изображения, содержащую основной элемент структуры идентификационного документа 160. В общем случаем достаточным для выявления изображения, которое содержит идентификационный документ, будут правила определения, построенные для типов документов независимо от страны. Например, одним из примеров правила определения для выявления идентификационного документа типа паспорт может быть следующий набор условий: наличие фона документа светлых тонов любого цвета, наличие текста, определяющего раздел «пол», наличие основного элемента в виде флага или знака страны, выдавшей идентификационный документ, наличие фотографии лица владельца идентификационного документа.

Идентификационные документы определенного типа, выданные в разных регионах, могут иметь как схожие основные элементы структуры, например фотографию лица, так и различные основные элементы структуры, характерные для региона выдачи, например флаг страны, водяной знак или графический символ. Для таких случаев могут быть созданы правила определения для отдельных типов идентификационных документов. Например, в правило определения водительских прав может быть добавлено обязательное наличие флага.

Одним из примеров правила определения паспорта гражданина США может быть следующий набор условий: найдены фон документа оттенков светло-голубого цвета, текст черного цвета «Passport №», водяной знак USA в обрамлении, фотография лица владельца. При выполнении этого набора условий анализируемое изображение считают паспортом гражданина США, а, следовательно, идентификационным документом.

Другое правило определения идентификационного документа может содержать необходимость выполнения следующих условий: наличие фона оттенков светло-голубого с переходом на светло-фиолетовый, текст голубого цвета «ceadunas tiomana», фотография лица владельца документа, флаг европейского союза с надписью белого цвета «IRL» внутри.

Правила определения создают путем анализа изображений, содержащих идентификационный документ определенного типа. Например анализ тысячи документов позволит выявить похожие (содержащие данные о владельце) и неизменяемые (содержащие разделы документа, например Фамилия) области изображений. Анализ неизменяемых областей изображения военного билета РФ позволяет создать следующий набор условий: наличие фона светло оранжевого спектра, текста оттенков черного цвета «Выдан военным комиссариатом», водяного знака в виде оранжевой звезды в особом обрамлении. При выполнении этих условий анализируемое изображение признают военным билетом РФ, что является идентификационным документом.

Так же могут быть созданы правила определения на случаи работы в условиях ухудшения качества изображения, например при условии отсутствия цвета, резкости, пониженной яркости и прочее.

База данных правил 250 предназначена для хранения правил определения. В качестве базы данных правил 250 могут быть использованы различные виды баз данных, а именно: иерархические (IMS, TDMS, System 2000), сетевые (Cerebrum, Cronospro, DBVist), реляционные (DB2, Informix, Microsoft SQL Server), объектно-ориентированные (Jasmine, Versant, POET), объектно-реляционные (Oracle Database, PostgreSQL, FirstSQL/J, функциональные и т.д.

Фиг. 3 иллюстрирует алгоритм работы системы выявления изображения, содержащего идентификационный документ. На этапе 310 средство быстрой обработки 220 получает первый набор изображений 210. На этапе 311 средство быстрой обработки 220 формирует второй набор изображений путем исключения из первого набора изображений тех изображений, которые не содержат документов и передает сформированный второй набор средству медленной обработки. На этапе 312 средство медленной проверки 230 формирует третий набор изображений путем исключения из второго набора изображений тех изображений, которые не содержат основных элементов структуры идентификационного документа и передает сформированный третий набор средству проверки 240. На этапе 313 средство проверки 240 выявляет на основе правил 250 определения из сформированного третьего набора изображений те изображения, которые содержат идентификационный документ.

Фиг. 4 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер 20, содержащий центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами персонального компьютера 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.

Персональный компьютер 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных персонального компьютера 20.

Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флэш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.

Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.

Персональный компьютер 20 способен работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа персонального компьютера 20, представленного на Фиг. 4. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.

Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях персональный компьютер 20 подключен к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой.

Изобретение относится к системам и способам выявления документов, содержащих персональную информацию, на изображениях. Технический результат настоящего изобретения заключается в обнаружении наличия возможности получения доступа к персональным данным пользователя из потока изображений. Технический результат достигается за счет выявления изображений, содержащих идентификационный документ путем получения первого набора изображений; формирования второго набора изображений путем исключения из первого набора изображений тех изображений, которые не содержат документов; формирования третьего набора изображений путем исключения из второго набора изображений тех изображений, которые не содержат основных элементов структуры идентификационного документа; выявления на основе правил определения из сформированного третьего набора изображений по крайней мере одного изображения, которое содержит по крайней мере один идентификационный документ. 2 н. и 8 з.п. ф-лы, 4 ил.

1. Система выявления изображения, содержащего идентификационный документ, при этом упомянутая система содержит:

а) средство быстрой обработки, предназначенное:

- для получения первого набора изображений,

- для формирования второго набора изображений путем исключения из первого набора изображений тех изображений, которые не содержат документов,

- для передачи сформированного второго набора средству медленной обработки;

б) средство медленной обработки, предназначенное:

- для формирования третьего набора изображений путем исключения из второго набора изображений тех изображений, которые не содержат основные элементы структуры идентификационного документа,

- для передачи сформированного третьего набора изображений средству проверки;

в) средство проверки, предназначенное для выявления на основе правил определения из сформированного третьего набора по крайней мере одного изображения, которое содержит по крайней мере один идентификационный документ;

г) базу данных правил, предназначенную для хранения правил определения.

2. Система по п. 1, в которой изображениями, которые не содержат документ, считают изображения, которые не содержат общие для типовых документов элементы структуры документа.

3. Система по п. 1, в которой основным элементом структуры идентификационного документа считают такой элемент структуры, который встречается и характерен только для идентификационных документов.

4. Система по п. 1, в которой общим для типовых документов элементом структуры документа является по крайней мере один из: фон оттенков светлого цвета, текст темного цвета.

5. Система по п. 1, в которой элементом структуры идентификационного документа является по крайней мере один из: изображение лица, флаг страны или региона, печать государственного ведомства, текст с названием раздела идентификационного документа.

6. Способ выявления изображения, содержащего идентификационный документ, при этом способ содержит этапы, которые реализуются с помощью средств из системы по п. 1 и на которых:

а) получают первый набор изображений;

б) формируют второй набор изображений путем исключения из первого набора изображений тех изображений, которые не содержат документов;

в) формируют третий набор изображений путем исключения из второго набора изображений тех изображений, которые не содержат основных элементов структуры идентификационного документа;

г) выявляют на основе правил определения из сформированного третьего набора изображений по крайней мере одно изображение, которое содержит по крайней мере один идентификационный документ.

7. Способ по п. 6, в котором изображениями, которые не содержат документ, считают изображения, которые не содержат общие для типовых документов элементы структуры документа.

8. Способ по п. 6, в котором основным элементом структуры идентификационного документа считают такой элемент структуры, который встречается и характерен только для идентификационных документов.

9. Способ по п. 6, в котором общим для типовых документов элементом структуры документа является по крайней мере один из: фон оттенков светлого цвета, текст темного цвета.

10. Способ по п. 6, в котором элементом структуры идентификационного документа является по крайней мере один из: изображение лица, флаг страны или региона, печать государственного ведомства, текст с названием раздела идентификационного документа.