СПОСОБ АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ ФОРМАЛИЗОВАННЫХ ЭЛЕКТРОННЫХ ГРАФИЧЕСКИХ И ТЕКСТОВЫХ ДОКУМЕНТОВ В СИСТЕМЕ ЭЛЕКТРОННОГО ДОКУМЕНТООБОРОТА С АВТОМАТИЧЕСКИМ ФОРМИРОВАНИЕМ ЭЛЕКТРОННЫХ ДЕЛ Российский патент 2021 года по МПК G06F16/35 

Область техники, к которой относится изобретение

Изобретение относится к системам классификации и аннотирования графических и текстовых документов и может использоваться в системах электронного документооборота, базах данных, автоматизированных системах, где существует необходимость классификации формализованных электронных графических и текстовых документов по степеням конфиденциальности, содержащейся в них информации и областям информационной ответственности должностных лиц с учетом уровня их допуска к указанной информации, а также необходимость автоматического формирования электронных дел по результатам аннотирования информативной части каждого документа.

Уровень техники

а) Описание аналогов

Известен аналог - способ мультиклассовой классификации (Schapire R.E., Singer Y. "BoosTexter: A boosting-based system for text categorization". MachineLearning 39, 2/3, 2000, pp. 13 5-168), заключающийся в том, что осуществляют преобразование документа из формата хранения в текст на естественном языке, преобразуют слова документа в базовые словоформы, отбрасывают незначимые слова, осуществляют подсчет весов слов в документе в соответствии с частотами их появления и тем самым формируют вектор признаков документа; на этапе обучения по предъявленному набору классифицированных вручную документов формируют набор классификационных признаков, сохраняют классификационные признаки в базе данных; при классификации документа осуществляют преобразование его из формата хранения в текст на естественном языке, преобразуют слова документа в базовые словоформы, отбрасывают незначимые слова, осуществляют подсчет весов слов в документе и формируют вектор признаков документа, после чего принимают решение о принадлежности либо не принадлежности документа каждой информационной области.

Недостатком данного способа являются то, что он не позволяет классифицировать формализованные электронные графические документы по областям информационной ответственности должностных лиц.

Также известен аналог - способ обучения классификатора, предназначенного для определения категории документа (Патент РФ № 2672395, МПК G06K 9/00, G06F 17/30, 2018), заключающийся в получении документов, которые принадлежат к категории, для каждого полученного документа определении содержащихся в нем объектов, являющихся графическими элементами, для каждого полученного документа формировании набора признаков, состоящего из определенных объектов, при этом упомянутыми признаками являются признаки, характеризующие наличие объектов, местоположение объектов, количество объектов, расположение одного объекта по отношению к другому объекту, размеры объекта, угол наклона объекта, выполнении построения классификатора на основании значений сформированных признаков для получения документов.

Недостатком данного способа является то, что он не позволяет классифицировать формализованные электронные графические документы по областям информационной ответственности должностных лиц.

б) Описание ближайшего аналога (прототипа)

Наиболее близким по технической сущности к предлагаемому является способ автоматической классификации электронных документов в системе электронного документооборота с автоматическим формированием электронных дел (Патент РФ № 2692972, МПК G06F 17/30, G06F 17/21, 2019), заключающийся в выделении и анализе формальной части поступившего документа (реквизитов), осуществлении преобразования информативной части документа в текст на естественном языке, преобразования слов преобразованного документа (за исключением отдельных слов и словосочетаний, соответствующих временным интервалам выполнения определенной документом деятельности) в базовые словоформы, отбрасывании незначимых слов, осуществлении подсчета весов слов в документе в соответствии с частотами их появления и формировании признаков документа, на основании полученных классификационных признаков формировании реквизита «резолюция», определении срока хранения исполненного документа и принятии решения об определении дела, в которое требуется распределить исполненный документ.

Недостатком данного способа является отсутствие возможности классифицировать формализованные электронные графические документы по областям информационной ответственности должностных лиц, чем достигается заявленный технический результат.

Раскрытие сущности изобретения

а) технический результат, на достижение которого направлено изобретение

Техническим результатом настоящего изобретения является автоматизация классификации формализованных электронных текстовых и графических документов в системе электронного документооборота по областям информационной ответственности должностных лиц для их доклада лицу, принимающему решения, и распределение их в электронные дела.

б) совокупность существенных признаков

Под формализованным текстовым документом понимается типовой (стандартный) документ, обладающий типовым составом реквизитов и их расположением, определенным нормативными правовыми актами, содержательная (информативная) часть которого представлена реквизитом - текст документа (примечание - может содержать в составе документа графические элементы). Под формализованным графическим документом понимается типовой стандартный документ, обладающий типовым составом реквизитов и их расположением, определенным нормативными правовыми актами, содержательная (информативная) часть которого представлена реквизитом - графическое изображение, состоящее из отдельных графических элементов, построенных посредством линий, штрихов, светотени, точек, цвета (ограничение: отсутствует реквизит - текст документа). Под графическим элементом понимается условные формализованные обозначения - знаки (символы), совокупность которых составляют графическое изображение. Для достижения указанного технического результата предложен способ автоматической классификации формализованных электронных графических и текстовых документов в системе электронного документооборота с автоматическим формированием электронных дел, заключающийся в том, что определяют области формализованного документа для извлечения метаданных и информативной части; для текстовых документов осуществляют преобразование документа из формата хранения в текст на естественном языке, преобразуют слова обработанного документа в базовые словоформы, отбрасывают незначимые слова, осуществляют подсчет весов слов в документе в соответствии с частотами их появления, на основе распознанных реквизитов и значений ключевых слов этих реквизитов определяют конкретный вид электронного документа, с помощью значений весов слов в документе определяют область информационной ответственности (далее - ОИО); при преобразовании слов документа в базовые словоформы выделяют и оставляют без изменений отдельные слова и словосочетания, соответствующие временным интервалам выполнения определяемой документом деятельности, формируют, тем самым, вектор данных о сроках исполнения документа; на основе определенных ОИО, а также априорных сведений о структуре организации (учреждения), в том числе об отношениях подчиненности между должностными лицами организации (учреждения) и уровнях их допуска к различным степеням конфиденциальности документов, формируют первый набор классификационных признаков; на основе определенных вида документа и ОИО, к которым относится документ, при помощи предикатов узнавания ключевых слов и отдельных реквизитов формальной части формируют второй набор классификационных признаков; на основе определенных ОИО и вида документа формируют третий набор классификационных признаков и определяют статью Перечня документов со сроками их хранения (далее - Перечень), хранящуюся в базе данных, к которой может быть отнесен исполненный документ; на основании ранее определенных реквизитов и уникальных ключевых слов, относящихся к этим реквизитам, формируют четвертый набор классификационных признаков, определяют контур системы электронного документооборота (далее - СЭД), в котором был разработан документ; на основании определенных статьи Перечня и контура СЭД формируют пятый набор классификационных признаков и определяют срок хранения исполненного документа; на основании определенной статьи Перечня, определенного срока хранения исполненного документа и исполнителя документа формируют шестой набор классификационных признаков и определяют дело, в которое будет распределен исполненный документ; на основании определенной метки конфиденциальности документа и известной метки конфиденциальности дела, в которое будет распределен документ, проверяют соответствие меток конфиденциальности документа и дела, в которое его распределяют; на этапе обучения по набору классифицированных вручную документов формируют систему предикатов определения ОИО; формируют систему предикатов идентификации метки конфиденциальности документа; сохраняют указанные системы предикатов в базе данных; по набору документов, для которых вручную заполнен реквизит «резолюция», формируют систему предикатов идентификации исполнителя поручения по поступившему документу и систему предикатов идентификации поручения, сохраняют системы предикатов в базу данных; по набору классифицированных вручную документов, формируют систему предикатов определения статьи Перечня, формируют систему предикатов определения контура СЭД, в котором был разработан документ, формируют систему предикатов определения срока хранения документа, сохраняют указанные системы предикатов в базе данных; формируют систему предикатов определения дела, в которое будет распределен исполненный документ, формируют систему предикатов проверки соответствия меток конфиденциальности документа и дела, в которое будет распределен документ, и сохраняют указанные системы предикатов в базе данных; при классификации документов с помощью базы данных принимают решение об относимости документа каждой из информационных областей и каждой из меток конфиденциальности, подставляют первый набор классификационных признаков в систему предикатов идентификации исполнителя поручения и по предикатам, принявшим значение «истина», принимают решение об отнесении документа к компетенции конкретных сотрудников, подчиненных руководителю; подставляют второй набор классификационных признаков в систему предикатов идентификации поручения и по предикатам, принявшим значение «истина», принимают решение о назначении исполнителям конкретных поручений по исполнению поступившего документа; полученные данные об исполнителе, поручении и сроке исполнения, а также полученные любым способом данные о дате рассмотрения документа, объединяют в кортеж данных и присваивают его реквизиту документа «резолюция»; с помощью базы данных принимают решение об относимости документа к каждой из статей Перечня, подставляют третий набор классификационных признаков в систему предикатов определения статьи Перечня и по предикатам, принявшим значение «истина», принимают решение об отнесении документа к конкретной статье Перечня; подставляют четвертый набор классификационных признаков в систему предикатов определения контура СЭД и по предикатам, принявшим значение «истина», принимают решение о контуре СЭД, в котором был разработан документ; подставляют пятый набор классификационных признаков в систему предикатов узнавания срока хранения документа, и по предикатам, принявшим значение «истина», принимают решение о присвоении срока хранения исполненному документу; подставляют шестой набор классификационных признаков в систему предикатов определения дела, в которое будет распределен исполненный документ и по предикатам, принявшим значение «истина», принимают решение об определении дела, в которое требует распределить исполненный документ, отличающийся тем, что на основе сведений о характеристиках документа и распознанных реквизитах в документе определяют вид документа - графический или текстовый; при условии определения графического документа, используя технологию распознавания образов графических элементов (алгоритм Виолы Джонса), определяют наличие в документе графических элементов, классифицированных по ОИО должностных лиц, в случае обнаружения графических элементов, получившиеся значения подставляют в систему предикатов, по которой определяют ОИО должностных лиц для графического документа; на этапе обучения по набору классифицированных вручную графических документов формируют наборы графических элементов, относящихся к конкретным ОИО должностных лиц, на основе которых используя технологию распознавания образов графических элементов (алгоритм Виолы Джонса) обучают классификатор графических элементов; на основании значений классификатора формируют систему предикатов определения ОИО должностных лиц, сохраняют указанную систему предикатов в базе данных; на этапе классификации графического электронного документа подставляют набор полученных значений выявленных графических элементов в систему предикатов определения ОИО должностных лиц и по предикатам, принявшим значение «истина», принимают решение об отнесении графического документа к выявленной ОИО должностных лиц.

Краткое описание чертежей

На фигуре представлена блок-схема вычислительного устройства для реализации способа. Устройство для реализации способа состоит из блоков: ввода формализованных документов 1, анализа характеристик документа 2, распознавания реквизитов документа 3, распознавания вида документа 4, выделения метаданных 5, определения вида информативной части документа 6, определения базовых словоформ 7, создания рабочего словаря 8, определения весов словоформ текста документа 9, определения графических элементов 10, распознавания области информационной ответственности 11, учета документа по метаданным 12, обучения 13, распознавания метки конфиденциальности документа 14, адресации документа 15, формирования проекта резолюции руководителя 16, ввода-вывода в (из) систему 17, формирования дел 18.

Осуществление изобретения

При поступлении электронного документа (далее - ЭД):

1. Выделяют характеристики одинаковых участков текста Z - реквизитов. При этом априорно известно, что количество реквизитов формализованного ЭД ограничено. Каждый реквизит представим конечным предикатом P_Z(T,L), где Т - конечное множество характеристик текста t, L={l_q} - множество ключевых слов l реквизита, где q' - количество всех используемых ключевых слов. Для написания правил построения предикатов используем математический аппарат логики предикатов.

Правило построения предиката узнавания реквизита формализованного документа, выразится следующей формулой:

где {b} - множество значимых слов в реквизитах формализованных документов;

{h} - множество характеристик текста, - возможные характеристики текста;

{α} - множество переменных характеристик текста, - возможные переменные характеристики текста;

- предикат узнавания α-ой переменной h-ой характеристики текста;

l_b - предикат узнавания значимых слов в реквизитах.

2. Вид документа определяется при помощи конечного предиката P_V(Z, L), где V - {v_j}, где - множество видов документов, j' - количество всех используемых видов документов, Z - множество реквизитов документа, n - количество всех реквизитов документов. Правило построения предиката узнавания вида документа выразится следующей формулой:

где {v_j} - множество видов документов, j - все используемые виды формализованных документов;

Z={z_j} - предикат узнавания i-го реквизита для j-го вида документа,

n - количество всех возможных реквизитов на документе;

- предикат узнавания уникального значения ξ ключевого слова q i-го реквизита j-го вида документа.

С использованием правил (1, 2) создаются системы предикатов идентификации формуляров (расположения и значений реквизитов) и видов поступающих документов. Формуляр документа однозначно задает места расположения реквизитов документа, что позволяет классифицировать документы по виду и степени ограничения доступа.

3. Определяют вид информативной части документа (текстовый или графический) для определения способа выделения информативной части документа для определения ОИО должностных лиц. Для этого с помощью правила (1) проводят проверку на наличие реквизита - текст документа (Z₁₈ - реквизит текст документа в соответствии с ГОСТ 7.0.97 2016 года).

3.1. В случае, когда предикат узнавания реквизитов документа (1) по реквизиту Z₁₈ принимает значение «истина», информативную текстовую часть документа (далее - текст) преобразуют из формата хранения в текст на естественном языке, преобразуют слова документа в базовые словоформы, отбрасывают незначимые слова, осуществляют подсчет весов слов в тексте в соответствии с частотами их появления и тем самым формируют предикаты идентификации признаков текста.

Вес ƒ словоформы w_p в тексте документа d_x, рассчитывается по формуле:

где - количество раз, которое w_p-я словоформа встречается в d_x-м тексте документа; - общее количество словоформ в d_x-м тексте документа.

После разбиения текста на слова происходит определение для каждого слова его базовой словоформы по одному из способов. Для документов на естественном языке славянской группы предпочтительными являются алгоритмы лемматизации (процесса приведения слова к его нормальной форме (лемме), допустимо применение алгоритмов усечения окончаний, стохастических и статистических алгоритмов; для документов на естественном языке западногерманской группы - алгоритмов усечения окончаний, например, стеммер Портера (использование специальных правил отсечения и замены окончаний слов).

3.2. В случае, когда предикат узнавания реквизитов документа (1) по реквизиту Z₁₈ принимает значение «ложь», производят проверку документа на наличие графических элементов в информативной части документа. Для этого используют метод Виолы-Джонса, основанный на применении n-мерных Хаар-функций. Обученный классификатор, состоящий из каскадов признаков Хаара, определяет на графическом изображении наличие или отсутствие графических элементов. Для этого применяют операцию ковариации - производят сравнение двух изображений, одним из которых является изображение в графическом документе, а вторым - графический элемент, который необходимо распознать на изображении. Прямоугольная область (признак Хаара) перемещается по изображению и детектируются граничные точки с минимальными отличиями от образца, а затем применяется классификатор к каждому из положений. Признак Хаара является набором прямоугольных областей графического элемента, примыкающих друг к другу и разделенных на две группы. Для вычисления признака Хаара складываются яркости пикселей изображения в первой и второй группах прямоугольных областей, а затем вычисляют из первой полученной суммы вторую по формулам:

где v_jk - яркость пикселя с координатами (j; k);

α_i - сумма яркостей пикселей в i-й области первой группы;

b_i - сумма яркостей пикселей в i-й области второй группы;

X - значение признака Хаара;

h_αi,w_αi,h_bi,w_bi - высота и ширина i-х областей первой и второй групп соответственно;

γ_αi,x_αi,γ_bi,x_bi - смещения по оси у и х i-х областей первой и второй групп;

N_α и N_b - количество областей в первой и второй группах.

Для выявления графического элемента с достаточной точностью требуется большое количество признаков Хаара. Для этого признаки Хаара организованы в каскады классификатора.

Согласно имеющихся видов формализованных графических документов создается база данных, представляющая собой обученный классификатор - каскады признаков Хаара, которые могут определить на изображении в графических документах графические элементы, по которым происходит классификация формализованного графического документа по ОИО должностных лиц.

Математическая модель подпроцесса определения наличия графических элементов в документе, используя логику предикатов выразится следующей формулой:

Зададим интерпретацию для формулы (3):

X={х₁,…,х'} - множество вычисленных признаков Хаара на изображении,

х∈{х₁,…,х'}, х₁ - первое значение вычисленного признака Хаара на изображении, х' - последнее значение вычисленного признака Хаара на изображении;

K={k₁,…,k'} - множество признаков Хаара в классификаторе,

k∈{k₁,…,k'}, k₁ - первое значение признаков Хаара в классификаторе, k' - последнее значение признаков Хаара в классификаторе;

Р⁺={(x₁,…,х',k₁,…,k'):λ(P(х₁,…,х',k₁,…,k'))=1} - множество определенных графических элементов в документе.

P_G(х,k) - предикат определения наличия графических элементов в документе: значение признака Хаара х (х∈Х), вычисленного на изображении в документе, равно значению признака Хаара в классификаторе k (k∈K).

На основе полученных значений формируют систему предикатов идентификации признаков изображения.

3.3. В случае, когда предикат узнавания реквизитов документа (1) по реквизиту Z₁₈ принимает значение «ложь», графические элементы в информационной части документа по правилу (3) не выявлены, система переходит в блок обучения, где оператор вручную принимает решение об определении ОИО должностных лиц документа.

4. Идентификация ОИО осуществляется с использованием логики предикатов с помощью формулы, состоящей из двух предикатов (первого - определения ОИО на основе графических документов, второго - определения ОИО на основе текстовых документов) соединенных логической операцией - дизъюнкция.

Математическая модель подпроцесса определения ОИО в документе, используя логику предикатов выразится следующей формулой:

Зададим интерпретацию для формулы (4):

Е∈{β₁,…,β'} - множество значений ОИО, где β∈{β₁,…,β'}, β₁ - первое значение ОИО в документе, β' - последнее значение ОИО в документе;

B_β={b₁,…,b'} - множество значений признаков Хаара, отнесенных к β-й ОИО, b∈{b₁,…,b'}, b₁ - первое значение признака Хаара по β-й ОИО, b' - последнее значение классифицированных признаков Хаара по β-й ОИО;

G={g₁,…,g'} - множество признаков Хаара классификатора, выявленных в документе, g∈{g₁,…,g'}, g₁ - первое значение признаков Хаара классификатора, выявленных в документе, g' - последнее значение признаков Хаара классификатора, выявленных в документе;

W={w₁,…,w'} - множество значимых слов, выявленных в документе, w∈{w₁,…,w'}, w₁ - первое значение значимых слов в документе, w' - последнее значение значимых слов в документе;

- множество значимых слов текстов, отнесенных к β-й ОИО, где ω∈{ω₁,…,ω'}, ω₁ - первое значение значимых слов текстов по β-й ОИО, ω' - последнее значение значимых слов текстов по β-й ОИО;

F={ƒ₁,…,ƒ'} - множество вычисленных значений весов значимых слов, выявленных в документе, ƒ∈{ƒ₁,…,ƒ'}, ƒ₁ - первое значение вычисленных значений весов значимых слов в документе, ƒ' - последнее значение вычисленных значений весов значимых слов в документе;

- множество весов значимых слов текстов, отнесенных к β-й ОИО, где - первое значение весов значимых слов текстов по β-й ОИО, - последнее значение весов значимых слов текстов по β-й ОИО.

- предикат определения области информационной ответственности на основе графических документов: существует значение признака Хаара b (b∈B_β), отнесенного к β-й ОИО (β∈Е), для которого существует равное ему значение признака Хаара классификатора g (g∈G), выявленного в документе.

- предикат определения области информационной ответственности на основе текстовых документов: для каждого значения значимого слова, выявленного в тексте документа w (w∈W), существует идентичное ему значение значимого слова текста отнесенного к β-й ОИО (β∈Е), и для каждого вычисленного значения веса значимого слова, выявленного в тексте документа ƒ (ƒ∈F), существует идентичное ему значение веса значимого слова текста отнесенного к β-й ОИО (β∈E).

Значение β (β∈Е), по которому предикат, записанный по формуле (4) примет истинное значение, будет соответствовать β-й ОИО документа.

5. Правило построения предиката P_M(U,Z) узнавания метки конфиденциальности документа М={m_λ}, где λ' - количество определенных в системе меток конфиденциальности выразится следующей формулой:

где - предикат узнавания k-го значения r-го реквизита;

m_o - метка конфиденциальности документа d_y, при этом m_o∈М;

u_β - предикат узнавания β-й области, где β' - количество информационных областей системы.

6. После определения метки конфиденциальности документа переходят к формированию проекта резолюции руководителя организации. Реквизит «резолюция», исходя из его определения, представим в виде кортежа данных:

где μ_ϕ - наименование должности, либо фамилии и инициалов ϕ-го должностного лица организации (учреждения), ϕ' - количество должностных лиц, непосредственно подчиненных руководителю и являющихся исполнителями его поручений по поступающим электронным документам;

S_ϕχ - χ-е поручение руководителя ϕ-му должностному лицу;

- срок исполнения χ^_го поручения руководителя ϕ-му должностному лицу и соответствующий ему атомарный предикат узнавания дат и сроков в информативной части документа;

- подпись руководителя.

7. Правило построения предиката Р_μ(U,М) узнавания должностного лица организации (учреждения), компетентного в u_β-ой области информационной ответственности, имеющего соответствующий степени ограничения λ допуск и являющегося исполнителем формируемого поручения руководителя (далее - исполнитель) по поступившему электронному документу d выразится следующим образом:

где - предикат узнавания значения λ метки конфиденциальности m_o поступившего документа d_y, λ' - общее количество меток конфиденциальности в системе.

8. Правило построения предиката выбора поручения из списка готовых поручений будет иметь вид:

9. После исполнения всех поручений начальника (резолюции) по документу переходят к распределению документа в дело.

Для этого определяют статью Перечня, к которой может быть отнесен документ. Правило построения предиката узнавания статьи Перечня который примет значение «истина» при условии, что документ относится к конкретной ОИО (u_β) и имеет конкретный вид (v_j), выражаю следующей формулой

где N^s - статья Перечня;

u_β - область информационной ответственности к которой относится документ;

v_j - вид формализованного документа.

10. Прежде чем определить срок хранения исполненного документа, необходимо определить контур системы электронного документооборота, в котором был разработан и хранится документ (γ).

Правило записи предиката узнавания контура, в котором исполненный документ был разработан, P_γ(Z,L), выразится следующей формулой, которая примет значение «истина» при условии, что в реквизитах «место составления», «адресат», «отметка о поступлении» есть уникальные слова соответствующие искомому контуру:

где γ - контур СЭД, в котором был разработан ЭД;

z_i - предикат узнавания i-го реквизита;

- предикат узнавания уникального значения ξ' ключевого слова q i-го реквизита электронного документа, относящегося γ-у контуру;

i={13,16,22} -реквизиты документа в соответствии с ГОСТ 7.0.97 2016 года;

z_i - предикат узнавания i-го реквизита для ЭД, относящегося к контуру.

11. Далее определяют срок хранения исполненного документа (τ) при помощи предиката узнавания срока хранения ЭД P_τ(U,V,K), который примет значение истина при условии, что ЭД отнесен к конкретной статье Перечня и разработан в конкретном контуре СЭД, правило построения которого, выразится следующей формулой:

где P_τ(U,V,K) - предикат узнавания срока хранения (τ) документа;

u_β - область информационной ответственности к которой относится документ;

v_j - вид формализованного документа;

- предикат узнавания g контура СЭД, в котором разработан и хранится исполненный документ;

g' - контур СЭД, отличный от контура, в котором разработан и хранится исполненный документ.

12. На основании значений, полученных в (5, 7 и 8) определяют дело (i), в которое будет распределен исполненный документ, используя предикат P_l(N^s,Т,Ω), который примет значение «истина» при условии, что документ отнесен к конкретной статье Перечня и обладает конкретным сроком хранения и относится к области деятельности конкретного подразделения (должностного лица). Правило построения предиката P_l(N^s,T,Ω) выражают следующей формулой:

где l - электронное дело, в котором будет храниться исполненный ЭД;

N^s - предикат узнавания статьи Перечня, к которой отнесен ЭД;

Т - предикат узнавания срока хранения документа;

Ω - предикат узнавания должностного лица, к области деятельности которого относится документ;

τ - срок хранения документа;

μ - должностное лицо (структурное подразделение) к области информационной ответственности которого отнесен документ;

- статья Перечня, к которой отнесен документ.

13. Перед распределением документа в дело необходимо проверить соответствие ограничительных меток конфиденциальности документа и дела. На основании данных, полученных в (4), построят правило записи предиката узнавания разрешения на распределение документа в дело:

где P_θ(M^d, М^Δ) - предикат узнавания возможности распределения документа в дело;

m^d - предикат узнавания ограничительной метки конфиденциальности дела;

m^Δ - предикат узнавания ограничительной метки конфиденциальности документа.

Способ автоматической классификации формализованных электронных графических и текстовых документов в системе электронного документооборота с автоматическим формированием электронных дел основывается на работе 3-х классификаторов, для обучения которых необходимо разработать 3 блока наборов обучающих документов, имеющих свои особенности.

Согласно предлагаемому способу каждый текстовый документ d_x представляется декартовым произведением переменных из множеств Т × L × W, а каждый графический документ d_y представляется декартовым произведением переменных из множества Т × L × G.

Особенностями обучающих документов для классификатора текстовых документов по областям информационной ответственности является создание словаря значимых слов, содержащего базовые словоформы всех слов, встречающихся в обучающих документах.

При этом для классификации текстового документа в расчет берутся не все словоформы из словаря документов, а лишь те из них, которые входят в рабочий словарь классификатора. В рабочий словарь классификатора включаются наиболее информативные словоформы с точки зрения определения принадлежности документа данной области (метке). Информативность словоформы w_p для классификатора по информационной области u_β определяется по следующей формуле:

В рабочий словарь классификатора включаются все словоформы, не попавшие в стоп-словарь, информативность которых превышает заданный порог информативности ε. Стоп-словарь состоит из словоформ, частоты встречаемости которых во множестве обучающих документов превышают заранее установленный порог δ. При этом могут отсекаться слова, не несущие смысловой нагрузки, такие как предлоги, союзы, вводные и общие слова и т.д. Значения коэффициента δ, согласно данному способу, устанавливаются в пределах от 0.05 до 0.7 и могут быть различны в зависимости от специфики и условий его использования. Количество предикатов в системе предикатов определяются количеством ОИО должностных лиц, на которые необходимо классифицировать документы.

Особенностями обучающих документов для классификатора графических документов по областям информационной ответственности является использование документов, информативная часть которых представлена графическим изображением, состоящим из графических элементов, при этом используются не все графические элементы, представленные в документах, а лишь те из них, которые относятся к одной определенной области информационной ответственности.

При этом, для классификации графических документов используется метод Виолы-Джонса, основанный на применении n-мерных Хаар-функций, в котором для идентификации графических элементов используется специально обученный классификатор, состоящий из каскадов признаков Хаара. Каждый каскад признаков Хаара может определить в документе один вид графического элемента.

По предъявленному набору классифицированных вручную графических документов, выделяют графические элементы для обучения классификатора. Для обучения классификатора необходимо подготовить набор положительной выборки, представляющий собой изображения графического элемента, который необходимо обнаружить в документе, в различных ракурсах (расположенный под разными углами по отношению к документу, на разном фоне, исполненный в разной цветовой гамме и т.д. в зависимости от вида документа), и набор негативной выборки (не содержащей графический элемент, который необходимо детектировать). Надежность работы классификатора зависит от размера обучаемой выборки, качества подготовленных образцов графических элементов и оптимальности используемых настроек при обучении классификатора (количество уровней каждого каскада признаков Хаара, коэффициент качества обучения, уровень ложной тревоги). Значения коэффициентов, согласно данному способу, устанавливаются в следующих пределах: количество уровней каскадов признаков Хаара больше или равно 18, коэффициент качества обучения от 0.9 до 0.95, уровень ложной тревоги от 0.4 до 0.5 и могут быть различны в зависимости от специфики и условий их использования. Количество предикатов в системе предикатов определяются количеством областей информационной ответственности, на которые необходимо классифицировать документы.

Особенностями обучающих документов для классификатора формирования электронных дел является их предварительная ручная классификация по делам, с учетом соответствия меток конфиденциальности документа и дела, а также содержащие непустой реквизит «отметка об исполнении и направлении в дело».

При этом, по предъявленному набору классифицированных вручную документов, формируют систему предикатов идентификации признаков текста, где количество предикатов в системе предикатов определяется количеством статей Перечня, на которые необходимо классифицировать документы. Сохраняют предикаты в базе данных.

По предъявленному набору классифицированных вручную документов формируют системы предикатов определения контура СЭД, в котором был разработан исполненный документ. Количество предикатов в системе определяется количеством контуров, заданных в информационной системе. Сохраняют системы предикатов в базе данных.

По предъявленному набору классифицированных документов, определяют срок хранения исполненного документа, формируют системы предикатов определения сроков хранения исполненного документа. Количество предикатов в системе определения сроков хранения определяется количеством возможных сроков хранения, определенных Перечнем. Сохраняют системы предикатов в базе данных.

По предъявленному набору классифицированных документов, определяют дело, в которое будет распределен исполненный документ, формируют системы предикатов определения дела, в которое будет распределен исполненного документа. Количество предикатов в системе определения дела, в которое будет распределен исполненный документ, определяется количеством возможных дел, определенных номенклатурой дел организации. Сохраняют системы предикатов в базе данных.

Функционирование автоматической системы классификации формализованных текстовых и графических документов:

1. Осуществляют преобразование документа из формата хранения в текст на естественном языке.

2. Для определения области информационной ответственности должностных лиц, определяют вид информативной части документа (текстовый или графический). Для этого проводят проверку на наличие реквизита - текст документа Z₁₈ с помощью правила (1).

2.1. В случае, когда система предикатов (1) по реквизиту Z₁₈ принимает значение «истина», осуществляют преобразование слов текста в базовые словоформы, отбрасывают незначимые слова, осуществляют подсчет весов слов в тексте, получившиеся значения подставляют в систему предикатов (4), находящуюся в базе данных. По предикатам, принявшим значение «истина», однозначно определяют области информационной ответственности должностных лиц, к которым относится документ.

2.2. В случае, когда система предикатов (1) по реквизиту Z₁₈ принимает значение «ложь», осуществляют поиск в документе графических элементов с помощью классификатора по правилу (3), значения выявленных графических элементов подставляют в систему предикатов (4), находящуюся в базе данных. По предикатам, принявшим значение «истина», однозначно определяют области информационной ответственности, к которым относится документ.

2.3. В случае, когда система предикатов (1) по реквизиту Z₁₈ принимает значение «ложь», а поиск в документе графических элементов по правилу (3) не выявил графические элементы, система переходит в блок обучения, где оператор вручную определяет информационную область ответственности документа.

3. Используя извлеченные метаданные документа, полученные по (1), определяют соответствующую ему метку конфиденциальности, для чего указанные значения подставляют в систему предикатов, построенных по (5). По предикату, принявшему значение «истина», определяют метку конфиденциальности.

4. Для построения проекта реквизита «резолюция», во-первых, определенные по (4) значения областей информационной ответственности и определенное по (5) значение метки конфиденциальности документа подставляют в систему предикатов, построенных по (6), и по предикатам, принявшим значение «истина», определяют исполнителя. Во-вторых, подставляя в систему предикатов, построенных по (7), значения определенных по (1) реквизитов документа, по (2) вида документа и по (4) области информационной ответственности, а также значения отдельных ключевых слов, по предикатам, принявшим значения «истина» определяют конкретные поручения. Дополняя полученные значения исполнителя и поручения определенными атомарными предикатами узнавания значениями сроков исполнения и определенной любым способом даты поступления документа, получают кортеж данных, который присваивается реквизиту «резолюция» поступившего документа.

5. Используя значения области информационной ответственности, полученные по (4), и значение вида документа, полученные по (2), подставляют в систему предикатов, построенных по правилу (8), и по предикатам, принявшим значение «истина», определяют статью Перечня, к которой можно отнести исполненный документ. Значения, определенные по (8) статьи Перечня и значения, определенные по (9), подставляют в систему предикатов, построенных по правилу (11) и по предикатам, принявшим значение «истина», определяют дело, в которое будет распределен исполненный документ.

6. Используя значения определенные по (5) метки конфиденциальности документа и предиката узнавания метки конфиденциальности выбранного дела, подставляя их в систему предикатов построенных по правилу (12) и по предикатам, принявшим значение «истина», определяют возможность распределения исполненного документа в идентифицированное дело.

Отметим, что данный способ предназначен для обработки машиночитаемых текстов на естественном языке и формализованных графических документов, изображение которых представлено с помощью определенных условных графических элементов.

Сопоставительный анализ заявляемого решения с прототипом показывает, что предлагаемый способ отличается выявлением в информативной части документа графических элементов с использованием правила (3) и определением области информационной ответственности должностных лиц для формализованных графических и текстовых документов с помощью усовершенствованного правила (4).

Благодаря новой совокупности существенных признаков способ позволяет автоматизировать процесс распределения формализованных электронных документов по областям информационной ответственности должностных лиц в случаях, когда информативная часть документа представлена реквизитом текст или графическим изображением.

Анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных признакам заявленного технического решения, отсутствуют, что указывает на соответствие заявленного способа условию патентоспособности «новизна».

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность отличительных существенных признаков, обуславливающих тот же технический результат, который достигнут в заявленном способе. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».

Автоматическая классификация формализованных электронных графических и текстовых документов в системе электронного документооборота с автоматическим формированием электронных дел осуществляется следующим образом:

1. В режиме классификации.

1.1. При появлении в блоке ввода 1 нового формализованного ЭД d он поступает в блок 2, в котором выявляют значения характеристик текста t участков документа и ключевых слов l в них. Значения t и l участков документа поступают в блок 3, где с помощью системы предикатов, построенных по правилу (1) распознаются реквизиты документа z. Информация о распознанных реквизитах документа z поступает в блок 4, где система предикатов, построенная по правилу (2) осуществляет распознавание вида документа v.

1.2. В блоке 5 из поступившего от блока 2 документа d, используя сведения об определенном в блоке 4 виде документа v, который, обладая установленным требованиями нормативных документов формуляром, задает места расположения и значения реквизитов документа, выявляет требуемые значения реквизитов, которые используются как метаданные документа. Из блока 5 документ d и соответствующие ему метаданные z поступают в блок 12, где документ учитывается по своим метаданным и организуется хранение его эталонной копии.

1.3. На основании значений характеристик текста t участков документа и ключевых слов l в них в блоке 6 в системе предикатов, построенных по правилу (1), выявляют наличие реквизита текст документа Z₁₈.

1.3.1. В случае, когда система предикатов (1) по реквизиту Z₁₈ принимает значение «истина», информативная текстовая часть документа d' из блока 6 поступает в блок 7, где слова преобразуются в словоформы, и поступают далее в блок 8, где в процессе работы системы происходит создание рабочего словаря из значимых слов.

Полученные в блоке 7 словоформы d'' поступают также в блок 9, где производится расчет весов ƒ словоформ информативной текстовой части документа, попавших в рабочий словарь.

1.3.2. В случае, когда система предикатов (1) по реквизиту Z₁₈ принимает значение «ложь», из блока 6 документ d поступает в блок 10, где с помощью классификатора по правилу (3) производится выявление графических элементов g на изображении.

1.3.3. В случае, когда система предикатов, построенная по правилу (1) по реквизиту Z₁₈, а так же система предикатов, построенная по правилу (4) принимают значения «ложь», система переходит в блок обучения 13 и оператор вручную определяет область информационной ответственности должностных лиц документа.

1.4. В блоке 11 на основе поступивших из блока 9 значений весов ƒ полученных словоформ или из блока 10 значений выявленных в документе графических элементов g (в зависимости от вида поступившего документа), происходит распознавание информационной области u_β путем вычисления значений предикатов системы предикатов, построенной по правилу (4). После чего, данные об информационной области u_β, к которой относится документ, передаются в блок 12 и присоединяются к метаданным документа.

1.5. В блоке 14 на основе поступивших из блока 12 реквизитов документа z и полученных в блоке 11 области информационной ответственности u_β на основе системы предикатов, построенной по правилу (5), определяют соответствующую классифицируемому документу метку конфиденциальности m_o. После чего данные о метке конфиденциальности передаются в блок 12 и присоединяются к метаданным документа.

1.6. В блоке 16 на основе поступивших из блоков 12 и 14 данных при помощи системы предикатов, построенных по правилу (6), определяют исполнителя поступившего документа Zp, передают в блок 12, где сохраняют его для дальнейшей обработки, включая в набор метаданных, а также передают его в блок 15 для выбора адресата. В блоке 16 на основе данных, поступивших из блока 9 и 12, при помощи системы предикатов, построенных по правилу (7), определяют поручение исполнителю. В блоке 16 информативная часть документа проходит обработку с применением атомарных предикатов узнавания сроков исполнения. Все полученные данные объединяются в кортеж и передаются в блок 12, где добавляются в метаданные и присваиваются реквизиту «резолюция».

1.7. Из блока 12 документ d и метаданные МД поступают в блок 15. В блоке 15 на основе значений, поступивших из блока 12, формируют соответствующее метке конфиденциальности ограничение доступа m_o к классифицируемому документу и направляют исполнителю.

1.8. Через блок 16 происходит загрузка документа в информационную систему в соответствии с определенными классами.

1.9. После исполнения документа (выполнения всех указаний (поручений), определенных в резолюции) исполнителем из блока 17 в блок 18 передаются: метаданные о документе МД, находящиеся в системе (реквизиты, нанесенные на документ, вид документа, область информационной ответственности должностных лиц, к которой отнесен документ, сведения о метке конфиденциальности), информация об исполнителе (структурном подразделении организации), исполнившем документ, а так же, из блока 9 в блок 18, передаются веса значимых слов ƒ содержащихся в документе и при помощи системы предикатов, построенных по правилам (8, 9, 10, 11) определяется дело, в которое будет распределен исполненный документ. При помощи системы предикатов, построенной по правилу 12, проверяется соответствие уровня меток конфиденциальности исполненного документа m^d и дела m^Δ, в которое распределяется исполненный документ. Полученные данные объединяются в кортеж и передаются в блок 12, где присваиваются реквизиту «отметка об исполнении и направлении в дело» Z₃₀.

1.10. Из блока 12 документ d и метаданные МД поступают в блок 14. В блоке 14 на основе значений, поступивших из блоков 12 и 18, формируют соответствующее метке конфиденциальности ограничение доступа к классифицируемому документу и направляют в соответствующее дело с учетом установленных ограничений.

2. В режиме дообучения.

Режим дообучения системой используется в следующих случаях:

2.1 в случае отсутствия возможности распознавания системой предикатов реквизитов документа в блоке 3 по значениям переменных документа t и l (в этом случае оператором системы через блок 13 вносятся изменения в систему предикатов блока 3 или определяется реквизит документа «вручную»);

2.2. в случае отсутствия возможности распознавания системой предикатов вида документа в блоке 4 по значениям предикатов системы предикатов блока 3 (в этом случае оператором системы через блок 13 вносятся изменения в систему предикатов блока 4 или определяется вид документа «вручную»);

2.3. в случае отсутствия возможности распознавания системой предикатов ОИО должностных лиц в блоке 11 по значениям определенных графических элементов, определенных в документе или по значениям весов значимых слов из рабочего словаря, извлеченных из информативной части документа (в этом случае оператором системы через блок 13 вносятся изменения в систему предикатов блока 11 или определяется ОИО документа «вручную»);

2.4. в случае невозможности распознавания системой предикатов метки конфиденциальности документа в блоке 14 по значениям предикатов системы предикатов блока 11 и метаданным блока 12 (в этом случае оператором системы через блок 13 вносятся изменения в систему предикатов блока 14 или определяется метка конфиденциальности «вручную»);

2.5. в случае внесения в проект резолюции изменений, в части, касающейся поручений, выбранных из списка готовых поручений, через блок 13 осуществляется автоматическое добавление скорректированных поручений в указанный список;

2.6. в случае невозможности распознавания предикатом в блоке 17 дела, в которое должен быть распределен исполненный документ, по значениям, поступившим из блоков 12, 17 (в этом случае оператором системы через блок 12 вносятся изменения в системы предикатов блока 18 или определяется дело, в которое надо распределить исполненный документ, «вручную»).

Таким образом, способ позволяет автоматически классифицировать формализованные электронные графические и текстовые документы по ОИО в системе электронного документооборота с автоматическим формированием электронных дел, чем достигается заявленный технический результат.

Изобретение относится к вычислительной технике. Технический результат заключается в автоматизации классификации формализованных электронных текстовых и графических документов в системе электронного документооборота по областям информационной ответственности должностных лиц для их доклада лицу, принимающему решения, и распределения их в электронные дела. Способ заключается в том, что на основе сведений о характеристиках документа и распознанных реквизитов документа определяют вид документа; на основе определенных областей информационной ответственности (ОИО), априорных сведений о структуре организации и вида документа получают кортеж данных и присваивают его реквизиту документа «резолюция»; на основе определенной ОИО и выявленного вида документа определяют статью ведомственного Перечня (далее - Перечень) документов со сроками их хранения, к которой может быть отнесен исполненный документ; на основании определенных реквизитов и уникальных ключевых слов определяют контур системы электронного документооборота (СЭД); на основании определенных статьи Перечня и контура СЭД определяют срок хранения исполненного документа; на основании определенной статьи Перечня, срока хранения и исполнителя документа определяют дело, в которое будет распределен исполненный документ; на основании определенной метки конфиденциальности документа и известной метки конфиденциальности дела, в которое будет распределен документ, проверяют соответствие меток конфиденциальности документа и дела, в которое его распределяют. 1 ил.

Способ автоматической классификации формализованных электронных графических и текстовых документов в системе электронного документооборота с автоматическим формированием электронных дел, заключающийся в том, что определяют области формализованного документа для извлечения метаданных и информативной части; для текстовых документов осуществляют преобразование документа из формата хранения в текст на естественном языке, преобразуют слова обработанного документа в базовые словоформы, отбрасывают незначимые слова, осуществляют подсчет весов слов в документе в соответствии с частотами их появления, на основе распознанных реквизитов и значений ключевых слов этих реквизитов определяют конкретный вид электронного документа, с помощью значений весов слов в документе определяют область информационной ответственности (далее – ОИО); при преобразовании слов документа в базовые словоформы выделяют и оставляют без изменений отдельные слова и словосочетания, соответствующие временным интервалам выполнения определяемой документом деятельности, формируют, тем самым, вектор данных о сроках исполнения документа; на основе определенных ОИО, а также априорных сведений о структуре организации (учреждения), в том числе об отношениях подчиненности между должностными лицами организации (учреждения) и уровнях их допуска к различным степеням конфиденциальности документов, формируют первый набор классификационных признаков; на основе определенных вида документа и ОИО, к которым относится документ, при помощи предикатов узнавания ключевых слов и отдельных реквизитов формальной части формируют второй набор классификационных признаков; на основе определенных ОИО и вида документа формируют третий набор классификационных признаков и определяют статью Перечня документов со сроками их хранения (далее – Перечень), хранящуюся в базе данных, к которой может быть отнесен исполненный документ; на основании ранее определенных реквизитов и уникальных ключевых слов, относящихся к этим реквизитам, формируют четвертый набор классификационных признаков, определяют контур системы электронного документооборота (далее – СЭД), в котором был разработан документ; на основании определенных статьи Перечня и контура СЭД формируют пятый набор классификационных признаков и определяют срок хранения исполненного документа; на основании определенной статьи Перечня, определенного срока хранения исполненного документа и исполнителя документа формируют шестой набор классификационных признаков и определяют дело, в которое будет распределен исполненный документ; на основании определенной метки конфиденциальности документа и известной метки конфиденциальности дела, в которое будет распределен документ, проверяют соответствие меток конфиденциальности документа и дела, в которое его распределяют; на этапе обучения по набору классифицированных вручную документов формируют систему предикатов определения ОИО; формируют систему предикатов идентификации метки конфиденциальности документа; сохраняют указанные системы предикатов в базе данных; по набору документов, для которых вручную заполнен реквизит «резолюция», формируют систему предикатов идентификации исполнителя поручения по поступившему документу и систему предикатов идентификации поручения, сохраняют системы предикатов в базу данных; по набору классифицированных вручную документов формируют систему предикатов определения статьи Перечня, формируют систему предикатов определения контура СЭД, в котором был разработан документ, формируют систему предикатов определения срока хранения документа, сохраняют указанные системы предикатов в базе данных; формируют систему предикатов определения дела, в которое будет распределен исполненный документ, формируют систему предикатов проверки соответствия меток конфиденциальности документа и дела, в которое будет распределен документ, и сохраняют указанные системы предикатов в базе данных; при классификации документов с помощью базы данных принимают решение об относимости документа каждой из информационных областей и каждой из меток конфиденциальности, подставляют первый набор классификационных признаков в систему предикатов идентификации исполнителя поручения и по предикатам, принявшим значение «истина», принимают решение об отнесении документа к компетенции конкретных сотрудников, подчиненных руководителю; подставляют второй набор классификационных признаков в систему предикатов идентификации поручения и по предикатам, принявшим значение «истина», принимают решение о назначении исполнителям конкретных поручений по исполнению поступившего документа; полученные данные об исполнителе, поручении и сроке исполнения, а также полученные любым способом данные о дате рассмотрения документа объединяют в кортеж данных и присваивают его реквизиту документа «резолюция»; с помощью базы данных принимают решение об относимости документа к каждой из статей Перечня, подставляют третий набор классификационных признаков в систему предикатов определения статьи Перечня и по предикатам, принявшим значение «истина», принимают решение об отнесении документа к конкретной статье Перечня; подставляют четвертый набор классификационных признаков в систему предикатов определения контура СЭД и по предикатам, принявшим значение «истина», принимают решение о контуре СЭД, в котором был разработан документ; подставляют пятый набор классификационных признаков в систему предикатов узнавания срока хранения документа, и по предикатам, принявшим значение «истина», принимают решение о присвоении срока хранения исполненному документу; подставляют шестой набор классификационных признаков в систему предикатов определения дела, в которое будет распределен исполненный документ, и по предикатам, принявшим значение «истина», принимают решение об определении дела, в которое требует распределить исполненный документ, отличающийся тем, что на основе сведений о характеристиках документа и распознанных реквизитах в документе определяют вид документа – графический или текстовый; при условии определения графического документа, используя технологию распознавания образов графических элементов – алгоритм Виолы Джонса, определяют наличие в документе графических элементов, классифицированных по ОИО должностных лиц, в случае обнаружения графических элементов получившиеся значения подставляют в систему предикатов, по которой определяют ОИО должностных лиц для графического документа; на этапе обучения по набору классифицированных вручную графических документов формируют наборы графических элементов, относящихся к конкретным ОИО должностных лиц, на основе которых, используя технологию распознавания образов графических элементов – алгоритм Виолы Джонса, обучают классификатор графических элементов; на основании значений классификатора формируют систему предикатов определения ОИО должностных лиц, сохраняют указанную систему предикатов в базе данных; на этапе классификации графического электронного документа подставляют набор полученных значений выявленных графических элементов в систему предикатов определения ОИО должностных лиц и по предикатам, принявшим значение «истина», принимают решение об отнесении графического документа к выявленной ОИО должностных лиц.