ВИЗУАЛИЗАЦИЯ МАШИННО-ГЕНЕРИРУЕМОГО ИЗОБРАЖЕНИЯ ДОКУМЕНТА Российский патент 2016 года по МПК G06T11/00 G06K9/18 G06T7/00 

УРОВЕНЬ ТЕХНИКИ

ОБЛАСТЬ ПРИМЕНЕНИЯ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к области оптического распознавания символов (OCR) и интеллектуального распознавания символов (ICR).

УРОВЕНЬ ТЕХНИКИ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Методы OCR/ICR по существу используются для преобразования изображений печатных документов в машиночитаемые и редактируемые форматы, а также для извлечения данных из документов. В процессе функционирования устройства с поддержкой OCR/ICR выполняют компьютеризованное сканирование документов и машинный анализ полученных сканированных изображений (т.е. файлов сканированных документов).

При отображении результатов машинного анализа устройства с поддержкой OCR/ICR, как правило, выявляют распознанные и нераспознанные фрагменты документов с использованием различных схем выделения. Однако различия в цветопередаче компьютерных дисплеев и принтеров, а также различия в восприятии цвета пользователями могут ограничивать объем выводимой информации с цветовым кодированием или приводить к ошибкам при интерпретации.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Предложены методы визуализации машинно-генерируемого изображения документа. Изображение по существу получается при помощи устройств с поддержкой OCR/ICR. На изображении выявляются структурные блоки документа и дополняются линейными идентификаторами, которые обозначают свойства и состояния машинной интерпретации содержимого структурных блоков.

В приложениях такие идентификаторы (одиночные или множественные непрерывные, штриховые, пунктирные или штрихпунктирные линии, имеющие участки одинаковой или разной ширины, линии, образованные с использованием предварительно выбранных символов, и т.п.) используются для выборочного разделения, подчеркивания или штриховки по меньшей мере фрагментов структурных блоков.

В дополнительных вариантах реализации пользователям, работающим с изображением документа, предложены инструменты графического интерфейса пользователя (GUI), выполненные с возможностью применения дополнительных идентификаторов на машинно-генерируемом изображении или изменения/замены существующих идентификаторов. Впоследствии такие редакторские правки, выполненные пользователем, можно встроить в изображение документа.

Различные другие объекты и варианты реализации изобретения более подробно описаны ниже. Предполагается, что элементы одного варианта реализации изобретения могут быть использованы в других вариантах его реализации без дополнительного перечисления.

Раскрытие изобретения не представляет собой в полной мере и в полном объеме настоящее изобретение и не должно считаться таковым. Все объекты, элементы и преимущества настоящего изобретения будут очевидны из следующего подробного письменного описания и в соответствии с прилагаемыми рисунками.

Новые элементы, которые считаются характерными для описания, изложены в прилагаемых пунктах формулы изобретения.

Техническим результатом описанного ниже изобретения является визуализация результатов машинной интерпретации при помощи технологии оптического распознавания символов OCR/ICR изображения документа для пользователя путем снабжения входящего в систему изображения документа визуально различимыми линейными идентификаторами, каждый из которых несет указание на свойства содержимого соответствующего структурного блока или его фрагмента, обнаруженные в ходе машинной интерпретации изображения. В частности, обеспечивается визуализация результатов обработки документа таким образом, что на изображении выявляются структурные блоки документа и дополняются линейными идентификаторами, которые обозначают свойства содержимого структурных блоков. По существу, каждый идентификатор выборочно визуализирует конкретную характеристику машинной интерпретации документа, а доступность большого объема визуально различимых идентификаторов позволяет предоставить пользователям, просматривающим изображение, подробную информацию о результатах этого процесса.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВ

На Фиг.1 представлена схема, на которой показан способ визуализации машинно-генерируемого изображения документа в соответствии с одним вариантом реализации настоящего изобретения.

На Фиг.2 представлен пример машинно-генерируемого изображения, на котором показан способ, изображенный на Фиг.1, в соответствии с одним вариантом реализации настоящего изобретения.

На Фиг.3 представлен пример компьютерной платформы, на которой используется способ, изображенный на Фиг.1, в соответствии с одним вариантом реализации настоящего изобретения.

Изображения на рисунках представлены в упрощенном виде для целей иллюстрации и приведены без соблюдения масштаба.

Для облегчения понимания на рисунках по возможности используются идентичные номера позиций для обозначения, где это возможно, идентичных элементов на рисунках, за исключением того, что к ним могут быть добавлены буквенно-цифровые дополнительные элементы и/или суффиксы, если это необходимо, для разграничения таких элементов.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Объекты, элементы и преимущества настоящего изобретения описаны ниже в отношении средства визуализации машинно-генерируемых изображений печатных документов, анализируемых с использованием устройств с поддержкой OCR/ICR. Предполагается, что по меньшей мере фрагменты настоящего изобретения также могут использоваться для визуализации свойств или редактирования других типов документов или их изображений (например, компьютерной графики, документов после машинного перевода и т.п.).

На Фиг.1 представлена схема, на которой показан способ 100 визуализации машинно-генерируемого изображения документа в соответствии с одним вариантом реализации настоящего изобретения, а на Фиг.2 представлен пример машинно-генерируемого изображения 200, на котором показан способ, изображенный на Фиг.1. Для лучшего понимания изобретения рекомендовано рассматривать Фиг.1 и 2 одновременно.

Способ 100 начинается с этапа 102 и переходит к этапу 110.

На этапе 110 формируется машинно-генерируемое изображение документа (например, печатного документа). Как правило, изображение формируется с использованием компьютеризованного сканирования документа, выполняемого с использованием устройства с поддержкой OCR/ICR, и включает в себя результаты «машинного анализа» файла сканированного документа на компьютере. Затем изображение предлагается пользователю (-ям) для визуального осмотра в форме одного или нескольких изображений на экране, снимков экрана или их распечатки (-ок).

Как правило, в процессе машинного анализа файла сканированного документа на компьютере генерируется изображение, в котором содержимое документа представлено в форме отдельных структурных или логических блоков. Такой процесс описан, например, в патенте Соединенных Штатов Америки №8,260,049 В2, выданном 4 сентября 2012 г. и принадлежащем тому же правообладателю.

Фрагменты структурных блоков могут быть представлены в монохромном (например, черно-белом, сине-белом и т.д.) или многоцветном форматах, а также могут быть обеспечены другими элементами форматирования для разделения конкретных текстовых и графических элементов документа. В некоторых вариантах реализации изображение также может включать в себя машинно-генерируемые примечания, которые помогают пользователям (например, просматривающим изображение) оценить точность машинного анализа документа или его конкретных структурных блоков.

На Фиг.2 представлен пример машинно-генерируемого изображения 200 сканированного и интерпретированного компьютером документа, которое включает в себя структурные блоки 210, 220, 230, 240 и 250. Для иллюстрации показано, что структурные блоки 210, 220, 230 и 240 представляют собой преимущественно структурные блоки с текстом (например, заголовок, реферат, таблица, верхний колонтитул, нижний колонтитул и т.д.) сканированного документа (конкретные текстовые объекты структурных блоков не показаны для целей ясности), а структурный блок 250 содержит графический/изображаемый объект 256.

На этапе 120 машинно-генерируемое изображение документа (например, изображение 200) представлено с линейными идентификаторами свойств и результатов машинного анализа (т.е. интерпретацией файла сканирования, выполненной компьютерной программой OCR/ICR) содержимого структурных блоков документа. В отображаемом/распечатанном изображении документа такие идентификаторы могут применяться к структурным блокам или их фрагментам в форме отдельных линий, линий границ, линий подчеркивания, линий штриховки и т.п.

В различных вариантах реализации в качестве идентификаторов могут использоваться различные одиночные или множественные (например, включающие две или более параллельных ветвей) прямые или кривые линии, имеющие участки одинаковой или разной ширины, а также линии, образованные с использованием предварительно выбранных символов (например, «#», «*», «^∧» и т.д.), или комбинации этих линий. Примеры одиночных и множественных линий, подходящих для использования в качестве идентификаторов, включают в себя, помимо прочих линий, образованных с использованием предварительно выбранных геометрических образцов, сплошные, волнистые, штриховые, пунктирные или штрихпунктирные линии, а также ломаные или зазубренные («зигзагообразные») линии. Количество таких визуально различимых линейных идентификаторов практически бесконечно. Таким образом, пользователи могут получать большие объемы информации о статусе машинного анализа сканированного документа.

По существу каждый идентификатор выборочно визуализирует конкретную характеристику или предварительно выбранный этап процесса машинной интерпретации документа, а доступность большого объема визуально различимых идентификаторов позволяет предоставить пользователям, просматривающим изображение, подробную информацию о результатах этого процесса. В вариантах реализации способа 100 количество, геометрические характеристики и значения используемых идентификаторов могут различаться, а пользователям также могут быть предоставлены списки (библиотеки) идентификаторов.

Помимо прочих результатов машинной интерпретации документа конкретные идентификаторы могут указывать на тип содержимого структурного блока (текст, таблица, графический элемент, рисунок и т.д.), направление чтения или ориентации символов текста, наличие текста, написанного на конкретных языках, степень уверенности в интерпретации содержимого. В дополнительных вариантах реализации пользователи могут выбрать геометрические параметры или внешний вид идентификаторов (например, типы или ширину линий и т.д.), а также их конфигурацию или положение на изображении документа. В частности, идентификаторы можно расположить рядом с одной или несколькими сторонами структурного блока или образовать из них замкнутые или в альтернативном варианте частично открытые линии границ, расположенные рядом с периферийными участками одного или нескольких структурных блоков. Например, два одинаковых или разных идентификатора могут быть расположены перпендикулярно друг другу для образования угловой границы рядом с, например, нижней и правой сторонами (или периферийными участками) структурного блока.

В предпочтительном варианте реализации цвет идентификаторов (т.е. цвет элементов линий, образующих соответствующие идентификаторы) является черным. Однако в альтернативных вариантах реализации все идентификаторы или их часть могут быть образованы с использованием линий одинакового (т.е. монохромные линии) или разных цветов с предварительно выбранными оттенками или яркостью, включая многоцветные линии и линии, элементы которых имеют разные цвета (например, линии, имеющие штрихи, точки и т.д. разных цветов). В частности, идентификаторы могут включать в себя линии, имеющие их фрагменты или конкретные элементы, представленные с использованием, например, черного, синего, красного, зеленого, желтого, оранжевого и других цветов, а также комбинаций таких цветов.

На Фиг.2 представлены структурные блоки 210, 220, 230, 240 и 250 с произвольно выбранными линейными идентификаторами, описанными выше на этапе 120 способа 100. Для иллюстрации в настоящем описании верхняя горизонтальная одиночная сплошная линия указывает на то, что содержимое структурного блока представляет собой текст, написанный на родном языке пользователя (идентификаторы 211, 221, 241), верхняя одиночная штрихпунктирная линия указывает на то, что содержимое структурного блока представляет собой текст, написанный на иностранном языке (идентификатор 231), вертикальная одиночная пунктирная линия указывает на то, что содержимое структурного блока представляет собой таблицу (идентификаторы 232, 242), вертикальная одиночная штриховая линия указывает на направление чтения текста или таблицы (идентификаторы 214, 224, 234, 244), подчеркивающая (нижняя) одиночная волнистая линия указывает на завершение интерпретации содержимого структурного блока (идентификаторы 223, 243), а подчеркивающая двойная штриховая линия указывает на то, что структурный блок представляет собой заголовок/подзаголовок (идентификатор 213).

Соответственно, вертикальная одиночная сплошная линия указывает на то, что результаты машинной интерпретации содержимого были проверены/утверждены (идентификаторы 212, 222), нижняя горизонтальная двойная сплошная линия указывает на запрос на ввод пользователем в процессе интерпретации содержимого структурного блока (идентификатор 233), двойная штрихпунктирная линия указывает на то, что содержимое структурного блока является графическим элементом (идентификаторы 251-254), а линии штриховки (идентификатор 255) указывают на площадь, занятую графическим/изображаемым объектом.

В одном варианте реализации после завершения этапа 120 способ 100 заканчивается на этапе 142. В альтернативном варианте реализации после завершения этапа 120 способ 100 выполняет необязательные этапы 130 и 140.

На необязательном этапе 130 пользователям, работающим с машинно-генерируемым изображением сканированного документа, предлагаются инструменты графического интерфейса пользователя (GUI), которые позволяют применять, изменять или заменять идентификаторы структурных блоков на отображаемом изображении документа. Такие инструменты редактирования GUI могут быть предложены пользователям компьютерного терминала, выполненного с возможностью обеспечивать редактирование отображаемого изображения в режиме реального времени.

На необязательном этапе 140 результаты выполненного пользователем редактирования машинно-генерируемого изображения документа (т.е. примененные, измененные или замененные идентификаторы) встраиваются в отображаемое изображение. В одном варианте реализации отредактированные пользователем версии изображения сохраняются и впоследствии используются в качестве его исправленных версий.

После завершения необязательного этапа 140 способ 100 заканчивается на этапе 142.

На Фиг.3 представлен пример компьютеризованной платформы 300, на которой используется способ 100, изображенный на Фиг.1, в соответствии с одним вариантом реализации настоящего изобретения. Специалисту в данной области будет понятно, что аппаратные и программные конфигурации, изображенные на Фиг.3, могут меняться.

Платформа 300 по существу включает в себя компьютер 310, периферийные устройства 340 (сканеры, дисплеи, принтеры и т.д.) и необязательно подключена к сети 340 (например, внутренней сети, локальной/глобальной сети (LAN/WAN) или сети Интернет). В качестве компьютера 310 может использоваться рабочая станция общего или специального назначения, стационарный или мобильный компьютер или мобильное устройство связи (например, карманный компьютер (PDA), мобильный телефон и т.п.).

Компьютер 310 по существу включает в себя процессор 312, память 314, вспомогательные системы 318, системный интерфейс 302 и контроллер ввода/вывода - 316, обеспечивающий возможность связи с периферийными устройствами 340 и сетью 350. В качестве компонентов компьютера 310 могут использоваться аппаратные устройства, программные модули, микропрограммное обеспечение или их комбинации.

В изображенном варианте реализации в модуле памяти 314 хранится операционная система (ОС) 320 (например, Microsoft Windows®, GNU®/Linux® и т.д.) и прикладные программы (т.е. программные продукты для компьютера) 322. В альтернативных вариантах реализации по меньшей мере фрагменты ОС 320 и прикладные программы 322 могут находиться на удаленном вычислительном устройстве (например, сервере в сети 350), соединенном с компьютером 310.

Прикладные программы 322 на компьютере 310 включают в себя программу (-ы) OCR/ICR 324. В число считываемых процессором команд, подаваемых программой (-ами) OCR/ICR 324, входят команды, исполнение которых приводит к выполнению компьютером 310 следующих действий: (i) определение структурных блоков на машинно-генерируемом изображении сканированного документа и (ii) снабжение изображения линейными идентификаторами свойств и состояний интерпретации содержимого структурных блоков.

Другие считываемые процессором команды, подаваемые программой (-ами) OCR/ICR 324, дополнительно определяют функции и элементы таких идентификаторов, а также их использование для визуализации машинно-генерируемого изображения документа, как описано выше в отношении способа 100. Считываемые процессором команды также необязательно или дополнительно предлагают пользователям компьютера 310 инструменты GUI, выполненные с возможностью редактировать идентификаторы, используемые в сканированных документах.

Объекты настоящего изобретения были описаны выше в отношении визуализации машинно-генерируемых изображений документов, сформированных с использованием методов на основе OCR/ICR, однако предполагается, что фрагменты данного изобретения могут быть альтернативно или дополнительно реализованы в виде отдельных программных продуктов или элементов других программных продуктов. Также предполагается, что все утверждения, в которых перечислены принципы, объекты, варианты реализации изобретения и его конкретные примеры, охватывают как структурные, так и функциональные эквиваленты изобретения.

Специалистам в данной области будет понятно, что в устройства, способы и программные продукты настоящего изобретения можно вносить различные изменения, не отклоняясь от сущности или объема изобретения. Таким образом, предполагается, что настоящее изобретение включает в себя изменения, которые находятся в рамках объема изобретения и его эквивалентов.

Изобретение относится к области оптического и интеллектуального распознавания символов. Технический результат - обеспечение визуализации результатов машинной интерпретации при помощи технологии оптического распознавания символов изображения документа посредством снабжения изображения документа визуально различимыми линейными идентификаторами. Способ сопровождения изображения документа средствами визуализации содержит: обнаружение структурных блоков или их фрагментов на изображении документа с использованием технологии оптического распознавания символов; снабжение обнаруженных на изображении документа структурных блоков или их фрагментов визуально различимыми линейными идентификаторами, где каждый линейный идентификатор несет указание на свойства содержимого соответствующего структурного блока или его фрагмента, обнаруженные в ходе машинной интерпретации изображения; отображение изображения документа, снабженного визуально различимыми линейными идентификаторами. 3 н. и 18 з.п. ф-лы, 3 ил.

1. Способ сопровождения изображения документа средствами визуализации, содержащий:
обнаружение структурных блоков или их фрагментов на изображении документа с использованием технологии оптического распознавания символов; и
снабжение обнаруженных на изображении документа структурных блоков или их фрагментов визуально различимыми линейными идентификаторами, где каждый линейный идентификатор несет указание на свойства содержимого соответствующего структурного блока или его фрагмента, обнаруженные в ходе машинной интерпретации изображения;
отображение изображения документа, снабженного визуально различимыми линейными идентификаторами.

2. Способ по п. 1, в котором изображение документа обрабатывается методами оптического распознавания символов (OCR) или интеллектуального распознавания символов (ICR).

3. Способ по п. 1, в котором структурные блоки содержат текстовые объекты, графические/изображаемые объекты или их комбинацию.

4. Способ по п. 1, дополнительно содержащий:
применение идентификаторов для выборочного разделения, подчеркивания или штриховки по меньшей мере фрагментов структурных блоков.

5. Способ по п. 1, дополнительно содержащий:
использование идентификаторов, включающих (i) одиночные или множественные сплошные, штриховые, пунктирные, штрихпунктирные, ломаные или волнистые линии, имеющие участки одинаковой или разной ширины, или (ii) линии, образованные с использованием предварительно выбранных символов или предварительно выбранных геометрических эталонов.

6. Способ по п. 1, дополнительно содержащий:
размещение идентификаторов рядом с периферийными участками структурных блоков.

7. Способ по п. 1, в котором идентификаторы включают в себя (i) линии одного цвета или разных цветов или (ii) линии, имеющие элементы разных цветов.

8. Способ по п. 1, дополнительно содержащий:
предложение пользователям, работающим с изображением документа, инструментов графического интерфейса пользователя (GUI) для применения, изменения или замены идентификаторов структурных блоков.

9. Способ по п. 1, дополнительно содержащий:
встраивание в машинно-генерируемое изображение документа примененных, измененных или замененных идентификаторов.

10. Способ по п. 1, в котором указание на свойства содержимого соответствующего структурного блока или его фрагмента могут включать указание на тип содержимого структурного блока, направление чтения, ориентации символов текста, наличие текста, написанного на конкретных языках, степень уверенности в интерпретации содержимого.

11. Платформа для снабжения изображения документа средствами визуализации, содержащая:
локальное, удаленное, распределенное или сетевое вычислительное устройство; и
память, локально или удаленно соединенную с вычислительным устройством и хранящую команды, исполнение которых на вычислительном устройстве приводит к выполнению вычислительным устройством следующих действий:
обнаружение структурных блоков или их фрагментов на изображении документа с использованием технологии оптического распознавания символов; и
снабжение обнаруженных на изображении документа структурных блоков или их фрагментов визуально различимыми линейными идентификаторами, где каждый линейный идентификатор несет указание на свойства содержимого соответствующего структурного блока или его фрагмента, обнаруженные в ходе машинной интерпретации изображения;
отображение изображения документа, снабженного визуально различимыми линейными идентификаторами.

12. Платформа по п. 11, дополнительно содержащая сканирующее устройство, выполненное с возможностью получения по меньшей мере фрагментов изображения документа.

13. Платформа по п. 11, в которой:
изображение документа обрабатывается методами оптического распознавания символов (OCR) или интеллектуального распознавания символов (ICR); и
структурные блоки содержат текстовые объекты, графические/изображаемые объекты или их комбинацию.

14. Платформа по п. 11, в которой идентификаторы выполнены с возможностью выборочно разделять, подчеркивать или штриховать по меньшей мере фрагменты структурных блоков и содержат (i) одиночные или множественные сплошные, штриховые, пунктирные, штрихпунктирные, ломаные или волнистые линии, имеющие участки одинаковой или разной ширины, или (ii) линии, образованные с использованием предварительно выбранных символов или предварительно выбранных геометрических образцов.

15. Платформа по п. 11, в которой:
идентификаторы размещены рядом с периферийными участками структурных блоков; и
идентификаторы включают в себя (i) линии одинакового или разных цветов или (ii) линии, имеющие элементы разных цветов.

16. Платформа по п. 11, в которой:
пользователям, работающим с изображением документа, предлагаются инструменты графического пользовательского интерфейса (GUI) для применения, изменения и замены идентификаторов структурных блоков; и
примененные, измененные или замененные идентификаторы встраиваются в машинно-генерируемое изображение документа.

17. Носитель для хранения считываемых процессором команд, исполнение которых на вычислительном устройстве приводит к выполнению вычислительным устройством следующих действий для сопровождения изображения документа средствами визуализации:
обнаружение структурных блоков или их фрагментов на изображении документа с использованием технологии оптического распознавания символов; и
снабжение обнаруженных на изображении документа структурных блоков или их фрагментов визуально различимыми линейными идентификаторами, где каждый линейный идентификатор несет указание на свойства содержимого соответствующего структурного блока или его фрагмента, обнаруженные в ходе машинной интерпретации изображения;
отображение изображения документа, снабженного визуально различимыми линейными идентификаторами.

18. Носитель по п. 17, в котором в результате выполнения команд дополнительно происходит:
обработка изображения документа с использованием методов оптического распознавания символов (OCR) или интеллектуального распознавания символов (ICR).

19. Носитель по п. 17, в котором в результате выполнения команд дополнительно происходит:
применение идентификаторов для выборочного разделения, подчеркивания или штриховки по меньшей мере фрагментов структурных блоков; и
использование идентификаторов, содержащих (i) одиночные или множественные сплошные, штриховые, пунктирные, штрихпунктирные, ломаные или волнистые линии, имеющие участки одинаковой или разной ширины, или (ii) линии, образованные с использованием предварительно выбранных символов или предварительно выбранных геометрических эталонов.

20. Носитель по п. 17, в котором в результате выполнения команд дополнительно происходит:
размещение идентификаторов рядом с периферийными участками структурных блоков; и
использование идентификаторов, включающих в себя (i) линии одинакового или разных цветов или (ii) линии, имеющие элементы разных цветов.

21. Носитель по п. 17, в котором в результате выполнения команд дополнительно происходит:
предложение пользователям, работающим с изображением документа, инструментов графического интерфейса пользователя (GUI) для применения, изменения или замены идентификаторов структурных блоков; и
встраивание в машинно-генерируемое изображение документа примененных, измененных или замененных идентификаторов.