СПОСОБ АДАПТИВНОГО УЛУЧШЕНИЯ ФАКСИМИЛЬНЫХ ИЗОБРАЖЕНИЙ ДОКУМЕНТОВ Российский патент 2009 года по МПК G06K9/36 H04N1/409 

Заявляемое изобретение относится к области обработки изображений, в частности к способам и системам адаптивного улучшения и фильтрации бинарных изображений факсимильных документов.

Факсимильные изображения документов в процессе сканирования и передачи подвергаются различным преобразованиям, ухудшающим качество изображения. Как правило, различают следующие типы дефектов, присутствующие на факсимильных изображениях:

- аппаратные дефекты (определяются физическими процессами, протекающими в устройствах сканирования, кодирования, передачи и печати);

- дефекты, возникающие в процессе многократного сканирования и печати одного и того же документа;

- дефекты, возникающие по причине деятельности человека (пометки карандашом или маркером, длительное хранение документов, загрязнение поверхности документа и т.д.).

Существует множество математических моделей, описывающих процессы возникновения дефектов на факсимильных изображениях документов [2], [3], [7]. Данные модели активно используются в алгоритмах улучшения изображений документов для определения значений параметров, управляющих процессом улучшения. Однако даже в том случае если выбрана правильная модель, не всегда удается провести операцию получения исходного изображения, не содержащего дефектов, по следующим причинам. Во-первых, операция восстановления изображения часто представляет собой некорректно поставленную задачу, однозначное решение которой не существует или нестабильно. Во-вторых, параметры модели ухудшения качества изображения зачастую неизвестны, и их нужно эмпирически оценивать только с помощью исходного изображения. Данное требование приводит к необходимости реализации двухпроходных алгоритмов (первый проход по изображению - для оценки параметров, второй - фильтрация и улучшение).

Различают несколько типов шумов, которые могут искажать факсимильное изображение: заметный шум (salient noise) [12], выпадение линий (white line dropout noise) [12], теневой шум (shadowing noise) [13] и шум типа «соль и перец» (salt and pepper noise) [14]. Шум типа «соль и перец», известный также как импульсный шум, является преобладающим на факсимильных изображениях. Поэтому данное изобретение нацелено на удаление именно этого типа шума. Данный шум характеризуется черными точками на белом фоне и белыми точками на черном фоне. Каждая точка может быть как отдельным пикселем, так и состоять из нескольких пикселей [11].

Наиболее известные методы удаления шума на изображениях основываются на технологии моделирования шума и адаптивной нелинейной фильтрации [11]. Моделирование шума применяется для формулирования и оценки шума на изображении для последующего его предсказания и удаления. Стоит отметить, что информация о характере шума должна быть известна или оценена опытным путем до процедуры удаления шума.

Существующие линейные фильтры, которые представляют собой свертку изображения с постоянной матрицей (ядром), не справляются с импульсным шумом и имеют тенденцию смазывать края объектов изображения. По этой причине разрабатываются нелинейные технологии фильтрации. Наиболее известные нелинейные фильтры основываются на технологиях медианной или морфологической фильтрации. Краткое описание нелинейных фильтров и текущее направление исследований в данной области представлено ниже.

Медианные фильтры обладают способностью подавлять импульсный шум, сохраняя четкость границ объектов изображения. Тем не менее, эффективность простого медианного фильтра падает при увеличении плотности импульсного шума, что привело к появлению улучшенных адаптивных медианных фильтров. В работе [24] сравниваются следующие медианные фильтры: центральный взвешенный медианный фильтр (center weighted media filter) [15], многоступенчатый медианный фильтр (multistage media filter) [16], медианный фильтр со многими состояниями (the multi-state median filter) [17], нелинейный адаптивный фильтр (nonlinear adaptive filter) [18], улучшенный адаптивный ранговый фильтр (improved rank conditioned median filter) [19], локальный сигнально-статистический символьный фильтр (the local-signal-statistical-character-based filter) [21] и т.д. Данные фильтры вначале определяют возможный шумовой пиксель, который затем заменяется значением медианы, при этом остальные пиксели не изменяются. Медианные фильтры хорошо справляются с импульсным шумом, однако они не подходят для удаления шумов с факсимильных изображений, так как могут удаляться тонкие линии, знаки пунктуации и искажаться углы и границы объектов изображения.

На базе математической морфологии разрабатывается другой класс нелинейных фильтров. В математической морфологии определены две базовые операции - эрозия и дилатация. Данные операции используются для удаления импульсного шума. Однако морфологические операции также могут разрушать целостность границ как текстовых, так и графических компонент факсимильного изображения. Некоторые исследователи разработали модифицированные морфологические операции для удаления шума с бинарных изображений [25], [26], [27], тем не менее они также недостаточно хорошо справляются с шумом на факсимильных изображениях.

Подходы, основанные на анализе связности пикселей, представляет собой еще один класс технологий фильтрации факсимильных изображений. Существует множество работ и патентов, некоторые из которых кратко описаны ниже.

В патенте U.S. 4,747,156 [28] описывается метод удаления шума, который состоит из следующих шагов: формирование скользящего окна с размером 5×5, состоящего из внутреннего и внешнего окна; определение шумового пикселя на основе анализа количества черных пикселей во внутреннем окне и наличия связности между пикселями внутреннего окна и пикселями внешнего окна. Похожая идея используется в патентах U.S. 4,298,895 [29] и U.S. 4,510,618 [30].

В патенте U.S. 4,646,355 [31] описывается факсимильный принтер, в котором один или два пикселя, граничащих с длинной линией, подвергаются фильтрации или удалению.

В патенте U.S. 5,404,411 [32] предлагается улучшать изображение с помощью сопоставления содержания скользящего окна с рядом бинарных шаблонов. Каждый найденный шаблон (образ) на изображении заменяется соответствующим исправленным образом. Таким образом, осуществляется фильтрация всего изображения от нежелательных шумов и дефектов. Недостатком данного подхода является ограниченное количество шаблонов, предназначенных для определенного шума или типа дефектов, которые надо хранить постоянно в памяти.

Дискретный алгоритм удаления шумов представляет собой еще одну многообещающую технологию фильтрации. Суть данной технологии сводится к предсказанию неискаженного потока символов на основе статистического наблюдения за искаженным потоком символов. В патентах U.S. 7,269,781 [33], U.S. 7,047,472 [34] и U.S. 7,271,749 [35] описывается метод, известный как универсальный дискретный метод удаления шума. Данный метод может быть эффективно применен на практике. Однако двухпроходная природа предлагаемого способа, удаление знаков пунктуации и мелких символов не позволяют эффективно улучшать факсимильные изображения документов.

В патенте U.S. 7,016,536 [36] описывается автоматический метод, который удаляет шум и нежелательную информацию с изображения, получаемого в процессе сканирования документа. Метод основывается на выделении текстовых и графических особенностей изображения с последующим их анализом и фильтрацией. Вначале метод производит выравнивание и устранение геометрических искажений изображения документа. Затем классифицирует части изображения на текстовые и графические блоки, применяя геометрический анализ к каждой связной компоненте изображения. На последнем этапе производится фильтрация изображения. Результат каждого этапа существенным образом зависит от результатов, полученных на предыдущих этапах, что можно отнести к недостаткам описываемого метода. Незначительный сбой на первых этапах приводит к низкому качеству фильтрации и улучшению изображений в итоге. В некоторых случаях может потребоваться вмешательство пользователя для предотвращения удаления важной информации. Сложность аппаратной реализации методов на основе распознавания и анализа связных компонент также можно отнести к недостаткам данного класса систем.

Большинство патентов и технических решений фильтрации факсимильных (бинарных) изображений базируется на очень простых принципах, например U.S. 3,700,797 [37], U.S. 4,389,677 [38], U.S. 5,355,421 [39]. Простота принципов и подходов обуславливалась требованием простой и надежной аппаратной реализации методов фильтрации и вычислительными возможностями аппаратуры. На данный момент можно реализовать более сложные с вычислительной точки зрения алгоритмы, которые обеспечат получение более качественных результатов фильтрации. Основные проблемы существующих систем улучшения факсимильных изображений следующие: удаление тонких линий, мелких символов и знаков пунктуации; снижение читабельности документов; удаление шума без одновременного восстановления поврежденных символов. Процедура восстановление поврежденных символов может значительно улучшить читабельность документа. Такие методы, например, описаны в патентах U.S. 7,221,800 [40], U.S. 4,791,679 [41], U.S. 5,559,902 [42], U.S. 5,142,589 [43], U.S. 6,415,062 [44]. Тем не менее, системы восстановления символов представляют собой отдельные, достаточно сложные для аппаратной реализации модули. Поэтому крайне желательно совместить фильтрацию и восстановление символов в едином модуле, пригодном для недорогой аппаратной реализации.

Наиболее близким прототипом к заявленному изобретению является универсальный дискретный метод удаления шума, описанный в патентах U.S. 7,269,781 [45], U.S. 7,047,472 [46] и U.S. 7,271,749 [47]. Данный способ выполняется как минимум в два прохода по изображению, что неприемлемо. Также с факсимильного изображения могут удаляться знаки пунктуации, мелкие символы, что введет к снижению читабельности документа.

Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы разработать способ, позволяющий за один проход улучшить принимаемое изображение, в том числе удалить шум и восстановить утраченные мелкие символы.

Поставленная задача решена за счет разработки способа адаптивного улучшения факсимильных изображений документов, заключающегося в выполнении следующих операций:

- сканируют изображения с помощью скользящего окна;

- получают конфигурацию пикселей для текущего положения скользящего окна;

- генерируют конфигурацию пикселей, похожих на текущую конфигурацию;

- генерируют индексы для текущей конфигурации пикселей и для конфигураций пикселей, похожих на текущую конфигурацию;

- обновляют частоты появления текущей конфигурации и частоты конфигураций, похожих на текущую конфигурацию;

- генерируют список исправленных конфигураций пикселей;

- вычисляют вероятность ошибки появления текущей конфигурации с помощью соотношения частот появления соответствующих конфигураций;

- заменяют текущую конфигурацию исправленной конфигурацией, в случае если вероятность ошибки появления текущей конфигурации меньше порогового значения ошибки;

- обновляют частоты появления конфигураций, похожих на исправленную конфигурацию, в случае, если произошла замена текущей конфигурации на предыдущем этапе;

- уточняют порог ошибки;

- уменьшают частоты появления конфигураций.

Таким образом, в заявленном изобретении метод улучшения изображения построен на идее оценки эмпирической статистики свободного от помех изображения по зашумленному изображению. В отличие от существующих технических решений предлагаемый подход производит улучшение изображения одновременно с накоплением статистической информации, необходимой для улучшения, что позволяет реализовать однопроходный алгоритм удаления шума и восстановления символов факсимильного изображения.

Статистика собирается путем подсчета частоты появления конфигураций пикселей на исходном изображении, другими словами, строится гистограмма конфигураций пикселей. Для более быстрого накопления статистической информации в заявленном изобретении предлагается обновлять частоты конфигураций пикселей, похожих на текущую конфигурацию. Похожие конфигурации генерируются с помощью операций поворота, отражения и удаления/добавления пикселей к исходной конфигурации пикселей.

Еще одним существенным улучшением является адаптивность заявленного способа. Ясно, что частота появления конфигураций пикселей в одной части изображения может значительно отличаться от другой части изображения. Например, текст в начале документа может быть напечатан крупным жирным шрифтом, а в середине - мелким и тонким. Так как частоты конфигураций пикселей накапливаются одновременно с процедурой фильтрации, может возникнуть случай, что надежная статистическая информация еще не собрана или неадекватна данной части изображения. По этой причине может возникать нежелательный эффект утончения или утолщения символов, удаление знаков пунктуации, затемнение или осветление изображения и другие нежелательные искажения. Для предотвращения таких ситуаций в заявленном изобретении предлагается ввести этап уменьшения частот конфигураций пикселей, что позволяет адаптироваться к резким изменениям на факсимильных изображениях документов.

Основные улучшения заявленного изобретения по сравнению с известными прототипами собраны в следующем списке:

- предложен однопроходный способ улучшения вместо двух или более проходных способов;

- улучшение изображения происходит одновременно с накоплением частот появления конфигураций пикселей;

- предложен способ обновления частот похожих конфигураций;

- введен этап уменьшения частот конфигураций пикселей для адаптации к изменениям на изображении.

Заявляемый способ адаптивного улучшения факсимильных изображений документов основан на подсчете количества оконных конфигураций пикселей и оценки вероятности наличия дефектных пикселей с помощью соотношения соответствующих частот появления конфигураций. Здесь и далее под конфигурацией пикселей понимается содержание скользящего окна, которым сканируется изображение. В изобретении предусмотрены специальные средства для обновления и адаптации частот появления конфигураций пикселей к разным частям изображения.

Данное изобретение предназначено для улучшения бинарных факсимильных изображений и может применяться на разных стадиях факсимильной связи. Предложенный способ может быть применен к полученному изображению как на передающей стороне после этапов сканирования и пороговой обработки, так и на принимающей стороне после приема изображения. В первом случае способ улучшает изображение и удаляет шум, возникающий вследствие пороговой обработки. Во втором случае удаляется шум, возникающий из-за пороговой сегментации и ошибок в канале передачи.

В заявляемом изобретении используется скользящее окно, форма и размер которого зависят от конкретного приложения. Процесс определения оптимальной формы и размеров скользящего окна выходит за рамки данного изобретения. Каждое положение скользящего окна на изображении определяет оконную конфигурацию пикселей. Каждая конфигурация пикселей ассоциируется специальным образом с целочисленным числом - индексом, который определяет положение переменной в таблице частот появления конфигураций. Таблица частот конфигураций хранит в себе переменные, значения которых описывают частоту появлений каждой конкретной конфигурации пикселей на изображении. Отметим, что одна конфигурация пикселей может привести к увеличению нескольких частот, отнесенных к различным конфигурациям, но похожим на текущую обрабатываемую конфигурацию. Похожие конфигурации получаются с помощью операций поворота, отражения, симметрии и добавления/удаления пикселей. В предпочтительной реализации заявленного изобретения похожие конфигурации могут быть закодированы в табличном виде для ускорения процедуры поиска и генерирования похожих конфигураций.

На этапе фильтрации текущей конфигурации пикселей генерируется список исправленных конфигураций для замещения текущей конфигурации. По меньшей мере, должна быть сгенерирована хотя бы одна исправленная конфигурация пикселей для замещения. В общем случае данная конфигурация представляет собой копию текущей конфигурации пикселей с инвертированным центральным пикселем. Решение о замене текущей конфигурации применяется на основе оценки вероятности ошибочного появления данной конфигурации. Данная ошибка вычисляется с помощью соотношения частот появлений текущей конфигурации и частот появления конфигураций для замещения. Текущая конфигурация замещается, если значение вероятности появления данного контекста превышает заданный порог. Данный порог может быть получен следующими способами: 1) значение порога определяется в отдельном проходе по изображению, когда доступна вся информация о частотах появления конфигураций пикселей; 2) порог задается с помощью управляющих сигналов пользователя/аппаратуры; 3) порог динамически меняется согласно доступной на данный момент статистической информации.

Если текущая конфигурация пикселей была определена как содержащая дефектные пиксели и была проведена замена на исправленную конфигурацию, то необходимо обновить таблицу частот конфигураций, рассматривая исправленную конфигурацию пикселей как текущую согласно описанной выше процедуре. Такая процедура рекурсивного обновления частоты появления исправленных конфигураций позволяет ускорить накопление достаточной для улучшения статистической информации.

Другим аспектом заявленного изобретения является этап «ослабления» или уменьшения частот конфигураций пикселей. Вследствие однопроходной природы предлагаемого способа возникает следующая затруднительная ситуация: частоты конфигураций, полученные до текущего положения скользящего окна, могут не подходить для улучшения и удаления шумов для последующей изменившейся части изображения. На факсимильных изображениях документов это приводит к осветлению или затемнению изображения, утончению или утолщению символов и другим нежелательным эффектам. Для предотвращения данной ситуации в заявленном изобретении введен этап уменьшения частот конфигураций пикселей, суть которого заключается в уменьшении частот появления всех конфигураций с течением времени. Таким образом, таблица частот появления конфигураций будет хранить частоты наиболее часто встречаемых конфигураций за определенное время. Отметим, что данное время может быть привязано и определено с помощью количества линий изображения, обработанных на данный момент. Например, процедура уменьшения частот конфигураций может выполняться после обработки каждых 10 линий изображений.

Описанный выше процесс фильтрации и улучшения изображения повторяют до тех пор, пока не будут обработаны все пиксели изображения. Также отметим, что предпочтительная реализация заявленного метода требует наличия всего несколько линий изображения в оперативной памяти, а не всего изображения. Минимальное количество линий изображения, необходимых для выполнения фильтрации, зависит от размеров/формы скользящего окна и обычно не превосходит значения в 5-10 линий изображения. Таким образом, можно организовать улучшение факсимильного изображения непосредственно в процессе его передачи/получения.

Для лучшего понимания существа изобретения далее поясняются его детали с привлечением графических материалов.

Фиг.1 представляет собой блок-схему факсимильной системы, в которой реализован способ согласно заявляемому изобретению.

Фиг.2 представляет собой блок-схему системы адаптивного улучшения факсимильных изображений, основанной на заявляемом способе.

Фиг.3 представляет собой диаграмму верхнего уровня способа адаптивного улучшения факсимильных изображений.

Фиг.4 показывает скользящее окно и соответствующую матрицу для генерирования индекса конфигурации.

Фиг.5 демонстрирует эффект утончения/утолщения текстовых символов с включенным и выключенным этапом уменьшения частот конфигураций пикселей.

Фиг.6 представляет собой диаграмму процедуры обработки текущей конфигурации пикселей, получаемой вследствие движения скользящего окна.

Фиг.7 демонстрирует примеры получения похожих конфигураций пикселей с помощью операций поворота, отражения добавления/удаления пикселей.

Фиг.8 демонстрирует текущую конфигурацию и соответствующую исправленную конфигурацию для замещения.

Фиг.9, Фиг.10, Фиг.11, Фиг.12, Фиг.13 показывают примеры улучшения факсимильных изображений с помощью предлагаемого способа.

На Фиг.1 изображена блок-диаграмма факсимильной системы, состоящей из двух факсимильных устройств - передающего устройства 112 и принимающего устройства 113. Отметим, что факсимильные устройства 112 и 113 содержат в себе системы 103 и 108 адаптивного улучшения факсимильного изображения, которые выполняют улучшение и фильтрацию факсимильного изображения согласно формуле заявленного изобретения. Передающее устройство 112 и принимающее устройство 113 связаны между собой линией 106 связи, посредством которой передается закодированное изображение от передающего устройства 112 к принимающему устройству 113. Отметим, что наличие двух систем 103 и 108 адаптивного улучшения факсимильного изображения не обязательно для корректной работы. Однако наличие, по крайней мере, одной из систем 103 или 108 обязательно.

Исходный документ 101 сканируют с помощью устройства 102 сканирования, формируют цифровое представление (изображение) исходного документа. В результате выполнения различных процессов на этапе сканирования, таких как квантование, бинаризация и т.д., цифровое представление исходного документа может быть подвержено шуму и искажениям. Согласно формуле изобретения система 103 улучшения факсимильного изображения обрабатывает полученное цифровое представление, удаляя на нем шум и выполняя восстановление символов. Управляющие сигналы 105 обеспечивают систему улучшения факсимильного изображения необходимыми данными (модель шума, разрешение и размер изображения, режим удаления шума, пороговые значения и т.д.) для корректной инициализации системы. Результатом работы системы 103 улучшения факсимильного изображения является отфильтрованное и улучшенное изображение, которое затем кодируют с помощью соответствующего факсимильного протокола и передают с помощью модемного устройства 104.

Принимающее факсимильное устройство 113 также имеет в своем составе систему 108 улучшения изображений, аналогичную системе 103, которая выполняет улучшение изображения согласно формуле изобретения. Полученное улучшенное изображение отображается на устройстве отображения или печатается на принтере 110. Таким образом получают улучшенную копию 111 исходного документа. Управляющие сигналы 109 несут аналогичную информацию, как и управляющие сигналы 105, описанные выше.

Система 103 улучшения факсимильных изображений состоит из следующих компонент: процессора 203 для выполнения способа адаптивного улучшения факсимильных изображений, буферной памяти 202 для накопления и хранения линий изображения и оперативной памяти 207 для хранения статистической информации в виде таблицы F частот появления конфигураций пикселей. Поток пикселей изображения, получаемых в ходе приема факсимильного изображения, разбивают на линии, которые хранят в буферной памяти 202. Линии изображения сканируются скользящим окном, соответствующей формы и размера, для получения конфигураций пикселей и генерации улучшенного изображения. Согласно формуле изобретения процессор 203 обрабатывает исходное изображение с помощью скользящего окна, подсчитывает количество конфигураций пикселей, оценивает ошибку появления текущей конфигурации с помощью соотношения частот появления соответствующих конфигураций, замещает текущую конфигурацию исправленной конфигурацией пикселей в случае превышения ошибкой некоторого порогового значения Tresh. В результате формируют улучшенное изображение.

Заявляемый способ основывается на идее подсчета и анализа конфигураций пикселей, встречаемых на изображении. На Фиг.3 отображена диаграмма верхнего уровня способа адаптивного улучшения факсимильных изображений, применяемого в системах 103 и 108 улучшения изображения. Первым шагом 301 является инициализация таблицы F частот появления конфигураций. В общем случае все элементы F инициализируют нулевым значением, что означает отсутствие статистической информации о появлении конфигураций пикселей в данный момент. Данная процедура записывается следующим образом:

где F_i - значение элемента таблицы частот появления конфигураций, i - индекс конфигурации, S_max - максимальное количество конфигураций пикселей, генерируемых скользящим окном.

Отметим, что в случае если известна статистика появления конфигураций пикселей заранее, инициализация таблицы может быть осуществлена с учетом имеющейся информации.

Каждое положение скользящего окна на изображении определяет текущую конфигурацию пикселей С. На Фиг.4 изображен пример скользящего окна 401, используемого в заявленном изобретении, для получения конфигураций пикселей. Скользящие окна с другими формами и размерами также используют для получения конфигураций пикселей и выполнения фильтрации без ограничения заявленного метода. Скользящее окно 401 состоит из 13 элементов и на бинарном изображении может формировать 2¹³=8192 различных конфигураций пикселей. Каждая конфигурация ассоциируется с определенным целочисленным числом - индексом конфигурации. Для скользящего окна 401 значение индекса конфигурации может изменяться от 0 до 8192. Для конфигурации С соответствующий индекс S вычисляют с помощью операции свертки с матрицей G 402 генерации индекса конфигурации;

S=C*G,

где С - текущая конфигурация, G - матрица генерации индекса, * - операция свертки. Полученный индекс S используют для доступа к элементам таблицы F частот появления конфигураций. Другими словами, процесс генерации индекса может быть рассмотрен как отображение конфигурации пикселей С в целочисленное значение 0≤S≤S_max, где S_max - максимальное количество конфигураций, генерируемых скользящим окном.

Шаги 302 и 303 используют для перемещения скользящего окна по изображению и получения конфигураций пикселей. В общем этап улучшения текущей конфигурации 304 может быть описан следующим образом. Ошибку появления текущей конфигурации Е оценивают с помощью отношения частот появления соответствующих конфигураций. Данная процедура описывается более детально далее. Решение об исправлении текущей конфигурации путем замены текущей конфигурации С исправленной конфигурацией Cor принимают на основе сравнивания вероятности ошибки Е появления текущей конфигурации с пороговым значением Tresh. Это значение может быть фиксированным, вычисляться в процессе работы способа улучшения или вычисляется в начале работы способа на шаге 307. Шаг 307 позволяет более точно вычислить порог Tresh в начале работы способа. Однако шаг 307 необязательный и может быть опущен для ускорения работы. Уточнение значения порогового значения Tresh выполняют на шаге 306 путем анализа гистограммы частот появления конфигураций. Процедура расчета и уточнения порогового значения описана более подробно ниже.

Важным элементом заявленного изобретения является этап уменьшения частот конфигураций 305. На Фиг.5 показано типичное факсимильное изображение 501, которое состоит из графических областей 502.1. Текстовый блок 503 затруднительно улучшить и отфильтровать, так как необходимая статистическая информация о характере искажений в текстовой области 503 еще недоступна из-за наличия темной области 502.1 выше. Этот факт приводит к утолщению символов 504.1, 505.1, 506.1. Для предотвращения такой ситуации используется этап уменьшения частот появления конфигураций, который в общем случае описывается следующей формулой:

F_i(t)=F_i(t-1)-const,

где F_i(t) - уменьшенное значение частоты появления конфигурации с индексом i,

F_i(t-1) - предыдущее значение частоты появления конфигурации с индексом i, const - предопределенная константа. На Фиг.5 показан положительный эффект от использования этапа уменьшения частот конфигураций. Исходное факсимильное изображение 501 было улучшено с помощью способа улучшения факсимильных изображений (Фиг.3) без уменьшения 503.1 и с уменьшением частот конфигураций 503.2. Эффект утолщения символов 504.1, 505.1, 506.1 не наблюдается на изображении 503.2 (см. 504.2, 505.2, 506.2).

Опишем более детально этапы способа адаптивного улучшения факсимильных изображений (Фиг.3). Диаграмма этапа 304 обработки текущей конфигурации показана на Фиг.6. На первом шаге генерируют список индексов SL для конфигураций похожих и идентичных текущей конфигурации пикселей С. Список SL используют для обновления и подсчета частот появления конфигураций. По меньшей мере, один индекс, соответствующий текущей конфигурации С, должен находиться в списке SL. Использование похожих конфигураций для обновления соответствующих частот ведет к ускорению процесса сбора достаточной для улучшения статистической информации. Список похожих конфигураций C_S={C₁,C₂…C_n} и соответствующие значения мер похожести λ_S={λ₁,λ₂…λ_n} на текущую конфигурацию С применяют для генерирования списка индексов SL. По крайней мере, одна конфигурация С₁, идентичная конфигурации С, должна присутствовать в списке С_S. Таким образом, гарантируется присутствие индекса S₁, идентичного индексу текущей конфигурации С в списке SL.

В предпочтительной реализации заявленного изобретения похожие конфигурации заранее вычисляют и эффективно кодируют в табличном виде. Похожие конфигурации генерируют из текущей конфигурации 701 с помощью операций отражения 702, поворота 703 и добавления/удаления 704 пикселей. Значения мер схожести сгенерированной конфигурации и текущей вычисляют с помощью следующей формулы:

,

где i - индекс пикселя в соответствующей конфигурации, С(i) - значение пикселя, N - общее число пикселей конфигурации.

На следующем шаге 602 происходит обновление частот появления конфигураций, входящих в список C_S, следующим образом:

F[SL_i]=F[SL_i]+λ_Si; i=1…n,

где F[SL_i] - значение частоты появления конфигурации C_i с индексом SL_i, λ_Si - значение меры похожести конфигурации C_i на текущую конфигурацию C, n - количество конфигураций в C_S.

На следующем шаге 603 строят список исправленных конфигураций и соответствующий список индексов согласно следующему правилу. Конфигурация считается исправленной по отношению к C, если эквивалентна С за исключением восстановленных пикселей. В простейшем случае конфигурацию C используют для восстановления центрального пикселя конфигурации. На Фиг.8 показаны текущая конфигурация С 801 и соответствующая исправленная конфигурация 802. Заштрихованные области 803 и 805 обеих конфигураций эквивалентны друг другу. Центральный пиксель 804 текущей конфигурации 801 соответствует центральному пикселю 806 исправленной конфигурации. Значение пикселя 806 исправленной конфигурации равно инвертированному значению пикселя 804 текущей конфигурации. Например, если значение центрального пикселя текущей конфигурации равно 1, то значение центрального пикселя исправленной конфигурации равно 0. Так как существует однозначная связь между конфигурацией C и ее индексом S, индекс исправленной конфигурации вычисляют с помощью арифметических операций над индексом S. В предпочтительной реализации заявленного изобретения для скользящего окна, изображенного на Фиг.4, быструю генерацию индекса исправленной конфигурации выполняют следующим образом:

,

где - индекс исправленной конфигурации , S - индекс конфигурации C; offset - константа, определяемая значением центрального пикселя матрицы генерации индекса G, Central Pixel() - функция, возвращающая значение центрального пикселя конфигурации. Для скользящего окна, изображенного на Фиг.4, offset=64.

Вышеприведенная формула получает индекс исправленной конфигурации путем вычитания/сложения центрального значения матрицы генерации индекса, что является более быстрой операцией, чем свертка исправленной конфигурации с матрицей генерации индекса . Аналогичный подход вычисления индексов исправленных конфигураций используют для скользящих окон, отличных от окна, изображенного на Фиг.4.

На следующем шаге 604 оценивают вероятность ошибки E_C появления текущей конфигурации C:

,

где F[S_C] - частота появления конфигурации C, - частота появления исправленной конфигурации .

Значение Е_C определяет значение вероятности наличия ошибочных пикселей в конфигурации C путем определения наиболее типичной конфигурации C или для текущего изображения. Значение Е_C стремится к минимуму при наличии поврежденных пикселей в текущей конфигурации. Значение порогового значения Tresh используют на стадии принятия решения 605 об исправлении текущей конфигурации. Список похожих конфигураций C_S и соответствующие меры похожести λ={λ₁,λ₂…λ_n} на текущую конфигурацию используют для оценки вероятности ошибки для каждой конфигурации в C_S.

На шаге 606 из списка исправленных конфигураций С выбирают конфигурацию Соr с наименьшим значением Е_C, и в случае если Е_C≤Tresh, текущую конфигурацию C заменяют на конфигурацию Соr. В случае если текущая конфигурация C отличается от конфигурации Соr только значением центрального пикселя, то для ускорения работы способа вместо замены всей конфигурации инвертируют центральный пиксель конфигурации C. В случае если была выполнена операция замены текущей конфигурации, необходимо обновить частоту появления конфигурации Соr с индексом :

.

Этапы определения порога Tresh 307 и 306 идентичны друг другу за исключением того, что этап 307 оперирует полной информацией о частоте появления конфигураций. Главная задача этапа определения порога Tresh заключается в нахождении средней вероятности ошибки Е появления ошибочной конфигурации путем соотношения реальной ошибки с моделью шумового канала. В случае если изображение повреждено бинарным симметричным каналом с вероятностью повреждения пикселя δ_m, вероятность ошибки E_C появления конфигурации с дефектным пикселем записывают следующим образом:

E_C=2δ_m(1-δ_m).

Вероятность повреждения пикселя δ_m с помощью вышеприведенной формулы оценивают следующим способом:

.

С другой стороны, фактическую вероятность δ_r появления ошибочного пикселя оценивают по следующей формуле:

.

где CountSubContext - количество фактически исправленных контекстов, CountAllContext - количество обработанных контекстов.

Фактическая вероятность ошибки δ_r и вероятность ошибки δ_m, оцененной с помощью модели шума, должны равняться друг другу, в случае если выбрана правильная модель шума и собрана подходящая статистическая информация. Таким образом, следующая функция должна быть минимизирована: . Значение Е, при котором функция F(E) принимает минимальное значение, принимается за пороговое значение Tresh.

Этапы способа улучшения факсимильного изображения для простого случая с одним похожим исправленным контекстом C записывают следующим образом:

01 While (Необработанная конфигурация существует)

02 C = Получить конфигурацию

03 S=Сгенерировать индекс текущей конфигурации (С)

04 SC = Сгенерировать индекс исправленной конфигурации

05 F[S]=F[S]+1

06 EC=F[S]/(F[S]+F[SC])

07 If(EC<Tresh)

08 Beginif

09 Инвертировать центральный пиксель скользящего окна

10 F[SC]=F[SC]+1

11 Endif

12 Обновить порог Tresh

13 Уменьшение частот появления конфигураций

14 Endwhile

Заявленный способ адаптивного улучшения изображений может применяться для подавления импульсного шума и восстановления символов на бинарных изображениях. Система фильтрации и улучшения изображений, основанная на заявленном методе, может быть использована в качестве модуля фильтрации в различных устройствах, таких как факсимильные аппараты, копиры и многофункциональные устройства.

Список ссылок:

[1] M.-Y.Yoon, S.-W. Lee, and J.-S. Kim, "Faxed image restoration using Kalman filtering," in Proc. International Conf. Document Analysis Recognition, pp.677-681, (1995).

[2] H.Baird. "The State of the Art of Document Image Degradation Modeling", In Proc. of 4 th IAPR International Workshop on Document Analysis Systems, Rio de Janeiro, Brazil, pp.1-16, 2000.

[3] H.S.Baird, "Document Image defect models". Proc., IAPR workshop on syntactic and structural pattern recognition, in Murray Hill, NJ, 13-15 June, 1990.

[4] H.S. Baird, "Calibration of document image defect models". Proc., 2^nd Annual symposium on document analysis and information retrieval, pp.1-16, 1993.

[5] Bern et al., "Scanner-Model-Based Document Image Improvement", Proceedings: 2000 International Conference on Image Processing vol.II, IEEE-Institute of Electrical and Electronics Engineers Signal Processing Society, (2000).

[6] J.D.Hobby and T.K. Ho. Enhancing degraded document via bitmap clustering and averaging. ICDAR 97: Fourth international conference on Document Analysis and Recognition, 1997.

[7] Т.Kanungo, R.M.Haralick and I.Phillips, "Global and Local Document Degradation Models", Proceedings of the Second International Conference on Document Analysis and Recognition ICDAR-93, Tsukuba, Japan, 730-734, October 20-22, 1993.

[8] M.-Y.Yoon, S.-W. Lee, and J.-S. Kim, "Faxed image restoration using Kalman filtering", in Proc. International Conf. Document Analysis Recognition, pp.677-681 (1995).

[9] J.C.Handley and E.R.Dougherty. Optimal nonlinear fax restoration. Proc. of the SPIE Document Recognition Conference, SPIE Vol.2181, Document Recognition, 1994, 232-235.

[10] M.Oguro, T.Akiyama, and K.Ogura. "Faxed Document Image Restoration Using Gray Level Representation ". In Proceedings of the Fourth International Conference on Document Analysis and Recognition, vol.2, pp.679-683, 1997.

[11] Amr R. Abdel-Dayem, Alt K. Hamou. Novel Adaptive filtering for salt-and-peper noise removal from binary document images. LNCS 3212, pp.191-199, 2004.

[12] Yoon, M., Lee, S., Kim, J.: Faxed image restoration using Kalman filtering. Third International Conference on Document Analysis and Recognition. Vol.2, (1995) 677-680.

[13] Ping, Z., Lihui, С., Alex, K.C.: Text Document Filters Using Morphological and Geometrical Features of Characters. 5th International Conference on Signal Processing, Vol.1, (2000) 472-475.

[14] Chinnasam, K., Rangsanseri, Y., Thitimajshima, P.: Removing Salt-and-pepper Noise in Text/Graphics Images. IEEE Asia-Pacific Conference on Circuits and Systems. (1998) 459-462.

[15] S.-J. Ко, Y.-H. Lee, Center weighted median filters and their applications to image enhancement, Circuits and Systems, IEEE Transactions on, 9(38), 1991, 984-993.

[16] A.Nieminen, P.Heinonen, Y.Neuvo, A new class of detail-preserving filters for image processing, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1(9), 1987, 74-90.

[17] Tao Chen, Hong Ren Wu, Space Variant Median Filters for the Restoration of Impulse Noise Corrupted Images, IEEE Transactions on, Circuits and Systems II, 8(48), 2001, 784-789.

[18] Li Shutao, Wang Yaonan, Non-Linear Adaptive Removal of Salt and Pepper Noise from Images, Journal of Image and Graphics. 12(5(a)), 2000.

[19] Kh. Manglem Singh, Prabin K. Bora, Improved Rank Conditioned Median Filter for Removal of Impulse Noise from Images, TENCON '02. Proceedings, Volume: 1, 2002, 557-560.

[20] Lin H M, Willson A N, Median filters with adaptive length, IEEE CAS1, 35(6), 1988, 675-690.

[21] Florencio D A F, Schafer R W, Decision-based median filter using local signal statistics, Proc. SPIE Vol.2308, 1994, 268-275.

[22] Hardie R E, Barner K E, Rank conditioned rank selection filters for signal restoration, IEEE IP, 3(2), 1994, 192-206.

[23] Abreu E, Lightone M, Mitra S Ketal, A new efficient approach for the removal of impulse noise from highly corrupted images, IEEE IP, 5(6), 1996, 1012-1025.

[24] Gang Li, Binheng Song. Image Salt-pepper noise elimination by detecting edges and isolated noise points, LNCS 3211, pp.171-178, 2004.

[25] Zheng, Q., Kanungo, T.: Morphological Degradation Models and Their Use in Document Image Restoration. International Conference on Image Processing, Vol.1, (2001) 193-196.

[26] Ozawa, H., Nakagawa, T.: A Character Image Enhancement Method from Characters with Various Background Images. International Conference on Document Analysis and Recognition. (1993) 58-61.

[27] Ali, M.B.: Background Noise Detection and Cleaning in Document Images. Proceedings of the 13th International Conference on Pattern Recognition, Vol.3, (1996) 758-762.

Изобретение относится к области обработки изображений. Способ адаптивного улучшения факсимильных изображений документов включает сканирование изображения с помощью скользящего окна; получение конфигурации пикселей для текущего положения скользящего окна; генерирование конфигурации пикселей, похожих на текущую конфигурацию; генерирование индексов для текущей конфигурации пикселей и для конфигураций пикселей, похожих на текущую конфигурацию; обновление частоты появления текущей конфигурации и частоты конфигураций, похожих на текущую конфигурацию; генерирование списка исправленных конфигураций пикселей; вычисление вероятности ошибки появления текущей конфигурации с помощью соотношения частот появления соответствующих конфигураций; замену текущей конфигурации исправленной конфигурацией, в случае если вероятность ошибки появления текущей конфигурации меньше порогового значения ошибки; обновление частоты появления конфигураций, похожих на исправленную конфигурацию, в случае, если произошла замена текущей конфигурации на предыдущем этапе; уточнение порога ошибки; уменьшение частоты появления конфигураций. Изобретение позволяет улучшить изображение, в том числе удалить шум и восстановить утраченные мелкие символы. 18 з.п. ф-лы, 13 ил.

1. Способ адаптивного улучшения факсимильных изображений документов, заключающийся в выполнении следующих операций:
сканируют изображения с помощью скользящего окна;
получают конфигурацию пикселей для текущего положения скользящего окна;
генерируют конфигурацию пикселей, похожих на текущую конфигурацию;
генерируют индексы для текущей конфигурации пикселей и для конфигураций пикселей, похожих на текущую конфигурацию;
обновляют частоты появления текущей конфигурации и частоты конфигураций, похожих на текущую конфигурацию;
генерируют список исправленных конфигураций пикселей;
вычисляют вероятность ошибки появления текущей конфигурации с помощью соотношения частот появления соответствующих конфигураций;
заменяют текущую конфигурацию исправленной конфигурацией, в случае если вероятность ошибки появления текущей конфигурации меньше порогового значения ошибки;
обновляют частоты появления конфигураций, похожих на исправленную конфигурацию, в случае, если произошла замена текущей конфигурации на предыдущем этапе;
уточняют порог ошибки;
уменьшают частоты появления конфигураций.

2. Способ по п.1, отличающийся тем, что скользящему окну придают произвольный размер и форму.

3. Способ по п.1, отличающийся тем, что индекс конфигурации генерируют путем свертки содержания скользящего окна с матрицей генерации индекса.

4. Способ по п.1, отличающийся тем, что индекс исправленной конфигурации получают арифметическим вычитанием/сложением константы из значения индекса текущей конфигурации.

5. Способ по п.1, отличающийся тем, что похожие конфигурации генерируют с помощью операций отражения, поворота и удаления/добавления пикселей.

6. Способ по п.1, отличающийся тем, что похожие конфигурации сохраняют в памяти в табличной форме.

7. Способ по п.1, отличающийся тем, что похожие конфигурации сохраняют в памяти в виде графа.

8. Способ по п.1, отличающийся тем, что частоту появления конфигураций обновляют с помощью значений мер схожести конфигураций.

9. Способ по п.1, отличающийся тем, что вероятность ошибки появления конфигурации, вычисляют с помощью соотношения частот появления текущей и исправленной конфигураций.

10. Способ по п.1, отличающийся тем, что текущую конфигурацию замещают на наиболее вероятную исправленную конфигурацию, которую выбирают из списка исправленных конфигураций пикселей.

11. Способ по п.1, отличающийся тем, что частоту появления исправленной конфигурации обновляют в случае замены текущей конфигурации.

12. Способ по п.1, отличающийся тем, что определение порога ошибки выполняют как перед началом работы заявленного способа, так и во время его работы.

13. Способ по п.1, отличающийся тем, что для определения порога ошибки используют модель шума и модель дефектов.

14. Способ по п.1, отличающийся тем, что этап уменьшения частот конфигураций выполняют каждый раз после обработки текущего контекста.

15. Способ по п.1, отличающийся тем, что этап уменьшения частот конфигураций выполняют каждый раз после обработки определенной части изображения.

16. Способ по п.1, отличающийся тем, что на этапе уменьшения частот конфигураций уменьшают значение всех частот появления конфигураций.

17. Способ по п.1, отличающийся тем, что на этапе уменьшения частот конфигураций уменьшают значение определенных частот появления конфигураций.

18. Способ по п.1, отличающийся тем, что способ рекурсивно применяют несколько раз для изображения, получаемого на выходе заявленного способа.

19. Способ по п.18, отличающийся тем, что количество применений способа зависит от количества измененных пикселей, при этом выполнение способа завершают, если количество измененных пикселей не превосходит заданного порогового значения.