СИСТЕМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ УСТРАНЕНИЯ РАСТРОВОЙ СТРУКТУРЫ ИЗОБРАЖЕНИЯ ЧЕРЕЗ РАЗРЕЖЕННОЕ ПРЕДСТАВЛЕНИЕ СКАНИРОВАННЫХ ПЕЧАТНЫХ КОПИЙ Российский патент 2016 года по МПК G06T5/00 G06K9/44 

Область техники, к которой относится изобретение

Изобретение относится к области обработки изображений, и в частности к устранению растровой структуры изображений, в частности изображений, получаемых путем сканирования печатных копий.

Уровень техники

Проблема устранения растровой структуры (устранения растра) является существенным вопросом, связанным с печатью и последующим сканированием. Известно, что современные печатающие устройства используют растровые структуры для печати документов, содержащих изображения с непрерывными тонами (нерастрированные изображения); поэтому, когда такие растрированные документы сканируются и сохраняются в виде файла, они часто содержат муар. Муар представляет собой эффект, который возникает, когда две регулярные сетки накладываются друг на друга и формируют фантомную частоту внутри изображения, что очень заметно. В случае сканирования упомянутые сетки представляют собой сетку растра и сетку пикселей изображения. Этот эффект может быть устранен за счет использования высоких разрешений при сканировании, но изображение, которое сканируется таким образом, все же выглядит хуже, чем то же изображение без растра. Кроме того, если такое изображение необходимо вновь распечатать, наложение двух растровых сеток приводит к значительному ухудшению качества.

Таким образом, устранение растровой структуры широко используется при обработке изображений для восстановления нерастрированного изображения из растрированного. Существующие способы могут быть разделены на три основные группы. Первая группа основана на различных методиках фильтрации, которые являются более или менее сложными, таких как применение гауссового фильтра, билатеральная фильтрация, сглаживание однородных областей и так далее. Вторая группа восстанавливает изображение с непрерывными тонами путем извлечения отдельных растровых точек и определения взаимосвязи между ними. Наконец, третья группа реализует методику быстрого преобразования Фурье (БПФ), в соответствии с которой растровая структура может быть устранена путем удаления отдельных пиков в частотной области, которые соответствуют частоте растровой структуры (поскольку большинство современных печатающих устройств использует для печати регулярную точечную сетку).

Первая группа:

US 7376282 - В способе формируются фильтры низких и высоких частот и затем высокие частоты вычитаются из низких для формирования ядра свертки. Затем выполняется свертка с исходным изображением и итоговое изображение называют изображением с устраненным растром.

US 7595911 - В способе извлекают вторые производные для вертикального и горизонтального направлений для оценки амплитуды градиента. Полученная амплитуда используется для выделения резких границ изображения и однородных областей. Затем сглаживают однородные области с использованием стандартной процедуры свертки.

Эта группа алгоритмов устранения растра имеет недостаток, заключающийся в том, что на итоговых изображениях появляется так называемый «мультипликационный» эффект, вызванный чрезмерным сглаживанием для областей, содержащих растр, и чрезмерным повышением резкости границ.

Вторая группа:

US 7312900 - Способ направлен на точное отделение растровой области на уровне растровых ячеек от однотонной области. Отделенные растровые ячейки используются для последующего процесса устранения растра.

US 6172769 - Способ учитывает фактическое распределение черного цвета или иных цветов на печатном документе без необходимости сканирования печатных изображений, а с использованием лишь матрицы решений печати и характеристик печатающего устройства. Для задач лазерной печати или в более общем случае для воспроизведения на любом печатающем устройстве с ограниченным числом уровней печати цветное или полутоновое изображение должно быть преобразовано в матрицу решений печати для каждого пикселя выходного изображения. Иногда эта матрица является единственным доступным представлением исходного изображения. Иногда с помощью этой матрицы требуется восстановить приближенное представление исходного полутонового изображения, например, для печати изображения на печатающем устройстве, имеющем характеристики, отличные от характеристик печатающего устройства, на котором был изначально подготовлена матрица, или для его отображения на мониторе с высоким разрешением. Описаны способ и устройство для решения данной проблемы способом, который в точности учитывает характеристики печатающего устройства.

Основной недостаток этой группы способов заключается в необходимости извлечения растровых ячеек с высокой надежностью и точностью. Даже низкий уровень ошибок может привести к значительным искажениям в восстановленных изображениях.

Третья группа:

US 5239390 - В способе применяется методика БПФ, согласно которой растровая структура может быть удалена путем удаления единичных пиков в частотной области, которые соответствуют частотам растра.

Однако методики на основе БПФ могут быть подвержены эффекту Гиббса и ухудшению резкости вследствие подавления определенных частотных областей в области Фурье.

US 7595911 может рассматриваться в качестве прототипа способа согласно изобретению. Однако в способе согласно изобретению не извлекаются вторые производные, использующиеся для оценки величины градиента и сохранения резких областей. Вместо этого авторы настоящего изобретения предлагают применять свертку ко всему изображению и затем выполнять восстановление резких краев с использованием методики разреженного кодирования, применяемого к участкам изображения. В способе по US 7595911 возможно извлечение не только резких краев, но и искажений изображения, что является большим недостатком, в то время как способ согласно изобретению не использует данные исходного изображения и направлен на восстановление резкости путем прогнозирования резких границ в сглаженном изображении.

Раскрытие изобретения

С учетом описанных выше технических проблем предлагаемое изобретение будет теперь описано в качестве примера, но не ограничения, с обращением к приведенному ниже описанию и чертежам.

Настоящее раскрытие предваряет подробное описание конкретных примерных вариантов выполнения для обеспечения обзора аспектов заявляемого изобретения, которые будут дополнительно пояснены ниже, и не предназначено для определения или ограничения объема настоящего изобретения каким-либо образом.

Задача настоящего изобретения состоит в создании способа устранения растровой структуры через разреженное представление сканированных печатных копий и системы для обработки растровых изображений, которые преодолевают или уменьшают, по меньшей мере, некоторые из недостатков уровня техники, упомянутых выше.

Технический результат предлагаемого изобретения состоит в повышении эффективности устранения растра в растрированном изображении. Кроме того, изобретение обеспечивает следующие основные улучшения по сравнению со способами обратного растрирования из уровня техники: прежде всего, в способе согласно изобретению не используется какой-либо предварительный анализ изображения для оценки резких краев изображения, что экономит ресурсы обработки. Кроме того, процедура сглаживания применяется ко всему изображению с последующим разреженным кодированием. В данном случае разреженное кодирование направлено на восстановление исходного (резкого) изображения с использованием восстановления конкретных участков изображения. Авторы настоящего изобретения предлагают процедуру регулировки для параметров разреженного кодирования, более подробно описанную ниже, которая как восстанавливает резкое изображение, так и подавляет растровую структуру. Авторы настоящего изобретения также предлагают использовать противоблочный фильтр, который позволяет уменьшить число участков изображения и повысить скорость обработки. Общая архитектура алгоритма эффективным образом параллелизуется в современных центральных процессорах (CPU) и графических процессорах (GPU), что также повышает скорость обработки.

В отличие от известных способов, основанных на фильтрации, способ согласно изобретению не использует оценку границ или какую-либо другую методику для размытия только однородных областей. Вместо этого он основан на допущении, что возможно восстановление информации о границах из размытого изображения путем применения методики разреженного кодирования, причем разреженное кодирование направлено на восстановление резкого изображения путем применения сочетания небольших образцов изображения из так называемого словаря к размытому изображению. Поэтому требуется меньше предварительной обработки и нет необходимости анализа входного изображения, если известен размер растровой структуры. Кроме того, алгоритм может легко настраиваться для различных разрешений сканирования одинаковым образом путем простого изменения размера элементов словаря и величины размытия по Гауссу (путем изменения размера ядра и значения сигмы).

То же самое также относится к способам, в которых применяется извлечение отдельных растровых точек. В них выполняется большой процесс анализа перед интерполяцией в нерастрированное изображение, что представляет собой временнозатратную задачу.

Что касается известных способов на основе БПФ, им присуще ухудшение резкости. Причина этого весьма очевидна: в способах на основе БПФ удаляются конкретные частоты исходного сигнала и таким образом вместе с ними также удаляется некоторая высокочастотная информация. Вследствие этого все такие методики требуют дополнительной последующей обработки, которая включает в себя повышение резкости. В то же время способ согласно изобретению не требует какой-либо дополнительной обработки, поскольку он изначально основан на восстановлении резкости размытого изображения.

Для решения охарактеризованной выше задачи способ согласно изобретению направлен на восстановление растрированного изображения в изображение с непрерывными тонами. Способ согласно изобретению выполнен с возможностью работы главным образом с растрированными графическими изображениями. В отличие от многих известных способов в способе согласно изобретению не только удаляется растровая структура, но и используется определенный вид восстановления с потерями, при котором отсутствуют нежелательные высокие частоты, соответствующие полутону. Однако при этом в нем имеется достаточная информация для восстановления резких границ с достаточной точностью для того, чтобы человеческий глаз воспринимал изображение как естественное изображение с непрерывными тонами. Таким образом, в общем случае процедура обработки растра, лежащая в основе аспектов настоящего изобретения, может быть охарактеризована следующим образом:

- оценивают размер растровой структуры входного изображения посредством анализа входного изображения (101);

- сглаживают входное изображение, причем размер ядра свертки выбирают в соответствии с оцененным размером растровой структуры (102);

- восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования (103).

В одном аспекте изобретение относится к способу обработки изображений для обратного растрирования изображений через разреженное представление сканированных печатных копий, причем способ содержит этапы, на которых оценивают размер растровой структуры входного изображения; сглаживают растрированное входное изображение с применением способа, использующего сглаживающее ядро, причем размер сглаживающего ядра определяют как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении; восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении. В варианте выполнения способа согласно изобретению оценка размера растровой структуры входного изображения содержит этап, на котором измеряют разрешения сканирования и печати изображения. Сглаживание растрированного входного изображения может содержать, в частности, этап, на котором выполняют линейную свертку изображения посредством Гауссова ядра определенного размера в зависимости от оцененного размера растровой структуры входного изображения. Восстановление резкости сглаженного изображения посредством методики разреженного кодирования в предпочтительном варианте выполнения включает в себя этапы, на которых обучают исходный словарь; сглаживают исходный словарь посредством Гауссова фильтра для получения сглаженного словаря; получают разреженное представление входного изображения посредством сглаженного словаря; восстанавливают изображение с использованием разреженного представления изображения и сглаженного словаря. В данном варианте выполнения упомянутый словарь представляет собой набор коллекций образцов изображения одинакового размера, причем размер образца для каждого набора зависит от оцененного размера растровой структуры изображения. Упомянутое обучение содержит этап, на котором извлекают несходные образцы изображения из обучающего изображения, причем несходные образцы изображения представляют собой образцы изображения с максимальным расстоянием между ними с точки зрения L-нормы, и при этом обучающее изображение представляет собой любое изображение с непрерывными тонами. Разреженное представление изображения представляет собой разреженную матрицу, состоящую из весов словарных образцов, которые используются для восстановления каждого образца изображения. Получение может содержать этап, на котором формируют разреженную матрицу. Вышеупомянутое восстановление может содержать этап, на котором перемножают разреженную матрицу и словарь.

В другом аспекте изобретение относится к системе обработки изображений для обработки растровых изображений, причем система содержит устройство сканирования и хранения, выполненное с возможностью обеспечения входного изображения; средство анализа входного изображения, выполненное с возможностью оценки размера растровой структуры входного изображения; модуль восстановления изображения, выполненный с возможностью сглаживания растрированного входного изображения и восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием блоков сглаживания и восстановления; блок сглаживания, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения свертки отдельных участков изображения; блок восстановления, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения восстановления отдельных участков изображения с использованием методики разреженного кодирования.

Еще в одном аспекте изобретение относится к постоянному машиночитаемому носителю, на котором сохранена компьютерная программа, которая при выполнении компьютером побуждает компьютер выполнять обработку изображений для обратного растрирования изображения через разреженное представление сканированных печатных копий, причем компьютерная программа содержит код для оценки размера растровой структуры входного изображения; код для сглаживания растрированного входного изображения с применением способа, использующего сглаживающее ядро, причем размер ядра сглаживания определяется как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении; код для восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении.

Краткое описание чертежей

Охарактеризовав таким образом задачу настоящего изобретения и его аспекты, обратимся теперь к конкретным примерным вариантам выполнения заявляемого изобретения, которые представлены в нижеприведенном подробном описании, которое предназначено для прочтения в сочетании с сопровождающими чертежами и не предназначено для определения или ограничения объема изобретения каким-либо образом, но обеспечивает конкретные примеры его реализации. Специалистам в данной области техники будет понятно, что другие варианты выполнения, модификации или эквивалентные замены могут быть очевидны на основании сведений, приведенных в настоящем описании, и все такие варианты выполнения, модификации и эквивалентные замены считаются входящими в объем настоящего изобретения.

Чертежи приведены исключительно в целях иллюстрации в качестве вспомогательного средства при прочтении и понимании описания и не должны каким-либо образом рассматриваться как определяющие или ограничивающие объем изобретения. На чертежах:

фиг. 1 - блок-схема способа устранения растровой структуры посредством алгоритма разреженного кодирования согласно изобретению;

фиг. 2 - иллюстрация участков входного изображения и соответствующего словаря;

фиг. 3 - иллюстрация сочетания участков из словаря для получения нового участка;

фиг. 4 - блок-схема процесса восстановления резкости согласно изобретению;

фиг. 5 - иллюстрация процесса восстановления резкости с использованием обработки пересекающихся блоков согласно изобретению;

фиг. 6 - иллюстрация выбора пикселей противоблочного фильтра;

фиг. 7 демонстрирует архитектуру многофункционального устройства, реализующего систему обработки изображений согласно изобретению;

На фиг. 8 показаны подробности параллельной архитектуры модуля восстановления, включенного в многофункциональное устройство по фиг. 7.

Осуществление изобретения

Обращаясь к фиг. 1, как охарактеризовано выше, способ устранения растровой структуры изображения согласно изобретению в общем содержит этапы, на которых:

- оценивают размер растровой структуры входного изображения (101);

- сглаживают растрированное входное изображение, причем размер ядра свертки определяют в соответствии с оцененным размером растровой структуры (102);

- восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, причем первый набор является набором сглаженных образцов изображения, и второй набор является набором резких образцов изображения, причем размер набора, размер образцов и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры (103).

Первый этап (101), на котором оценивают размер растровой структуры входного изображения, необходим, если не имеется изначальная информация о сканированном входном растрированном изображении. Для обеспечения достаточного качества восстановления с использованием методики согласно изобретению необходимы два параметра: разрешение сканирования изображения и разрешение печати. В данном контексте разрешение печати определяет размер ячеек растровой структуры и минимальный размер растровых точек. Разрешение сканирования представляет собой разрешение сканера, которое было использовано для сканирования растрированной печатной копии для получения входного изображения. Существуют многочисленные способы, которые могут быть применены для оценки разрешения печати (например, см. патент US 6734991). Результатом этапа (101) является оцененный размер растровой структуры входного изображения.

Сглаживание (102) входного изображения направлено на подавление высоких частот во входном изображении вместе с артефактами растровой структуры. Для сглаживания изображения используется способ, использующий ядро сглаживания, который также может в общем называться «ядерным сглаживанием». Ядерное сглаживание известно в общем как статистическая методика оценки функции с вещественным значением путем использования ее «шумных» наблюдений, когда не известна параметрическая модель для этой функции. Оцененная функция является гладкой, и уровень гладкости устанавливается одним параметром.

Существует некоторое количество методик ядерного сглаживания, которые могут быть пригодны для реализации этапа (102) сглаживания входного изображения. В общем случае сглаживание (102) может быть реализовано любой известной методикой ядерного сглаживания, пригодной для этой задачи, но в предпочтительном варианте выполнения способа согласно изобретению применяется свертка посредством Гауссова ядра. Гауссово ядро является одним из наиболее известных ядер, также называемым «ядром радиальной базисной функции». Размер ядра и параметры сигмы получают из оцененных разрешений печати и сканирования входного изображения и они могут быть различными в зависимости от требований к балансу качества/скорости восстановления. В предпочтительном варианте выполнения изобретения используются три заданных установки для разрешения сканирования в 300, 600 и 1200 точек на дюйм (DPI) и разрешение печати в 300 DPI. Все прочие разрешения могут быть обработаны с использованием этих установок, например как показано в Таблице 1:

Таблица
Установки Гауссова ядра для сглаживания изображений Отношение разрешений Размер ядра Сигма Отношение ≥ 1,0 4 + 2*Интенсивность 8 0,5 ≤ Отношение < 1,0 6 + 4*Интенсивность 8 0,25 ≤ Отношение < 0,5 8 + 4*Интенсивность 8 Отношение < 0,25 10 + 6*Интенсивность 8

Здесь отношение разрешений является отношением разрешения сканирования к разрешению печати, интенсивность является необязательным параметром, который находится в диапазоне [0;1] (0,5 по умолчанию) и размер ядра и сигма являются, соответственно, значениями размера Гауссова ядра и сигмы. Если отношение выше 1,0, предполагается, что разрешение сканирования слишком мало и таким образом растр не обнаружен. Соответственно, алгоритм выполняет удаление шума с использованием ядра 4x4 со значением сигмы 8. Если размер ядра представляет собой вещественное число, он округляется до ближайшего целого. Все установки, показанные в качестве примера, но не ограничения, в вышеприведенной Таблице 1, получают посредством следующей процедуры: сначала пользователь вручную выбирает любое фиксированное значение сигмы, достаточное для удаления растровой структуры (как показали эмпирические эксперименты, наилучшим выбором является сигма = 8); затем определяют наибольший размер ядра R_max в качестве минимального размера ядра, который может полностью устранить растровую структуру внутри изображения. Устранен ли растр, можно определить путем наблюдения или посредством любого из известных алгоритмов обнаружения растра, например алгоритма, описанного в US 6734991. Итоговые размеры ядра, представленные в Таблице 1, получены с использованием следующего выражения:

$$\begin{array}{ccc}& & \end{array}$$ (1)

Затем выполняется этап (103) восстановления резкости с использованием так называемой методики разреженного кодирования. Идея разреженного кодирования состоит в общем в выполнении восстановления образца «шумного» изображения с использованием сочетания образца с устраненным шумом из избыточного словаря (более подробно см. J. Mairal, F. Bach и J. Ponce, “Task-Driven Dictionary Learning”, PAMI, 2012, далее [1]). Восстановление выполняется посредством лишь небольшого количества образцов, и таким образом оно может быть описано следующим образом (см. Y. Pati, R. Rezaiifar, P. Krishnaprasad, "Orthogonal Matching Pursuit: recursive function approximation with application to wavelet decomposition", в Asilomar Conf. on Signals, Systems and Comput., 1993, далее [3]):

(2)

Здесь xi - образец исходного изображения (представленный в виде одномерных (1D) векторов) и αi - набор разреженных кодов, которые являются весами соответствующих словарных образцов, используемых для восстановления. Здесь D адаптировано к x, если оно может представить его посредством небольшого количества базисных векторов, т.е. есть разреженный вектор α в , такой, что . Эта задача может быть решена путем применения множества алгоритмов поиска наилучшей аппроксимации. В предпочтительном варианте выполнения изобретения применяется групповой алгоритм поиска лучшей ортогональной аппроксимации (групповой OMP) (более подробно см. M. Aharon, M. Elad, A. Bruckstein, “K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation," Signal Processing, IEEE Transactions on, том 54, № 11, стр. 4311,4322, ноябрь 2006 г., далее [2]). Очевидно также существует обратная задача - как обучить словарь, который полностью соответствовал бы входному сигналу x. Также существует некоторое число различных методик обучения словаря. В качестве примера, но не ограничения, в настоящем изобретении используется так называемый обучающий алгоритм K-SVD (более подробно см. источник [3]).

В случае двумерных (2D) сигналов (таких как изображения) задача может быть сформулирована следующим образом: сначала изображение (201) разделяют на некоторое число блоков (202) (которые обычно пересекаются, но для простоты они показаны раздельными на фиг. 2). Затем все блоки группируют в набор кластеров по их подобию (показаны с различными рисунками штриховки) и организуют в словарь (203), который собирают из небольшого количества наименее подобных блоков. В случае разреженного кодирования подобие часто определяют посредством L-нормы, и поэтому предполагается, что наименее подобные блоки (которые также называются атомами словаря или участками) являются наиболее удаленными с точки зрения L-нормы (L-2 или L-1).

Словарь имеет ограниченный размер и поэтому некоторая информация теряется при восстановлении изображения с использованием упомянутого словаря. Для управления величиной потерь используется L-0 регуляризация нормы (см. [1]):

Уравнение (3), приведенное выше, иллюстрирует восстановление одного участка xi словарем D. Здесь ai - член разреженной матрицы, который определяет число ненулевых атомов словаря, используемых для восстановления участка xi. Кроме того, если участок (302) изображения восстанавливается максимум тремя атомами (301), то разреженность должна быть установлена в значение 3. В предлагаемом способе всегда используется разреженность, равная 1, что означает, что только один атом словаря используется для восстановления участка.

Таким образом, обращаясь к фиг. 4, в предпочтительном варианте выполнения настоящего изобретения восстановление резкости состоит из следующих этапов:

Обучение исходного словаря (401)

Сглаживание исходного словаря (402)

Получение разреженного представления изображения (403)

Восстановление изображения (404)

Этапы (403) и (404) повторяются итерационно до тех пор, пока не будет получена естественная резкость изображения или пока не будет выполнено условие (405) (например, максимальное значение счетчика итераций). По умолчанию выполняются 3 итерации. Обучение (401) исходного словаря может выполняться с использованием любого изображения с непрерывными тонами или группы изображений, внутри которых отсутствует какая-либо растровая структура. Тем не менее, предлагается использовать фотографическое изображение. Один словарь обучают для всех каналов изображения, таким образом участки, извлеченные из всех каналов, смешивают друг с другом для составления обучающего набора. Ввиду случайной природы алгоритма K-SVD обучают множество словарей, и лучший словарь выбирают в качестве так называемого «исходного» словаря. Здесь наилучший словарь определяют посредством серии экспериментов, в которых восстанавливают одно изображение с использованием каждого словаря. Словарь, обеспечивающий наилучшее качество восстановления, которое измеряется показателем пикового отношения сигнала к шуму (PSNR), выбирают в качестве «исходного».

Размер словаря определен в 64 атома, и размер атома оценен с использованием следующей таблицы, причем размеры участков те же, что и R_min в Таблице 1:

Таблица 2
Установленные размеры участков Отношение разрешений Размер участка Отношение ≥ 1,0 4 0,5 ≤ Отношение < 1,0 6 0,25 ≤ Отношение < 0,5 8 Отношение < 0,25 10

Исходный словарь обучают только один раз перед тем, как происходит любая другая обработка. Поэтому обучают и сохраняют заранее четыре различных заранее обученных исходных словаря (по одному словарю для каждого размера участка). И таким образом любое растровое изображение может быть обработано с использованием одного из упомянутых словарей. Специалисту в данной области техники будет понятно, что возможны другие варианты выполнения словарей и обучения словарей и что вышеприведенное описание представлено лишь в качестве примера и не является каким-либо образом ограничивающим.

В предпочтительном варианте выполнения изобретения восстановление резкости (также известное как устранение размытия) выполняется с использованием двух соответствующих (связанных) словарей. Первый словарь представляет собой вышеупомянутый исходный словарь и второй словарь должен быть сформирован путем сглаживания каждого атома исходного словаря посредством Гауссова ядра. Размеры ядер для сглаживания словарей являются теми же, что и для сглаживания изображений (см. Таблицу 1), причем единственное различие состоит в том, что, если размер ядра представляет собой вещественное число, его сокращают до ближайшего меньшего целого числа. Значение сигмы выбрано равным 2,8.

Когда связанные словари сформированы, выполняют получение (403) разреженного представления изображения с применением алгоритма группового OMP и сглаженного словаря. Результатом этого этапа является разреженная кодовая матрица ai (см. уравнение (3)). Обычно групповой OMP работает сразу со всем изображением, что представляет собой процесс, требовательный к памяти и затратный по времени. Для преодоления данного ограничения в предлагаемом изобретении групповой OMP применяется к отдельным частям входного изображения, разделенным на блоки (501) по 512×512 пикселя, пересекающиеся по размеру (502) участка (см. фиг. 5). После завершения процесса все блоки «сшивают».

Для улучшения характеристик обработки каждый блок обрабатывается по пересекающимся участкам с размером шага, который зависит от размера участков, и значением качества, которое лежит в дискретном интервале [0;3] (где размеры шага для значений качества 0 и 1 зависят от размера участков, и размеры шага для значений 2 и 3 являются фиксированными целыми числами):

Таблица 3
Установки размера шага Качество Размер шага 0 Размер участка/2 1 Размер участка/4 2 2 3 1

Если размер шага представляет собой вещественное число, он округляется до ближайшего целого. Для устранения вертикальных полос на границах участков используется противоблочный фильтр. Он может быть реализован различными способами, но в качестве примера, обращаясь теперь к фиг. 6, в настоящем изобретении используется Гауссова фильтрация, которая применяется к пикселям, расположенным вблизи границ (601) участков. Предлагаемый вариант реализации размывает саму границу и два соседних пикселя (602) с каждой стороны от нее. Размер Гауссова ядра тот же, что и вышеупомянутый размер участка, и сигма устанавливается пользователем таким образом, чтобы она была достаточно велика для устранения границы участков.

Восстановление (404) изображения выполняют с использованием уравнения (1), где ai - разреженная кодовая матрица от этапа 403, dij - исходный словарь, и xi - новый участок с повышенной резкостью. Как указано выше, этапы (403) и (404) выполняются итерационно до тех пор, пока не будет выполнено условие (405). Этап (403) выполняется со сглаженным словарем, и этап (404) выполняется с использованием «исходного» словаря. Любой из вышеупомянутых параметров может быть изменен для получения более высокого качества в определенных случаях.

Обращаясь теперь к фиг. 7, в предпочтительном варианте выполнения изобретения в качестве примера, но не ограничения, все компоненты объединены в одном многофункциональном устройстве (701), состоящем из печатающего устройства (705), сканирующего устройства (706) и системы (702) обработки изображений. Общий сценарий работы такого многофункционального устройства включает в себя следующие этапы:

пользователь помещает полутоновой документ в сканирующее устройство (706) или вставляет машиночитаемый носитель (707), например карту флэш-памяти, и инструктирует систему (702) обработки изображений получить входное изображение;

пользователь выбирает сохранение документа в устройстве или его непосредственную печать;

система (702) обработки изображений получает входное изображение с носителя или из сканирующего устройства (706) и анализирует изображение с использованием средства (703) анализа изображения, которое оценивает разрешение сканирования и печати входного изображения;

затем система (702) обработки изображений применяет вышеописанный алгоритм этапов (302) и (303) путем применения модуля (704) восстановления для восстановления изображений;

когда обработка завершена, система (702) обработки изображений сохраняет выходное колоризированное изображение в устройстве (707) хранения или распечатывает его посредством печатающего устройства (705).

Пользователь может указывать параметры восстановления для этапов (102) и (103) или выбирать автоматический режим, который применяет установки восстановления изображения по умолчанию. Модуль (704) восстановления представляет собой систему параллельной обработки.

Подробный пример системы параллельной обработки, которая составляет модуль (704) восстановления по фиг. 7, показан на фиг. 8. Здесь обработка участков изображения выполняется параллельно с использованием аппаратных блоков обработки. В общем случае, модуль восстановления состоит из двух блоков, каждый из которых содержит по меньшей мере один блок обработки, которые вместе обеспечивают возможность параллельной обработки. Первый блок представляет собой блок сглаживания, который состоит по меньшей мере из одного блока обработки, параллельно выполняющего вышеописанную свертку отдельных участков изображения. Второй блок представляет собой блок восстановления, который состоит по меньшей мере из одного блока обработки, параллельно выполняющего восстановление отдельных участков изображения с использованием методики разреженного кодирования, как описано выше. В предпочтительном варианте выполнения изобретения обработка для восстановления изображения, в качестве примера, выполняется следующим образом: каждый пиксель входного изображения (801) обрабатывается блоками обработки, также называемыми блоками (802) сглаживания, которые одновременно выполняют этап (102) алгоритма. Итоговые пиксели изображения объединяются в сглаженное изображение (803), которое разделено на пересекающиеся участки (804). Затем применяется разреженное кодирование. Поскольку каждый участок может восстанавливаться по отдельности, процесс также параллельно выполняется блоками обработки, включенными в блок восстановления резкости, причем каждый из упомянутых блоков обработки также показан на фиг. 8 как блок (805) разреженного кодирования, которые реализуют этап (103) алгоритма. Затем итоговые участки объединяют в выходное изображение (806). Эта методика, в которой параллельно используется множество блоков обработки в качестве блоков сглаживания и блоков разреженного кодирования, соответственно, значительно повышает скорость обработки, в особенности если модуль восстановления представляет собой систему массового параллелизма, такую как графический процессор (GPU), или если он реализован в виде аппаратного компонента.

Другие аспекты изобретения станут очевидны специалисту в данной области техники при рассмотрении чертежей и подробного описания изобретения. Специалисту в данной области техники будет понятно, что возможны другие варианты выполнения изобретения и что детали изобретения могут быть изменены в различных отношениях без выхода за рамки изобретательского замысла. Таким образом, чертежи и описание следует рассматривать как имеющие иллюстративный, но не ограничивающий характер. Например, предлагаемый способ может быть реализован в системе с экраном отображения и модулем беспроводной передачи файлов для передачи изображений вместо печатающего и сканирующего устройств. Также возможны изменения в алгоритмах обработки изображений. Таким образом, в этапах (102) и (103) может применяться другой алгоритм восстановления резкости, который не относится к методикам разреженного кодирования. Операции сглаживания могут быть выполнены с использованием других ядер. Например, они могут представлять собой Гауссово размытие.

Изобретение может применяться для восстановления растрированных изображений в изображения с непрерывными тонами. Таким образом, оно может быть реализовано в сканирующих устройствах, а также в различном программном обеспечении для сканирования, печати или обработки изображений.

Выше приведено подробное описание конкретных примерных вариантов выполнения изобретения, которые предназначены для иллюстрации, но не для ограничения материально-технических средств, которые реализуют соответствующие компоненты системы для обработки изображений и этапы способа обработки изображений, их функциональных свойств и взаимосвязи между ними, а также способа работы системы и способа обработки изображений согласно изобретению. Другие варианты выполнения, находящиеся в рамках объема настоящего изобретения, могут стать очевидными для специалиста в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам, и все такие очевидные модификации, изменения и/или эквивалентные замены считаются включенными в объем настоящего изобретения. Порядок, в котором этапы способа согласно изобретению упомянуты в формуле, не обязательно определяет фактическую последовательность, в которой должны выполняться этапы способа, и некоторые этапы способа могут выполняться, по существу, одновременно, один за другим или в любой надлежащей последовательности, если иное не определено конкретно и/или не обусловлено контекстом настоящего описания. Определенные этапы способа также могут выполняться однократно или любое другое надлежащее число раз, хотя это и не указано в формуле изобретения или где-либо еще в материалах заявки.

Также следует отметить, что изобретение может также принимать иные формы по сравнению с тем, что описано выше в настоящем документе, и там, где это применимо, определенные компоненты, модули, элементы, функции могут быть реализованы в виде программного обеспечения, аппаратного обеспечения, микропрограммного обеспечения, интегральных схем, программируемых вентильных матриц (FPGA) и т.п. Заявляемое изобретение или по меньшей мере определенные его части, компоненты, модули или этапы могут быть реализованы компьютерной программой, сохраненной на машиночитаемом носителе, причем упомянутая программа при выполнении на компьютере общего назначения, сканирующем устройстве, печатающем устройстве, GPU, многофункциональном устройстве или любом подходящем устройстве обработки изображений побуждает упомянутое устройство выполнять некоторые или все этапы заявляемого способа и/или управлять по меньшей мере некоторыми из компонентов заявляемой системы для обработки изображений таким образом, что они работают описанным выше способом. Примеры машиночитаемого носителя, подходящего для хранения упомянутой компьютерной программы или ее кода, команд или компьютерных программных элементов или модулей, могут включать в себя любой вид постоянного машиночитаемого носителя, который очевиден специалисту в данной области техники.

Все непатентные источники [1]-[3] из уровня техники, а также патентные источники, приведенные и описанные в настоящем документе, настоящим включены в данное описание путем ссылки там, где это применимо.

При том, что настоящее изобретение было показано и описано в отношении его различных вариантов выполнения, специалистам в данной области техники будет понятно, что в нем могут быть выполнены различные изменения по форме и деталям, не выходящие за рамки объема настоящего изобретения, который определяется только прилагаемой формулой изобретения и ее эквивалентами.

Изобретение относится к области обработки изображений. Технический результат - повышение эффективности устранения растра в растрированном изображении за счет экономии ресурсов при обработке изображений. В способе обработки изображений для устранения растровой структуры изображения через разреженное представление сканированных печатных копий оценивают размер растровой структуры входного изображения. Сглаживают растрированное входное изображение с использованием ядра сглаживания. Размер ядра сглаживания определяют как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении. Восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами. Причем первый набор является набором сглаженных образцов изображения, а второй набор является набором резких образцов изображения. Размеры набора и образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении. 3 н. и 8 з.п. ф-лы, 8 ил., 3 табл.

1. Способ обработки изображений для устранения растровой структуры изображения через разреженное представление сканированных печатных копий, причем способ содержит этапы, на которых:
- оценивают размер растровой структуры входного изображения;
- сглаживают растрированное входное изображение с применением способа, использующего ядро сглаживания, причем размер ядра сглаживания определяют как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении;
- восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении.

2. Способ по п. 1, в котором оценка размера растровой структуры входного изображения содержит этап, на котором измеряют разрешения сканирования и печати изображения.

3. Способ по п. 1, в котором сглаживание растрированного входного изображения содержит этап, на котором выполняют линейную свертку изображения посредством Гауссова ядра определенного размера в зависимости от оцененного размера растровой структуры входного изображения.

4. Способ по п. 1, в котором восстановление резкости сглаженного изображения посредством методики разреженного кодирования включает в себя этапы, на которых:
- обучают исходный словарь;
- сглаживают исходный словарь посредством Гауссова фильтра для получения сглаженного словаря;
- получают разреженное представление входного изображения посредством сглаженного словаря;
- восстанавливают изображение с использованием разреженного представления изображения и сглаженного словаря.

5. Способ по п. 4, в котором словарь представляет собой набор коллекций образцов изображения одинакового размера, причем размер образца для каждого набора зависит от оцененного размера растровой структуры изображения.

6. Способ по п. 4, в котором обучение содержит этап, на котором извлекают несходные образцы изображения из обучающего изображения, причем несходные образцы изображения представляют собой образцы изображения с максимальным расстоянием между ними с точки зрения L-нормы, и при этом обучающее изображение представляет собой любое изображение с непрерывными тонами.

7. Способ по п. 4, в котором разреженное представление изображения представляет собой разреженную матрицу, состоящую из весов словарных образцов, которые используются для восстановления каждого образца изображения.

8. Способ по п. 4, в котором получение содержит этап, на котором формируют разреженную матрицу.

9. Способ по п. 4, в котором восстановление содержит этап, на котором перемножают разреженную матрицу и словарь

10. Система обработки изображений для обработки растровых изображений, причем система содержит:
- устройство сканирования и хранения, выполненное с возможностью обеспечения входного изображения;
- средство анализа входного изображения, выполненное с возможностью оценки размера растровой структуры входного изображения;
- модуль восстановления, выполненный с возможностью сглаживания растрированного входного изображения и восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием блоков сглаживания и восстановления;
- блок сглаживания, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения свертки отдельных участков изображения;
- блок восстановления, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения восстановления отдельных участков изображения с использованием методики разреженного кодирования.

11. Постоянный машиночитаемый носитель, на котором сохранена компьютерная программа, которая при выполнении компьютером побуждает компьютер выполнять обработку изображений для устранения растровой структуры изображения через разреженное представление сканированных печатных копий, причем компьютерная программа содержит:
- код для оценки размера растровой структуры входного изображения;
- код для сглаживания растрированного входного изображения с применением способа, использующего сглаживающее ядро, причем размер ядра сглаживания определяется как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении;
- код для восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении.