УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2014 года по МПК G06T5/00 H04N5/357 

Уровень техники

Область техники, к которой относится изобретение

[0001] Настоящая группа изобретений относится к устройству и способу обработки изображений, более конкретно к устройству и способу обработки изображений, которые корректируют деградированное изображение посредством использования обработки восстановления изображения.

Уровень техники

[0002] Поскольку оцифровка информации обеспечивает возможность обработки изображений в качестве значений сигналов, были предложены различные способы коррекционной обработки для считываемых изображений. Когда объект считывается и визуализируется посредством цифровой камеры, полученное изображение испытывает определенную степень ухудшения качества. Ухудшение качества изображения вызывается, в частности, аберрациями оптической системы формирования изображений, использованной для формирования изображения объекта.

[0003] Причины наличия компонентов размытости в изображении включают в себя сферическую аберрацию, аберрационную кому, поле кривизны и астигматизм оптической системы. Каждый из компонентов размытости изображения, обусловленных этими аберрациями, указывает, что световой луч, появляющийся из одной точки объекта, формирует изображение с рассеянием (расширением), которое должно сходиться в одну точку на плоскости формирования изображений при отсутствии какой-либо аберрации или влияния дифракции. Это состояние называется PSF (функцией рассеяния точки) с оптической точки зрения, но в данном документе называется компонентом размытости с точки зрения изображения. Размытость в изображении может указывать расфокусированное изображение, но в данном документе используется, чтобы указывать изображение, размытое вследствие влияний вышеуказанных аберраций оптической системы, даже если оно находится в фокусе. Помимо этого, цветная окантовка (или бахрома) на цветных изображениях, обусловленная хроматической аберрацией на оси, сферической аберрацией цвета и аберрационной комой цвета в оптических системах может рассматриваться в качестве различных способов размытия на разных длинах волн.

[0004] OTF (оптическая передаточная функция), полученная посредством преобразования Фурье для PSF, является информацией о частотном компоненте аберрации, которая выражается комплексным числом. Абсолютное значение OTF, т.е. амплитудный компонент, называется далее MTF (передаточной функцией модуляции), а фазовый компонент называется далее PTF (фазовой передаточной функцией). Таким образом, MTF и PTF являются частотными характеристиками, соответственно, амплитудного компонента и фазового компонента ухудшения качества изображения из-за аберраций. В этом случае, фазовый компонент представляется как фазовый угол:

PTF=tan^-1(Im(OTF)/Re(OTF)) (1)

где Re(OTF) и Im(OTF), соответственно, представляют вещественную часть и мнимую часть OTF.

[0005] Как описано выше, OTF оптической системы формирования изображений приводит к деградации амплитудного компонента и фазового компонента изображения. По этой причине, деградированное изображение асимметрично размывается в каждой точке визуализируемого объекта, по аналогии с аберрационной комой.

[0006] Помимо этого, возникает хроматическая аберрация увеличения, когда формирующие изображение позиции сдвигаются вследствие разностей в увеличении при формировании изображения на разных длинах волн света, при этом устройство формирования изображений детектирует такие сдвиги в качестве цветовых R-, G- и B-компонент в соответствии с их спектральными характеристиками. Рассеяние изображения возникает вследствие сдвигов формирующих изображение позиций на различных длинах волн в каждом цветовом компоненте, т.е. сдвигов фаз, а также сдвигов формирующих изображение позиций между R-, G- и B-компонентами. Говоря точнее, хроматическая аберрация увеличения не представляет собой просто цветную окантовку из-за горизонтальных сдвигов. Тем не менее, цветная окантовка будет использоваться в данном документе в качестве синонима хроматической аберрации увеличения.

[0007] В качестве способа коррекции ухудшений по амплитуде (MTF) и фазе (PTF), известен способ их коррекции посредством использования информации OTF оптической системы формирования изображений. Этот способ называется "восстановлением изображений" и "реконструкцией изображения". Обработка коррекции деградации в изображении посредством использования информации OTF оптической системы формирования изображений называется далее обработкой восстановления изображения.

[0008] Ниже приводится структура обработки восстановления изображения. Пусть g(x, y) является деградированным изображением, f(x, y) является исходным изображением, а h(x, y) является PSF, полученной посредством обратного преобразования Фурье оптической передаточной функции, тогда справедливо уравнение (2), приведенное ниже:

g(x, y)=h(x, y)*f(x, y) (2),

где * представляет свертку, а (x, y) представляет координаты на изображении.

[0009] Когда это уравнение преобразуется в форму отображения на частотной плоскости посредством преобразования Фурье, оно принимает форму произведения для каждой частоты, как представлено в уравнении (3):

G(u, v)=H(u, v).(u, v) (3),

где H является функцией, полученной посредством преобразования Фурье для PSF, и, следовательно, представляет OTF, а (u, v) представляет координаты на двумерной частотной плоскости, т.е. частоту.

[0010] Иными словами, чтобы получить исходное изображение из считываемого деградированного изображения, обе стороны уравнения (3) могут быть разделены на H, как представлено в уравнении (4), приведенном ниже.

G(u, v)/H(u, v)=F(u, v) (4)

Возвращая F(u, v) в вещественную плоскость посредством обратного преобразования Фурье можно получить исходное изображение f(x, y) в качестве восстановленного изображения.

[0011] При задании R как значения, полученного посредством обратного преобразования Фурье уравнения (4), также можно получать исходное изображение посредством выполнения обработки свертки для изображения на вещественной поверхности, как представлено в уравнении (5):

g(x, y)*R(x, y)=f(x, y) (5),

где R(x, y) называется фильтром восстановления изображения. Фактическое изображение, тем не менее, включает в себя компоненты шума. По этой причине, использование фильтра восстановления изображения, сформированного посредством взятия идеальной обратной функции из OTF вышеуказанным способом, будет усиливать компоненты шума вместе с деградированным изображением. В общем, таким образом, надлежащее изображение не может быть получено. В этом отношении, например, известен способ подавления коэффициента восстановления на высокочастотной стороне изображения в соответствии с соотношением интенсивности между сигналом изображения и шумовым сигналом, такой как способ с использованием фильтра Винера. В качестве способа коррекции ухудшения в компоненте цветной окантовки изображения, например, ухудшение корректируется посредством коррекции вышеуказанных компонентов размытости таким образом, чтобы величина размытости делалась равномерной для соответствующих цветовых компонентов изображения.

[0012] В этом случае, поскольку OTF варьируется в соответствии с условиями считывания изображений, такими как позиция изменения масштаба изображения и диаметр апертуры, необходимо соответствующим образом изменять фильтр восстановления изображения, используемый для обработки восстановления изображения.

[0013] Например, выложенная патентная заявка Японии № 2006-238032 раскрывает обработку восстановления изображения, которая выполняется при задании мелкого рассеяния в PSF после восстановления изображения. Патент Японии № 03532368 раскрывает технологию исключения размытия изображения в эндоскопе для наблюдения внутренней части живого организма посредством использования PSF, соответствующей длине волны люминесценции, которая должна быть использована в отношении диапазона за рамками диапазона сфокусированного изображения для средства считывания изображений. Поскольку люминесценция является слабой, требуется объектная оптическая система с небольшим диафрагменным числом. Это приводит к снижению глубины фокуса. Следовательно, эта технология спроектирована, чтобы получать сфокусированное изображение посредством выполнения обработки восстановления изображения в отношении диапазона, в котором оптическая система не сфокусирована.

[0014] Как описано выше, выполнение обработки восстановления изображения для считываемого входного изображения может повышать качество изображения посредством коррекции аберраций.

[0015] Способы для обработки восстановления изображения включают в себя способ применения обработки восстановления изображения к необработанному (RAW) изображению, имеющему сигнал, соответствующий одному цветовому компоненту, а именно, одному из R-, G- и B- цветовых компонентов; и способ применения обработки восстановления изображения к каждой цветовой плоскости после выполнения интерполяции так, чтобы каждый пиксель имел сигнал, соответствующий всем цветовым компонентам, а именно, цветовым R-, G- и B-компонентам.

[0016] Способ применения обработки восстановления изображения к каждой цветовой плоскости превышает способ применения обработки восстановления изображения к RAW изображению с точки зрения числа пикселей, к которым применяется обработка восстановления изображения, и числа отводов фильтра восстановления. Это приводит к значительному увеличению вычислительной нагрузки по обработке восстановления изображения.

[0017] В общем, цветовые компоненты соответствующих пикселей, составляющих RAW изображение, зачастую располагаются согласно компоновке Байера (схеме расположения Байера), к примеру, показанной на фиг. 2. В этом случае, число пикселей G-компонента превышает число R- или B-компонентов. По этой причине, частотные характеристики в компоновке пикселей G-компонента в RAW изображении отличаются от частотных характеристик в компоновке пикселей R- и B-компонентов. Как описано выше, поскольку обработка восстановления изображения эквивалентна коррекции частотных характеристик, полоса частот G-компонента отличается от полосы частот R-компонента или B-компонента. В этом случае, G-компонент может восстанавливаться в полосе более высоких частот, чем полоса частот R-компонента или B-компонента. Если только G-компонент, из числа R-, G- и B-компонентов, восстанавливается выше полосы высоких частот, обработка восстановления изображения иногда формирует ложный не существующий в исходном изображении цвет в области, которая включает в себя высокочастотный компонент в изображении. Это обусловлено тем, что соотношение между частотными характеристиками R-, G- и B-компонентов в полосе высоких частот изображения до и после обработки восстановления изображения изменяется. Как описано выше, выполнение обработки восстановления изображения для компонентов сигнала в различных полосах частот формирует ложные цвета. Ложный цвет в этом случае формируется из-за изменения в самих пиксельных данных, которые считываются датчиком изображений, в отличие от ложного цвета, сформированного из-за пиксельной интерполяции для изображения в компоновке Байера. Следовательно, использование алгоритма пиксельной интерполяции, спроектированного для подавления формирования ложных цветов, не позволяет подавлять ложные цвета, сформированные вследствие обработки восстановления изображения.

Раскрытие изобретения

[0018] Настоящее изобретение создано с учетом вышеуказанного случая и уменьшает ложные цвета, сформированные посредством обработки восстановления изображения в RAW изображении, а также уменьшает нагрузку по обработке восстановления изображения.

[0019] Согласно настоящему изобретению, обеспечивается устройство обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений, причем данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров, причем устройство обработки изображений содержит средство разделения для разделения данных изображения множества цветов цветных фильтров на данные изображения соответствующих цветов цветных фильтров; множество средств обработки изображений, каждое из которых предназначено для выполнения обработки восстановления посредством обработки с помощью фильтра данных изображения одного из соответствующих цветов, разделенных средством разделения; и средство обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления, причем средство разделения дополнительно выполнено с возможностью разделять данные изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки множества цветных фильтров множества цветов, на множество данных изображения упомянутого одного цвета, таким образом, чтобы множество данных изображения упомянутого одного цвета имело такую же пространственно-частотную характеристику, как данные изображения другого цвета, а средство обработки интерполяции дополнительно выполнено с возможностью осуществлять обработку интерполяции цветов посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0020] Далее, согласно настоящему изобретению, обеспечивается устройство обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений, причем данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров, причем устройство обработки изображений содержит множество средств обработки изображений, расположенных последовательно, каждое из которых предназначено для выполнения обработки восстановления посредством обработки с помощью фильтра для части данных изображения множества цветов; и средство обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления, при этом каждое из множества средств обработки изображений выполнено с возможностью осуществлять обработку восстановления для соответствующих данных изображения каждого цвета, которые не были подвернуты обработке восстановления, и отдельно обращается с данными изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, как с данными изображения множества цветов, таким образом, чтобы часть данных изображения, с которой нужно обращаться отдельно, как с данными изображения множества цветов, и которая обрабатываться множеством средств обработки изображений, имела такую же частотную характеристику, как данные изображения другого цвета, и средство обработки интерполяции дополнительно выполнено с возможностью осуществлять обработку интерполяции цветов посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0021] Кроме того, согласно настоящему изобретению, обеспечивается способ обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений, причем данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит этап разделения для разделения данных изображения множества цветов множества цветных фильтров на множество данных изображения соответствующих цветов; этап обработки изображений для выполнения обработки восстановления посредством обработки с помощью фильтра для каждых из данных изображения соответствующих цветов, разделенных на этапе разделения; и этап обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления; при этом на этапе разделения данные изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, разделяют на множество данных изображения упомянутого одного цвета, таким образом, чтобы множество данных изображения упомянутого одного цвета имело такую же пространственно-частотную характеристику, как данные изображения другого цвета, и на этапе обработки интерполяции обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0022] Дополнительно, согласно настоящему изобретению, обеспечивается способ обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения вследствие аберрации в оптической системе формирования изображений в отношении данных изображения, полученных считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит этап обработки изображений для последовательного выполнения обработки восстановления посредством обработки с помощью фильтра для каждой части данных изображения соответствующего множества цветов с использованием множества соответствующих средств обработки изображений, расположенных последовательно; и этап обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления, при этом на этапе обработки изображений, каждое из множества средств обработки изображений выполняет обработку восстановления в отношении данных изображения каждого цвета, которые не были подвернуты обработке восстановления, и отдельно обращается с данными изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, как с данными изображения множества цветов, таким образом, чтобы часть данных изображения, с которой обращаются отдельно как с множеством цветов и которая обрабатывается множеством средств обработки изображений, имела такую же частотную характеристику, как данные изображения другого цвета, и на этапе обработки интерполяции обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

[0023] Дополнительные признаки настоящего изобретения станут понятны из последующего описания вариантов осуществления изобретения (со ссылкой на прилагаемых чертежи).

Краткое описание чертежей

[0024] Прилагаемые чертежи, которые содержатся и составляют часть описания изобретения, иллюстрируют варианты осуществления изобретения и вместе с описанием служат для того, чтобы пояснять принципы изобретения.

[0025] Фиг. 1 является блок-схемой, показывающей компоновку устройства обработки изображений согласно варианту осуществления настоящего изобретения;

[0026] Фиг. 2 является видом, показывающим пример компоновки цветовых компонентов;

[0027] Фиг. 3 является блок-схемой, показывающей компоновку модуля обработки изображений согласно первому варианту осуществления;

[0028] Фиг. 4A-4E являются видами, показывающими цветовые компоненты и компоненты восстановления изображения согласно первому варианту осуществления;

[0029] Фиг. 5A и 5B являются видами, показывающими заданные для цветовых компонентов частотные характеристики согласно первому варианту осуществления;

[0030] Фиг. 6 является блок-схемой последовательности операций способа для обработки восстановления изображения согласно первому варианту осуществления;

[0031] Фиг. 7A и 7B являются схематичными видами для пояснения фильтра восстановления изображения;

[0032] Фиг. 8A и 8B являются схематичными видами для пояснения фильтра восстановления изображения согласно первому варианту осуществления;

[0033] Фиг. 9A и 9B являются графиками, показывающими пример усиления восстановления для фильтра восстановления изображения и пример MTF изображения согласно первому варианту осуществления;

[0034] Фиг. 10A-10K являются видами, показывающими пример обработки интерполяции цветов согласно первому варианту осуществления;

[0035] Фиг. 11A и 11B являются видами, показывающими пример компоновки пикселей другого датчика изображений согласно первому варианту осуществления;

[0036] Фиг. 12 является видом, показывающим другие цветовые компоненты и компоненты восстановления изображения согласно первому варианту осуществления;

[0037] Фиг. 13 является блок-схемой, показывающей компоновку модуля обработки изображений согласно второму варианту осуществления; и

[0038] Фиг. 14 является блок-схемой последовательности операций способа, показывающей обработку восстановления изображения согласно второму варианту осуществления.

Осуществление изобретения

[0039] Варианты осуществления настоящего изобретения подробно описываются далее со ссылками на прилагаемые чертежи.

[0040] Первый вариант осуществления

Фиг. 1 показывает пример базовой компоновки устройства считывания изображений согласно варианту осуществления настоящего изобретения. Изображение объекта (не показано) падает на датчик 102 изображений, пройдя через оптическую систему 101 формирования изображений, которая включает в себя диафрагму 101a и фокусирующую линзу 101b. Датчик 102 изображений покрывается, например, цветными фильтрами, размещенными согласно так называемой компоновке Байера, показанной на фиг. 2. Каждый пиксель, составляющий датчик 102 изображений, выводит сигнал цветового компонента, соответствующего цвету фильтра, из числа красного (R), зеленого (G) и синего (B) цветных фильтров, которым покрыт данный пиксель. Датчик 102 изображений преобразует свет формирующий изображение в электрический сигнал. Аналого-цифровой преобразователь 103 преобразует этот сигнал в цифровой сигнал и вводит его в модуль 104 обработки изображений. Модуль 104 обработки изображений состоит из модуля 111 обработки восстановления изображения и другого модуля 112 обработки изображений, который выполняет предварительно определенную обработку. Модуль 112 обработки изображений выполняет, в числе прочего, обработку интерполяции цветов. Каждый пиксель выходного изображения из модуля 111 обработки восстановления изображения включает в себя только сигнал цветового компонента, соответствующего одному из цветов фильтра. По этой причине, модуль 112 обработки изображений выполняет обработку интерполяции цветов для восстановленного изображения, чтобы присвоить соответствующим пикселям сигналы цветовых компонентов, соответствующих всем цветам фильтра.

[0041] Прежде всего, модуль 104 обработки изображений получает информацию об условиях считывания изображений в устройстве считывания изображений из модуля 107 обнаружения условий. Модуль 107 обнаружения условий может получать информацию об условиях считывания изображений непосредственно из системного контроллера 110 и может получать информацию об условиях считывания изображений, например, касательно оптической системы формирования изображений, из модуля 106 управления оптической системой формирования изображений. Модуль 111 обработки восстановления изображения затем выбирает фильтр восстановления изображения, соответствующий условиям считывания изображений, из модуля 108 хранения, и выполняет обработку восстановления изображения для изображения, вводимого в модуль 104 обработки изображений. Данные, содержащиеся в модуле 108 хранения, могут быть информацией, относящейся к OTF, требуемой для формирования фильтра восстановления изображения, а не фильтрами восстановления изображения. В этом случае модуль 111 обработки восстановления изображения выбирает информацию касательно OTF, соответствующей условиям считывания изображений, из модуля 108 хранения и формирует фильтр восстановления изображения, соответствующий условиям считывания изображений. Модуль 111 обработки восстановления изображения затем выполняет обработку восстановления изображения для изображения, вводимого в модуль 104 обработки изображений.

[0042] Носитель 109 записи изображений содержит выходное изображение, обработанное модулем 104 обработки изображений, в предварительно определенном формате. Модуль 105 отображения может отображать изображение, полученное посредством выполнения предварительно определенной для отображения обработки в отношении изображения, подвергнутого обработке восстановления изображения, или может отображать изображение, которое не было подвергнуто обработке восстановления изображения, или которое было подвергнуто простой обработке восстановления.

[0043] Системный контроллер 110 выполняет последовательность операций управления. Модуль 106 управления оптической системой формирования изображений механически приводит в действие оптическую систему формирования изображений в соответствии с инструкцией из системного контроллера 110.

[0044] Системный контроллер 110 управляет диаметром апертуры диафрагмы 101a, в качестве настройки условия считывания изображений для диафрагменного числа. Механизм AF (автофокусировки) или механизм ручной фокусировки управляет позицией фокусирующей линзы 101b таким образом, чтобы выполнять регулирование фокуса в соответствии с расстоянием до объекта. Эта оптическая система 101 формирования изображений может включать в себя оптический элемент, такой как фильтр нижних частот или инфракрасный отсекающий фильтр. При использовании такого элемента, как фильтр нижних частот, который оказывает влияние на характеристики OTF, во время формирования фильтра восстановления изображения необходимо учитывать изменение в OTF, вызываемые оптическим элементом. Инфракрасный отсекающий фильтр также оказывает влияние на PSF в RGB-каналах, которые являются целочисленными значениями PSF спектральных длин волн, в частности, на PSF в R-канале. Следовательно, изменение в PSF вследствие инфракрасного отсекающего фильтра учитывается во время формирования фильтра восстановления изображения.

[0045] Дополнительно, оптическая система 101 формирования изображений выполняется в виде части устройства считывания изображений, но может быть сменной, как в однолинзовой зеркальной камере.

[0046] Фиг. 3 показывает компоновку модуля 104 обработки изображений согласно первому варианту осуществления. Как описано выше, входное изображение в модуль 111 обработки восстановления изображения представляет собой RAW данные, в которых каждый пиксель имеет один из цветовых компонентов, а именно, цветовых R-, G- и B-компонентов согласно компоновке Байера, к примеру, показанной на фиг. 2.

[0047] В первом варианте осуществления, модуль 1101 разделения сигналов в модуле 111 обработки восстановления изображения разделяет G-компонент на G1 и G2, чтобы получать четыре компонента восстановления изображения: R, G1, G2 и B. Четыре компонента восстановления изображения затем вводятся в модули 1110-1113 применения фильтров восстановления, чтобы применить к компонентам фильтры восстановления изображения.

[0048] Фиг. 4A-4E показывают пример каждого цветового компонента в RAW данных и каждого компонента восстановления изображения. Фиг. 4A-4E показывают три цветовых компонента в RAW данных. Фиг. 4A показывает G-компонент. Фиг. 4B показывает R-компонент. Фиг. 4C показывает B-компонент. Каждый пиксель, представленный белым квадратом на фиг. 4A-4E, указывает соответствующий цветовой компонент. В первом варианте осуществления, G-компонент, показанный на фиг. 4A, разделяется на G1- и G2-компоненты, показанные на фиг. 4D и 4E, и к ним применяется обработка восстановления изображения. Допустим, что сигнал G-компонента, выводимый из пикселя, смежного в горизонтальном направлении с пикселем, который выводит сигнал R-компонента, является сигналом G1-компонента, а сигнал G-компонента, выводимый из пикселя, смежного с пикселем, который выводит сигнал B-компонента, является сигналом G2-компонента. На фиг. 4A-4E, фиг. 4B показывает компонент R восстановления изображения, фиг. 4C показывает компонент B восстановления изображения, фиг. 4D показывает компонент G1 восстановления изображения, а фиг. 4E показывают компонент G2 восстановления изображения.

[0049] Фиг. 5A и 5B являются видами, показывающими пространственно-частотные характеристики заданных для цветовых компонентов компоновок пикселей в датчике изображений. Соответствующие компоненты, показанные на фиг. 4A-4E, соответственно представляются посредством m_G(x, y), m_R(x, y), m_B(x, y), m_G1(x, y), и m_G2(x, y), полагая, что 1 представляет каждый пиксель (представленный белым квадратом), который может считывать свет, а 0 представляет каждый пиксель (представленный черным квадратом), который не может считывать свет. Пространственно-частотные характеристики, показанные на фиг. 5A и 5B, соответствуют данным, полученным посредством преобразования Фурье m_G(x, y), m_R(x, y), m_B(x, y), m_G1(x, y) и m_G2(x, y).

[0050] Фиг. 5A показывает G-компонент, т.е. пространственно-частотные характеристики на фиг. 4A, который является гребенчатой функцией, в котором 1 (единицы) присутствуют только в позициях "•". Фиг. 5B показывает пространственно-частотные характеристики R- и B-компонентов, показанных на фиг. 4B и 4C. Фиг. 5B отличается от фиг. 5A, показывающей пространственно-частотные характеристики G-компонента. Помимо этого, пространственно-частотные характеристики, полученные, когда G-компонент разделяется на компоненты G1 и G2 восстановления изображения, являются идентичными пространственно-частотным характеристикам, показанным на фиг. 5B, показывающей пространственно-частотные характеристики R- и B-компонентов.

[0051] Когда обработка восстановления изображения выполняется непосредственно для трех цветовых компонентов R, G и B, поскольку пространственно-частотные характеристики G-компонента отличаются от пространственно-частотных характеристик R- и B-компонентов, как показано на фиг. 5A и 5B, ложные цвета, которые не существуют в исходном изображении, могут быть сформированы в области, включающей в себя высокочастотные компоненты изображения, как это описано выше. В отличие от этого, разделение G-компонента на компоненты G1 и G2 восстановления изображения приводит к тому, что компоновки пикселей четырех компонентов R, G1, G2 и B восстановления изображения демонстрируют одинаковые пространственно-частотные характеристики. Это обеспечивает возможность выполнения обработки восстановления изображения для общей полосы частот и, следовательно, позволяет подавлять формирование ложных цветов из-за обработки восстановления изображения.

[0052] При непосредственном выполнении обработки восстановления изображения для трех цветовых компонентов R, G и B, можно сделать полосу частот G-компонента, который должен корректироваться, совпадающей с полосой частот R- и B-компонентов, в зависимости от способа формирования фильтра восстановления изображения, который должен применяться к G-компоненту. Тем не менее, полоса частот, которая должна быть восстановлена в этой обработке, является эквивалентной полосе частот в обработке разделения G-компонента на компоненты G1 и G2 восстановления изображения. Обработка разделения G-компонента на компоненты G1 и G2 восстановления изображения является более предпочтительной с точки зрения вычислительных нагрузок во время свертки фильтров восстановления изображения, как описано ниже.

[0053] Ниже подробно описывается процедура для обработки восстановления изображения в модуле 111 обработки восстановления изображения в первом варианте осуществления со ссылкой на блок-схему последовательности операций способа на фиг. 6.

[0054] На этапе S11 модуль 111 обработки восстановления изображения получает информацию о фактических условиях считывания изображений из модуля 107 обнаружения условий, как это описано выше. Условия считывания изображений включают в себя, например, позицию изменения масштаба изображения, диаметр апертуры и расстояние до объекта. На этапе S12 модуль 1101 разделения сигналов разделяет RAW данные, состоящие из R-, G- и B-компонентов, на четыре компонента R, G1, G2 и B восстановления изображения. Более конкретно, может быть подготовлено четыре экземпляра данных изображения, для R, G1, G2 и B, соответственно, каждый из которых имеет 0 (нули), установленные в части, попадающей в каждый пиксель, соответствующий цветовому компоненту, отличному от целевых компонентов восстановления изображения. Альтернативно, может быть подготовлено четыре экземпляра данных изображения, для R, G1, G2 и B, соответственно, каждый из которых имеет размер в 1/4, полученный посредством прореживания части, представленной в качестве пикселя, соответствующего цветовому компоненту, отличному от целевых компонентов восстановления изображения.

[0055] На этапе S13 модуль 111 обработки восстановления изображения выбирает фильтры восстановления изображения, подходящие для обнаруженных условий считывания изображения и четырех компонентов R, G1, G2 и B восстановления изображения, из модуля 108 хранения. В это время, можно скорректировать выбранные фильтры восстановления изображения, если это необходимо. Это представляет собой операцию дискретной подготовки данных об условиях считывания изображений, чтобы сократить число данных для фильтра восстановления изображения, заранее подготовленных в модуле 108 хранения, а также коррекции фильтров восстановления изображения во время фактического выполнения обработки восстановления изображения. Помимо этого, если модуль 108 хранения содержит информацию касательно OTF, необходимую для формирования фильтров восстановления изображения, а не фильтры восстановления изображения, фильтры восстановления изображения формируются из выбранной информации касательно OTF в соответствии с условиями считывания изображений.

[0056] Ниже описывается фильтр восстановления изображения.

[0057] Фиг. 7A и 7B являются схематичными видами, показывающими пример фильтра восстановления изображения, который должен применяться к каждой цветовой плоскости изображения, когда каждый пиксель содержит соответствующие цветовые компоненты R, G и B. Можно определить число отводов фильтра восстановления изображения в соответствии с величиной аберрации оптической системы формирования изображений. В этом случае используется двумерный фильтр с 11×11 отводов. Обработка свертки выполняется для изображения в процессе восстановления изображения, причем каждый отвод фильтра соответствует одному пикселу изображения. Как показано на фиг. 7A, использование двумерного фильтра, полученного разделением фильтра восстановления изображения на 100 или более фильтров, позволяет выполнять восстановление для аберраций, широко рассеивающихся от позиций формирования изображений, таких как сферическая аберрация, аберрационная кома, хроматическая аберрация на оси, внеосевой цветовой блик и т.п., в оптической системе формирования изображений.

[0058] Фиг. 7A не показывает значения в соответствующих отводах. Фиг. 7B показывает одну секцию этого фильтра. Этот фильтр восстановления изображения может быть сформирован посредством способа, описанного выше, т.е. посредством вычисления или измерения OTF оптического элемента оптической системы формирования изображений и выполнения обратного преобразования Фурье для обратной функции. В общем, поскольку необходимо учитывать влияние шума, можно избирательно использовать способ формирования фильтра Винера или ассоциированного с ним фильтра восстановления. Использование фильтра Винера позволяет восстанавливать ухудшение в фазе (PTF) и восстанавливать ухудшение в амплитуде (MTF) с разными уровнями для соответствующих полос частот. Помимо этого, OTF может иметь фактор, который ухудшает OTF в отношении не только оптической системы формирования изображений, но также и изображения, которое должно вводиться. Например, фильтр нижних частот используется для того, чтобы подавлять высокочастотные компоненты в отношении частотных характеристик OTF. Помимо этого, форма и коэффициент открытия пиксельных отверстий датчика изображений также оказывают влияние на частотные характеристики. Кроме того, такие факторы включают в себя спектральные характеристики источника света и спектральные характеристики фильтров на разных длинах волн. Предпочтительно формировать фильтры восстановления изображения на основе OTF, чтобы охватывать множество возможных факторов, которые могут способствовать ухудшению качества характеристик OTF.

[0059] Если входное изображение является цветным RGB-изображением, предпочтительно формировать три фильтра восстановления изображения, соответствующие соответствующим цветовым компонентам, т.е. R-, G- и B-компонентам. Оптическая система формирования изображений имеет хроматическую аберрацию и варьируется по способу размывания для каждого цветового компонента. По этой причине, характеристики фильтров восстановления изображения для соответствующих цветовых компонентов немного отличаются друг от друга на основе хроматических аберраций. Иными словами, вид в сечении на фиг. 7A отличается для соответствующих цветовых компонентов. Числа отводов фильтра восстановления изображения в вертикальном и горизонтальном направлениях не обязательно должны определяться в соответствии с квадратной компоновкой и могут произвольно изменяться, если во внимание принимается обработка свертки.

[0060] Пример фильтра восстановления изображения, который должен применяться к RAW изображению, когда каждый пиксель имеет один цветовой компонент, который используется в первом варианте осуществления, описывается со ссылкой на фиг. 8A и 8B по сравнению с фильтром восстановления изображения, описанным выше, который должен применяться к каждой цветовой плоскости изображения, когда каждый пиксель имеет все цветовые компоненты R, G и B. Этот фильтр является фильтром восстановления изображения, содержащим коэффициенты для пикселей, в которых существуют целевые цветовые компоненты, причем каждая часть, содержащая коэффициент, представлена белым квадратом, а оставшиеся части, содержащие 0, представлены черными квадратами.

[0061] При выполнении обработки восстановления изображения для трех цветовых компонентов, т.е. R-, G- и B-компонентов, без разделения G-компонента, фильтр восстановления изображения, который должен применяться к R- и B-компонентам, становится фильтром, показанным на фиг. 8A, а фильтр восстановления изображения, который должен применяться к G-компоненту, становится фильтром, показанным на фиг. 8B. В отличие от этого, первый вариант осуществления применяет фильтр восстановления изображения при разделении G-компонента на компоненты G1 и G2 восстановления изображения и, следовательно, может использовать фильтр восстановления изображения, к примеру, показанный на фиг. 8A, для любого из компонентов R, G1, G2 и B.

[0062] Снова ссылаясь на фиг. 6, на этапе S14, с использованием фильтра восстановления изображения, выбранного на этапе S13, модули 1110-1113 применения фильтров восстановления выполняют обработку свертки посредством обработки с помощью фильтра для каждого пикселя компонентов R, G1, G2 и B восстановления изображения входного изображения, которое считано. Это позволяет исключать или уменьшать компоненты размытости изображения из-за аберраций, вызываемых в оптической системе формирования изображений. Как описано выше, использование фильтра восстановления изображения, подходящего для каждого из компонентов R, G1, G2 и B восстановления цветных изображений, также позволяет скорректировать хроматическую аберрацию.

[0063] Обработка свертки в первом варианте осуществления является обработкой свертки посредством обработки с помощью фильтра с использованием компонентов R, G1, G2 и B восстановления изображения, показанных на фиг. 4B-4E, и фильтра восстановления изображения, показанного на фиг. 8A. Предпочтительно изменять способ хранения фильтров восстановления изображения или способ применения фильтров в соответствии со способом, которым каждому компоненту восстановления изображения, разделенному на этапе S12, предоставляются данные, по мере необходимости. Если, например, используются четыре набора данных изображения, имеющих нули (0), заданные для частей, отличных от целевых компонентов восстановления изображения для R, G1, G2 и B, соответственно, ненужные вычисления могут исключаться посредством ограничения целевых компонентов восстановления изображения теми пикселями, которые должны подвергаться обработке свертки. Помимо этого, при подготовке четырех наборов данных изображения, каждый из которых имеет размер в 1/4 и получается посредством прореживания частей, отличных от компонентов восстановления изображения, подлежащих обработке, для R, G1, G2 и B, соответственно, это устройство также содержит собственно фильтр восстановления изображения, в то время как коэффициенты, отличные от коэффициентов, подлежащих использованию, прореживаются. Это позволяет применять фильтр непосредственно к данным изображений с размером в 1/4.

[0064] В любом случае, число эффективных коэффициентов фильтра, подлежащих использованию, становится явно меньшим числа эффективных коэффициентов фильтра восстановления изображения, показанного на фиг. 7A, который применяется к изображению, все пиксели которого имеют все цветовые компоненты R, G и B, и числа эффективных коэффициентов фильтра восстановления изображения, показанного на фиг. 8B, который применяется к G-компоненту, который не разделяется. Это уменьшает нагрузку по обработке свертки.

[0065] После выполнения обработки восстановления изображения для каждого пикселя изображения модуль 111 обработки восстановления изображения заканчивает обработку. Поскольку OTF изменяется в соответствии с углом обзора (высотой изображения) оптической системы формирования изображений даже в рамках одного условия считывания изображений, предпочтительно выполнять обработку восстановления изображения согласно настоящему изобретению после изменения OTF для каждой сегментированной области изображения в соответствии с высотой изображения. Предпочтительно выполнять сканирование фильтра восстановления изображения для изображения при выполнении обработки свертки и последовательно изменять фильтр для каждой области. Другими словами, это устройство выполняет этапы S13 и S14 для каждого целевого пикселя каждого компонента восстановления изображения.

[0066] Данные изображения, для которых модулем 111 обработки восстановления изображения выполнена обработка восстановления изображения, вводятся в модуль 112 обработки изображений. Поскольку данные изображения, для которых выполнена обработка восстановления изображения, остаются в компоновке Байера, другой модуль 112 обработки изображений выполняет обработку интерполяции цветов для каждого из трех цветовых компонентов, содержащихся в датчике изображений. Другой модуль 112 обработки изображений формирует файл изображения в JPEG или подобном формате посредством выполнения известной обработки цветообразования для RAW данных, такой как гамма-коррекция и управление цветовым балансом, в дополнение к обработке интерполяции цветов.

[0067] Усиление восстановления для фильтра восстановления изображения и частотные характеристики изображения на основе выполнения/отсутствия выполнения обработки восстановления изображения описываются со ссылкой на фиг. 9A и 9B. Следует отметить, что усиление восстановления задается, как коэффициент усиления MTF в обработке восстановления изображения. График, показанный на фиг. 9A, является примером усиления восстановления для фильтра восстановления изображения в первом варианте осуществления. Согласно пространственно-частотным характеристикам в вышеуказанной компоновке пикселей компонентов восстановления изображения, можно считать, что полоса частот, которая подлежит восстановлению посредством фильтра восстановления изображения, составляет вплоть до 1/2 частоты Найквиста датчика изображений. В отличие от этого, при выполнении обработки восстановления изображения для каждой цветовой плоскости изображения, когда каждый пиксель имеет все цветовые компоненты R, G и B, можно считать, что полоса частот, которая подлежит восстановлению посредством фильтра восстановления изображения, составляет вплоть до частоты Найквиста датчика изображений, согласно пространственно-частотным характеристикам в компоновке пикселей компонентов восстановления изображения.

[0068] Улучшение MTF в выходном изображении в JPEG или подобном формате, подвергнутом обработке восстановления изображения согласно первому варианту осуществления, не ограничивается полосой частот вплоть до 1/2 частоты Найквиста датчика изображений. Фиг. 9B показывает пример MTF в области выходного изображения согласно первому варианту осуществления. Очевидно, что когда выполняется обработка восстановления изображения, MTF улучшается даже в полосе частот, равной или превышающей частоту Найквиста датчика изображений, по сравнению с выходным изображением, полученным без обработки восстановления изображения. На это влияет обработка интерполяции цветов, выполняемая другим модулем 112 обработки изображений. Уже были проведены исследования по обработке интерполяции цветов в датчике изображений, к примеру, имеющем компоновку Байера, и были описаны различные технологии интерполяции. Широко используемым способом является адаптивная обработка интерполяции цветов для формирования интерполированного пикселя посредством использования информации пикселей других соседних цветовых компонентов. Она представляет собой способ определения способа интерполяции для компонента R данного пикселя посредством использования информации компонентов G и B соседних пикселей при формировании значения пикселя компонента R для данного пикселя посредством обработки интерполяции. В отличие от способа выполнения простой линейной интерполяции одного цветового компонента, такая адаптивная обработка интерполяции цветов позволяет подавить формирование ложных цветов или ухудшение резкости вследствие обработки интерполяции.

[0069] Ниже поясняется пример адаптивного способа обработки интерполяции цветов с использованием примера пиксельной интерполяции в краевых частях, показанных на фиг. 10A-10K. Фиг. 10A является видом в сечении данного края. Допустим, что край является бесцветной монохромной частью, и каждый из цветовых компонентов R, G и B имеет компоновку пикселей, состоящую из значений пикселей 100 и 200, как показано на фиг. 10B, когда значения соответствующих цветовых компонентов R, G и B получаются соответствующими пикселями датчика 102 изображений. На практике, поскольку RAW изображение, считываемое датчиком 102 изображений с компоновкой Байера, имеет один цветовой компонент в каждом пикселе, извлечение значения для каждого цветового компонента должно привести к получению компоновок пикселей, показанных на фиг. 10C-10E. Каждый пиксель, представленный черным квадратом в компоновках пикселей соответствующих цветовых компонентов, показанных на фиг. 10C-10E, является пикселем, требующим обработки интерполяции цветов. В этом случае, очевидно, что соответствующие цветовые компоненты после обработки интерполяции цветов в идеале имеют пиксельные значения, показанные на фиг. 10B. Затем, компоновки пикселей, показанные на фиг. 10C-10E, записываются как G(x, y), R(x, y) и B(x, y), где x представляет координату в горизонтальном направлении, а y представляет координату в вертикальном направлении, каждая из которых имеет значение в диапазоне от 0 до 4 на фиг. 10A-10K.

[0070] Прежде всего, ниже приводится пример выполнения линейной интерполяции для каждого цветового компонента на фиг. 10C-10E. Уравнение (6) вычисляется посредством использования четырех пикселей, смежных с G-компонентом, при выполнении линейной интерполяции для G-компонента:

G(x, y)=(G(x, y-1)+G(x-1, y)+G(x+1, y)+G(x, y+1))/4 (6)

Линейная интерполяция для R-компонента выполняется посредством использования различных шаблонов в зависимости от позиции пикселя, который подлежит интерполяции. Иными словами, линейная интерполяция выполняется посредством использования одного из следующих трех шаблонов, представленных уравнениями (7):

Если смежные левый и правый пиксели имеют значения (например, R(2, 0)):

R(x, y)=(R(x-1, y)+R(x+1, y))/2

Если смежные верхний и нижний пиксели имеют значения (например, R(1, 1)):

R(x, y)=(R(x, y-1)+R(x, y+1))/2

Если смежные по диагонали пиксели имеют значения (например, R(2, 1)):

R(x, y)=(R(x-1, y-1)+R(x+1, y-1))+R(x-1, y+1)+R(x+1, y+1))/4 (7)

[0071] Это устройство выполняет линейную интерполяцию для B-компонента таким же образом, как для R-компонента, посредством применения одного из трех шаблонов, представленных в уравнении (7), как описано выше, в соответствии с местоположением пикселя, который подлежит интерполяции.

[0072] Фиг. 10F-10H показывают пример каждого цветового компонента, к которому применяется вышеуказанная линейная интерполяция. Обработка интерполяции формирует значения пикселей, отличные от 100 и 200. Следовательно, очевидно, что резкость этих значений пикселей ниже резкости значений пикселей, показанных на фиг. 10B.

[0073] Ниже приводится пример адаптивной обработки интерполяции цветов формирования интерполированных пикселей посредством использования информации пикселей других цветовых компонентов вокруг данного пикселя. Эта адаптивная обработка интерполяции цветов далее называется "адаптивной интерполяцией". Устройство выполняет адаптивную интерполяцию для G-компонента следующим образом.

[0074] При формировании G-компонента пикселя, имеющего значение в R-компоненте (например, G(1, 2)):

H_DIFF=(R(x, y)-R(x-2, y))+(R(x, y)-R(x+2, y))

V_DIFF=(R(x, y)-R(x, y-2))+(R(x, y)-R(x, y+2))

IF (|H_DIFF |>|V_DIFF|) {

G(x, y)=(G(x, y-1)+G(x, y+1))/2

}

ELSE {

G(x, y)=(G(x-1, y)+G(x+1, y))/2

}

[0075] Определение направления интерполяции на основе H_DIFF и V_DIFF, вычисленных из R-компонента, таким образом, позволяет подавлять ухудшение резкости вследствие линейной интерполяции. Хотя вышеприведенное описание относится к формированию G-компонента пикселя, который имеет значение в R-компоненте, устройство может интерполировать G-компонент пикселя, который имеет значение в B-компоненте (например, G(2, 1)), таким же образом. Как описано выше, при выполнении интерполяции, устройство обращается с G-компонентом, как с одним цветовым компонентом без разделения его на G1- и G2-компоненты, и, следовательно, может использовать значения большего числа соседних пикселей, чем при разделении G-компонента на G1- и G2-компоненты. Это должно улучшать MTF в полосе высоких частот.

[0076] Устройство выполняет адаптивную интерполяцию для R-компонента посредством использования G-сигнала, интерполированного вышеописанным способом, как указано в уравнениях (8), приведенных ниже.

[0077] Если смежные левый и правый пиксели имеют значения (например, R(2, 0)):

Cr=(R(x-1, y)-G(x-1, y)+R(x+1, y)-G(x+1, y))/2

R(x, y)=G(x, y)+Cr

[0078] Если смежные верхний и нижний пиксели имеют значения (например, R(1, 1)):

Cr=(R(x, y-1)-G(x, y-1)+R(x, y+1)-G(x, y+1)) /2

R(x, y)=G(x, y)+Cr

[0079] Если смежные по диагонали пиксели имеют значения (например, R(2, 1)):

Cr=(R(x-1, y-1)-G(x-1, y-1)+R(x+1, y-1)-G(x+1, y-1)+R(x-1, y+1)-G(x-1, y+1)+R(x+1, y+1)-G(x+1, y+1))/4

R(x, y)=G(x, y)+Cr (8)

[0080] Таким образом, устройство выполняет адаптивную интерполяцию посредством интерполяции информации цветового различия (R-G), полученной из смежных пикселей.

[0081] Устройство выполняет адаптивную интерполяцию для B-компонента таким же образом, как для R-компонента, посредством применения одного из трех шаблонов, представленных уравнениями (8), описанными выше, в зависимости от местоположения пикселя, который подлежит интерполяции, и интерполяции информации цветового различия (B-G), полученной из смежных пикселей.

[0082] Фиг. 10I-10K показывают пример каждого цветового компонента, к которому применяется вышеуказанная адаптивная интерполяция. Значения R-, G- и B-пикселей совпадают друг с другом. Каждое значение пикселя совпадает со значением пикселя, показанным на фиг. 10B. Выполнение адаптивной интерполяции для того, чтобы сформировать интерполированный пиксель с использованием информации пикселей других, соседних цветовых компонентов, позволяет формировать изображение без ухудшения резкости в отношении компоновки пикселей, показанной на фиг. 10B.

[0083] Как описано выше, устройство применяет обработку восстановления изображения для каждого компонента восстановления изображения с совпадающими полосами частот и затем выполняет адаптивную обработку интерполяции цветов для каждого восстановленного цветового компонента, тем самым улучшая MTF даже в полосе частот, превышающей полосу частот, которую имеет компоновка пикселей каждого цветового компонента. Это указывает, что вышеуказанный эффект не ограничивается одним способом интерполяции, и что MTF, скорректированная посредством обработки восстановления изображения, поддерживается вплоть до частоты Найквиста датчика изображений посредством обработки интерполяции цветов после обработки восстановления изображения, а величина улучшения MTF является переменной в зависимости от используемого способа пиксельной интерполяции.

[0084] Компоновка и обработка модуля 104 обработки изображений, к которому применяется настоящее изобретение, описаны выше. Первый вариант осуществления иллюстрирует общую компоновку Байера, состоящую из R-, G- и B-компонентов. Тем не менее настоящее изобретение может применяться не только к компоновке пикселей, состоящей из цветовых компонентов R, G и B, но также и к компоновке пикселей, состоящей из цветовых компонентов множества цветов, отличных от R, G и B. Помимо этого, настоящее изобретение может применяться к различным типам компоновок пикселей в датчиках изображений. Общая компоновка Байера, состоящая из R-, G- и B-компонентов, может выражаться, как показано на фиг. 11A, посредством шаблона компоновки пикселей без указания цветов. C1, C2 и C3, каждый, указывают один цветовой компонент.

[0085] В противоположность этому, рассмотрим компоновку цветовых компонентов, к примеру, показанную на фиг. 11B. Она представляет собой компоновку пикселей датчика изображений, состоящую из четырех цветовых компонентов C1, C2, C3 и C4. Фиг. 12 показывает пример каждого цветового компонента, имеющего эту компоновку пикселей, и каждого компонента восстановления изображения, полученного посредством применения настоящего изобретения. Компонент C1 разделяется на четыре компонента восстановления изображения. C2- и C3-компоненты используются в качестве компонентов восстановления изображения без каких-либо изменений. C4-компонент разделяется на два компонента восстановления изображения. То есть, пиксель с цветовым компонентом выше по пространственно-частотным характеристикам, чем другие цветовые компоненты, разделяется на множество цветовых компонентов, которые должны иметь такие же пространственно-частотные характеристики, как пространственно-частотные характеристики других цветовых компонентов. Это позволяет выполнять обработку восстановления изображения после унификации пространственно-частотных характеристик компоновок пикселей соответствующих компонентов восстановления изображения.

[0086] Таким образом, настоящее изобретение может применяться не только к общей компоновке Байера, состоящей из R-, G- и B-компонентов, но также и к различным типам компоновок пикселей, состоящим из различных типов цветовых компонентов. Очевидно, что каждая компоновка пикселей не ограничивается матричной компоновкой. Настоящее изобретение может применяться к любой компоновке, которая может унифицировать частотные характеристики соответствующих компонентов восстановления изображения посредством разделения некоторого цветового компонента датчика изображений.

[0087] Второй вариант осуществления

Ниже описывается обработка восстановления изображения согласно второму варианту осуществления настоящего изобретения. Поскольку базовая компоновка устройства захвата изображений согласно второму варианту осуществления аналогична компоновке первого варианта осуществления, показанного на фиг. 1, ее описание опускается.

[0088] Фиг. 13 показывает компоновку модуля 104 обработки изображений во втором варианте осуществления. Изображение, вводимое в модуль 111 обработки восстановления изображения, является RAW данными, где каждый пиксель имеет цветовой компонент одного из цветов R, G и B в компоновке Байера, показанной на фиг. 2. Второй вариант осуществления применяет фильтр восстановления изображения к каждым входным RAW данным в компоновке Байера без каких-либо изменений, и без сегментации RAW данных на компоненты восстановления изображения. Фильтры восстановления изображения, соответственно, применяются к четырем компонентам восстановления изображения в модулях 1114-1117 применения фильтров восстановления, соединенных последовательно.

[0089] Ниже подробно описывается процедура для обработки восстановления изображения во втором варианте осуществления в модуле 111 обработки восстановления изображения со ссылкой на фиг. 14. На этапе S21 модуль 111 обработки восстановления изображения получает информацию о фактических условиях считывания изображений из модуля 107 обнаружения условий, как описано выше. Условия считывания изображений включают в себя, например, позицию изменения масштаба изображения, диаметр апертуры и расстояние до объекта.

[0090] На этапе S22 фильтр восстановления изображения для R-компонента, который является подходящим для обнаруженных условий считывания изображения, выбирается из фильтров восстановления изображения, сохраненных в модуле 108 хранения по фиг. 1. В это время, выбранный фильтр восстановления изображения может быть скорректирован по мере необходимости. Эта операция заключается в том, чтобы заранее скорректировать фильтр восстановления изображения, подготовленный в модуле 108 хранения, посредством подготовки заранее дискретных данных считывания изображений и коррекции фильтра восстановления изображения во время фактического выполнения обработки восстановления изображения, чтобы сократить число данных для фильтра восстановления изображения.

[0091] На этапе S23, с использованием фильтра восстановления изображения R-компонента, выбранного на этапе S22, модуль 1114 применения фильтров восстановления выполняет обработку свертки посредством обработки с помощью фильтра в отношении каждого пикселя R-компонента считываемого входного изображения. Это позволяет исключать или уменьшать компонент размытости R-компонента изображения вследствие аберраций, вызываемых в оптической системе формирования изображений. Как описано выше, использование фильтра восстановления изображения, подходящего для каждого компонента восстановления изображения, также позволяет скорректировать хроматическую аберрацию.

[0092] На этапах S24-S29 устройство выполняет обработку восстановления изображения для компонентов восстановления изображения G1, G2 и B. Следует отметить, что содержание обработки восстановления изображения, выполняемой в этом случае, идентично содержанию этапов S22 и S23, за исключением цветовых компонентов, которые подлежат корректировке, и, следовательно, описание этой обработки опускается.

[0093] Обработка свертки для каждого компонента восстановления изображения на этапах S23, S25, S27 и S29 является обработкой свертки посредством обработки с помощью фильтра с использованием соответствующих компонентов восстановления изображения, показанных на фиг. 4B-4E, и фильтра восстановления изображения, показанного на фиг. 8A. Ограничение пикселей, подвергнутых обработке свертки, целевыми компонентами восстановления изображения позволяет исключить необязательные вычисления. Очевидно, что число эффективных коэффициентов фильтра восстановления изображения в этом случае меньше числа эффективных коэффициентов фильтра восстановления изображения, применяемого к изображению, когда каждый пиксель имеет соответствующие цветовые компоненты R, G и B, показанные на фиг. 7A, и меньше числа эффективных коэффициентов фильтра восстановления изображения, применяемого к G-компоненту (фиг. 8B), который не разделяется. Это уменьшает нагрузку по обработке свертки. Помимо этого, поскольку RAW данные в компоновке Байера могут быть использованы в качестве входного изображения без каких-либо изменений, нет необходимости в обеспечении модуля 1101 разделения сигналов, или какой-либо новой памяти. Это позволяет снизить потребляемый объем запоминающего устройства.

[0094] Затем устройство выполняет обработку восстановления изображения для каждого пикселя изображения и завершает обработку в модуле 111 обработки восстановления изображения. Поскольку OTF изменяется в соответствии с углом обзора (высотой изображения) оптической системы формирования изображений даже в рамках одного условия считывания изображений, предпочтительно выполнять обработку восстановления изображения согласно настоящему изобретению после изменения OTF для каждой сегментированной области изображения в соответствии с высотой изображения. Предпочтительно выполнять сканирование фильтра восстановления изображения для изображения при выполнении обработки свертки, и последовательно изменять фильтр для каждой области. Другими словами, данное устройство выполняет этапы S22 и S23 для каждого пикселя R-компонента, и выполняет этапы S24-S29 для каждого компонента восстановления изображения, который должен быть обработан, таким же образом, как это описано выше.

[0095] Хотя первый и второй варианты осуществления управляют применением фильтров восстановления изображения, как обработкой восстановления изображения, можно управлять и другими типами обработки, такими как обработка коррекции искажения, обработка коррекции величины периферийного поля зрения и обработка уменьшения уровня шума до, после и в середине осуществления процедуры согласно настоящему изобретению, и управлять такой получившейся процедурой, как обработкой восстановления изображения.

[0096] Аспекты настоящего изобретения также могут быть реализованы посредством компьютера в системе или устройстве (либо посредством таких устройств, как CPU или MPU), который считывает и выполняет программу, записанную на запоминающем устройстве, чтобы выполнять функции вышеописанного варианта(ов) осуществления, и посредством способа, этапы которого выполняются посредством компьютера в системе или устройстве, например, посредством считывания и выполнения программы, записанной на запоминающем устройстве, чтобы выполнять функции вышеописанного варианта(ов) осуществления. С этой целью, программа предоставляется в компьютер, например, через сеть или с носителей записи различных типов, выступающих в качестве запоминающего устройства (например, машиночитаемого носителя).

[0097] Хотя настоящее изобретение описано со ссылкой на конкретные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми вариантами осуществления.

Группа изобретений относится к технологиям обработки изображений. Техническим результатом является уменьшение количества ложных цветов, сформированных посредством обработки восстановления изображения в RAW изображение, а также уменьшение нагрузки по обработке восстановления изображений. Устройство обработки изображений для выполнения обработки восстановления для коррекции ухудшения качества изображения из-за аберрации в оптической системе формирования изображений. Устройство обработки изображений содержит средство разделения для разделения данных изображения цветов цветных фильтров на данные изображения соответствующих цветов цветных фильтров. Устройство также содержит множество средств обработки изображений, каждое из которых предназначено для выполнения обработки восстановления посредством обработки с помощью фильтра данных изображения одного из соответствующих цветов, разделенных упомянутым средством разделения. 6 н. и 4 з.п. ф-лы, 33 ил.

1. Устройство обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения из-за аберрации в оптической системе формирования изображений, причем упомянутые данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров, причем устройство обработки изображений содержит:
- средство разделения для разделения данных изображения множества цветов цветных фильтров на данные изображения соответствующих цветов цветных фильтров;
- множество средств обработки изображений, каждое из которых предназначено для выполнения обработки восстановления посредством обработки с помощью фильтра данных изображения одного из соответствующих цветов, разделенных упомянутым средством разделения; и
- средство обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления,
- причем упомянутое средство разделения дополнительно выполнено с возможностью разделять данные изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки множества цветных фильтров множества цветов, на множество данных изображения упомянутого одного цвета, таким образом, чтобы это множество данных изображения упомянутого одного цвета имело такую же пространственно-частотную характеристику, как данные изображения другого цвета, и
- упомянутое средство обработки интерполяции дополнительно выполнено с возможностью осуществлять обработку интерполяции цветов посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

2. Устройство по п.1, в котором множество цветных фильтров множества цветов содержит цветные фильтры в компоновке Байера, и
- упомянутое средство разделения дополнительно выполнено с возможностью разделять G-компонент данных изображения на данные изображения двух G-компонентов, таким образом, чтобы добиться совпадения частотной характеристики G-компонента с частотной характеристикой R-компонента и B-компонента.

3. Устройство по п.1, в котором фильтр, используемый для обработки с помощью фильтра, выполняемой упомянутым средством обработки изображений, содержит двумерный фильтр, полученный посредством выполнения обратного преобразования Фурье для функции, сформированной на основе обратной функции от оптической передаточной функции оптического элемента оптической системы формирования изображений, и
- упомянутое средство обработки изображений дополнительно выполнено с возможностью осуществлять обработку свертки для упомянутого фильтра.

4. Устройство обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения из-за аберрации в оптической системе формирования изображений, причем упомянутые данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров, причем устройство содержит:
- множество средств обработки изображений, расположенных последовательно, каждое из которых предназначено для выполнения обработки восстановления посредством обработки с помощью фильтра для части данных изображения множества цветов; и
- средство обработки интерполяции для выполнения обработки интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления,
- причем каждое из упомянутого множества средств обработки изображений выполнено с возможностью осуществлять обработку восстановления для соответствующих данных изображения каждого цвета, который не был подвернут обработке восстановления, и отдельно обращается с данными изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, как с данными изображения множества цветов, таким образом, чтобы часть данных изображения, с которой нужно обращаться отдельно, как с данными изображения множества цветов, и которая должна обрабатываться упомянутым множеством средств обработки изображений, имела такую же частотную характеристику, как данные изображения другого цвета, и
- упомянутое средство обработки интерполяции дополнительно выполнено с возможностью осуществлять обработку интерполяции цветов посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

5. Устройство по п.4, в котором цветные фильтры множества цветов содержат цветные фильтры в компоновке Байера, и
- упомянутое каждое из множества средств обработки изображений дополнительно содержит средство обработки изображений, выполненное с возможностью разделять G-компонент данных изображения на два G-компонента, чья частотная характеристика совпадает с частотной характеристикой R-компонента и B-компонента данных изображения, и обрабатывать данные изображения одного G-компонента, причем средство обработки изображений выполнено с возможностью обрабатывать данные изображения другого G-компонента, средство обработки изображений выполнено с возможностью обрабатывать данные изображения R-компонента, и средство обработки изображений выполнено с возможностью обрабатывать данные изображения B-компонента.

6. Устройство по п.4, в котором для обработки с помощью фильтра, выполняемой множеством средств обработки изображений, используется соответствующий фильтр, содержащий двумерный фильтр, полученный посредством обратного преобразования Фурье для функции, сформированной на основе обратной функции от оптической передаточной функции оптического элемента оптической системы формирования изображений, и
- упомянутое множество средств обработки изображений дополнительно выполнено с возможностью осуществлять обработку свертки для упомянутого фильтра.

7. Способ обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения из-за аберрации в оптической системе формирования изображений, причем упомянутые данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит:
- этап разделения, на котором разделяют данные изображения множества цветов множества цветных фильтров на множество данных изображения соответствующих цветов;
- этап обработки изображений, на котором выполняют обработку восстановления посредством обработки с помощью фильтра для каждых из данных изображения соответствующих цветов, разделенных на этапе разделения; и
- этап обработки интерполяции, на котором выполняют обработку интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления;
- причем на этапе разделения данные изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, разделяются на множество данных изображения упомянутого одного цвета, таким образом, чтобы множество данных изображения упомянутого одного цвета каждое имело такую же пространственно-частотную характеристику, как данные изображения другого цвета, и
- на этапе обработки интерполяции обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

8. Способ обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения из-за аберрации в оптической системе формирования изображений, в отношении данных изображения, полученных считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит:
- этап обработки изображений, на котором последовательно выполняют обработку восстановления посредством обработки с помощью фильтра для каждой части данных изображения соответствующего множества цветов с использованием множества соответствующих средств обработки изображений, расположенных последовательно; и
- этап обработки интерполяции, на котором выполняют обработку интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления,
- причем на этапе обработки изображений каждое из множества средств обработки изображений выполняет обработку восстановления в отношении данных изображения каждого цвета, которые не были подвернуты обработке восстановления, и отдельно обращается с данными изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, как с данными изображения множества цветов, с которой обращаются отдельно таким образом, чтобы часть данных изображения, с которой обращаются отдельно, как с множеством цветов, и которая обрабатывается множеством средств обработки изображений, имела такую же частотную характеристику, как данные изображения другого цвета, и
- на этапе обработки интерполяции обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

9. Постоянный считываемый носитель хранения данных, имеющий сохраненную на нем программу, которая выполняется устройством обработки изображений, причем программа имеет программный код для реализации способа обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения из-за аберрации в оптической системе формирования изображений, причем упомянутые данные изображения получены считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит:
- этап разделения, на котором разделяют данные изображения множества цветов множества цветных фильтров на множество данных изображения соответствующих цветов;
- этап обработки изображений, на котором выполняют обработку восстановления посредством обработки с помощью фильтра для каждых из данных изображения соответствующих цветов, разделенных на этапе разделения; и
- этап обработки интерполяции, на котором выполняют обработку интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления;
- причем на этапе разделения данные изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, разделяют на множество данных изображения упомянутого одного цвета, таким образом, чтобы множество данных изображения упомянутого одного цвета каждое имело такую же пространственно-частотную характеристику, как данные изображения другого цвета, и
- на этапе обработки интерполяции обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.

10. Постоянный считываемый носитель хранения данных, имеющий сохраненную на нем программу, которая выполняется устройством обработки изображений, причем программа имеет программный код для реализации способа обработки изображений для выполнения обработки восстановления данных изображения, чтобы скорректировать ухудшение качества изображения из-за аберрации в оптической системе формирования изображений, в отношении данных изображения, полученных считыванием изображения объекта, прошедшего через оптическую систему формирования изображений, с использованием датчика изображений, имеющего множество пикселей, при этом каждый пиксель датчика изображений покрывается одним из множества цветных фильтров множества цветов, причем способ содержит:
- этап обработки изображений, на котором последовательно выполняют обработку восстановления посредством обработки с помощью фильтра для каждой части данных изображения соответствующего множества цветов с использованием множества соответствующих средств обработки изображений, расположенных последовательно; и
- этап обработки интерполяции, на котором выполняют обработку интерполяции цветов каждого пикселя для данных изображения, подвергнутых обработке восстановления,
- причем на этапе обработки изображений, каждое из множества средств обработки изображений выполняет обработку восстановления в отношении данных изображения каждого цвета, которые не были подвернуты обработке восстановления, и отдельно обращается с данными изображения одного цвета, чья пространственно-частотная характеристика выше пространственно-частотной характеристики другого цвета из-за компоновки цветных фильтров множества цветов, как с данными изображения множества цветов, таким образом, чтобы часть данных изображения, с которой обращаются отдельно, как с множеством цветов, и которая обрабатывается множеством средств обработки изображений, имела такую же частотную характеристику, как данные изображения другого цвета, и
- на этапе обработки интерполяции, обработка интерполяции цветов выполняется посредством использования данных изображения множества цветов, как если бы это были данные изображения одного цвета.