УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО ДЛЯ СЪЕМКИ ИЗОБРАЖЕНИЯ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ Российский патент 2017 года по МПК H04N9/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к обработке изображения для увеличения резкости.

Уровень техники

При известной обработке на основе нерезкой маски к исходному изображению добавляется или вычитается из него разность между исходным изображением и размытым изображением, полученным путем применения нерезкой маски к исходному изображению (входному изображению), чтобы увеличить резкость изображения. Более высокая резкость изображения обеспечивается, когда разность между размытым изображением и входным изображением велика. В патентной публикации Японии №2010-81263 раскрыт способ уменьшения влияния функции рассеяния точки (PSF) оптической системы путем применения асимметричного одномерного фильтра к пиксельным сигналам, развернутым в направлении высоты изображения.

Однако при стандартной обработке на основе нерезкой маски в качестве нерезкой маски используется осесимметричный фильтр, в связи с чем возникают трудности при увеличении резкости изображения, которая ухудшилась из-за сложной формы воздействия PSF, например, асимметричная аберрация и сагиттальный ореол. В частности, коррекция аберрации в азимутальном направлении, имеющем большую аберрацию, приводит к «недокоррекции» в азимутальном направлении, имеющем малую аберрацию, в то время как устранение упомянутой недокоррекции влечет за собой недостаточную коррекцию аберрации.

В способе, раскрытом в патентной публикации Японии №2010-81263 учитывается асимметрия только в направлении высоты изображения, а коррекционный фильтр является одномерным, и, следовательно, не может уменьшить асимметрию в направлениях, отличных от направления высоты изображения. Направление высоты изображения является азимутальным меридиональным направлением. Кроме того, коррекция в направлении высоты изображения не может обеспечить достаточную резкость при использовании стандартного способа, поскольку асимметрия фильтра регулируется путем изменения количества минусовых коэффициентов отвода, и фильтр вызывает размытие, отличное от размытия, возникающего из-за PSF оптической системы.

Как было описано выше, стандартный способ не может обеспечить достаточную коррекцию аберрации сложной формы и увеличить резкость изображения.

Для обеспечения обработки, необходимой для увеличения резкости входного изображения, необходимо знать параметры съемки входного изображения и данные функции рассеяния точки, соответствующей высоте изображения. Однако большой объем данных о сохраненных ранее различных параметрах съемки изображения, а также большой объем данных, соответствующих высоте изображения, потребует большого объема памяти, что делает подобную обработку практически нереальной.

Раскрытие изобретения

Настоящее изобретение обеспечивает устройство обработки изображения, устройство съемки изображения, способ обработки изображения и программу обработки изображения, которые дают исключительный эффект увеличения резкости.

Согласно одному аспекту настоящего изобретения устройство обработки изображения включает в себя блок получения, выполненный с возможностью получения изображения, сформированного путем съемки изображения через оптическую систему, и процессор, выполненный с возможностью обеспечения обработки изображения на основе нерезкой маски путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы. Фильтр имеет двумерные данные.

Согласно другому аспекту настоящего изобретения устройство съемки изображения включает в себя датчик изображения, выполненный с возможностью фотоэлектрического преобразования оптического изображения объекта, сформированного через оптическую систему, процессор изображения, выполненный с возможностью обработки изображения, полученного от датчика изображения, и блок записи, выполненный с возможностью сохранения взаимосвязи между параметром съемки изображения оптической системы и функцией рассеяния точки оптической системы. Процессор изображения получает информацию о функции рассеяния точки оптической системы, соответствующей параметру съемки изображения оптической системы, от блока записи и обеспечивает обработку изображения нерезкой маской путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы. Фильтр имеет двумерные данные.

Согласно еще одному аспекту настоящего изобретения способ обработки изображения включает в себя получение изображения, сформированного посредством съемки изображения через оптическую систему, и обеспечение обработки изображения на основе нерезкой маски, путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы. Фильтр имеет двумерные данные.

Согласно еще одному аспекту настоящего изобретения программа обработки изображения, которая инициирует выполнение компьютером обработки, включающей в себя получение изображения, сформированного посредством съемки изображения через оптическую систему, и обеспечение обработки изображения на основе нерезкой маски, путем использования фильтра, сформированного на основе информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы. Фильтр имеет двумерные данные.

Согласно следующему аспекту настоящего изобретения постоянный машиночитаемый носитель сохраняет программу обработки изображения.

Кроме того, признаки и аспекты настоящего изобретения станут очевидными из последующего описания примерных вариантов осуществления изобретения со ссылками на прилагаемые чертежи.

Краткое описание чертежей

Фиг. 1 – блок-схема устройства съемки изображения по каждому из вариантов 1, 2 и 3 настоящего изобретения;

фиг. 2 – блок-схема способа обработки изображения согласно каждому из вариантов 1, 2 и 3;

фиг. 3А и 3В – диаграммы направленности увеличения резкости путем обработки на основе нерезкой маски;

фиг. 4А и 4В – диаграммы направленности функции PSF оптической системы для съемки изображения на плоскости xy;

фиг. 5А и 5В – диаграммы направленности обработки увеличения резкости с осесимметричной нерезкой маской;

фиг. 6А и 6В – диаграммы направленности обработки увеличения резкости с осеасимметричной нерезкой маской;

фиг. 7А и 7В – диаграмма направленности и схематическое поперечное сечение нерезкой маски;

фиг. 8А – 8С – блок-схемы способа обработки изображения согласно настоящему изобретению (вариант 1);

фиг. 9 – диаграмма направленности матрицы Байера;

фиг. 10 – пояснительная схема способа деления входного изображения;

фиг. 11 – пояснительная схема способа интерполяции входного изображения в направлении высоты изображения;

фиг. 12 – блок-схема способа обработки изображения согласно настоящему изобретению (вариант 2);

фиг. 13 – блок-схема способа обработки изображения согласно настоящему изобретению (вариант 3);

фиг. 14 – блок-схема способа обработки изображения согласно варианту 1 настоящего изобретения;

фиг. 15А – 15Е – пояснительные схемы расположения функций OTF и PSF согласно варианту 4;

фиг. 16 – схема системы обработки изображения, включающая в себя устройство обработки изображения согласно варианту 4;

фиг. 17 – пояснительная схема данных о коэффициентах согласно варианту 4;

фиг. 18 – подробная пояснительная схема данных о коэффициентах согласно варианту 4;

фиг. 19 – пояснительная схема, относящаяся к количеству отводов и шагу частоты согласно варианту 4;

фиг. 20 - пояснительная схема, относящаяся к другому количеству отводов и шагу частоты согласно варианту 4;

фиг. 21 – пояснительная схема реконфигурации функций OTF согласно варианту 4;

фиг. 22 – подробная пояснительная схема реконфигурации функций OTF согласно варианту 4;

фиг. 23 – блок-схема модифицированного примера обработки изображения согласно варианту 4;

фиг. 24 – конфигурация устройства съемки изображения согласно варианту 5 настоящего изобретения;

фиг. 25 – пояснительная схема процессора изображения, обеспеченного в устройстве съемки изображения, согласно варианту 5.

Осуществление изобретения

Ниже со ссылками на сопровождающие чертежи описаны примерные варианты осуществления настоящего изобретения.

Перед описанием конкретных вариантов будут даны определения терминов, используемых в этих вариантах и при обработке изображений.

[Входное изображение]

Входное изображение – это цифровое изображение, сформированное из выходного сигнала датчика изображения, который выполняет фотоэлектрическое преобразование изображения объекта, сформированного оптической системой съемки изображения (далее называемой просто «оптической системой») в устройстве съемки изображения. Цифровое изображение – это изображение, ухудшенное из-за оптической передаточной (OTF), включая аберрацию оптической системы, содержащей такие оптические элементы, как объектив и оптический фильтр. Датчик изображения включает в себя фотоэлектрические преобразовательные элементы на основе технологии КМОП (CMOS) и ПЗС (CCD). Оптическая система съемки изображения может включать в себя искривленное зеркало (отражающая поверхность). Оптическая система может быть съемной с устройства съемки изображения (взаимозаменяемость). В устройстве съемки изображения система съемки изображения состоит из оптической системы, датчика изображения и схемы обработки сигналов, которая формирует цифровое изображение (входное изображение) из выходного сигнала датчика изображения.

Цветовые компоненты входного изображения содержат информацию, например, в цветовых компонентах пространства RGB. Используемые цветовые компоненты могут быть выбраны из других обычно используемых цветовых пространств, таких как цветовое пространство LCH, которое отражает яркость, оттенок и насыщение, и цветовое пространство YCbCR, которое выражает яркость и цветовой контраст. Другие применяемые цветовые пространства включают в себя, например, цветовые пространства XYZ, Lab, Yuv и Jch, причем дополнительно может быть использована цветовая температура.

Входные и выходные изображения могут содержать информацию о параметре съемки изображения, например, фокусное расстояние, значение диафрагмы и расстояние до объекта (далее называемые информацией о параметрах съемки объекта), оптической системы в устройстве съемки изображения, когда формируется (фиксируется) входное изображение. Входное и выходное изображения кроме того могут содержать различную коррекционную информацию, используемую для коррекции входного изображения. В конфигурации, в которой устройство съемки изображения выводит входное изображение в устройство обработки изображения, размещенное отдельно, а устройство обработки изображения обеспечивает обработку восстановления изображения во входное изображение, желательно, чтобы входное изображение содержало информацию о параметрах съемки и коррекционную информацию. Вместо того, чтобы посылать информацию о параметрах съемки изображения и коррекционную информацию вместе с входным изображением, эту информацию можно передать напрямую или косвенным путем от устройства съемки изображения на устройство обработки изображения через средство связи.

[Обработка на основе нерезкой маски (обработка увеличения резкости)]

На фиг. 3А и 3В схематически показано увеличение резкости изображения путем обработки на основе нерезкой маски. На фиг. 3А сплошная линия представляет входное изображение, подлежащее обработке, а пунктирная линия представляет изображение, размытое в результате применения нерезкой маски к входному изображению. Линия, изображенная точками, представляет изображение с увеличенной резкостью. Сплошная линия на фиг. 3В представляет коррекционный компонент (коррекционный сигнал), используемый для увеличения резкости. На фиг. 3А и 3В горизонтальная ось представляет координату, а вертикальная ось представляет пиксельное значение или значение яркости. Каждая из фиг. 3А и 3В соответствует сечению в заданном направлении (например, в направлении Х) на фиг. 4А и 4В, которые будут описаны ниже.

Если входное изображение обозначить как f(x,y), а коррекционный компонент обозначить как h(x,y), то изображение g(x,y) с увеличенной резкостью может быть представлено выражением (1):

В выражении (1) коррекционный сигнал h(x,y) умножается на константу m и добавляется к f(x,y), представляющей входное изображение. Константу m можно изменять для регулирования величины коррекции. Константа m может быть неизменной и не зависеть от положения во входном изображении. В качестве альтернативы, для регулирования величины коррекции в зависимости от положения во входном изображении может быть использован коэффициент m(x,y) регулирования, который изменяется с изменением положения во входном изображении. Константа m и коэффициент m(x,y) регулирования могут изменяться в зависимости от параметров съемки изображения, таких как фокусное расстояние, значение диафрагмы и расстояние до объекта. В последующем описании константа m может заменяться коэффициентом m(x,y) регулирования.

Если нерезкую маску обозначить как USM, то коррекционный компонент h(x,y) можно представить как:

В качестве альтернативы правая часть выражения (2) может быть представлена выражением (3). USM(x,y) представляет собой, например, значение отвода в координатах (x,y) маски USM.

Символ * представляет свертку (интеграл свертки, сумма произведений), а символ δ представляет дельта-функцию (идеальное точечное изображение), чей интеграл равен единице. Здесь дельта-функция представляет собой данные, количество отводов которых равно количеству отводов USM(x,y) и чьи значения равны нулю, за исключением центрального значения, равного единице.

Выражение (3) отличается от выражения (2) способом вычислений, используемых при упомянутой обработке. Однако, поскольку выражение (3) можно получить, перезаписав выражение (2), выражение (3) представляет обработку, эквивалентную обработке согласно выражению (2). По этой причине выражение (2) используется ниже для описания формирования коррекционного компонента.

Выражение (2) используют для вычисления разности между входным изображением f(x,y) и изображением, полученным в результате уменьшения резкости входного изображения f(x,y) нерезкой маской USM и формирования коррекционного компонента h(x,y). В типовой обработке на основе нерезкой маски нерезкая маска USM представляет собой сглаживающий фильтр, такой как гауссовый фильтр, медианный фильтр и фильтр скользящего среднего. Например, когда в качестве нерезкой маски USM для входного изображения f(x,y), показанного сплошной линий на фиг. 3А, применяют гауссовый фильтр, получим изображение, являющееся результатом уменьшения резкости входного изображения f(x,y), которое показано пунктирной линией на фиг. 3А. Таким образом, коррекционный компонент h(x,y) представляет собой разность между изображением f(x,y) и изображением с уменьшенной резкостью как в выражении (2). Таким образом, вычитание значения сигнала изображения с уменьшенной резкостью, показанного пунктирной линией на фиг. 3А, из значения сигнала входного изображения, показанного сплошной линией, дает коррекционный компонент, показанный сплошной линией на фиг. 3В. Вычисленный таким образом коррекционный компонент используют для вычисления выражения (1) для увеличения резкости входного изображения f(x,y), показанного на фиг. 1А сплошной линией, и получения изображения, показанного линией, изображенной точками.

Далее следует описание увеличения резкости изображения посредством обработки на основе нерезкой маски оптического изображения объекта, ухудшенного при прохождении через оптическую систему формирования изображения. Если исходное изображение (изображение объекта) перед прохождением через оптическую систему обозначить как I(x,y), а функцию PSF, представляющую реакцию оптической системы на точечный источник света, обозначить как psf(x,y), то входное изображение f(x,y), сформированное через оптическую систему, выражается как:

Если оптическая система представляет собой осесимметричную коаксиальную оптическую систему, то PSF, соответствующая центральной части изображения, будет осесимметрична. Это позволяет выполнять обработку увеличения резкости, в результате которой входное изображение f(x,y) становится ближе к исходному изображению f(x,y) в центральной части изображения путем применения осесимметричной маски USM, как было описано выше. Поскольку величина коррекции представляет собой значение разности между упомянутым изображением и изображением с уменьшенной резкостью, полученным посредством обработки на основе нерезкой маски, более точная коррекция потребует использования нерезкой маски, более близкой по форме к функции psf(x,y), а не простого сглаживающего фильтра. Причина этого заключается в следующем. Например, при ухудшении изображения из-за сферической аберрации, которая оказывает осесимметричое влияние, сглаживающий фильтр, такой как гауссовый фильтр, имеет форму распределения, отличную от функции PSF, на которую воздействует сферическая аберрация. Таким образом, использование PSF оптической системы позволяет обеспечить более точную коррекцию при снижении осесимметричного уменьшения резкости.

По этой причине в каждом варианте настоящего изобретения функция PSF используется в виде маски USM. Хотя входное изображение f(x,y) на фиг. 3А, используемое при описании обработки на основе нерезкой маски, для простоты описания показано в виде симметричного по форме изображения, форма входного изображения может быть несимметричной. Даже в том случае, когда исходное изображение I(x,y) имеет асимметричную форму, функция осесимметричного ухудшения резкости, которая соответствует функции psf(x,y), и действует на исходном изображении I(x,y), обеспечивает достижение резкости с осесимметричной маской USM.

С другой стороны, в местах, не относящихся к центральной части изображения, даже в том случае, когда оптическая система является осесимметричной коаксиальной оптической системой, функция PSF в общем случае является асимметричной. На фиг. 4А и 4В схематически показана функция PSF оптической системы на плоскости x,y, а именно: на фиг. 4А показана функция PSF на оптической оси, а на фиг. 4В показана функция PSF вне оптической оси.

Например, если исходное изображение (изображение объекта) является идеальным точечным изображением, выражение (4) показывает, что входное изображение f(x,y) представляет собой PSF оптической системы. Когда идеальное точечное изображение находится под углом согласно фиг. 4В, и исходное изображение (изображение объекта) ухудшается из-за PSF оптической системы, изображение, полученное в качестве входного изображения, является размытым изображением, форма которого показана на фиг. 4В. Далее следует описание увеличения резкости посредством обработки изображения, асимметрично размытого таким образом на основе нерезкой маски.

На фиг. 5А и 5В и фиг. 6А и 6В схематически показана обработка асимметрично ухудшенного изображения на основе нерезкой маски. На фиг. 5А и 5В показана обработка с использованием осесимметричной нерезкой маски, а на фиг. 6А и 6В показана обработка с использованием осеасимметричной нерезкой маски. Здесь вертикальная ось и горизонтальная ось такие же, как на фиг. 3А и 3В. Сплошные линии на фиг. 5А и 6А представляют сечение в направлении y на фиг. 4В, а пунктирные линии представляют изображения, полученные путем размытия входного изображения с использованием соответствующих нерезких масок. Нерезкая маска на фиг. 5А и 5В, то есть., осесимметричная нерезкая маска, представляет собой гауссовый фильтр. С другой стороны, нерезкая маска на фиг. 6А и 6В, то есть осеасимметричная нерезкая маска, представляет собой функцию PSF оптической системы.

На фиг. 5В и 6В соответственно показаны коррекционные компоненты в виде разностей между нерезкими изображениями, показанными линиями в виде точек на фиг. 5А И 6А, и исходным входным изображением. На фиг. 5А И 6А положительным направлением Y считается направление, в котором входное изображение, размытое функцией PSF, имеет вид расширяющегося колокола. В случае использования осесимметричной нерезкой маски, показанной на фиг. 5А и 5В, разность между нерезким изображением и исходным входным изображением меньше с положительной стороны относительно положения пика, показанного на фиг. 5А сплошной линией, и больше с отрицательной стороны пика. Следовательно, коррекционная составляющая, показанная на фиг. 5В, имеет большее экстремальное значение (отрицательное значение относительно 0) с положительной стороны (правая сторона) относительно положения центрального пика, чем с отрицательной стороны (левая сторона).

При использовании коррекционного компонента, величина которого (величина коррекции) меньше с положительной стороны, где колокол расширяется, и больше с отрицательной стороны, где колокол не расширяется, как показано на фиг. 5А и 5В, асимметричное размытие не может быть скорректировано посредством увеличения резкости согласно выражению (4).

Например, величина коррекции регулируется путем изменения константы m в выражении (4) без изменения нерезкой маски. Однако при использовании большой константы m, чтобы обеспечить достаточную коррекцию на положительной стороне входного изображения, отрицательная сторона входного изображения оказывается избыточно скорректированной. В противоположность этому, когда константа m установлена таким образом, что отрицательная сторона входного изображения скорректирована правильно, недостаточно скорректированной оказывается положительная сторона входного изображения. Такая обработка на основе нерезкой маски с использованием осесимметричной нерезкой маски на асимметрично размытом входном изображении затрудняет устранение асимметрии и увеличение резкости изображения. Хотя в данном варианте описан случай использования гауссового фильтра в качестве осесимметричной нерезкой маски, асимметричное размытое входное изображение невозможно сделать достаточно резким также в случае использования осесимметричных фильтров других видов.

Далее описывается случай использования осеасимметричной нерезкой маки, показанной на фиг. 6А и 6В. В этом случае разность между нерезким изображением и исходным входным изображением больше с положительной стороны относительно позиции пика, показанного сплошной линией на фиг. 6А, и меньше с отрицательной стороны, то есть, это соотношение является обратным по отношению к фиг. 5А. Таким образом, коррекционный компонент, показанный на фиг. 6В, имеет большее экстремальное значение с отрицательной стороны (левая сторона) относительно позиции центрального пика, чем с положительной стороны (правая сторона). Коррекционный компонент, используемый для входного изображения, показанный сплошной линией на фиг. 6А, имеет большую величину с положительной стороны относительно позиции пика, где имеет место большое размытие, и малое значение с отрицательной стороны, где размытие мало. Следовательно, использование асимметричной нерезкой маски приводит к размытию входного изображения, и аналогичным распределениям величины коррекции, что уменьшает как избыточную, так и недостаточную коррекцию, которая имеет место при использовании осесимметричной нерезкой маски. Кроме того, использование асимметричной нерезкой маски, вряд ли, приведет к избыточной коррекции по сравнению со случаем использования осесимметричной нерезкой маски, и поэтому константу m в выражении (4) можно установить относительно большой, уменьшив тем самым асимметрию и дополнительно увеличив резкость изображения.

Поскольку величина коррекции, обеспечиваемой коррекционным компонентом, распределена в соответствии с разностью между нерезким изображением и исходным изображением, участок, который сильно размыт функцией PSF оптической системы для съемки изображения, должен иметь большее размытие, обеспечиваемое нерезкой маской, по сравнению с другими участками, чтобы обеспечить более точную коррекцию. Таким образом, функцию PSF оптической системы идеально использовать в качестве нерезкой маски для более точной коррекции. Сечение, описанное в этом варианте, является одномерным, но может быть и двумерным.

Далее следует описание фильтра и коррекционного сигнала, используемого в каждом варианте, описанном ниже, и обработки на основе нерезкой маски согласно каждому варианту.

В вариантах 1 и 4 увеличение резкости обеспечивается с использованием приведенного ниже выражения, полученного из выражений (1) и (2).

В варианте 2 увеличение резкости обеспечивается с использованием представленного ниже выражения, полученного из выражений (1) И (3).

В варианте 3 увеличение резкости обеспечивается с использованием представленного ниже выражения, полученного из выражений (6).

Выражение (7) можно преобразовать в представленное ниже выражение.

В варианте 3 увеличение резкости обеспечивается с использованием выражения (7), но может быть обеспечено с использованием выражения (8).

[Сохраненные данные]

Необходимо, чтобы функция PSF оптической системы хранилась в устройстве съемки изображения и устройстве обработки изображения с тем, чтобы использовать ее в качестве нерезкой маски, как описано выше. Функцию PSF, хранящуюся в этих устройствах, можно непосредственно использовать в качестве маски USM при обработке, обеспечивающей увеличение резкости. Однако функция PSF будет разной в зависимости от параметров (параметры съемки изображения), когда фиксируется входное изображение и высота изображения, и поэтому необходимо хранить данные, соответствующие разным функциям PSF, чтобы обеспечить обработку, необходимую для точной коррекции. Кроме того, эти функции PSF являются двумерными, а для цветного изображения требуются данные для каждого из цветовых компонентов, например, RGB.

В сохраненных данных может содержаться информация о функции OTF для формирования функции PSF или только информация о PSF по мере необходимости. Сначала описывается случай хранения информации о OTF.

Преобразование OTF в PSF требует использования преобразования Фурье, которое в настоящее время не формирует серьезную нагрузку благодаря повышенной скорости обработки, которой отличаются современные вычислительные устройства. Однако данные OTF для каждой высоты изображения представляют собой данные для нескольких отводов в продольном направлении × количество отводов в поперечном направлении × 2(действительная часть и мнимая часть) × 3 (RGB). Сохранение в этих устройствах всех параметров съемки изображения, таких как высота изображения, F число (значение диафрагмы), позиция зума (фокусное расстояние) и расстояние до объекта, приводит к увеличению объема данных. Как было описано выше, высокоточная обработка и объем данных в общем случае несовместимы, но упомянутые варианты обеспечивают возможность получения изображений, скорректированных с высокой точностью, исходя из небольшого объема данных. Функция OTF имеет относительно широкие частотные характеристики, как будет описано в последующих вариантах, что позволяет обеспечить высокоточную аппроксимацию посредством такой функции, как полином. Таким образом, данными, подлежащими хранению, являются коэффициенты аппроксимации функции, что приводит к значительному сокращению объема сохраняемых данных по сравнению с двумерными данными, сохраняемыми для OTF.

Когда устройство съемки изображения представляет собой сменный объектив, то, поскольку пиксельный шаг датчика изображения отличается в зависимости от модели устройства съемки изображения, данные PSF для одного и того же объектива будут отличаться. Как было описано в упомянутых вариантах, пиксельный шаг и количество отводов функции PSF, подлежащих формированию, можно легко изменить, когда функция и данные о ее коэффициентах для восстановления функции OTF хранятся в устройстве.

Далее описывается хранение информации о PSF в качестве сохраняемых данных. Информация о PSF, подлежащая хранению, по аналогии со случаем OTF, представляет собой данные PSF, соответствующие параметрам съемки изображения и цветовые компоненты. В качестве альтернативы, вместо хранения двумерных данных PSF функция PSF может быть аппроксимирована эмпирической функцией, а ее коэффициенты для воспроизведения PSF могут сохраняться в качестве хранящихся данных. Используя функцию, подходящую для аппроксимации PSF, можно сократить объем данных для PSF посредством аппроксимации с получением упомянутой функции. По аналогии с аппроксимацией OTF сохранение функции для воспроизведения PSF и данных по ее коэффициентам позволяет воспроизводить пиксельный шаг и количество отводов воспроизводимой PSF. Таким образом, информация о хранящейся PSF исключает необходимость выполнения преобразования Фурье, что приводит к снижению вычислительной нагрузки.

Функция PSF отличается для каждого параметра съемки изображения, включая высоту изображения, сформированного посредством оптической системы, и фокусное расстояние, F-число и расстояние до объекта оптической системы. В представленных ниже вариантах описывается высота изображения в качестве примера параметра съемки, но можно получить информацию об аберрации, отличающуюся для каждого значения фокусного расстояния, F-числа и расстояния до объекта оптической системы, с тем чтобы на основе этой информации сформировать неточную маску.

[Вариант 1]

На фиг. 1 представлена блок-схема устройства 100 съемки изображения согласно варианту 1. В устройстве 100 съемки изображения в памяти 120 установлена программа, которая обеспечивает обработку увеличения резкости (способ обработки изображения) для входного изображения, причем обработка увеличения резкости выполняется процессором 104 изображения (устройство обработки изображения) устройства 100 съемки изображения. В состав памяти 120 входит память только для считывания (ROM) и накопитель на жестком диске, но в качестве памяти может быть использован блок 108 записи, описанный ниже.

Устройство 100 съемки изображения включает в себя оптическую систему 101 (объектив) и корпус устройства съемки изображения (корпус камеры). Оптическая система 101 съемки изображения включает в себя апертурную диафрагму 101а и объектив 101b, причем она выполнена как единое целое вместе с корпусом устройства съемки изображения. Однако данный вариант этим не ограничивается, а также применим к устройству съемки изображения, включающему в себя корпус устройства съемки изображения, смонтированный с взаимозаменяемой оптической системой 101 съемки изображения.

Датчик 102 изображения является двумерным датчиком изображения, таким как устройство с зарядовой связью (CCD) или структура «металл-окисел полупроводник» (CMOS). Датчик 102 изображения выполняет фотоэлектрическое преобразование изображения объекта (света, формирующего изображение), полученного посредством оптической системы 101 съемки изображения, и формирует изображение. Изображение объекта преобразуется фотоэлектрическим путем в аналоговый сигнал (электрический сигнал) датчиком 102 изображения. Этот аналоговый сигнал преобразуется аналого-цифровым преобразователем 103 в цифровой сигнал, который затем вводится в процессор 104 изображения.

Процессор 104 изображения представляет собой блок обработки изображения, который обеспечивает обработку на основе заданной нерезкой маски, а также заданную обработку упомянутого цифрового сигнала. В данном варианте обработка увеличения резкости обеспечивается процессором изображения, входящим в состав устройства съемки изображения, но может быть выполнена персональным компьютером (PC) либо специализированным устройством, служащим в качестве устройства обработки изображения.

Процессор 104 изображения получает информацию о параметрах съемки изображения устройством 100 съемки изображения от детектора 107 состояния. Информация о параметрах съемки изображения представляет собой информацию о диафрагме, расстоянии до объекта и фокусном расстоянии зум-объектива. Детектор 107 состояния получает информацию о параметрах съемки изображения непосредственно от системного контроллера 106, но это не является ограничением. Например, информацию о параметрах съемки изображения оптической системы 101 съемки изображения можно получить от контроллера 105 оптической системы съемки изображения.

По существу, процессор 104 изображения обеспечивает обработку увеличения резкости входного изображения. Процессор 104 изображения включает в себя селектор 201 распределения интенсивности точечного изображения (селектор функции PSF), генератор 202 коррекционного сигнала и блок 203 применения коррекционного сигнала. Однако, когда процессор 104 изображения служит в качестве устройства обработки изображения, системный контроллер 106 устройства 100 съемки изображения может сохранять информацию об аберрации в связке с изображением. В этом случае устройство обработки изображения может включать в себя генератор 202 коррекционного сигнала и блок 203 применения коррекционного сигнала, а не селектор 201 функции PSF.

Выходное изображение, обработанное в процессоре 104 изображения, сохраняется в заданном формате в блоке 108 записи. Блок 108 записи также служит в качестве памяти, в которой хранится взаимосвязь между параметрами съемки изображения оптической системы 100 съемки изображения и функция PSF оптической системы съемки изображения.

Блок 112 отображения изображения способен отображать изображение, обеспеченное посредством заданной обработки отображения после обработки увеличения резкости изображения. Блок 112 отображения изображения может отображать изображение, обеспеченное посредством упрощенной обработки с тем, чтобы достичь быстрого отображения.

Упомянутые последовательности операции обработки управляются системным котроллером 106. системный контроллер 106 выполнен в виде микрокомпьютера и процессора (CPU). Механический привод оптической системы 101 съемки изображения управляется контроллером 105 оптической систем съемки изображения на основе команды от системного контроллера 106.

Оптическая система 101 съемки изображения может включать в себя оптические элементы, такие как фильтр нижних частот и инфракрасный режекторный фильтр. При использовании оптического элемента, который влияет на характеристики PSF, такого как фильтр нижних частот, расчет влияния оптического элемента при формировании нерезкой маски позволяет обеспечить более точную обработку увеличения резкости изображения. При использовании инфракрасного режекторного фильтра, который влияет на PSF каждого из RGB каналов (цветовые компоненты RGB), представляющие собой интегральное значение PSF по спектральным длинам волн, особенно на PSF канала R, это влияние оптического элемента желательно учесть при формировании нерезкой маски.

Далее со ссылками на фиг. 2 описывается способ обработки изображения согласно данному варианту. На фиг. 2 представлена блок-схема, иллюстрирующая процесс обработки в целом в этом варианте, где символ «S» представляет «этап (процесс)». Блок-схему, показанную на фиг. 2, можно реализовать в виде программы (программа обработки изображения), которая инициирует выполнение компьютером функции каждого этапа. Аналогичным образом можно реализовать и другие блок-схемы. Каждый этап на фиг. 2 выполняется процессором 104 изображения на основе команды от системного контроллера 106.

Сначала получают изображение в виде входного изображения (S11), затем селектор 201 функции PSF получает от блока 108 записи функцию PSF оптической системы съемки изображения, соответствующую параметрам съемки входного изображения (этап S12 получения). Информация о PSF, полученная селектором 201 функции PSF, может представлять собой двумерные данные об отводах, множество одномерных данных от отводах в качестве компонентов функций PSF и коэффициенты.

Затем генератор 202 коррекционного сигнала формирует нерезкую маску и коррекционный сигнал на основе информации о PSF, полученной на этапе S12 (этап S13 формирования).

Далее со ссылками на фиг. 7А и 7В описывается нерезкая маска. Нерезкая маска имеет несколько отводов, определенных в зависимости от характеристик аберраций оптической системы съемки изображения и требуемой точности увеличения резкости. Нерезкая маска на фиг. 7А представляет собой приведенную в качестве примера двумерную маску с 11×11 отводами. На фиг. 7А не показано значение (коэффициент) на каждом отводе, а на фиг. 7В показана секция нерезкой маски. На фиг. 7В горизонтальная ось представляет отводы, а вертикальная ось представляет значения отводов.

Распределение значений (значения коэффициентов) отводов нерезкой маски в идеале представляет собой распределение значений сигнала (PSF оптической системы съемки изображения), которое расширяется из-за аберрации. Нерезкая маска может быть сформирована на основе информации о функции PSF, как было описано выше, или может представлять собой функцию PSF, полученную селектором 201 функции PSF. Далее описывается обработка, связанная с формированием коррекционного сигнала, путем использования нерезкой маски, сформированной в генераторе 202 коррекционного сигнала.

Затем блок 203 применения коррекционного сигнала обеспечивает обработку увеличения резкости для входного сигнала, используя коррекционный сигнал, сформированный на этапе S13 (этап S14 увеличения резкости). Подробности обработки на этапе S14 описаны ниже.

На фиг. 8А представлена блок-схема, иллюстрирующая подробности обработки согласно данному варианту. Каждый этап на фиг. 8А выполняется процессором 104 изображения на основе команды от системного контроллера 106.

Сначала получают изображение в виде входного изображения (S111). В частности, данные цветового компонента как цель коррекции, используемые в качестве входного изображения, являются, например, данными изображения G канала после устранения мозаичности. Однако данными цветового компонента могут быть данные изображения R канала или B канала, данные изображения всех RGB каналов или данные изображения до устранения мозаичности.

На фиг. 9 представлена диаграмма направленности матрицы Байера, которая представляет собой дискретную упорядоченную матрицу. Например, может быть обеспечена обработка для входного изображения, представляющего собой данные каждого канала из RGB или данные конкретного канала. В качестве альтернативы, как показано на фиг. 9, G канал можно разделить на каналы G1 и G2, в результате чего обеспечивается всего четыре канала. При использовании конфигурации, где G канал разделен на два канала, как было описано выше, данные изображения для каждого из каналов G, G1, G2 и B имеют одинаковую разрешающую способность, что облегчает обработку изображения и обработку данных.

Далее селектор 201 функции PSF получает от блока 108 записи информацию о PSF оптической системы съемки изображения, соответствующую входному изображению (S112). Информация о PSF, полученная селектором 201 функции PSF, может представлять собой двумерные данные отводов, множество одномерных данных отводов в качестве компонентов функции PSF, а также коэффициенты. Двумерные данные разбивают на множество одномерных данных, например, с использованием теоремы о декомпозиции сингулярных значений. Основной компонент, разделенный согласно упомянутой теореме, можно записать в блоке 108 записи, а упомянутые одномерные данные отводов, соответствующие основному компоненту функции PSF, можно получить от блока 108 записи в зависимости от параметров съемки изображения.

Поскольку функция PSF меняется в зависимости от высоты изображения, желательно, чтобы нерезкая маска изменялась в зависимости от высоты изображения, с тем чтобы повысить точность коррекции, но запись данных в блоке 108 записи приводит к увеличению затрат. По этой причине в данном варианте, чтобы иметь возможность изменения нерезкой маски с изменением высоты изображения, входное изображение делят на множество областей и выполняют обработку интерполяции на основе информации о функции PSF по меньшей мере для двух значений высоты изображения для каждой области, что обеспечивает формирование промежуточной нерезкой маски. Детали способа интерполяции описываются ниже для этапа S114.

Далее описывается разделение входного изображения на области. На фиг. 10 представлена диаграмма направленности входного изображения, где направления по длинной стороне и короткой стороне входного изображения считаются соответственно направлением Х и направлением Y, а в качестве начала координат выбран центр изображения. В этом варианте в качестве примера, показанного на фиг. 10, входное изображение разделено на восемь областей от А до G, причем информацию о функции рассеяния точки получают для каждой из периферийных частей упомянутых областей и для центральной точки.

Далее генератор 202 коррекционного сигнала обеспечивает обработку фильтрации, используя функцию PSF, полученную на этапе S112 (S113). В этом варианте функцию PSF используют в качестве нерезкой маски, и для входного изображения обеспечивается обработка свертки (интеграл свертки, сумма произведений) с использованием нерезкой маски. Поскольку количество функции PSF, полученных на этапе S112, равно девяти, включая восемь окружающих областей и начало координат, формируется девять входных изображений, размытых соответствующими нерезкими масками, то есть, девять наборов данных изображения, отфильтрованных нерезкой маской.

Затем генератор 202 коррекционного сигнала обеспечивает обработку интерполяции в направлении высоты изображения, используя множество данных изображения, отфильтрованных нерезкими масками, которые были сформированы на этапе S113, и формирует единственные данные изображения, отфильтрованные нерезкими масками (этап S114 интерполяции).

Далее со ссылками на фиг. 11 следует описание обработки интерполяции в направлении высоты изображения. На фиг. 11 направления областей C и А по отношению к началу координат считаются соответственно положительным направлением Х и положительным направлением Y, причем на фиг. 11 показан первый квадрант входного изображения, где обе оси Х и Y являются положительными. На фиг. 11 P0 обозначает начало координат, а P1, P2 и P3 соответственно обозначают периферийные точки изображения области А, области В и области С, а селектор 201 функции PSF получает PSF для каждой из точек P0, P1, P2 и P3 на этапе S112.

На фиг. 11 точка Pn, показанная белым кружком, представляет собой произвольную точку (точку изображения) в изображении, точка Pn в области В использует данные входного изображения, отфильтрованные нерезкой маской, сформированной на основе информации о функциях PSF для точек P0 и P2 на этапе S113. Аналогичным образом, точки Pn в областях A и C соответственно используют данные входного изображения, отфильтрованные на этапе S113 нерезкими масками, соответствующими значениям высоты изображения в точках P0 и P1 и в точках P0 и P3.

Далее следует описание формирования интерполяционных данных, соответствующих отфильтрованным данным в произвольной точке Pn исходя из двух значений высоты изображения в области. Как показано на фиг. 11, точка Pn в области В находится на расстоянии d0 от начала координат P0 и на расстоянии d2 от точки P2. Если входные изображения, отфильтрованные на этапе S113 на основе функций PSF, соответствующих точкам P0 и P2, обозначить как F0 и F2, то интерполяционные данные Fn, соответствующие опционной точке Pn, можно представить следующим выражением:

Упомянутая интерполяционная обработка приводит к формированию интерполяционных данных для произвольной высоты изображения в каждой области и единственных данных изображения на основе множества данных изображения, сформированных на этапе S113. Таким образом, объем сформированных данных изображения меньше, чем объем данных входного изображения, отфильтрованного с использованием разных функций PSF в зависимости от значения высоты изображения, что приводит к повышению скорости обработки.

Хотя выражение (9) предназначено для области B в первом квадранте, аналогичные вычисления для других областей и других квадрантов позволяют сформировать интерполяционные данные. Интерполяция на основе высоты изображения может выполняться не только посредством выражения (9), но также посредством квадратичной кривой, либо каждое отфильтрованное входное изображение может быть взвешено путем умножения на константу.

Затем генератор 202 коррекционного сигнала формирует коррекционный сигнал на основе интерполяционных данных, сформированных на этапе S114 (S115). В данном варианте коррекционный компонент представлен выражением (2) и формируется на основании разности между входным изображением и интерполяционными данными, сформированными на этапе S114.

Далее блок 203 применения коррекционного сигнала применяет коррекционный сигнал, сформированный на этапе S115, к входному изображению и увеличивает резкость изображения (S116). В этом варианте применение коррекционного сигнала соответствует выражению (1), в котором константу m определяют на основе шума изображения и избыточной или недостаточной коррекции увеличения резкости. Определенную таким образом константу m, коррекционный сигнал, сформированный на этапе S115, и входное изображение используют для обеспечения обработки для увеличения резкости.

Выражение (1) представлено как сумма первого члена и второго члена для положительной константы m и как их разность для отрицательной константы m. Таким образом, при применении коррекционного сигнала к входному изображению при обработке увеличения резкости в данном варианте такое применение выражается в суммировании или вычитании в зависимости от знака константы m. Однако, поскольку понятно, что суммирование и вычитание отличаются просто знаками и по существу означают одну и ту же операцию, упомянутое вычисление может представлять собой суммирование или вычитание в зависимости от знака константы m. В данном варианте, поскольку функция PSF оптической системы съемки изображения используется в качестве нерезкой маски, входное изображение с ухудшенными периферийными участками из-за асимметричной функции PSF оптической системы съемки изображения может быть точно скорректировано с увеличением резкости.

В данном варианте интерполяция в направлении высоты изображения обеспечивается для отфильтрованного изображения, но также может быть обеспечена для коррекционного сигнала (фиг. 8В) и изображения с увеличенной резкостью (фиг. 8С).

В процессе, показанном на фиг. 8В, функции рассеяния точки получены по меньшей мере для двух значений высоты изображения в каждой из множества областей, установленных во входном изображении, и на основе этих функций рассеяния точки формируется множество коррекционных сигналов. Затем выполняется интерполяция этих коррекционных сигналов в направлении высоты изображения с тем, чтобы сформировать единственный коррекционный сигнал, который затем применяют для увеличения резкости входного изображения. В процессе, показанном на фиг. 8С, функции рассеяния точки получают по меньшей мере для двух значений высоты изображения каждой из множества областей, установленных во входном изображении, и формируют множество коррекционных сигналов на основе этих функций рассеяния точки. Затем каждый из этих коррекционных сигналов применяют к входному изображению с тем, чтобы получить множество изображений с увеличенной резкостью, которые затем интерполируют в направлении высоты изображения с тем, чтобы сформировать единственное изображение с увеличенной резкостью.

На фиг. 8В представлена блок-схема, подробно иллюстрирующая поток обработки, обеспечивающей интерполяцию в направлении высоты изображения после формирования коррекционных сигналов. Этапы S121, S122 и S123 соответствуют этапам S111, S112 и S113. Далее описывается обработка на этапах S124 и S125 по фиг. 8В, отличная от обработки на этапах S114 и S115 по фиг. 8А.

На этапе S124 генератор 202 коррекционного сигнала формирует коррекционные сигналы из отфильтрованных данных, полученных путем фильтрации входных изображений посредством нерезких масок на этапе S123. Коррекционные сигналы формируют исходя из различия между входным изображением и отфильтрованными данным посредством выражения (2). Эти коррекционные сигналы формируют в объеме данных, сформированных на этапе S123.

Далее на этапе S125 генератор 202 коррекционного сигнала обеспечивают обработку интерполяции в направлении высоты изображения на основе коррекционных сигналов, сформированных на этапе S124. Интерполяционная обработка на этапе S125 обеспечивается для другого объекта интерполяции, отличного от объекта обработки интерполяции на этапе S114, но поток обработки в общем аналогичен потоку обработки интерполяции на этапе S114. На этапе S114 данные входного изображения, свернутые посредством функции PSF, полученной на этапе S112 в качестве нерезкой маски, интерполируют в направлении высоты изображения.

С другой стороны, на этапе S125 в качестве коррекционного сигнала используют различие между входным изображением и данными входного изображения, свернутыми посредством нерезкой маски, и выполняют обработку интерполяции в направлении высоты изображения посредством этого коррекционного сигнала. Обработка на этапе S114 обеспечивает интерполяцию f(x,y)*USM в выражении (2) в направлении высоты изображения, в то время как обработка на этапе S125 обеспечивает интерполяцию h(x,y) в направлении высоты изображения.

Таким образом, при использовании данных f(x,y)*USM на этапе S114 с их заменой на данные h(x,y), на этапе S125 обеспечивается интерполяционная обработка и для коррекционных сигналов в направлении высоты изображения. Коррекционные сигналы, интерполированные упомянутым образом, применяются к входному изображению блоком 203 применения коррекционного сигнала на этапе S126. Применение этих коррекционных сигналов на этапе S126 аналогично обработке на этапе S116, и поэтому здесь подробно не описывается.

Далее со ссылками на фиг. 8С описывается поток обработки интерполяции в направлении высоты изображения на входном изображении, к которому были применены упомянутые коррекционные сигналы. Этапы S131, S132, S133 и S134 соответствуют этапам S121, S122, S123 и S124.

Далее описывается обработка на этапах S135 и S136, которая отличается от обработки на этапах S125 и S126 на фиг. 8В. На этапе S135 блок 203 применения коррекционного сигнала обеспечивает обработку увеличения резкости для входного изображения на основе коррекционных сигналов, сформированных на этапе S134. На этапе S134 коррекционные сигналы формируют в объеме множества нерезких масок, сформированных из функций PSF, выбранных на этапе S132. Обработка увеличения резкости на этапе S135 обеспечивает применение к входному изображению коррекционных сигналов, сформированных на этапе S134 на основе выражения (1).

Далее на этапе S136 множество изображений с увеличенной резкостью, сформированных на этапе S135, интерполируют в направлении высоты изображения. Интерполяционная обработка на этапе S136 обеспечивается для другого объекта интерполяции, отличного от объекта обработки интерполяции на этапе S114 или S125, но поток обработки в общем аналогичен потоку обработки интерполяции на этапе S114 или S125. Обработка на этапе S125 обеспечивает интерполяцию h(x,y) в выражении (1) в направлении высоты изображения, в то время как обработка на этапе S136 обеспечивает интерполяцию g(x,y) в направлении высоты изображения. Таким образом, при использовании данных h(x,y) на этапе S125 с их заменой на данные g(x,y) обработка на этапе S136 обеспечивает интерполяцию изображений с увеличенной резкостью в направлении высоты изображения.

[Вариант 2]

Устройство съемки изображения согласно варианту 2 имеет такую же конфигурацию, как устройство съемки изображения согласно варианту 1. Вариант 2 отличается от варианта 1 тем, что вместо способов обработки изображения, показанных на фиг. 8А-8С, используется способ обработки изображения, показанный на фиг. 12. На фиг. 12 представлена блок-схема способа обработки изображения согласно варианту 2, где каждый этап выполняется процессором 104 изображения на основе команды, поступающей от системного контроллера 106.

В этом варианте используется способ формирования коррекционных сигналов, отличный от варианта 1. Обработка на этапах S211 и S212 аналогична обработке на этапах S111 И S112. Хотя в варианте 1 коррекционные сигналы формируют на основе выражения (2), в этом варианте коррекционные сигналы формируются на основе выражения (3). Для формирования коррекционных сигналов генератор 202 коррекционного сигнала согласно данному варианту сначала вычисляет разность между изображением идеальной точки и функциями PSF, выбранными селектором 201 функции PSF, и формирует фильтры (S213). Далее генератор коррекционного сигнала сворачивает входное изображение, используя сформированные фильтры, для формирования коррекционных сигналов (S214).

Обработка на этапах S215, S216 и S217 аналогична обработке на этапах S114, S115 и S116, и поэтому их описание здесь опущено. Таким путем можно выполнить обработку увеличения резкости на основе выражения (6).

Интерполяция в направлении высоты изображения может быть обеспечена для коррекционных сигналов, как это описано в варианте 1, либо может быть обеспечена для входного изображения, резкость которого увеличена посредством коррекционных сигналов.

[Вариант 3]

Устройство съемки изображения согласно варианту 3 имеет такую же конфигурацию, как устройство съемки изображения согласно варианту 1. Вариант 3 отличается от варианта 1 тем, что вместо способов обработки изображения, показанных на фиг. 8А-8С, используется способ обработки изображения, показанный на фиг. 13. На фиг. 13 представлена блок-схема способа обработки изображения согласно варианту 3, где каждый этап выполняется процессором 104 изображения на основе команды, поступающей от системного контроллера 106.

В этом варианте используется другой способ формирования коррекционных сигналов и другой способ применения коррекционных сигналов, отличные от вариантов 1 и 2, и в этом варианте фильтры формируют на основе выражения (7), и применяют сформированные фильтры к входному изображению. Таким образом, блок-схема на фиг. 13 отличается от вариантов 1 и 2 формированием фильтров на этапе S313 и применением этих фильтров на этапе S314. Обработка на этапах S311 и S312 аналогична обработке на этапах S11 и S112.

В этом варианте используют функции PSF, выбранные на этапе S312, в качестве нерезких масок для формирования фильтров, соответствующих члену в круглых скобках в выражении (7) (S 312). В этом варианте коррекционные сигналы, сформированные генератором 202 коррекционного сигнала, являются фильтрами. Далее блок 203 применения коррекционного сигнала сворачивает входное изображение, используя фильтры, сформированные на этапе S313, для увеличения резкости изображения (S314). При обработке увеличения резкости согласно этому варианту увеличение резкости обеспечивается однократной сверткой изображения с использованием фильтров (коррекционный сигнал), сформированных в качестве нерезких масок на основе функций PSF оптической системы съемки изображения.

Каждый из упомянутых вариантов обеспечивает устройство обработки изображения, устройство съемки изображения, способ обработки изображения и программу обработки изображения, которые отличаются сильными эффектами увеличения резкости.

[Вариант 4]

На фиг. 14 представлена блок-схема процедуры, реализующей способ обработки изображения согласно варианту 4 настоящего изобретения. Этот способ обработки изображения выполняется компьютером (процессором), который смонтирован в устройстве съемки изображения, или представляет собой устройство обработки изображения согласно программе обработки изображения в виде компьютерной программы. На этапе S101 компьютер в качестве входного изображения получает цифровое изображение, зафиксированное и сформированное устройством съемки изображения через оптическую систему. Если компьютер смонтирован в устройстве съемки изображения, то он получает входное изображение от системы съемки изображения. Если компьютер представляет собой другое устройство обработки изображения, отличное от устройства съемки изображения, то он получает входное изображение от устройства съемки изображения, используя проводную или беспроводную связь или постоянный машиночитаемый носитель. Данными, используемыми в качестве входного изображения, например, могут быть данные изображения G канала после устранения мозаичности. Однако в качестве входного изображения могут быть использованы данные R канала или В канала, или в качестве входного изображения могут быть использованы данные каждого из каналов системы RGB. Как альтернатива, в качестве входного изображения могут быть использованы данные изображения перед устранением мозаичности.

На фиг. 9 показана пиксельная матрица входного изображения, которая аналогична варианту 1, и поэтому ее описание здесь опущено.

Далее на этапе S102 компьютер получает информацию о параметрах съемки изображения. Параметры съемки изображения, как было описано выше, включают в себя фокусное расстояние, значение диафрагмы и расстояние до объекта. Если входное изображение, сформировано в устройстве съемки изображения со сменным объективом, то параметры съемки изображения включают в себя идентификатор (ID) объектива, уникальный для данного объектива, и ID камеры, уникальный для устройства съемки изображения. Параметры съемки изображения можно получить непосредственно от устройства съемки изображения или можно получить в виде информации, используя входное изображение.

Далее на этапе S103 компьютер получает данные о коэффициентах, соответствующие параметрам съемки изображения. Данные о коэффициентах используют для реконфигурации функций OTF, причем эти данные можно получить избирательно из данных, ранее сохраненных в памяти, сервере или сети в зависимости от параметров съемки изображения. Данные о коэффициентах, соответствующие параметру съемки изображения из числа параметров съемки изображения, для которых данные о коэффициентах для диафрагмы, расстояния для объекта и фокусного расстояния объектива с переменным фокусным расстоянием сохраняются, могут быть сформированы посредством интерполяционной обработки на основании сохраненных данных о коэффициентах. Это позволяет уменьшить объем предварительно сохраняемых данных о коэффициентах. Способом интерполяционной обработки может быть, например, но не только, хорошо известный способ биполярной интерполяции (линейная интерполяция) или бикубической интерполяции.

Далее на этапе S104 компьютер использует данные о коэффициентах, соответствующие параметрам съемки изображения, для реконфигурации (формирования), в частности, в направлении высоты изображения, множества оптических передаточных функций, каждая из которых изменяется с изменением высоты изображения из опорной позиции, которой является центр входного изображения, или оптической оси оптической системы. Реконфигурация оптических передаточных функций на основе выбранных данных о коэффициентах, эквивалентна выбору оптических передаточных функций. Подробности обработки на этом этапе будут описаны ниже. В данном варианте этапы S102-S104 называются этапом выбора оптической передаточной функции.

Далее на этапе S105 компьютер поворачивает реконфигурированные оптические передаточные функции вокруг центра входного изображения или опорной позиции в виде оптической оси оптической системы. Затем компьютер интерполирует оптические передаточные функции для пиксельной матрицы входного изображения (или датчика устройства съемки изображения, который получил входное изображение). Таким путем компьютер получает оптические передаточные функции, соответствующие множеству конкретных двумерных дискретных позиций во входном изображении, и располагает в двух измерениях оптические передаточные функции для входного изображения. Эти расположенные в двух измерениях оптические передаточные функции далее называются перекомпонованными оптическими передаточными функциями. В данном варианте обработка на этапе S105 называется этапом перекомпоновки оптической передаточной функции.

Далее на этапе S106 компьютер преобразует перекомпонованные оптические передаточные функции в функции рассеяния точки. Преобразование оптических передаточных функций в функции рассеяния точки выполняют посредством обратного преобразования Фурье. В данном варианте обработка на этапе S106 называется этапом формирования функции рассеянной точки.

Далее подробно описывается обработка на этапах S104-S106 со ссылками на фиг. 15А-15Е. На фиг. 15А кружки представляют оптические передаточные функции (называемые здесь OTF), реконфигурированные на этапе S104. Реконфигурированные OTF соответствуют множеству значений высоты изображения в конкретном направлении высоты изображения (в продольном направлении на фиг. 15А) относительно опорной позиции в этой области (область съемки изображения) описанной окружности входного изображения. На этапе S105 компьютер разворачивает функции OTF в конкретном направлении высоты изображения относительно опорной позиции и обеспечивает интерполяцию, соответствующую пиксельной матрице входного изображения таким образом, разместить в двумерном представлении (в продольном направлении и в поперечном направлении) функции OTF на входном изображении, как показано на фиг. 15В. Интерполяция включает в себя интерполяцию в радиальном направлении и вращательную интерполяцию, что позволяет разместить функции OTF на произвольных пиксельных позициях.

Далее на этапе S106 компьютер выполняет оценку на основе обратного преобразования Фурье функции OTF на каждой позиции (пиксель) во входном изображении с тем, чтобы сформировать функцию рассеяния точки (далее называемой PSF) на данной позиции, как показано квадратами на фиг. 15С. Оптическая система, используемая для получения входного изображения, является вращательно симметричной относительно оптической оси. Эта вращательная симметрия может быть использована для поворота PSF, сформированной в одном квадранте (четвертная область) относительно опорной позиции, в другой квадрант как показано на фиг. 15D, в результате чего функции PSF формируются во всей области входного изображения. Такой способ имеет преимущество, заключающееся в том, что обратное преобразование Фурье вычисляют в четыре раза меньше раз, чем общее количество позиций, на которых размещены функции PSF. Кроме того, когда функции OTF, показанные на фиг. 15В, и функции PSF, показанные на фиг. 15С, перекомпоновывают посредством поворота и интерполяции, как показано на фиг. 15Е, и распределяют по всей области входного изображения, используя вращательную симметрию, как показано на фиг. 15D, можно дополнительно уменьшить количество вычислений обратного преобразования Фурье.

Размещения (количество функций и интервалы между ними) OTF и PSF, показанные на фиг. 15А-15Е, являются лишь примерами, то есть такие размещения могут устанавливаться произвольно в зависимости от изменений в функциях OTF оптической системы. На фиг. 14 на этапе S107 компьютер на основе функций PSF, сформированных на позициях (пикселях) по всей области входного изображения, формирует нерезкие маски. Формирование нерезких масок подробно описано ниже. Затем на этапе S108 компьютер формирует коррекционные сигналы, описанные выше. Формирование этих коррекционных сигналов также подробно описано ниже. В данном варианте обработка на этапе S107 и этапе S108 называется этапом формирования коррекционного сигнала.

Далее на этапе S109 компьютер обеспечивает обработку увеличения резкости для входного изображения путем добавления коррекционных сигналов к входному изображению, в результате чего получают скорректированное изображение в виде результирующего изображения на этапе S110. Обработка увеличения резкости подробно будет описана ниже. В данном варианте обработка на этапе S109 называется процессом добавления.

Нерезкие маски, сформированные на этапе 107, аналогичны маскам, показанным на фиг. 7А и 7В. Для формирования коррекционных сигналов на основе этих нерезких масок на этапе S108 компьютер сначала сворачивает входное изображение, используя нерезкие маски, сформированные на позициях во входном изображении. Поскольку эти нерезкие маски сформированы на позициях, на которых сформированы функции PSF, как показано на фиг. 15D, нерезкие маски на позициях между позициями, на которых сформированы функции PSF, формируются посредством интерполяции. Эта интерполяция обеспечивается таким образом, что в том случае, когда целевым пикселем является пиксель на позиции, где сформирована нерезкая маска, множество нерезких масок вблизи целевого пикселя взвешивают в зависимости от их расстояний до целевого пикселя, а затем выполняют их синтез. Этот способ позволяет формировать нерезкие маски, которые непрерывно изменяются от позиции к позиции во входном изображении. Таким образом, нерезкая маска, сформированная посредством преобразования из функции OTF или посредством интерполяции функции PSF, применяется к входному изображению на каждой позиции в этом изображении.

Другой способ содержит, например, применение трех нерезких масок вблизи целевого пикселя для треугольной области, окруженной тремя нерезкими масками, чтобы сформировать три изображения. Затем эти три изображения взвешивают в зависимости от их расстояния от позиции целевого пикселя и синтезируют с тем, чтобы получить синтезированное изображение, эквивалентное изображению, полученному путем непрерывного изменения нерезких масок с изменением позиций во входном изображении. Область, подлежащая интерполяции, может быть определена, например, четырьмя позициями вместо трех позиций.

В качестве альтернативы, входное изображение можно разделить на множество областей, и в каждой области можно использовать одну и ту же нерезкую маску без интерполяции. В альтернативном варианте, интерполяция может быть применена к изображению с увеличенной резкостью, полученному в результате применения коррекционных сигналов к входному изображению на этапе S109, описанном ниже.

Далее описывается формирование коррекционных сигналов на этапе S108. В этом варианте в качестве коррекционных сигналов используют сигналы, представленные выражением (2). В частности, коррекционные сигналы формируют путем вычисления разности между входным изображением и изображением, полученным в результате применения нерезких масок к входному изображению на этапе S108.

Далее следует описание обработки увеличения резкости на этапе S109. Обработки увеличения резкости согласно этому варианту выполняется путем добавления коррекционных сигналов, умноженных на константу (m), к входному изображению посредством выражения (1). Константу (m) определяют с учетом шумов в изображении и излишнего и недостачного увеличения резкости. Выражение (1) представлено в виде суммы первого члена и второго члена для положительной константы m и в виде их разности для отрицательной константы m. Как было описано выше, добавление коррекционных сигналов, умноженных на константу, при обработке увеличения резкости согласно данному варианту означает суммирование или вычитание в зависимости от знака константы m.

Как было описано выше, в этом варианте обработка увеличения резкости выполняется с использованием функций рассеяния точки в качестве нерезких масок. Это позволяет обеспечить точную коррекцию (увеличение резкости) даже в том случае, когда входное изображение содержит искажения, часто встречающиеся на периферийных участках изображения из-за асимметричных функций PSF оптической системы.

Далее следует описание примерной системы обработки изображения, выполненный с возможностью обеспечения способа обработки изображения, описанного выше со ссылками на фиг. 16. Система обработки изображения включает в себя вычислитель 300 коэффициентов, камеру (устройство съемки изображения) 310 и устройство 320 обработки изображения.

Вычислитель 300 коэффициентов вычисляет коэффициенты для реконфигурации функций OTF, исходя из расчетных значений или измеренных значений оптической системы. Вычислитель 300 коэффициентов выполняет преобразование функций OTF в коэффициенты и определяет порядки коэффициентов, используемых для последующей реконфигурации функций OTF в зависимости от требуемой точности. Вычислитель 300 коэффициентов на основе размеров пространственных рассеяний функций PSF, а также определяет количество отводов, необходимых для последующей реконфигурации функций OTF для каждого значения высоты изображения. Вычислитель 300 коэффициентов вычисляет коэффициенты и количество отводов вплоть до требуемого порядка для различных комбинаций оптической системы (сменный объектив 312 для съемки изображения) и датчика 311 изображения, представляющего собой камеру 310, и выводит эти данные.

В камере 310 изображение объекта, сформированного объективом 312 для съемки изображения, подвергается фотоэлектрическому преобразованию датчиком 311 изображения, и на основе электрических сигналов от датчика 311 изображения формируется изображение. Затем камера 310 добавляет к изображению идентификатор (ID) объектива и информацию о параметрах съемки изображения (например, значение диафрагмы, фокусное расстояние зум-объектива и расстояние до объекта), а также ID камеры, и выводит упомянутое изображение. ID камеры используют для определения частоты Найквиста из числа пространственных частот, доступных в датчике 111 изображения.

Устройство 320 обработки изображения сохраняет данные о коэффициентах и количестве отводов, поступающие от вычислителя 300 коэффициентов, а также входное изображение (включая информацию о параметрах съемки изображения) в качестве изображения на выходе камеры 310. Затем эти данные используют для коррекции (увеличения резкости) входного изображения, искаженного объективом 312 для съемки изображения.

В устройстве 320 обработки изображения в блоке 321 хранения коррекционной информации сохраняется информация о различных комбинациях объектива 312 для съемки изображения и датчика 311 изображения, вычисленные вычислителем 300 коэффициентов. Сохраненная информация включает в себя данные о коэффициентах и количестве отводов, ID объектива, информацию о параметрах съемки изображения, а также частоту Найквиста датчика 311 изображения, полученную на основе ID камеры.

Блок 322 реконфигурации OTF получает частоту Найквиста датчика 311 изображения в камере 310, входное изображение, параметры съемки изображения и ID объектива. ID объектива и параметры съемки изображения объектива 312 съемки изображения, используемых пользователем (фотографом) при фиксации изображения для формирования входного изображения, используют затем для поиска коэффициентов и количества отводов, сохраненных в блоке 321 сохранения коррекционной информации. Блок 322 реконфигурации OTF, реконфигурирует функции OTF, используемые фильтром 323, на основе найденной информации в диапазоне пространственных частот вплоть до частоты Найквиста. Далее функции OTF, реконфигурированные блоком 322 реконфигурации, называются здесь реконфигурированными функциями OTF.

Фильтр 323 формирует нерезкие маски на основе реконфигурированных функций OTF, полученных от блока 322 реконфигурации OTF, и корректирует (увеличивает резкость) изображения на основе нерезких масок. Если упомянутые коэффициенты и количество отводов, вычисленные вычислителем 300 коэффициентов, сохранены в блоке 321 сохранения коррекционной информации, вычислителю 300 коэффициентов нет необходимости предоставления их пользователю. Пользователь может загрузить и использовать информацию, необходимую для обработки изображения, такую как данные о коэффициентах, через сеть или разного рода считываемые компьютером носители данных долговременного хранения.

Далее следует описание способа вычисления коэффициентов вычислителем 300 коэффициентов. Вычислитель 300 коэффициентов аппроксимирует функции OTF оптической системы (объектива 312 для съемки изображения) посредством аппроксимации функции с целью формирования коэффициентов. В этом варианте функцией, используемой при аппроксимации является, но не только, полином Лежандра и возможно, например, полином Чебышева. Полином Лежандра задается выражением (10).

В этом выражении [x] обозначает максимальное целое число, не превышающее х.

Поскольку функция OTF выражена в виде z=f(x,y), коэффициент aij выражения (11) вычисляется следующим образом

Выражение (11) представляет собой ортогональную функцию, в которой значение aij определяется независимо от порядка при аппроксимации. Эти характеристики ортогональной функции могут быть использованы для усечения функции при низком порядке, когда возможна аппроксимация функции OTF низкого порядка с достаточно высокой точностью. Это позволяет минимизировать объем данных о коэффициентах, подлежащих сохранению в вычислителе 300 коэффициентов.

На фиг. 17 показан конкретный способ аппроксимации функции OTF с использованием выражения (10) и выражения (11). На фиг. 17 fum и fvm обозначают соответственно частоты Найквиста функции OTF в меридиональном направлении и сагиттальном направлении. Nx и Ny обозначают соответственно нечетные количества отводов OTF в меридиональном направлении и сагиттальном направлении. Вычислитель 300 коэффициентов вычисляет коэффициенты для действительной части и мнимой части функции OTF посредством аппроксимации.

Действительная часть функции OTF симметрична в меридиональном направлении и сагиттальном направлении. Мнимая часть функции OTF симметрична с противоположными знаками в меридиональном направлении и симметрична в сагиттальном направлении.

Благодаря упомянутой симметрии информация для четверти от всей области является необходимой и достаточной в качестве данных функции OTF как цели аппроксимации. По этой причине в данном варианте для достижения высокоточной аппроксимации функции OTF аппроксимацию выполняют на четвертной области, вырезанной из всей области так, чтобы постоянная составляющая содержалась как в действительной части, так и в мнимой части функции OTF.

В данном варианте описывается пример, в котором данные OTF представляют собой данные для Nx (строка) × Ny (столбец) отводов, причем данные для строк с 1 до [Nx/2]+1 и столбцов с 1 до [Ny/2]+1 вырезают из данных OTF. Однако данный вариант этим не ограничивается.

На фиг. 18 показаны коэффициенты, вычисленные вышеописанным способом. На фиг. 18 показан пример коэффициентов действительной части и мнимой части функции OTF, которые вычисляют для каждой высоты изображения (1-10) вплоть до десятого порядка как по x, так и по y. Данные о коэффициентах представляют в виде набора коэффициентов для каждой высоты изображения вместе с информацией о ID объектива, диафрагме, фокусном расстоянии (позиция зума) и расстоянием до объекта. В данном варианте в качестве примера показаны коэффициенты для десяти значений высоты изображения с параметрами съемки изображения, такими как: ID объектива №123, значение диафрагмы F2.8, позиция зума WIDE (широкоугольный) и близкое расстояние до объекта.

Эти коэффициенты для десяти значений высоты изображения используют с целью реконфигурации функции OTF на десяти позициях (фиг. 15А). Сформированные коэффициенты можно использовать в качестве функций высоты изображения для каждого порядка.

Вычислитель 300 коэффициентов формирует упомянутые данные о коэффициентах для всех комбинаций ID объектива, диафрагмы, фокусного расстояния и расстояния до объекта и выводит эти данные.

Далее следует подробное описание способа определения количества отводов реконфигурированной OTF. Длительность обработки фильтрации для изображения сильно зависит от количества отводов фильтра, используемого при обработке фильтрации. Таким образом, при обработке фильтрации желательно минимизировать количество отводов фильтра при условии обеспечения требуемой коррекции без таких отрицательных эффектов, как недокоррекция.

Нерезкая маска, используемая фильтром 323 устройства обработки изображения, представляет собой фильтр в действительном пространстве. Таким образом, количество отводов для этого фильтра определяется в действительном пространстве. Нерезкая маска согласно этому варианту представляет собой фильтр, используемый для коррекции искажения изображения из-за PSF. Следовательно, достаточно иметь область примерно равную рассеянию функции PSF в действительном пространстве. Другими словами, необходимым количеством отводов является количество отводов в упомянутой области. Поскольку действительное пространство и частотное пространство являются взаимно обратными, количество отводов, определенное в действительном пространстве, можно использовать в частотном пространстве.

На фиг. 19 показано, что количество отводов столь велико, что охваченной оказывается достаточно большая область по сравнению с пространственным рассеянием PSF. На фиг. 20 показано, что количество отводов установлено таким образом, что охваченной оказывается область, почти равная пространственному рассеянию функции PSF, используемой в случае, показанном на фиг.19. Как показано на фиг. 19, количество отводов в действительном пространстве соответствует минимальному шагу частоты в частотном пространстве. Таким образом, малое количество отводов в действительном пространстве, как показано на фиг. 20, означает грубую дискретизацию в частотном пространстве, а значит, большой минимальный шаг частоты. Между тем, частота Найквиста в частотном пространстве не изменяется.

Далее следует подробное описание блока 322 реконфигурации OTF, который обеспечивает обработку, соответствующую обработке на этапе S104, показанном на фиг. 14. Блок 322 реконфигурации OTF получает ID объектива, информацию о параметрах съемки изображения и информацию о частоте Найквиста датчика 311 изображения от камеры 310 при съемке изображения. Затем блок 322 реконфигурации OTF считывает количество отводов, ID объектива, информацию о параметрах съемки изображения и информацию о частоте Найквиста изображения из блока 321 сохранения коррекционной информации и формирует реконфигурированную OTF на основе упомянутой информации.

Далее со ссылками на фиг. 21 следует подробное описание способа формирования реконфигурированной функции OTF. Частоты Найквиста в меридиональном направлении и в сагиттальном направлении, необходимые для формирования реконфигурированной OTF, обозначены соответственно как fuc_rm и fvc_im, а количество отводов в меридиональном направлении и в сагиттальном направлении обозначены как Mx и My. При использовании частот Найквиста fum и fvm в меридиональном направлении и в сагиттальном направлении поддерживаются следующие соотношения:

где Mx и My – нечетные числа.

Переменные x и y в выражении (10) и в выражении (11) заменяют соответственно на u и m, и тогда области определяются следующим образом.

соответственно дискретизируются с использованием (Mx/2)+1 и (My/2)+1 отводов. Блок 122 реконфигурации OTF вычитает коэффициенты, определенные выше в выражении (9), и формирует реконфигурированную OTF в одном квадранте. Упомянутая процедура повторяется для действительной части (122-1-1) и мнимой части (122-2-1) реконфигурированной OTF, показанной на фиг. 21.

Далее следует описание способа формирования на основе реконфигурированной функции OTF, имеющей действительную или мнимую части, сформированные в одном квадранте, причем реконфигурированная функция OTF в областях определяется следующим образом:

с количеством отводов, равным Mx и My.

Далее сначала описывается способ формирования действительной части реконфигурированной функции OTF. Блок 122 реконфигурации OTF на основе ранее сформированной действительной части (122-1-1) формирует действительную часть реконфигурированной OTF в областях, как это описано ниже:

область строк с 1 по (Mx/2)+1 и столбцов с 1 по (My/2); и

область строк с 1 по (Mx/2)+1 и столбца (My/2)+1.

Далее блок 322 реконфигурации OTF копирует численные данные в области из строк с 1 по (Mx/2)+1 и столбцов с 1 по (My/2) в область строк из строк с 1 по (Mx/2)+1 и столбцов (My/2)+2 до My, как показано в действительной части (122-1-2). Данные копируют линейно симметричным образом в отношении области из строк с 1 по (Mx/2)+1 и столбца (My/2)+1.

Затем блок 322 реконфигурации OTF делит действительную часть (122-1-2) реконфигурированной функции OTF, сформированной для половины области, на область из строк с 1 по (Mx/2) и столбцов с 1 по My и область из строки (Mx/2)+1 и столбцов с 1 по My, как показано в действительной части (122-1-3). Затем блок 322 реконфигурации OTF копирует численные данные в области из строк с 1 до (Mx/2) и столбцов с 1 до My в область из строк с (Mx/2)+2 по Mx и столбцов с 1 по My линейно симметричным образом по отношению к области из строки (Mx/2)+1 и столбцов с 1 по My.

Далее следует описание способа формирования мнимой части реконфигурированной функции OTF. Хотя эта мнимая часть может быть сформирована тем же способом, что и действительная часть, мнимую часть (122-2-3) необходимо сформировать с переключаемым знаком. Упомянутый способ можно использовать при формировании действительной и мнимой частей функции OTF благодаря их характеристикам.

На фиг. 22 показано секция реконфигурированной функции OTF для подробного описания соотношения между частотой Найквиста реконфигурированной функции OTF и количеством отводов. Как было описано выше, частота Найквиста представляет собой параметр, определяемый пространственной разрешающей способностью датчика 311 изображения, а количество отводов – это параметр, зависящий от PSF объектива 312 для съемки изображения. Эти два параметра можно использовать с упомянутыми коэффициентами с целью формирования требуемой реконфигурированной функции OTF.

На фиг. 22 частоты Найквиста удовлетворяют неравенству f_nyq1>f_nyq2, а количество отводов, удовлетворяет неравенству N>M1>M2. Как показано на фиг. 22, частота Найквиста и количество отводов могут быть установлены с требуемыми значениями.

Затем функции OTF, соответствующие комбинациям датчика 311 изображения и объектива 312 для съемки изображения, а также параметры съемки изображения сохраняются в виде данных о коэффициентах в устройстве 320 обработки изображения, что позволяет выполнить обработку изображения в соответствии с параметрами съемки при съемке изображения.

Как показано на фиг. 15А-15Е, вся область изображения может быть скорректирована при использовании подходящего количества отводов с небольшим объемом данных о коэффициентах, что означает возможность уменьшения объема сохраняемых данных.

На фиг. 23 показан модифицированный пример для данного варианта. Этапы S401-S405 на фиг. 23 аналогичны этапам S101-S105 на фиг. 105 и поэтому их описание здесь опущено. Обработка вплоть до этапа S405 обеспечивает размещение в двух измерениях функций OTF в квадранте входного изображения, как в качестве примера показано на фиг. 15В.

В этом модифицированном примере описывается передаточная функция, не обладающая вращательной симметрией (далее называется вращательно асимметричной передаточной функцией), такая как передаточная функция оптического фильтра нижних частот или пиксельное окно определенной формы, отличающиеся от передаточной функции оптической системы съемки изображения.

На этапе S406 компьютер применяет вращательно асимметричную передаточную функцию к каждой OTF, в состоянии, показанном на фиг. 15В. Затем на этапах S407-S411 компьютер обеспечивает такую же обработку, как обработка на этапах S106-S110 на фиг. 14 с тем, чтобы получить скорректированное изображение, полученное путем увеличения резкости входного изображения.

На фиг. 15В функции OTF размещены в двумерном варианте в упомянутом квадранте изображения. Однако, в зависимости от типа симметрии передаточной функции, функции OTF могут быть размещены, например, поверх всей области изображения перед применением вращательно асимметричной передаточной функции.

[Вариант 5]

На фиг. 24 показана конфигурация устройства съемки изображения согласно варианту 5 настоящего изобретения. Устройство съемки изображения установлено вместе с программой обработки изображения, которая выполняет обработку увеличения резкости изображения в качестве входного изображения. Эта обработка изображения выполняется компьютером (процессор), включенным в процессор 404 изображения (устройство обработки изображения), предусмотренным в устройстве съемки изображения, следуя программе обработки изображения.

Оптическая система 401 для съемки изображения проецирует свет от объекта (не показан) на датчик 402 изображения. Апертурная диафрагма 401а в оптической системе 401 для съемки изображения имеет диаметр отверстия, регулируемый значением переменной апертуры. Позиция объектива 401b изменяется механизмом автофокусировки (AF) или механизмом ручной фокусировки (не показан) с тем, чтобы выполнять фокусировку в соответствии с расстоянием до объекта. Оптическая система 401 для съемки изображения может иметь оптические элементы, такие как фильтр нижних частот или встроенный инфракрасный режекторный фильтр. При формировании функции рассеяния точки необходимо учитывать влияние такого элемента, как фильтр нижних частот на характеристики функции OTF оптической системы 401 для съемки изображения. При использовании вращательно асимметричной передаточной функции, как это было описано со ссылками на фиг. 23, вращательно асимметричная передаточная функция применяется после перекомпоновки функций OTF. Вращательно асимметричная передаточная функция представляет собой, например, функцию в виде оптического фильтра нижних частот и пиксельного окна определенной формы.

Датчик 402 изображения выполняет фотоэлектрическое преобразование изображения объекта и выдает аналоговый электрический сигнал. Этот аналоговый электрический сигнал преобразуется в цифровой сигнал аналого-цифровым преобразователем 403, и этот цифровой сигнал вводится в процессор 404 изображения.

Процессор 404 изображения обеспечивает заданную обработку цифрового сигнала для формирования изображения, и это изображение в качестве входного изображения подвергается обработке, связанной с увеличением резкости. В частности, процессор 404 изображения получает от детектора 407 состояния информацию о параметрах съемки изображения, такую как значение диафрагмы, расстояние до объекта и фокусное расстояние объектива с зумом при съемке изображения. Детектор 407 состояния может получить информацию о параметрах съемки изображения непосредственно от системного контроллера 410 или может получить информацию о параметрах съемки изображения, например, об оптической системе 401 для съемки изображения от контроллера 406 оптической системы для съемки изображения.

Затем процессор 404 изображения обеспечивает обработку изображения, описанную блок-схемой по фиг. 14 или по фиг. 23, для увеличения резкости входного изображения. Для обеспечения этой обработки процессор 404 изображения включает в себя, как показано на фиг. 25, селектор 4041 оптической передаточной функции, блок 4042 перекомпоновки оптической передаточной функции, генератор 4043 функции рассеяния точки, генератор 4044 коррекционного сигнала и сумматор 4045 сигналов. Эти компоненты выполняют этап выбора оптической передаточной функции, этап перекомпоновки оптической передаточной функции, этап формирования функции рассеяния точки, этап формирования коррекционного сигнала и этап добавления (фиг. 14 и 23).

Как показано на фиг. 24, устройство съемки изображения включает в себя блок 408 записи, который сохраняет данные о коэффициентах для формирования реконфигурированных функций OTF.

Скорректированное изображение (выходное изображение), сформированное процессором 404 изображения, сохраняется в заданном формате на носителе 409 записи изображения. Скорректированное изображение отображается на дисплее 405.

Последовательность обработки регулируется системным контроллером 410. Управление механическим приводом оптической системы 401 для съемки изображения обеспечивается контроллером 406 оптической системы для съемки изображения по командам системного контроллера 410.

В данном варианте оптическая система 401 для съемки изображения является частью устройства съемки изображения, причем она может быть съемной (на корпусе камеры со сменным объективом), включая датчик изображения. При использовании камеры со сменным объективом данные о коэффициентах могут передаваться из блока хранения в объективе в корпусе камеры и сохраняться в ней. Данные о коэффициентах могут совместно использоваться для разных частот Найквиста датчика изображения и характеристик оптического фильтра нижних частот в корпусе камеры, как было писано выше, что позволяет уменьшить объем обрабатываемых данных о коэффициентах.

Согласно вариантам 4 и 5 функция, соответствующая параметрам съемки изображения, и высоте изображения, используется в качестве нерезкой маски, так что можно обеспечить высокоточную обработку увеличения резкости для входного изображения. Кроме того, согласно каждому варианту настоящего изобретения, поскольку оптические передаточные функции размещены в двух измерениях на входном изображении до их преобразования в функции рассеяния точки в действительном пространстве, оптические передаточные функции до размещения в двух измерениях могут совместно использоваться множеством устройств съемки изображения, имеющих разные пиксельные шаги. Это позволяет сократить объем данных для оптических передаточных функций, которые необходимо сохранить заранее.

Другие варианты настоящего изобретения

Варианты настоящего изобретения также могут быть реализованы компьютером системы или устройством, которое считывает и выполняет исполняемые компьютером команды, сохраненные на носителе данных (например, на постоянном машиночитаемом носителе) для выполнения функций одного или более вышеописанных вариантов настоящего изобретения. Компьютер может содержать один или более центральных процессоров (CPU), микропроцессорный блок (MPU) или другие схемы и может включать в себя сеть, состоящую из отдельных компьютеров или отдельных компьютерных процессоров. Считываемые компьютером команды могут быть доставлены на компьютер, например, из сети или с носителя данных. Машиночитаемый носитель может включать в себя, например, одно или более из нижеперечисленного: жесткий диск, память с произвольной выборкой (RAM), память только для считывания (ROM), хранилище распределенных вычислительных систем, оптический диск (такой как компакт-диск (CD), цифровой универсальный диск (DVD) или диск Bluray (BD)™ или т.п.), устройство флэш-памяти, карта памяти т.п.

Хотя настоящее изобретение было описано со ссылкой на примерные варианты его осуществления, должно быть понятно, что изобретение не ограничивается раскрытыми здесь примерными вариантами. Объем нижеследующей формулы изобретения должен соответствовать самой широкой интерпретации, охватывающей все упомянутые модификации, эквивалентные структуры и функции.

Изобретение относится к обработке изображения для увеличения резкости. Заявленное устройство обработки изображения содержит блок получения, выполненный с возможностью получения изображения, сформированного путем съемки изображения через оптическую систему; и процессор, выполненный с возможностью обеспечения обработки изображения нерезкой маской путем использования фильтра, сформированного на основании информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы. Причем фильтр, используемый для обработки изображения нерезкой маской, включает в себя фильтр, в котором двумерные данные об отводах распределены осеасимметрично. При этом заявленное устройство съемки изображения содержит датчик изображения, выполненный с возможностью фотоэлектрического преобразования оптического изображения объекта, сформированного через оптическую систему; и процессор изображения, выполненный с возможностью обработки изображения, полученного от датчика изображения. Процессор изображения обеспечивает обработку изображения нерезкой маской путем использования фильтра, сформированного на основании информации о функции рассеяния точки оптической системы, а фильтр, используемый для обработки изображения нерезкой маской, включает в себя фильтр, в котором двумерные данные об отводах распределены осеасимметрично. Технический результат – обеспечение достаточной коррекции аберрации сложной формы и увеличение резкости изображения. 3 н.и 16 з.п. ф-лы, 36 ил.

1. Устройство обработки изображения, содержащее:

блок получения, выполненный с возможностью получения изображения, сформированного путем съемки изображения через оптическую систему; и

процессор, выполненный с возможностью обеспечения обработки изображения нерезкой маской путем использования фильтра, сформированного на основании информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы,

отличающееся тем, что фильтр, используемый для обработки изображения нерезкой маской, включает в себя фильтр, в котором двумерные данные об отводах распределены осеасимметрично.

2. Устройство обработки изображения по п. 1, отличающееся тем, что фильтр, используемый для обработки изображения нерезкой маской, включает в себя фильтр, в котором двумерные данные об отводах распределены асимметрично в направлении высоты изображения и в направлениях, отличных от направления высоты изображения.

3. Устройство обработки изображения по п. 1, отличающееся тем, что процессор включает в себя:

генератор, выполненный с возможностью формирования коррекционного сигнала путем вычисления разности между упомянутым изображением и изображением, полученным путем применения фильтра к изображению, сформированному посредством съемки изображения через оптическую систему; и

блок увеличения резкости, выполненный с возможностью увеличения резкости изображения путем умножения коррекционного сигнала, сформированного генератором, на константу и добавления умноженного коррекционного сигнала к изображению, или путем регулирования коррекционного сигнала, сформированного генератором, посредством коэффициента регулирования, зависящего от позиции в изображении, и добавления отрегулированного коррекционного сигнала к упомянутому изображению.

4. Устройство обработки изображения по п. 1, отличающееся тем, что процессор включает в себя:

генератор, выполненный с возможностью формирования коррекционного сигнала путем свертки изображения фильтром, сформированным на основании информации о разности между функцией рассеяния точки оптической системы, соответствующей параметру съемки изображения оптической системы, и изображением идеальной точки; и

блок увеличения резкости, выполненный с возможностью увеличения резкости изображения путем умножения коррекционного сигнала, сформированного генератором, на константу и добавления умноженного коррекционного сигнала к упомянутому изображению, или путем регулирования коррекционного сигнала, сформированного генератором, посредством коэффициента регулирования, зависящего от позиции в изображении, и добавления отрегулированного коррекционного сигнала к упомянутому изображению.

5. Устройство обработки изображения по п. 1, отличающееся тем, что процессор включает в себя:

генератор, выполненный с возможностью формирования фильтра путем умножения информации о разности между функцией рассеяния точки оптической системы, соответствующей параметру съемки изображения оптической системы, и изображения идеальной точки, на константу и добавления умноженной информации о разности к изображению идеальной точки, или путем регулирования информации о разности посредством коэффициента регулирования, зависящего от позиции в изображении, и добавления отрегулированной информации о разности к изображению идеальной точки; и

блок увеличения резкости, выполненный с возможностью увеличения резкости изображения посредством свертки фильтром, сформированным генератором.

6. Устройство обработки изображения по п. 1, отличающееся тем, что процессор включает в себя:

генератор, выполненный с возможностью формирования фильтра на основании информации о разности между произведением изображения идеальной точки и суммы 1 и константы и произведением этой константы и функции рассеяния точки оптической системы, соответствующей параметру съемки изображения оптической системы, или на основании информации о разности между произведением изображения идеальной точки и суммы 1 и коэффициента регулирования, зависящего от позиции в изображении, и произведением коэффициента регулирования и функции рассеяния точки оптической системы; и

блок увеличения резкости, выполненный с возможностью увеличения резкости изображения посредством свертки фильтром, сформированным генератором.

7. Устройство обработки изображения по п. 1, отличающееся тем, что параметры съемки изображения включают в себя по меньшей мере одно из: высоты изображения, фокусного расстояния, F-числа и расстояния до объекта.

8. Устройство обработки изображения по п. 1, отличающееся тем, что процессор обеспечивает обработку нерезкой маской для каждого или одного из множества цветовых компонентов, составляющих изображение.

9. Устройство обработки изображения по п. 1, отличающееся тем, что изображение представляет собой данные изображения, дискретно и регулярно упорядоченные для каждого цветового компонента, и

процессор обеспечивает обработку нерезкой маской для изображения, интерполированного для цветового компонента, являющегося целью коррекции.

10. Устройство обработки изображения по п. 1, отличающееся тем, что процессор включает в себя блок получения для получения информации о функции рассеяния точки для оптической системы на основании параметра съемки изображения оптической системы.

11. Устройство обработки изображения по п. 10, дополнительно содержащее блок записи, выполненный с возможностью сохранения взаимосвязи между параметром съемки изображения оптической системы и функцией рассеяния точки оптической системы,

отличающееся тем, что блок получения получает информацию о функции рассеяния точки оптической системы, соответствующей параметру съемки изображения оптической системы, от блока записи.

12. Устройство обработки изображения по п. 3 или 4, отличающееся тем, что процессор включает в себя блок получения для получения информации о функции рассеяния точки оптической системы на основании параметра съемки изображения оптической системы,

блок получения получает по меньшей мере два значения высоты изображения для каждой из множества областей, установленных в изображении,

процессор выполняет обработку интерполяции в направлении высоты изображения посредством множества данных изображения, полученных из функций рассеяния точки, соответствующих множеству областей в изображении, таким образом, чтобы сформировать одни данные изображения, и формирует коррекционный сигнал на основании упомянутых одних данных изображения, сформированных при обработке интерполяции.

13. Устройство обработки изображения по п. 3 или 4, отличающееся тем, что процессор включает в себя блок получения для получения информации о функции рассеяния точки оптической системы на основании параметра съемки изображения оптической системы,

при этом блок получения получает функции рассеяния точки для по меньшей мере двух значений высоты изображения для каждой из множества областей, установленных в изображении, и

при этом процессор формирует множество коррекционных сигналов на основании множества функций рассеяния точки, выполняет обработку интерполяции в направлении высоты изображения посредством коррекционных сигналов таким образом, чтобы сформировать один коррекционный сигнал, и применяет упомянутый один коррекционный сигнал к изображению.

14. Устройство обработки изображения по п. 3 или 4, отличающееся тем, что процессор включает в себя блок получения для получения информации о функции рассеяния точки оптической системы на основании параметра съемки изображения оптической системы,

причем блок получения получает функции рассеяния точки по меньшей мере для двух значений высоты изображения для каждой из множества областей, установленных в изображении, и

при этом процессор формирует множество коррекционных сигналов на основании множества функций рассеяния точки, получает множество изображений с увеличенной резкостью путем применения коррекционных сигналов к изображению, и выполняет обработку интерполяции в направлении высоты изображения для изображений с увеличенной резкостью таким образом, чтобы сформировать одно изображение с увеличенной резкостью.

15. Устройство съемки изображения, содержащее:

датчик изображения, выполненный с возможностью фотоэлектрического преобразования оптического изображения объекта, сформированного через оптическую систему; и

процессор изображения, выполненный с возможностью обработки изображения, полученного от датчика изображения;

отличающееся тем, что процессор изображения обеспечивает обработку изображения нерезкой маской путем использования фильтра, сформированного на основании информации о функции рассеяния точки оптической системы, и фильтр, используемый для обработки изображения нерезкой маской, включает в себя фильтр, в котором двумерные данные об отводах распределены осеасимметрично.

16. Устройство съемки изображения по п. 15, дополнительно содержащее блок записи, выполненный с возможностью сохранения взаимосвязи между параметром съемки изображения оптической системы и функцией рассеяния точки оптической системы.

17. Устройство съемки изображения по п. 15 или 16, отличающееся тем, что устройство съемки изображения дополнительно включает в себя оптическую систему.

18. Способ обработки изображения, содержащий этапы, на которых:

получают изображение, сформированное путем съемки изображения через оптическую систему; и

обеспечивают обработку изображения нерезкой маской путем использования фильтра, сформированного на основании информации о функции рассеяния точки оптической системы в соответствии с параметром съемки изображения оптической системы, отличающийся тем, что фильтр, используемый для обработки изображения нерезкой маской, включает в себя фильтр, в котором двумерные данные об отводах распределены осеасимметрично.

19. Способ обработки изображения по п. 18, отличающийся тем, что этап обеспечения обработки нерезкой маской включает в себя этапы, на которых:

получают информацию о функции рассеяния точки оптической системы, соответствующей параметру съемки изображения оптической системы, из блока записи, выполненного с возможностью сохранения взаимосвязи между параметром съемки изображения оптической системы и функцией рассеяния точки оптической системы.