СПОСОБ АВТОМАТИЧЕСКОГО ФОКУСИРОВАНИЯ В СИСТЕМЕ ФИКСАЦИИ ИЗОБРАЖЕНИЙ, ИСПОЛЬЗУЮЩЕЙ СИММЕТРИЧНЫЕ КИХ-ФИЛЬТРЫ, И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2004 года по МПК H04N5/232 H04N1/56 

Область техники
Изобретение относится к области цифрового формирования изображения. В частности, настоящее изобретение направлено на создание способа и устройства для автоматического фокусирования в системе фиксации изображений, использующей симметричные КИХ-фильтры (фильтры с конечной импульсной характеристикой).

Уровень техники
Во многих прикладных системах нашли широкое распространение системы цифровой фиксации изображений, такие как цифровые видеокамеры и цифровые фотоаппараты. Цифровая фиксация видеоизображений может быть использована в таких приложениях, как видеоконференции, видеомонтаж и распределенное видеообучение. Цифровая фиксация фотоизображений с помощью цифровой камеры может быть использована в таких приложениях, как фотоальбомы, фоторедактирование и компоновка комбинированных изображений.

Во многих цифровых системах для фиксации видеоизображений и неподвижных изображений используется датчик изображения, выполненный в виде матрицы светочувствительных элементов, каждый из которых обычно называется "пикселем". Каждый пиксель отвечает за фиксацию одного из трех цветовых каналов: красного, зеленого или синего. В частности, каждый пиксель выполнен таким образом, что он чувствителен к конкретному цветовому каналу благодаря использованию цветного светофильтра, расположенного над пикселем так, что световая энергия, попадающая на пиксель, соответствует энергии только одного конкретного участка спектра. Каждый пиксель формирует сигнал, соответствующий количеству поступившей на него световой энергии.

Обычно системы цифровой фиксации изображений эксплуатируются в самых разных условиях. Кроме того, предполагается, что в них имеются такие встроенные функции, как автоматическое фокусирование и автоматическое экспонирование. Эти функции обычно реализуются в основном аппаратными средствами. В случае автоматического фокусирования для фиксации высококачественных изображений существенное значение имеют скорость и точность. Таким образом, желательно реализовать эффективные процессы автоматического фокусирования, выполняемые аппаратными средствами, которые будут удобны пользователю.

Сущность изобретения
Предлагается способ для определения значения фокусировки в изображении, включающий выбор представляющей интерес области в изображении и представляющей интерес цветовой плоскости. Затем выполняется фильтрация представляющей интерес цветовой плоскости в представляющей интерес области для формирования отфильтрованного участка и определяется абсолютное среднее значение для отфильтрованного участка. Также заявлена система для реализации указанного способа.

Краткое описание чертежей
Фиг. 1 - схема, иллюстрирующая изображение вместе с представляющей интерес областью.

Фиг. 2 - блок-схема, иллюстрирующая процесс определения значения фокусировки (V) из изображения, такого как изображение на фиг. 1, согласно одному режиму работы в соответствии с настоящим изобретением.

Фиг. 3 - импульсные и частотные характеристики (амплитудные и фазовые характеристики) фильтра, конфигурированного согласно возможному варианту настоящего изобретения.

Фиг. 4 - блок-схема, иллюстрирующая возможный режим работы системы автоматического фокусирования, сконфигурированной согласно настоящему изобретению.

Фиг. 5 - графики значений фокусировки для изображений из четырех последовательностей изображений, определенных с использованием блок-схемы, представленной на фиг. 2.

Подробное описание изобретения
Настоящее изобретение обеспечивает способ автоматического фокусирования и устройство, разработанное для систем цифровой фиксации изображений, таких как камеры для цифрового формирования изображений и видеоизображений (которые определены здесь в целом как "камеры"). В процессе фокусирования фиксируется последовательность изображений с разными фокусными расстояниями. После фиксации каждое изображение фильтруется с помощью симметричного фильтра с конечной импульсной характеристикой (КИХ). Из отфильтрованного изображения получают значение фокусировки, которое определяет степень фокусировки камеры. В алгоритме используется КИХ-фильтр, который может быть реализован аппаратными средствами обработки цифровых сигналов с фиксированными функциями (ОЦСФФ) при меньших вычислительных затратах, что также устраняет проблему накопления ошибок, с которой обычно сталкиваются при использовании фильтров с конечной импульсной характеристикой (КИХ). Кроме того, использование симметричного фильтра может уменьшить количество операций умножения, необходимых для фильтрации изображения, примерно вдвое по сравнению с асимметричным фильтром. В одном из вариантов оптимальным фокусным расстоянием для данного объекта съемки, которое и выдается алгоритмом, считается фокусное расстояние, при котором зафиксированное изображение имеет максимальное значение фокусировки.

В одном из вариантов для обработки изображений с целью получения значений фокусировки для определения того, что система фиксации изображений находится в фокусе, используют процессор и память. Как упоминалось выше, процессор может представлять собой процессор для обработки цифровых сигналов либо специализированную интегральную схему (СИС). Процессор также может быть процессором общего назначения. Память может представлять собой любое запоминающее устройство, доступное процессору.

На фиг. 1 представлена схема, иллюстрирующая изображение 100 шириной Х и высотой Y. Изображение 100 содержит набор пикселей, над каждым из которых находится цветной светофильтр из матрицы цветных светофильтров (МЦСФ) 102. В одном варианте МЦСФ 102 образует конфигурацию Байера (Ваyеr) в виде повторяющихся красных (R), зеленых (G) и синих (В) светофильтров. На фиг. 1 также показана представляющая интерес область 104 шириной N пикселей, которая содержит М строк.

На фиг. 2 представлена блок-схема, иллюстрирующая процесс определения значения фокусировки (V) из изображения, такого как изображение 100 на фиг. 1, согласно возможному режиму функционирования настоящего изобретения.

На этапе 200 в изображении, к примеру изображении 100, выбирают представляющую интерес область, к примеру область 104. В одном из вариантов при вычислении значения фокусировки для изображения выбирают только одну представляющую интерес область. Однако в других вариантах можно выбрать множество представляющих интерес областей и вычислить множество значений фокусировки. В последующем описании раскрывается процесс определения одного значения фокусировки на одно изображение. После выбора области, представляющей интерес, обработка переходит на этап 202.

На этапе 202 в представляющей интерес области выбирают представляющую интерес цветовую плоскость. В одном из вариантов предметом выбора является зеленая цветовая плоскость, так как зеленая часть спектра лучше подходит для определения яркости. В других вариантах может быть выбрана другая цветовая плоскость при условии, что выбранная цветовая плоскость содержит больше всего информации о яркости объекта съемки. Например, в системе фиксации изображений Y-CYMG (голубой, желтый и "идеальный" красный) в качестве представляющей интерес цветовой плоскости выбирается желтая плоскость, которая содержит максимум информации о яркости. Кроме того, в последующем описании принято, что пиксель в точке с координатами (0,0) выделенного участка изображения (например, представляющей интерес области 104) является зеленым. В частности, левый верхний угол выделенного участка изображения размещен таким образом, что левый верхний пиксель оказывается зеленым.

На этапе 204 каждая пара столбцов зеленых пикселей в выделенном участке изображения объединяется в один составной столбец из зеленых пикселей для формирования зеленой плоскости G' размером M•N/2 пикселей на следующих двух шагах:
1. G(i,j)=G(i,j+1) для i=1, 3, 5, К, М-1 и j=0, 2, 4, К, N-2; и
2. G'(i,j/2)=G(i,j) для 0≤i<М и j=0, 2, 4, К, N-2,
где G(i, j) - значение зеленого пикселя в точке с координатами (i, j) выделенного участка изображения. Перед указанным объединением G(i, j) точно определено только в точках с координатами (m, n), где (m+n)mod2=0, 0≤m<М и 0≤n<N. После объединения G' уменьшается до размера М на N/2 пикселей. Эта операция объединения используется для определенной конфигурации МЦСФ (например, конфигурации Байера), применяемой в данной системе фиксации изображения, но при необходимости может быть модифицирована для любой другой конфигурации МЦСФ.

На этапе 206 объединенная цветовая плоскость G' фильтруется с использованием фильтра нижних частот для уменьшения погрешностей, вызванных шумом (например, искаженные края, появляющиеся в результате использования конфигурации Байера). Затем в одном из вариантов зеленую плоскость G' фильтруют по столбцам с помощью фильтра нижних частот с тремя отводами:

где A= [a₀a₁a₂]=[0,25 0,5 0,25]. Размер интерполированной зеленой плоскости G_a остается прежним и равным M•N/2 пикселей. После преобразования зеленой плоскости G' в интерполированную зеленую плоскость G_a процесс обработки продолжается на этапе 208.

На этапе 208 система разделяет интерполированную зеленую плоскость G_a на три подобласти G₁, G₂ и С₃ с одинаковыми размерами. В возможном варианте интерполированная зеленая плоскость G_a делится на три подобласти размером M•N/6 пикселей. В других вариантах интерполированную зеленую плоскость G_a можно разделить на три подобласти размером M/3•N/2 пикселей. Кроме того, в других вариантах интерполированная зеленая плоскость G_a может быть разделена на множество участков любого размера.

На этапе 210 строки каждой подобласти G₁, G₂ и G₃ фильтруются КИХ-фильтром с р отводами:

где h=[h₀, h¹, ... h_p-1]; k=1, 2, 3, 0≤1<M; a p-1≤j<N/6. Фильтр пытается выделить важную информацию, относящуюся к краям, которая полезна для определения того, находится ли камера в фокусе.

В одном из вариантов КИХ-фильтр с р отводами, используемый для фильтрации подобластей G₁, G₂ и G₃ интерполированной зеленой плоскости G_a, представляет собой симметричный КИХ-фильтр с 20 отводами. Как было отмечено выше, в данном алгоритме используется симметричный КИХ-фильтр, поскольку его можно реализовать в рамках существующих аппаратных средств с меньшими вычислительными затратами, причем количество умножений, необходимых для фильтрации изображения, может быть уменьшено примерно вдвое по сравнению с несимметричными КИХ-фильтрами. Кроме того, как было отмечено выше, при использовании КИХ-фильтра не возникает проблем накопления ошибок, с которыми обычно сталкиваются при использовании фильтров с бесконечной импульсной характеристикой (БИХ-фильтров). Таблица 1 содержит возможный набор коэффициентов фильтрации КИХ-фильтра, который может быть использован для получения требуемых результатов.

На фиг. 3 показаны импульсные и частотные характеристики (амплитудная и частотная характеристики) разработанного фильтра. Амплитудная характеристика фильтра аналогична амплитудной характеристике полосового фильтра. После фильтрации всех подобластей процесс обработки продолжается на этапе 212.

На этапе 212 вычисляется абсолютное среднее значение для каждой отфильтрованной подобласти

где М•(N/6-p+1) - общее количество пикселей, значения которых можно вычислить на этапе 210.

На этапе 214 определяют значение фокусировки для текущего изображения r, которое обозначено как V(r), следующим образом:

где изображение, которое сфокусировано лучше, имеет более высокое значение фокусировки.

На фиг. 4 представлена блок-схема, иллюстрирующая режим работы системы автоматического фокусирования, конфигурированной согласно настоящему изобретению. В возможном варианте схема представлена последовательностью изображений, зафиксированных с разными фокусными расстояниями. В другом варианте схема определяет фокусное расстояние, при котором изображение окажется сфокусированным, прежде чем будет зафиксирована вся последовательность изображений с разными фокусными расстояниями. В последнем варианте изображения, обрабатываемые по этой схеме, фиксируются в процессе поиска сфокусированного кадра. В принципе, схема выполняет быстрый поиск для определения фокусного расстояния, которое даст относительно сфокусированное изображение (например, путем анализа значений фокусировки для нахождения максимального из всех имеющихся значений фокусировки) и пропускает фокусное расстояние, для которого значение фокусировки меньше предыдущего на определенную величину в процентах. Затем схема выполняет детальный поиск для определения фокусного расстояния, которое даст более сфокусированное изображение. Функционирование этой схемы основано на предположении, что вычисляемое значение фокусировки является унимодальной функцией фокусного расстояния, что имеет место для большинства встречающихся объектов съемки.

На этапе 102 выполняется инициализация системы с установкой исходных значений следующих переменных:
V_max=0
f=f_max
f_opt=f_max
где f - фокусное расстояние; V(f) - значение фокусировки, которое вычисляется для изображения, полученного при фокусном расстоянии f; V_max - максимальное значение фокусировки из всех определенных значений; f_max и f_min - максимальное и минимальное фокусные расстояния соответственно, доступные в данной системе фиксации изображений; и f_opt - оптимальное фокусное расстояние, определяемое данной схемой. После инициализации системы на этапе 104 начинается предварительный поиск.

На этапе 104 определяется значение фокусировки V(f) для изображения, зафиксированного при фокусном расстоянии f. V(f) определяется согласно описанию фиг. 2. Как отмечено выше, если схема не представлена в виде последовательности зафиксированных изображений, то система фиксирует изображение сразу же в ходе выполнения операций на этапе 104, до того как определено значение фокусировки. После вычисления на этапе 104 значения фокусировки, оно сравнивается на этапе 106 с максимальным (среди найденных) значением фокусировки. Если значение фокусировки больше максимального из всех ранее вычисленных (V(f)>V_max), процесс обработки продолжается на этапе 108. В противном случае выполняется переход на этап 110.

На этапе 108 найденное максимальное значение фокусировки устанавливается равным текущему значению фокусировки (V_max=V(f)). Кроме того, устанавливают оптимальное фокусное расстояние, равное текущему фокусному расстоянию (f_opt= f). Затем на этапе 110 фокусное расстояние уменьшается на величину шага предварительного поиска фокусного расстояния (f=f-f_s1). Шаг предварительного поиска фокусного расстояния представляет собой приращение для изменения фокусного расстояния во время поиска предварительного фокусного расстояния. В одном из вариантов шаг f_s1 предварительного поиска фокусного расстояния определяется следующим образом:
f_s1=(f_max-f_min)хSFN1/SN1
где SN1 и SFN1 определяют общее количество оценок изображения. SFN1 зависит от текущей уставки диафрагменного числа, а также текущего фокусного расстояния f. SFN1 может быть задано в виде таблицы либо с помощью простых уравнений на основе предыдущих экспериментов. SN1 - это число, определяющее количество поисков при предварительном поиске. Обычно, когда диафрагма системы фиксации изображений мала, размер шага может быть больше, так как система фиксации изображений будет находиться в фокусе в более широком диапазоне фокусных расстояний. Наоборот, когда диафрагма системы фиксации изображений велика, размер шага должен быть небольшим, так как система фиксации изображений будет находиться в фокусе в узком диапазоне фокусных расстояний.

На этапе 112 определяется, не превышает ли фокусное расстояние минимального фокусного расстояния системы фиксации изображений (f<=f_min). Кроме того, определяется, превышает ли значение фокусировки определенную величину в процентах (например, 80%) от максимального найденного значения фокусировки (V(f)>0,8V_max). В одном из вариантов в этой схеме используется заранее установленная величина в процентах для оценки того, не пропустил ли алгоритм оптимальное значение фокусировки и не оценивает ли теперь система те изображения, которые оказываются все более расфокусированными (например, значение фокусировки становится все меньше и меньше). В других вариантах указанная величина в процентах может быть переменной и зависеть от текущего фокусного расстояния либо других параметров. Если фокусное расстояние больше или равно минимальному фокусному расстоянию системы фиксации изображений (f=>f_min) и значение фокусировки больше восьмидесяти процентов от максимального значения фокусировки, определенного ранее, (V(f)>0,8V_max), то процесс возвращается к этапу 104, где оценивается другое изображение. В противном случае процесс переходит к этапу 114.

На этапе 114 определяется, что фокусное расстояние, которое обеспечивает сфокусированное изображение, лежит в диапазоне от максимального фокусного расстояния f_max, поддерживаемого системой фиксации изображений, до текущего фокусного расстояния f. В частности, когда предварительный поиск начинается с максимального фокусного расстояния и в ходе поиска анализируются значения фокусировки для изображений, зафиксированных при уменьшающихся фокусных расстояниях, пока не выполнено заранее поставленное условие, логично предположить, что представляющее интерес фокусное расстояние находится в указанном диапазоне. Однако, так как текущее фокусное расстояние уменьшается на этапе 110 на величину шага предварительного поиска фокусного расстояния, и одним из условий окончания предварительного поиска является не превышение текущим фокусным расстоянием величины f_min, существует вероятность того, что текущее фокусное расстояние окажется меньшим f_min, то есть недействительным. Поэтому на этапе 114 текущее фокусное расстояние устанавливается равным максимальному из двух значений: минимального фокусного расстояния системы фиксации изображений либо текущего фокусного расстояния (f=max(f_min, f)).

На этапе 116 определяется значение фокусировки V(f) для изображения, зафиксированного при фокусном расстоянии f. V(f) определяется согласно описанию фиг. 2. После вычисления на этапе 116 значения фокусировки, оно сравнивается на этапе 118 с найденным максимальным значением фокусировки. Если значение фокусировки больше ранее вычисленного максимального значения фокусировки (V(f)>V_max), то процесс обработки переходит на этап 120. В противном случае выполняется переход на этап 122.

На этапе 120 найденное максимальное значение фокусировки устанавливается равным текущему значению фокусировки (V_max=V(f)). Кроме того, оптимальное фокусное расстояние устанавливают равным текущему фокусному расстоянию (f_opt= f). Затем на этапе 122 фокусное расстояние увеличивают на величину шага точного поиска фокусного расстояния (f=f+f_s2). Шаг точного поиска фокусного расстояния определяет величину изменения фокусного расстояния в процессе поиска точного фокусного расстояния. В одном из вариантов шаг поиска фокусного расстояния f_s2 определяется формулой:
f_s2=(f_max-f_min)хSFN2/SN2
где SN2 и SFN2 определяют общее количество оценок изображения. SFN2 зависит от уставки текущего диафрагменного числа, а также текущего фокусного расстояния f. SFN2 может быть представлен в табличной форме или выражен простыми уравнениями на основе предыдущих экспериментов. SN2 - это число, определяющее количество поисков при точном поиске. В одном из вариантов размер шага f_S2 устанавливают существенно меньшим, чем размер шага f_S1, чтобы обеспечить более широкие возможности точной настройки. Обычно, когда диафрагма системы фиксации изображений мала, размер шага может быть увеличен, так как система фиксации изображений будет сфокусированной в широком диапазоне значений фокусного расстояния. Наоборот, когда диафрагма системы фиксации изображений велика, размер шага должен быть меньше, так как система фиксации изображений будет сфокусированной в узком диапазоне значений фокусного расстояния.

На этапе 124 определяют, не превышает ли фокусное расстояние максимального фокусного расстояния системы фиксации изображений (f≤f_max). Кроме того, определяют, превышает ли значение фокусировки определенную величину в процентах (например, 80%) от максимального найденного значения фокусировки (V(f)>0,8V_max). В одном из вариантов в этой схеме используется заранее установленная величина в процентах для оценки того, не пропустил ли алгоритм оптимальное значение фокусировки и не оценивает ли теперь система те изображения, которые становятся все более несфокусированными (например, значение фокусировки становится все меньше и меньше). В других вариантах указанная величина в процентах может быть переменной и зависеть от текущего фокусного расстояния либо других параметров. Если фокусное расстояние меньше или равно максимальному фокусному расстоянию системы фиксации изображений (f≤f_max) и значение фокусировки больше восьмидесяти процентов от максимального значения фокусировки, определенного ранее, (V(f)>0,8V_max), процесс обработки возвращается к этапу 116, где оценивается другое изображение. В противном случае процесс обработки переходит на этап 126.

На этапе 126 вычисляется оптимальное фокусное расстояние f_opt, и процесс обработки для данной последовательности изображений заканчивается (либо в случае, когда система фиксирует изображения, для которых необходимо оценить значение фокусировки, процесс обработки прекращается, пока не понадобится новое фокусное расстояние).

На фиг. 5 показаны значения фокусировки для изображений четырех последовательностей (нормализованные относительно максимального значения фокусировки в каждой тестовой последовательности). Изображения, отмеченные кружочками (О), являются хорошо сфокусированными изображениями. Как видно из фиг. 5, вычисленные значения фокусировки могут помочь пользователю идентифицировать хорошо сфокусированные изображения для четырех последовательностей.

В приведенном выше описании изобретение описано со ссылками на конкретные приведенные в качестве примера варианты его осуществления. Однако очевидно, что в изобретение могут быть внесены различные изменения и предложены его различные модификации в рамках сущности и объема изобретения, как изложено в прилагаемой формуле изобретения. Соответственно данное описание и чертежи следует рассматривать как иллюстрации, а не как ограничения.

Изобретение относится к области цифрового формирования изображения, в частности к системам автоматического фокусирования в системе фиксации изображения. Техническим результатом является повышение скорости и точности автоматического фокусирования для фиксации изображений. Технический результат достигается тем, что осуществляют выбор представляющей интерес области в изображении и представляющей интерес цветовой плоскости, выполняют фильтрацию представляющей интерес области для формирования отфильтрованного участка, определяют среднее абсолютное значение для отфильтрованного участка и максимальное среднее абсолютное значение, определяют, превышает ли среднее абсолютное значение для отфильтрованного участка величину в процентах от максимального среднего абсолютного значения, устанавливают оптимальное фокусное расстояние равным фокусному расстоянию, на котором фиксируется изображение, если среднее абсолютное значение для отфильтрованного участка больше максимального среднего абсолютного значения, выдают оптимальное фокусное расстояние, если среднее абсолютное значение для отфильтрованного участка не превышает величины в процентах от максимального среднего абсолютного значения. 2 с. и 15 з.п. ф-лы, 5 ил., 1 табл.

1. Способ для определения оптимального фокусного расстояния для объекта съемки с использованием изображения объекта съемки, включающий (a) выбор в изображении области, представляющей интерес; (b) выбор представляющей интерес цветовой плоскости; (c) фильтрацию представляющей интерес цветовой плоскости в представляющей интерес области для создания отфильтрованного участка, (d) определение среднего абсолютного значения отфильтрованного участка и максимального среднего абсолютного значения, (e) определение того, превышает ли среднее абсолютное значение для отфильтрованного участка величину в процентах от максимального среднего абсолютного значения, вычисленного ранее, (f) установку оптимального фокусного расстояния равным фокусному расстоянию, на котором фиксируется изображение, если среднее абсолютное значение для отфильтрованного участка больше максимального среднего абсолютного значения, вычисленного ранее, и выдачу оптимального фокусного расстояния, если (g) среднее абсолютное значение для отфильтрованного участка не превышает величины в процентах от максимального среднего абсолютного значения, вычисленного ранее.2. Способ по п.1, в котором фильтрация представляющей интерес цветовой плоскости включает разделение представляющей интерес цветовой плоскости на ряд подобластей и фильтрацию каждой подобласти.3. Способ по п.1, в котором фильтрация представляющей интерес цветовой плоскости включает фильтрацию представляющей интерес цветовой плоскости с использованием фильтра с конечной импульсной характеристикой.4. Способ по п.3, в котором фильтр с конечной импульсной характеристикой представляет собой фильтр с конечной импульсной характеристикой с отводами.5. Способ по п.1, включающий после этапа (f) определение того, находится ли фокусное расстояние в диапазоне значений фокусировки, при этом оптимальное фокусное расстояние выдается, если среднее абсолютное значение для отфильтрованного участка не превышает величины в процентах от максимального среднего абсолютного значения, вычисленного ранее, и фокусное расстояние не находится в диапазоне значений фокусировки.6. Способ по п.1, включающий изменение фокусного расстояния на размер шага перед этапом (е), фиксацию второго изображения с этим фокусным расстоянием и его оценку согласно этапам (с) - (g) для упомянутого второго изображения.7. Способ по п.6, в котором размер шага определяется следующей формулой:

где f_s - размер шага;

f_max - максимальное фокусное расстояние системы фиксации изображений для фиксации изображения;

f_min - минимальное фокусное расстояние системы фиксации изображений;

SN определяет общее количество оценок изображения;

SFN связано с установкой диафрагменного числа и фокусным расстоянием.

где f_s - размер шага;

f_max - максимальное фокусное расстояние системы фиксации изображений для фиксации изображения;

f_min - минимальное фокусное расстояние системы фиксации изображений;

SN определяет общее количество оценок изображения;

SFN связано с установкой диафрагменного числа и фокусным расстоянием.