УСТРОЙСТВО СЪЕМКИ ИЗОБРАЖЕНИЙ И ЕГО СПОСОБ УПРАВЛЕНИЯ Российский патент 2016 года по МПК G02B7/28 G03B13/36 

Область техники, к которой относится изобретение

Изобретение относится к устройству съемки изображений, имеющему элемент съемки изображений, обеспечивающий фотоэлектрическое преобразование изображения объекта, и способу управления такого устройства и, в частности, касается управляющего устройства и способа автоматической фокусировки (далее называемой AF) на основе сигнала, полученного в результате фотоэлектрического преобразования на выходе элемента съемки изображений.

Уровень техники

В известном уровне техники для управления автоматической фокусировкой для настройки фокуса, например цифровой камеры, в основном используют управление AF по разности фаз, которое применяется в однообъективной цифровой зеркальной камере, и управление AF по контрастности, которое применяют в компакт-камере или т.п. Отличительная особенность этих способов управления AF состоит, например, в том, что в случае AF по разности фаз может бать обеспечена высокоскоростная настройка фокуса, а в случае AF по контрастности может быть обеспечена точная настройка фокуса.

Например, в патентной литературе 1 раскрыт способ выполнения оценки контрастности на основе сигнала от датчика AF по разности фаз. В патентной литературе 2 раскрыт способ, согласно которому используется элемент съемки изображений, способный отдельно принимать свет, проходящий через разные области зрачка, и генерируется изображение, подвергаемое настройке фокуса, путем использования сигнала, который выдается элементом съемки изображений (то есть, после обработки съемки изображения).

Список литературы

Патентная литература

Литература 1: Выложенная патентная заявка Японии №H07-199052.

Литература 2: Выложенная патентная заявка Японии №2007-4471.

Сущность изобретения

Техническая проблема

Однако согласно известному уровню техники, раскрытому в вышеуказанной патентной литературе, бывает, что не удается обеспечить достаточно высокую точность фокусировки, и тогда получается изображение, в котором намеченный объект оказывается не в фокусе. То есть, согласно патентной литературе 1, поскольку датчик для выполнения расчета контрастности и датчик для выполнения съемки изображения разные, то получается, что не всегда можно повысить точность фокусировки. Согласно патентной литературе 2, хотя после съемки изображения можно получить изображение с измененной точкой фокусировки, диапазон, в котором можно точно изменять фокус, ограничен, и при выходе за пределы этого диапазона трудно получить нормальное изображение.

Решение проблемы

Настоящее изобретение выполнено с учетом вышеописанной ситуации с целью одновременной реализации AF по разности фаз и AF по контрастности на основе информации о свете, поступающем в элемент съемки изображений и проходящем через разные области зрачка. Согласно настоящему изобретению устройство съемки изображений, включающее в себя элемент съемки изображений, для фотоэлектрического преобразования оптического изображения объекта, которое поступает через фотографический объектив, и вывода сигнала изображения, содержит: средство деления зрачком для деления зрачком света от фотографического объектива на основе микролинз; датчик, имеющий средство вывода для вывода сигналов, соответствующих зарядам, разделенным средством деления зрачком; средство генерации изображения для генерации изображения, соответствующего каждой из позиций на плоскости изображения, путем изменения выходных сигналов датчика, подлежащих синтезу на основе величин сдвига сигналов, соответствующих множеству позиций на плоскости изображения; и средство оценки контрастности для вычисления оценочного значения контрастности изображения, сгенерированного средством генерации изображения.

Положительные эффекты изобретения

Согласно настоящему изобретению можно получить устройство съемки изображений, способное обеспечивать управление AF c высоким быстродействием и высокой точностью фокусировки.

Краткое описание чертежей

Фиг. 1 - блок-схема, иллюстрирующая конструкцию устройства съемки изображений согласно варианту осуществления изобретения;

Фиг. 2А, 2В и 2С - концептуальные схемы оптической системы устройства съемки изображений согласно первому варианту осуществления настоящего изобретения;

Фиг. 3А, 3В и 3С - блок-схемы, иллюстрирующие последовательность операций для управления AF согласно первому варианту осуществления изобретения;

Фиг. 4А, 4В и 4С - блок-схемы, иллюстрирующие последовательность операций для управления AF согласно первому варианту осуществления изобретения;

фиг. 5 - концептуальная схема оптической системы, предназначенная для описания операции AF по контрастности;

фиг. 6А, 6В, 6С и 6D - концептуальные схемы, предназначенные для описания операции переформирования изображения;

фиг. 7А, 7В и 7С - концептуальные схемы оптической системы, которую можно использовать с настоящим изобретением.

Описание вариантов осуществления изобретения

Далее со ссылками на сопроводительные чертежи подробно описываются предпочтительные варианты осуществления настоящего изобретения.

Пример 1

Устройство съемки изображений согласно первому варианту осуществления настоящего изобретения описывается ниже со ссылками на фиг. 1-7С.

На фиг. 1 представлена блок-схема, иллюстрирующая конструкцию системы цифровой камеры, служащей в качестве устройства съемки изображений, согласно настоящему изобретению. Система 100 состоит из камеры 101 и объектива 102 и имеет систему съемки изображений, систему для обработки изображений, систему записи и воспроизведения и систему управления. Система съемки изображений включает в себя фотографическую оптическую систему 103 и элемент 106 съемки изображений. Система обработки изображений включает в себя блок 107 обработки изображений. Система записи и воспроизведения включает в себя блок 108 памяти и блок 109 отображения. Система управления включает в себя блок 105 управления системой камеры, блок 110 обнаружения операции, блок 112 управления системой объектива и блок 113 привода объектива. Блок 113 привода объектива может приводить в движение линзу фокусировки, линзу коррекции размывания изображения, ирисовую диафрагму и т.п.

Система съемки изображений представляет собой оптическую систему обработки, предназначенную для фокусировки света (оптического изображения) от объекта на плоскость съемки изображения элемента 106 съемки изображений через фотографическую оптическую систему 103, имеющую фотографический объектив. На поверхности (фоточувствительной поверхности) элемента 106 съемки изображений скомпонованы микролинзы в виде матрицы, называемой далее матрицей микролинз (MLA). В настоящем варианте осуществления MLA образует средство деления зрачком. Подробности функционирования и компоновки MLA будут описаны ниже с привлечением фиг. 2А-2С. Используя средство деления зрачком, можно получить оценочное значение фокуса/подходящую величину экспозиции исходя из выходного сигнала элемента 106 съемки изображений. Таким образом, обеспечивается надлежащая настройка фотографической оптической системы 103 на основе полученной информации, указанной выше. Элемент 106 съемки изображений может быть подвергнут воздействию света надлежащей величины, поступающего от объекта, и объект может быть сфокусирован в окрестности элемента 106 съемки изображений.

Блок 107 обработки изображения имеет аналого-цифровой преобразователь, схему баланса белого, схему гамма-коррекции, схему для выполнения операции интерполяции и т.п., генерирует изображение для записи путем обработки изображения. Также могут быть предусмотрены средство сдвига изображения, средство генерации изображения, средство оценки контрастности, средство вычисления корреляции и т.п., являющиеся признаками изобретения (в настоящем варианте осуществления эти элементы сформированы в виде управляющей программы в системе управления камерой).

Блок 108 памяти содержит не только блок хранения для фактического сохранения данных, но также и обрабатывающий блок, необходимый для записи. Блок 108 памяти выводит данные в блок записи, а также генерирует и запоминает изображение, которое выводится на блок 109 отображения. Блок 108 памяти также выполняет обработку сжатия изображения, движущегося изображения, аудио или т.п., используя заранее определенный способ.

Блок 105 управления системой камеры генерирует и выводит синхронизирующий сигнал и т.п. в момент съемки изображения и управляет каждой из системы съемки изображений, системы обработки изображений и системы записи и воспроизведения в ответ на внешнюю операцию. Например, блок 110 обнаружения операции обнаруживает нажатие на кнопку спуска затвора (не показана) и управляет возбуждением (фотоэлектрическим преобразованием) элемента 106 съемки изображений, работой блока 107 обработки изображений, обработкой сжатия блока 108 памяти и т.п. Кроме того, блок 105 управления системой камеры и блок 109 отображения также управляют состоянием каждого элемента устройства отображения информации для отображения информации на жидкокристаллическом мониторе или т.п.

Далее описывается операция настройки оптической системы, выполняемой системой управления. Блок 107 обработки изображений подсоединен к блоку 105 управления камерой, и на основе сигнала изображения от элемента 106 съемки изображений получают позицию фокуса и позицию ирисовой диафрагмы, которые соответствуют условиям фотографирования. Блок 105 управления системой камеры передает команду в блок 112 управления системой объектива через электрическое соединение 111. Блок 112 управления системой объектива управляет блоком 113 привода объектива в соответствии с командой. Кроме того, к блоку 112 управления системой объектива подсоединен датчик обнаружения вибраций (не показан). В режиме выполнения коррекции вибраций управление линзой коррекции вибраций осуществляется через блок 113 привода объектива на основе сигнала датчика обнаружения вибраций.

Далее на фиг. 2А-2С представлены схемы, описывающие признаки фотографической оптической системы по настоящему варианту осуществления. Чтобы использовать изобретение, необходимо получить информацию об угле, а также позиции лучей, информация которых называется информацией о световом поле или т.п. В настоящем варианте осуществления для получения информации об угле MLA скомпонована рядом с плоскостью съемки изображения фотографической оптической системы 103 и предусмотрено множество пикселей, соответствующих одной из микролинз, образующих MLA.

На фиг. 2А представлена схема, концептуально иллюстрирующая отношение соответствия между элементом 106 съемки изображений и MLA 220. На фиг. 2В представлена концептуальная схема, иллюстрирующая соответствие между пикселями элемента 106 съемки изображений и MLA 220. На фиг. 2С представлена схема, показывающая, что пиксели, расположенные под MLA 220, скомпонованы таким образом, что они соответствуют конкретным областям зрачка.

Как показано на фиг. 2А, MLA 220 скомпонована на элементе 106 съемки изображений таким образом, что главная передняя точка MLA 220 расположена рядом с плоскостью фокусировки фотографической оптической системы 103. На фиг. 2А показан вертикальный вид сбоку элемента 106 съемки изображений и вид спереди на MLA. Линзы MLA 220 скомпонованы так, что они покрывают пиксели на элементе 106 съемки изображений. Хотя каждая из микролинз, образующих MLA 220, показана на фиг. 2А для облегчения просмотра в увеличенном виде, в действительности, каждый размер микролинзы примерно в несколько раз больше размера пикселя (действительный размер будет указан при описании фиг. 2В).

На фиг. 2В представлен вид спереди с частичным увеличением на MLA 220 по фиг. 2А. В кадре, скомпонованном в матричном виде на фиг. 2В, показан каждый пиксель элемента 106 съемки изображений. Микролинзы, образующие MLA 220, показаны жирными окружностями 220а, 220b, 220с и 220d соответственно. Как будет очевидно из фиг. 2В, для одной микролинзы выделено множество пикселей. В примере, показанном на фиг. 2В, на каждую микролинзу приходится соответственно (5 строк × 5 столбцов =) 25 пикселей, образующих одну группу. То есть, размер каждой микролинзы в (5×5) раз превышает размер пикселя.

На фиг. 2С представлена схема, где показано сечение одной микролинзы в том случае, когда разрез MLA выполнен так, что ее сечение включает в себя оптическую ось микролинзы, а продольное направление (направление X) элемента съемки изображений параллельно поперечному направлению для данной схемы. Ссылочные позиции 221, 222, 223, 224 и 225 на фиг. 2С обозначают пиксели (один элемент фотоэлектрического преобразования) элемента 106 съемки изображений. Схема, показанная в верхней части фиг. 2С, иллюстрирует плоскость выходного зрачка фотографической оптической системы 103. В действительности, хотя плоскость выходного зрачка (X-Y) параллельна вертикальному направлению (направление Y) поверхности листа (фиг. 2С) в соответствии с совпадающими направлениями плоскости выходного зрачка и датчика, показанными в нижней части фиг. 2С, направление плоскости выходного зрачка изменено в описательных целях. Для упрощения описания фиг. 2С далее описывается обработка одномерной проекции/одномерного сигнала. То есть, предполагается, что деление зрачком является одномерным (только пиксели 231-235), и соответствующая компоновка пикселей также выполнена одномерной, например, только пиксели 221а-225а на фиг. 4В. Это допущение также используется при описании фиг. 6А-6D. Не представляет труда распространить это описание на случай обработки двумерных проекций/сигналов в реальном устройстве.

Между пикселями 221, 222, 223, 224 и 225 на фиг. 2С и пикселями 221а, 222а, 223а, 224а 225а на фиг. 2В соответственно имеются отношения позиционного соответствия. Как показано на фиг. 2С, каждый пиксель сформирован таким образом, что он сопрягается с конкретной областью выходного зрачка на плоскости выходного зрачка фотографической оптической системы 103 с помощью MLA 220. В примере на фиг. 2С друг другу соответствуют пиксель 221 и область 231, пиксель 222 и область 232, пиксель 223 и область 233, пиксель 224 и область 234 и пиксель 225 и область 235 соответственно. То есть, на пиксель 221 поступает только тот свет, который проходит через область 231 на плоскости выходного зрачка фотографической оптической системы 103. Это верно и для всех других пикселей. В результате информацию об угле падения света можно определить из позиционных отношений между областью прохождения света на плоскости зрачка и пикселями на элементе 106 съемки изображений.

Обработка для получения оценочного значения фокуса из выходного сигнала элемента 106 съемки изображений посредством использования фотографической оптической системы, показанной в варианте осуществления, будет описана посредством использования фиг. 3А-3С, 4А-4С, 5 и 6А-6D.

На фиг. 3А-3С и фиг. 4А-4С представлены блок-схемы последовательности операций для получения оценочного значения фокуса согласно изобретению. На фиг. 3А показана блок-схема последовательности операций всего функционирования для получения оценочного значения фокуса, на фиг. 3В показана блок-схема последовательности операций для функционирования средства сдвига изображения, а на фиг. 3С показана блок-схема последовательности операций для функционирования средства генерации изображения соответственно. Эти операции обработки обеспечиваются способом, в результате которого блок 105 управления системой камеры загружает каждую управляющую программу из запоминающего устройства (не показано) и осуществляет ее выполнение. Далее следует описание в порядке этапов, начиная с фиг. 3А.

Этап S301 указывает начало операции получения оценочного значения фокуса. Например, он соответствует случаю запуска операции фотографирования, когда блок 110 обнаружения операции в устройстве съемки изображений (фиг. 1) обнаруживает конкретную операцию от фотографа (например, нажатие на спусковую кнопку).

Этап S302 соответствует случаю, когда под управлением блока 105 управления системой камеры элемент 106 съемки изображений экспонируется в соответствии с условиями фотографирования, выполняется считывание (аналого-цифровое преобразование), в результате чего получают данные (сигнал съемки изображения объекта). Хотя величину экспозиции во время фотографирования также можно вычислить исходя из времени экспозиции и величины экспозиции в этом случае, то, поскольку этот этап не относится к отличительным признакам изобретения, его описание опущено.

Этапы S303-S308 относятся к циклической обработке. На этапе S303 при сдвиге оценочной позиции фокуса (соответствующей позиции переформирования изображения, которое будет описано далее с использованием фиг. 6А-6D) на заранее определенную величину (этап) от начального предварительно заданного значения выполняется вычисление вплоть до заранее определенного конечного значения. Оценочное значение фокуса определяют исходя из наилучшего значения среди всех оценочных значений, полученных в течение цикла, и в качестве точки фокуса получают соответствующую оценочную позицию.

На этапе S304 блок 105 управления системой камеры приводит в действие средство сдвига изображения, в результате чего получают величину сдвига изображения. Подробности функционирования средства сдвига изображения описаны ниже с использованием блок-схемы последовательности операций на фиг. 3В.

На этапе S305 блок 105 управления системой камеры приводит в действие средство генерации изображения, осуществляя генерацию изображения. Подробности функционирования средства генерации изображения описаны ниже с использованием блок-схемы последовательности операций на фиг. 3С.

На этапе S306 блок 105 управления системой камеры приводит в действие средство оценки контрастности, получая оценочное значение контрастности. Подробности функционирования средства оценки контрастности описаны ниже с использованием блок-схемы последовательности операций на фиг. 4А.

На этапе S307 блок 105 управления системой камеры приводит в действие средство вычисления корреляции, получая тем самым значение корреляции. Подробности функционирования средства вычисления корреляции описаны ниже с использованием блок-схемы последовательности операций на фиг. 4В.

На этапе S309 блок 105 управления системой камеры приводит в действие средство оценки фокуса, получая тем самым оценочное значение фокуса. Подробности функционирования средства оценки фокуса описаны ниже с использованием блок-схемы последовательности операций на фиг. 4С.

В результате, путем выполнения лишь однократного считывания элементом 106 съемки изображений на этапе S302 можно получить оценочное значение фокуса, в том числе оценочное значение контрастности, и добиться высокой скорости обработки.

Далее с использованием блок-схемы последовательности операций на фиг. 3В подробно описывается функционирование средства сдвига изображения.

Этап S321 указывает на начало функционирования средства сдвига изображения.

Этапы S322-S326 являются циклической обработкой. На этапе S322 выполняется циклическое вычисление количества деления зрачком (количество пикселей элемента съемки изображений, соответствующее одной микролинзе). Например, поскольку в примере, показанном на фиг. 2А-2С, микролинза разделена на 25 областей (в двух измерениях), вычисляют величину сдвига изображения, соответствующую позиции каждой из 25 областей. Как описано ниже с использованием фиг. 6А-6D, даже в одной и той же плоскости переформирования при переформировании изображения (это синонимично тому, что область зрачка, через которую проходит свет, окажется другой в случае, когда имеется достаточное расстояние до выходного зрачка), для разных углов падения величина смещения изображения будет разной. Эта циклическая обработка выполняется для учета указанного обстоятельства при генерации изображения.

На этапе S323 на основе данных из этапа S324 вычисляют величину сдвига каждой области зрачка, соответствующей оценочной позиции. На этапе S324 сохраняется отношение соответствия между каждым пикселем и MLA и сохраняется информация, исходя из которой, можно узнать, из какой области зрачка поступает свет на каждый пиксель.

На этапе S325 пиксели, принимаемые лучи под одним и тем же углом падения (принимаемые лучи от одной и той же области зрачка), сдвигаются на основе информации полученной на этапе S323.

Например, ссылочные позиции 225а и 225b на фиг. 2А-2С соответствуют пикселям, принимающим свет под одним и тем же углом падения. Количество указанных пикселей равно количеству микролинз, образующих MLA.

На этапе S327 стандартная подпрограмма обработки возвращается к этапу S304, на котором эта стандартная подпрограмма была вызвана.

Средство сдвига изображения будет более детально описано ниже с использованием фиг. 6А-6D. Далее с использованием блок-схемы последовательности операций на фиг. 3С описывается функционирование средства генерации изображения.

Этап S331 указывает начало функционирования средства генерации изображения.

На этапе S332 инициализируются (заполняются нулями) данные в области для их суммирования на этапе S335. Достаточно, чтобы размер области данных в этом примере был равен размеру, соответствующему количеству микролинз, и удобно, если градация данных будет определяться возможностью сохранения произведения градации исходных данных на количество деления зрачком. Например, если предположить, что исходные данные представляют собой 8-битовые данные, а количество деления зрачком равно 25, то тогда нет необходимости учитывать переполнение данных при обработке арифметической операции в случае 13 бит (>8 бит + log₂25).

Этапы S333-S337 являются циклической обработкой. На этапе S333 циклическое вычисление выполняется в соответствии с количеством микролинз, образующих MLA (то есть, применительно к каждой микролинзе). Например, в примере, показанном на фиг. 2А-2С, значение [(количество пикселей исходного элемента съемки изображений) + 25 (количество деления зрачком)] равно количеству микролинз.

Этапы S334-S336 относятся к циклической обработке. На этапе S334 циклическая обработка выполняется в соответствии с количеством деления зрачком. Например, в примере, показанном на фиг. 2А-2С, поскольку микролинза разделена на 25 областей, суммируется свет от каждой из 25 областей (этап S335). Когда величина сдвига не составляет целое число пикселей на этапе S335 суммирования, свет делится надлежащим образом. (Например, свет суммируется надлежащим образом в соответствии с областью перекрытия). Таким образом, выполняется переформирование изображения, сфокусированного в каждой оценочной позиции. Данные сгенерированного изображения запоминаются в блоке 108 памяти или другом средстве хранения (не показано) под управлением блока 105 управления системой камеры. Таким образом, созданное изображение может быть переформировано и отображено.

На этапе S338 стандартная подпрограмма обработки возвращается к этапу S305, на котором эта стандартная подпрограмма была вызвана.

Далее подробно описывается средство генерации изображения с использованием фиг. 6А-6D.

Подробности функционирования средства оценки контрастности описываются с использованием блок-схемы последовательности операций на фиг. 4А. Этап S441 указывает начало функционирования средства оценки контрастности.

На этапе S442 устанавливают количество оцениваемых точек в отношении контрастности и размер оцениваемого кадра (например, кадр, где оцениваемая точка используется в качестве центра). При установке большего количества оцениваемых точек можно добиться покрытия всего экрана отображения. Однако возникает проблема, заключающаяся в том, что для оценки потребуется время. Надлежащее количество оцениваемых точек устанавливается пользователем или т.п. С другой стороны, если установленный для оценки кадр велик, то даже в случае текстуры, где локально не существует много рисунков, изображение может быть в фокусе. Однако, если оцениваемый кадр слишком велик, то возникает так называемый конфликт перспективы, когда одновременно оцениваются изображения объектов, находящихся на разных расстояниях. Таким образом, правильная установка размера оцениваемого кадра открывает возможность решения этих проблем.

Этапы S443-S451 относятся к циклической обработке. На этапе S443 многократно выполняется арифметическая операция с тем, чтобы получить оценочное значение, соответствующее оцениваемой точке, определенной на этапе S442.

Этапы S444-S446 относятся к циклической обработке. На этапе S444 выполняется первичная арифметическая операция для оценки контрастности в отношении пикселей в каждом оцениваемом кадре, определенном на этапе S442. Как показано на этапе S445, выполняется первичная арифметическая операция для оценки контрастности ∑|S_i-S_i-1|. Здесь S_i обозначает яркость, которая выдается i-м средством генерации изображения. Посредством вышеуказанного вычисления можно интегрировать разность яркостей между соседними пикселями. Однако в описании этого этапа выражение, соответствующее случаю одномерной компоновки изображения, показано для того, чтобы упростить описание. В двумерных изображениях могут быть интегрированы разности яркости в вертикальном и поперечном направлениях или может быть надлежащим образом проинтегрирована разность яркости только в одном направлении.

Этапы S447-S449 относятся к циклической обработке. На этапе S447 выполняется вторичная арифметическая операция для определения контрастности применительно к пикселям в каждом оцениваемом кадре, определенном на этапе S442. Как показано на этапе S448, вторичная арифметическая операция для определения контрастности выполняется согласно выражению ∑(S_i-S_i-1)². Также в описании этого этапа для облегчения понимания приведено выражение, соответствующее случаю одномерной компоновки изображений.

На фиг. 5 показана концептуальная схема изменения S_i в момент изменения точки фокуса. На средней схеме по фиг. 5 показано наилучшее состояние фокусировки, а верхняя и нижняя схемы фиг. 5 показывают состояние, когда изображение размыто. При изменении точки фокусировки, как показано стрелкой на фиг. 5, появляется область, имеющая большое изменение яркости (= участок высокой контрастности), и вокруг этой области контрастность понижается. Однако, даже при уменьшении контрастности интегральная разность яркости между соседними пикселями (= первичная контрастность) изменяется не сильно. На фиг. 5 интегральная первичная контрастность от S_i-3 до S_i+3 становится почти равной разности между S_i-3 и S_i+3 и сильно не изменяется для данной точки фокусировки. С другой стороны, вторичная контрастность значительно изменяется в соответствии с точкой фокусировки.

Таким образом, на этапе S450 в качестве оценочного значения контрастности устанавливают значение, полученное путем деления вторичной контрастности на квадрат первичной контрастности. Благодаря вышеуказанной обработке оценочное значение контрастности нормализуется для данной яркости, и в результате можно получить оценочное значение контрастности объекта в соответствии с точкой фокусировки.

Хотя оценочное значение контрастности получают в настоящем варианте осуществления вышеупомянутым способом, также можно использовать другой способ вычисления, пока не будет получено оценочное значение контрастности в условиях флуктуации фокуса.

На этапе S452 стандартная подпрограмма обработки возвращается к этапу S306, на котором она была вызвана.

Подробности функционирования средства вычисления корреляции описываются ниже с использованием блок-схемы последовательности операций на фиг. 4В.

Этап S461 указывает начало функционирования средства вычисления корреляции.

На этапе S462 способом, аналогичным этапу S442, устанавливают количество оцениваемых точек и размер оцениваемого кадра.

Этапы S463-S468 относятся к циклической обработке. На этапе S463 многократно выполняется арифметическая операция с целью получения оценочного значения, соответствующего каждой из оцениваемых точек, определенных на этапе S462.

Этапы S464-S466 составляют циклическую обработку. На этапе S464 выполняется вычисление корреляции в отношении пикселей в оцениваемом кадре, определенном на этапе S462. Как показано на этапе S465, корреляция вычисляется как ∑|A_i-B_i|. A_i обозначает яркость i-го пикселя, соответствующего конкретной области зрачка, через которую проходит свет. B_i обозначает яркость i-го пикселя, соответствующего области зрачка с яркостью, отличной от A_i. Например, на фиг. 2А-2С достаточно установить яркость, соответствующую матрице только тех пикселей, которые соответствуют пикселю 222, равной A_i, и установить яркость, соответствующую матрице, состоящей только из тех пикселей, которые соответствуют пикселю 224, равной B_i. Для выбора пикселя в области зрачка достаточно определить его на основе эталонной длины, сложившейся ситуации с виньетированием плоскости зрачка и т.п.

Установив вышеупомянутые показатели, можно вычислить корреляцию между изображениями, соответствующими разным пройденным областям зрачка, и можно получить оценочное значение на основе вышеупомянутой автофокусировки (AF) по разности фаз. На этапе S467 полученное значение корреляции запоминают в качестве оценочного значения.

В вышеупомянутом выражении ∑|A_i-B_i| для оценки корреляции участок с минимальным значением корреляции соответствует наилучшему состоянию фокусировки. Хотя здесь вычисление корреляции осуществляется путем суммирования абсолютных значений разностей, вычисление корреляции можно осуществить, используя другой вычислительный способ, такой как способ суммирования максимальных значений, способ суммирования минимальных значений, способ суммирования дифференциальных квадратичных значений или т.п.

На этапе S469 стандартная подпрограмма обработки возвращается к этапу S307, на котором она была вызвана.

Подробности функционирования средства оценки фокуса описываются ниже с использованием блок-схемы последовательности операций на фиг. 4С. Этап S471 указывает начало функционирования средства оценки фокуса.

На этапе S472 получают наилучшую позицию для вычисления корреляции, полученную в цикле этапов S303-S308 (фиг. 3А), и получают наилучшую позицию фокуса с помощью средства вычисления корреляции. В значении корреляции, показанном на этапе S465 (фиг. 4В), в качестве наилучшей позиции фокуса принимается позиция с минимальным значением.

На этапе S474 определяют, превышает ли позиция фокуса с наилучшей корреляцией предельное значение оценки контрастности, полученное на этапе S473. Это делается потому, что при переформировании изображения, которое будет описано с использованием фиг. 6А-6D, поскольку диапазон переформирования, определенный исходя из оптической схемы, используемой для получения информации об угле, определен заранее, необходимо решить, превышает ли позиция фокуса с наилучшей корреляцией указанное значение.

Если превышает, то стандартная подпрограмма обработки переходит к этапу S475, где в качестве оценочного значения фокуса используют позицию, для которой получена наилучшая корреляция.

Если указанное значение не превышено, то далее следует этап S476 получения позиции с максимальной контрастностью, и получения наилучшей позиции фокуса, осуществляемого средством оценки контрастности. Согласно выражению, показанному на этапе S450 на фиг. 4А, в качестве наилучшей позиции фокуса принимают позицию с максимальным значением. Далее следует этап S477, где в качестве оценочного значения фокуса используют позицию, полученную исходя из наилучшей контрастности. Блок 105 управления системой камеры генерирует команду на приведение в движение объектива исходя из оценочного значения фокуса и передает ее в блок 112 управления системой объектива через электрическое соединение 111. Блок 112 управления системой объектива управляет блоком 113 привода объектива на основе полученной команды на приведение в движение объектива и приводит в движение фотографическую оптическую систему 103.

На этапе S478 стандартная подпрограмма обработки возвращается к этапу S309, на котором она была вызвана.

Далее на фиг. 6А-6D концептуально показаны сдвиг изображения и генерация изображения, а также описывается достоверность вычисления контрастности путем переформирования изображения.

Обратимся к фиг. 6А-6D, где на фиг. 6D показана плоскость, в которой в действительности находится элемент 106 съемки изображений и где получают изображение. На фиг. 6А показана плоскость переформирования (плоскость 1 переформирования) на стороне объекта. На фиг. 6С показана плоскость переформирования (плоскость 2 переформирования) на дальней стороне от объекта. Как упоминалось выше, на этих схемах для того, чтобы сделать описание более понятным, установлено одномерное направление деления зрачком и одномерная компоновка пикселей.

На фиг. 6В X_1,i, X_2,i, X_3,i, X_3,i и X_5,i обозначают данные (данные изображения), полученные после прохождения света через области 1, 2, 3, 4 и 5 зрачка и вхождения в микролинзу X_i соответственно. То есть, первая часть индекса указывает область зрачка, через которую проходит свет, а последняя часть указывает номер микролинзы. В соответствии с физической позицией X_1,i указывает данные, полученные из области 221 на фиг. 4С, а X_2,i указывает данные, полученные из области 222 на фиг. 4С. Числа 3, 4 и 5 в индексах указывают, что данные соответствуют областям 223, 224 и 225 соответственно.

Для генерации изображения на плоскости получения изображения достаточно просуммировать данные (яркость), полученные после поступления света в микролинзу X_i. В частности, интегральное значение в направлении угла вхождения света в микролинзу X_i, можно получить как S_i = X_1,i + X_2,i + X_3,i + X_4,i + X_5,i. Путем выполнения вышеописанной обработки для всех микролинз генерируется изображение, аналогичное изображению, создаваемому обычной камерой.

Далее рассматривается способ генерации изображения на плоскости 1 переформирования. Как было описано в связи с фиг. 2А-2С, в фотографической оптической системе согласно настоящему варианту осуществления, поскольку свет, поступающий на каждый пиксель, ограничен конкретной областью зрачка, угол падения известен заранее. Позиция каждого пикселя на плоскости переформирования изменяется вдоль указанного угла. В частности, в случае таких данных, как X_1,i, где индекс области зрачка равен 1, предполагается, что свет входит под углом, показанным на фиг. 6D под ссылочной позицией 641. Числа 2, 3, 4 и 5 индексов областей зрачка указывают, что эти данные соответствуют углам 642, 643, 644 и 645 соответственно. В этом случае свет, поступающий в микролинзу X на плоскости переформирования 1, входит со всех направлений в микролинзы от X_i-2 до X_i+2 (в одномерном представлении) в плоскости получения изображения. В частности, свет поступает в микролинзы X_1,i-2, X_2,i-1, X_3,i, X_4,i+1, X_5,i+2. Нетрудно понять, что для восстановления изображения на плоскости 1 переформирования без ограничения X_i требуется лишь сдвинуть и добавить изображение в соответствии с углом падения. Для генерации изображения на плоскости 1 переформирования данные, у которых индекс области зрачка равен 1, сдвигаются вправо на два пикселя, данные, у которых индекс области зрачка равен 2, сдвигаются вправо на один пиксель, а данные, у которых индекс области зрачка равен 3, не сдвигаются. Данные, у которых индекс области зрачка равен 4, сдвигаются влево на один пиксель, а данные, у которых индекс области зрачка равен 5, сдвигаются влево на два пикселя. Таким образом, можно использовать указанный сдвиг в соответствии с углом падения. Затем можно получить данные на плоскости переформирования путем суммирования в вертикальном направлении, показанном на фиг. 6А. В частности, интегральное значение в угловом направлении поступления света, входящего в микролинзу X_i в плоскости 1 переформирования, можно получить как S_i = X_1,i-2 + X_2,i-1 + X_3,i + X_4,i+1 + X_5,i+2. Таким образом, можно получить изображение в плоскости переформирования.

Положим теперь, что в X_i на плоскости 1 переформирования имеется яркая точка, свет диспергируется по X_1,i-2, X_2,i-1, X_3,i, X_4,i+1 и X_5,i+2, и на плоскости получения изображения имеет место состояние так называемого «размывания изображения». Однако, благодаря тому, что изображение генерируется на вышеупомянутой плоскости 1 переформирования, яркая точка вновь формируется в X_i, и получается изображение с высокой контрастностью. То есть, благодаря переформированию изображения и вычислению контрастности можно выполнить, так называемую, «AF контрастности».

Как будет понятно из фиг. 6С, изображение может быть создано и в плоскости 2 переформирования по существу тем же способом, который был использован для плоскости 1 переформирования. Если направление компоновки плоскости переформирования другое (это означает направление со стороны, противоположной объекту), то достаточно будет просто изменить направление сдвига на противоположенное.

Далее с использованием фиг. 7А-7С описывается пример другой оптической системы, где можно применить вариант осуществления. На фиг. 7А-7С представлены схемы, концептуально иллюстрирующие состояние, в котором свет от объекта (объект, подлежащий фотографированию) фокусируется на элементе 106 съемки изображений. Система на фиг. 7А соответствует оптической системе, описанной на фиг. 2А-2С, и представляет собой пример, в котором MLA 220 скомпонована в окрестности плоскости съемки изображения фотографической оптической системы 103. На фиг. 7В показан пример, где MLA 220 скомпонована ближе к объекту, чем плоскость съемки изображения фотографической оптической системы 103. На фиг. 7С показан пример, где MLA 220 скомпонована дальше от объекта, чем плоскость съемки изображения фотографической оптической системы 103.

На фиг. 7А-7С ссылочная позиция 106 обозначает элемент съемки изображений; ссылочная позиция 220 обозначает MLA; ссылочные позиции 231-235 обозначают области зрачка, используемые на фиг. 2А-2С; ссылочная позиция 751 обозначает плоскость объекта; ссылочные позиции 751а и 751b обозначают надлежащие точки на объекте; и ссылочная позиция 752 обозначает плоскость зрачка фотографической оптической системы. Ссылочные позиции 761, 762, 771, 772, 773, 781, 782, 783 и 784 обозначают конкретные микролинзы в MLA соответственно. На фиг. 7В и 7С ссылочная позиция 106а обозначает виртуальный элемент съемки изображений, а ссылочная позиция 220а обозначает виртуальную MLA. Они показаны в качестве ссылок для уяснения соответствия с фиг. 7А. Свет, который выходит из точки 751а на объект и проходит через области 231 и 233 на плоскости зрачка, показан сплошными линиями, а свет, выходящий из точки 751b на объекте и проходящий через области 231 и 233 на плоскости зрачка, показан пунктирными линиями.

В примере, показанном на фиг. 7А, описанном также с использованием фиг. 2А-2С, благодаря компоновке MLA 220 в окрестности плоскости съемки изображений фотографической оптической системы 103 элемент 106 съемки изображений и плоскость 752 зрачка фотографической оптической системы связаны между собой отношением сопряжения. Кроме того, отношением сопряжения связаны плоскость 751 объекта и MLA 220. Таким образом, свет, выходящий из точки 751а на объекте, достигает микролинзы 761, свет, выходящий из точки 751b, достигает микролинзы 762, а свет, проходящий через области 231-235, достигает соответствующих пикселей, предусмотренных под микролинзами соответственно.

В примере на фиг. 7В свет от фотографической оптической системы 103 фокусируется MLA 220, а элемент 106 съемки изображений размещен в плоскости съемки изображений. Благодаря вышеописанной компоновке микролинз плоскость 751 объекта и элемента 106 съемки изображений связаны отношением сопряжения. Свет, который выходит из точки 751 на объекте и проходит через область 231 в плоскости зрачка, достигает микролинзы 771. Свет, который выходит из точки 751а на объекте и проходит через область 233 в плоскости зрачка, достигает микролинзы 772. Свет, который выходит из точки 751b на объекте и проходит через область 231 в плоскости зрачка, достигает микролинзы 772, свет, который выходит из точки 751b на объекте и проходит через область 233 в плоскости зрачка, достигает микролинзы 773. Свет, который проходит через каждую микролинзу, достигает соответствующих пикселей, предусмотренных под микролинзами. Как упоминалось выше, точки на объекте фокусируются соответственно в элементе съемки изображений областями в плоскости зрачка. Путем перекомпоновки этих точек по позициям на виртуальном элементе 106а съемки изображений можно получить информацию, аналогичную той, что показана на фиг. 7А. То есть, можно получить информацию об областях зрачка, через которые проходит свет (об углах падения), и позициях на элементе съемки изображений, что обеспечивает выполнение функции средства деления зрачком.

В примере, показанном на фиг. 7С, свет от фотографической оптической системы 103 переформировывается MLA 220 (однажды сфокусированный свет рассеивается и вновь фокусируется (указанная обработка называется здесь «переформированием»)), а элемент 106 съемки изображений размещен в плоскости съемки изображений. Благодаря вышеописанной компоновке микролинз плоскость 751 объекта и элемент 106 съемки изображений связаны отношением сопряженности. Свет, который выходит из точки 751 на объекте и проходит через область 231 в плоскости зрачка, достигает микролинзы 782. Свет, который выходит из точки 751а на объекте и проходит через область 233 в плоскости зрачка, достигает микролинзы 781. Свет, который выходит из точки 751b на объекте и проходит через область 231 в плоскости зрачка, достигает микролинзы 784. Свет, который выходит из точки 751b на объекте и проходит через область 233 в плоскости зрачка, достигает микролинзы 783. Свет, который проходит через каждую из микролинз, достигает соответствующих пикселей, предусмотренных под микролинзами. Путем перекомпоновки этих точек по позициям на виртуальном элементе 106а способом, аналогичным способу, показанному на фиг. 7В, можно получить информацию, аналогичную той, что показана на фиг. 7А. То есть, можно получить информацию об областях зрачка, через которые проходит свет (об углах падения), и позициях на элементе съемки изображений, что обеспечивает выполнение функции средства деления зрачком.

На фиг. 7А-7С показан пример, в котором в качестве средства деления зрачком используется MLA (элемент фазовой модуляции) и где можно получить информацию об углах. Однако можно также использовать другую оптическую конструкцию, коль скоро имеется возможность получения информации о позиции и информации об углах (что эквивалентно ограничению областей зрачка). Например, можно также использовать способ, посредством которого на оптическом пути фотографической оптической системы вставляется маска (элемент амплитудной модуляции), на которой формируется соответствующий рисунок.

Другие примеры

Аспекты настоящего изобретения также можно реализовать с помощью компьютера, системы или устройства (либо с помощью таких устройств, как центральный процессор (CPU) или микропроцессор (MPU)), которое считывает и выполняет программу, записанную в устройстве памяти, для выполнения функций вышеописанного варианта (вариантов) осуществления, либо с помощью способа, этапы которого выполняются компьютером или системой либо устройством, например, путем считывания и выполнения программы, записанной в запоминающем устройстве, для выполнения функций вышеописанного варианта (вариантов) осуществления. С этой целью обеспечивается программа для компьютера, например, предоставляемая через сеть или считываемая с носителя записи различных типов, служащего в качестве устройства памяти (например, считываемый компьютером носитель).

Хотя настоящее изобретение было описано со ссылками на примерные варианты осуществления, должно быть ясно, что изобретение не ограничивается раскрытыми здесь примерными вариантами осуществления. Объем приведенной ниже формулы изобретения должен соответствовать самой широкой интерпретации, охватывающей все указанные модификации, эквивалентные структуры и функции.

Данная заявка испрашивает приоритет в отношении патентной заявки Японии №2011-162090, поданной 25 июля 2011 года, содержание которой целиком включено сюда по ссылке.

Изобретение относится к устройству съемки изображений для одновременной реализации автоматической фокусировки (AF) по разности фаз и AF по контрастности. Устройство определяет величину сдвига сигнала изображения, соответствующего оценочной позиции фокуса для каждой области выходного зрачка. Затем устройство генерирует изображение, соответствующее позиции на плоскости изображения, путем выполнения обработки арифметической операции на основе определенной величины сдвига для сигнала изображения. Далее устройство вычисляет оценочное значение контрастности сгенерированного изображения и вычисляет оценочное значение корреляции между изображениями, соответствующими разным областям выходного зрачка в сгенерированном изображении. Технический результат - повышение быстродействия и точности фокусировки. 7 н. и 7 з.п. ф-лы, 18 ил.

1. Устройство съемки изображений, содержащее:
датчик, имеющий множество микролинз, множество областей фотоэлектрического преобразования, соответствующих одной микролинзе, и блок вывода, который выполнен с возможностью вывода сигнала изображения;
блок генерации изображения, выполненный с возможностью генерации множества изображений, позиции формирования изображения которых взаимно отличаются вследствие сдвига изображений относительно друг друга; и
блок оценки контрастности, выполненный с возможностью вычисления множества оценочных значений контрастности изображений, сгенерированных блоком генерации изображения, которые отличаются в позициях на плоскости изображения друг от друга.

2. Устройство съемки изображений по п. 1, дополнительно содержащее
блок деления зрачком, выполненный с возможностью деления зрачком света от фотографического объектива на основе микролинз,
при этом блок деления зрачком представляет собой матрицу микролинз, скомпонованную на фоточувствительной поверхности элемента съемки изображений, причем матрица микролинз сконструирована так, что множество пикселей, сформированных на фоточувствительной поверхности элемента съемки изображений, разделено на множество групп пикселей соответственно для каждой микролинзы, и микролинза позволяет каждому пикселю из соответствующей группы пикселей соответствовать свету из другой области выходного зрачка фотографического объектива.

3. Устройство съемки изображений по п. 1, дополнительно содержащее блок вычисления корреляции, выполненный с возможностью вычисления оценочного значения корреляции между изображениями, соответствующими разным областям зрачка в сгенерированном изображении.

4. Устройство съемки изображений по п. 3, в котором блок вычисления корреляции вычисляет разность между данными изображения, соответствующими выбранным разным областям выходного зрачка, из числа данных изображения сгенерированного изображения, тем самым вычисляя разность фаз между изображениями, которые проходят через разные области выходного зрачка.

5. Устройство съемки изображений по п. 1, дополнительно содержащее блок принятия решения о позиции «в фокусе», выполненный с возможностью принятия решения о позиции «в фокусе» фотографического объектива исходя из оценочного значения контрастности, вычисленного блоком оценки контрастности.

6. Устройство съемки изображений по п. 4, дополнительно содержащее блок принятия решения о позиции «в фокусе», выполненный с возможностью принятия решения о позиции «в фокусе» фотографического объектива исходя из оценочного значения контрастности, вычисленного блоком оценки контрастности, и разности фаз.

7. Устройство съемки изображений по п. 1, дополнительно содержащее блок памяти, выполненный с возможностью сохранения изображения, сгенерированного блоком генерации изображения, и блок отображения для отображения изображения, сохраненного в блоке памяти.

8. Устройство съемки изображений, включающее в себя элемент съемки изображений для фотоэлектрического преобразования оптического изображения объекта, которое проходит через фотографический объектив, и вывода сигнала изображения, содержащее:
блок деления зрачком, выполненный с возможностью деления зрачком света от фотографического объектива на основе микролинз;
датчик, имеющий блок вывода, выполненный с возможностью вывода сигналов, соответствующих зарядам, разделенным блоком деления зрачком;
блок обнаружения, выполненный с возможностью обнаружения разности фаз между изображениями, которые проходят через разные области зрачка, исходя из корреляции между изображениями, соответствующими разным областям зрачка, полученными из сигнала от датчика;
блок генерации изображения, выполненный с возможностью генерации множества изображений, позиции формирования изображения которых взаимно отличаются, причем множество изображений сгенерировано посредством изменения изображения, подлежащего синтезу, из числа изображений, полученных на основе сигналов от датчика и соответствующих разным областям зрачка; и
блок оценки контрастности, выполненный с возможностью вычисления оценочного значения контрастности изображения, сгенерированного блоком генерации изображения, на основе результата обнаружения разности фаз.

9. Устройство съемки изображений по п. 8, в котором блок деления зрачком представляет собой матрицу микролинз, скомпонованную на фоточувствительной поверхности элемента съемки изображений, причем матрица микролинз сконструирована так, что множество пикселей, сформированных на фоточувствительной поверхности элемента съемки изображений, разделено на множество групп пикселей соответственно для каждой микролинзы, и микролинза позволяет каждому пикселю из соответствующей группы пикселей соответствовать свету из другой области выходного зрачка фотографического объектива.

10. Способ управления устройства съемки изображений, включающего в себя элемент съемки изображений для фотоэлектрического преобразования оптического изображения объекта, которое поступает через фотографический объектив, и вывода сигнала изображения, содержащий:
этап деления зрачком, состоящий в делении зрачком света от фотографического объектива на основе микролинз;
этап вывода, состоящий в получении сигналов, соответствующих зарядам, разделенным на этапе деления зрачком, от датчика;
этап генерации изображения, состоящий в генерации множества изображений, позиции формирования изображения которых взаимно отличаются, причем множество изображений генерируют посредством изменения изображения, подлежащего синтезу, из числа изображений, полученных на основе сигналов от датчика и соответствующих разным областям зрачка; и
этап оценки контрастности, состоящий в вычислении оценочного значения контрастности изображения, сгенерированного на этапе генерации изображения.

11. Способ управления устройства съемки изображений, включающего в себя элемент съемки изображений для фотоэлектрического преобразования оптического изображения объекта, которое поступает через фотографический объектив, и вывода сигнала изображения, содержащий:
этап деления зрачком, состоящий в делении зрачком света от фотографического объектива на основе микролинз;
этап вывода, состоящий в получении сигналов, соответствующих зарядам, разделенным на этапе деления зрачком, от датчика;
этап обнаружения, состоящий в обнаружении разности фаз между изображениями, которые проходят через разные области зрачка, исходя из корреляции между изображениями, соответствующими разным областям зрачка, полученными из сигнала от датчика;
этап генерации изображения, состоящий в генерации множества изображений, позиции формирования изображения которых взаимно отличаются, причем множество изображений генерируют посредством изменения изображения, подлежащего синтезу, из числа изображений, полученных на основе сигналов от датчика и соответствующих разным областям зрачка; и
этап оценки контрастности, состоящий в вычислении оценочного значения контрастности изображения, сгенерированного на этапе генерации изображения, на основе результата обнаружения разности фаз.

12. Невременный считываемый компьютером носитель хранения, хранящий программу, содержащую программный код для инициирования выполнения компьютером способа управления устройства съемки изображений по п. 10.

13. Невременный считываемый компьютером носитель хранения, хранящий программу, содержащую программный код для инициирования выполнения компьютером способа управления устройства съемки изображений по п. 11.

14. Способ управления устройства съемки изображений, включающего в себя датчик, имеющий множество микролинз, множество областей фотоэлектрического преобразования, соответствующих одной микролинзе, и блок вывода, который выполнен с возможностью вывода сигнала изображения, содержащий этапы, на которых:
генерируют множество изображений, позиции формирования изображения которых взаимно отличаются вследствие сдвига изображений относительно друг друга;
вычисляют множество оценочных значений контрастности изображений, сгенерированных блоком генерации изображения, которые отличаются в позициях на плоскости изображения друг от друга;
вычисляют оценочное значение корреляции между изображениями, соответствующими разным областям зрачка в сгенерированном изображении, при этом на этапе вычисления оценочного значения корреляции вычисляют разность между данными изображения, соответствующими выбранным разным областям выходного зрачка, из числа данных изображения сгенерированного изображения, тем самым вычисляя разность фаз между изображениями, которые проходят через разные области выходного зрачка; и
принимают решение о позиции «в фокусе» фотографического объектива исходя из оценочного значения контрастности, вычисленного на этапе оценки контрастности, и разности фаз.