УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ, УСТРОЙСТВО СОЗДАНИЯ ИЗОБРАЖЕНИЯ, ИХ СПОСОБЫ УПРАВЛЕНИЯ И ПРОГРАММА Российский патент 2019 года по МПК G16H30/40 G02B7/28 G03B13/36 H04N5/225 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обработки изображения, устройству создания изображения, и их способам управления.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Известно устройство создания изображения, выполненное с возможностью захвата множества изображений точки обзора одновременно посредством записи лучей света, проходящих через разные области зрачка линзы создания изображения. NPL 1 раскрыло устройство создания изображения, использующее датчик изображения, в котором одна микролинза и множество разделенных фотоэлектрических преобразователей формируются в одном пикселе. В данном датчике изображения, разделенные фотоэлектрические преобразователи принимают лучи света, проходящие через разные частичные области зрачка у линзы создания изображения через одну микролинзу, тем самым реализуя так называемое деление зрачка. Соответственно, выходной сигнал является эквивалентным данным LF (Световое Поле), содержащим информацию пространственного распределения интенсивности света и информацию распределения угла, так что может быть получено множество изображений точки обзора.

[0003] NPL 1 также раскрыло методику изменения фокуса, способную менять позицию фокуса (также именуемую сфокусированной позицией) захваченного изображения после создания изображения посредством генерирования синтетического изображения, сформированного на виртуальной плоскости, отличной от плоскости создания изображения, посредством использования полученных данных LF.

СПИСОК ЦИТИРОВАНИЯ

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[0004] NPL 1: Ren. Ng, и семь соавторов, «Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0005] Иногда необходимо параллельно выполнять операцию по отображению изображения, имеющего измененную точку обзора (изображение с измененной точкой обзора), и операцию по отображению изображения, имеющего измененную позицию фокуса посредством методики изменения фокуса, на основании множества изображений точки обзора. Тем не менее, NPL 1 не учитывает способ параллельной работы по отображению изображения с измененной точкой обзора и отображению изображения с измененной позицией фокуса.

[0006] Настоящее изобретение было выполнено с учетом упомянутой ранее проблемы. Т.е., настоящее изобретение предоставляет методику способную параллельно выполнять операцию отображения изображения с измененной точкой обзора и операцию отображения изображения с измененной позицией фокуса, на основании множества изображений точки обзора.

РЕШЕНИЕ ЗАДАЧИ

[0007] Чтобы решить упомянутую ранее проблему, устройство обработки изображения настоящего изобретения имеет следующую компоновку. Т.е., устройство обработки изображения отличается тем, что включает в себя средство получения для получения сигнала изображения, содержащего информацию интенсивности и информацию угла падающего луча света, средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса, и средство обработки для генерирования, на основании множества изображений точки обзора, полученных на основании сигнала изображения, изображения отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора, и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса.

ПРЕИМУЩЕСТВЕННЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ

[0008] Настоящее изобретение делает возможным параллельное выполнение операции отображения изображения с измененной точкой обзора и операции отображения изображения с измененной позицией фокуса, на основании множества изображений точки обзора.

[0009] Прочие признаки и преимущества настоящего изобретения будут очевидны из следующего объяснения, взятого вместе с сопроводительными чертежами. Отметим, что на этих сопроводительных чертежах, одни и те же цифровые обозначения обозначают одни и те же или сходные компоненты.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0010] Сопроводительные чертежи, которые включены в и составляют часть технического описания, иллюстрируют варианты осуществления изобретения и, вместе с описанием, служат для объяснения принципов изобретения.

Фиг. 1 является структурной схемой, показывающей пример функциональной конфигурации цифровой камеры в качестве примера устройства обработки изображения в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 2 является структурной схемой, показывающей пример функциональной конфигурации блока обработки изображения первого варианта осуществления;

Фиг. 3 является видом, схематично показывающим матрицу пикселя в соответствии с первым вариантом осуществления;

Фиг. 4A и 4B являются видом сверху и видом в разрезе, схематично показывающими пиксель в соответствии с первым вариантом осуществления;

Фиг. 5 является видом для объяснения общего представления разделения зрачка в соответствии с первым вариантом осуществления;

Фиг. 6A и 6B являются видами для объяснения примера распределения интенсивности света внутри пикселя в соответствии с первым вариантом осуществления;

Фиг. 7 является видом для объяснения примера распределения интенсивности зрачка в соответствии с первым вариантом осуществления;

Фиг. 8A является видом для объяснения зависимости между датчиком изображения и делением зрачка в соответствии с первым вариантом осуществления.

Фиг. 8B является видом для объяснения зависимости между величиной дефокусировки и величиной смещения изображения в первом и втором изображениях точки обзора;

Фиг. 9 является видом, показывающим пример распределения контрастности захваченного изображения в соответствии с первым вариантом осуществления;

Фиг. 10 является видом для объяснения примера выделения параллакса, которое увеличивает отличие между изображениями точки обзора в соответствии с первым вариантом осуществления;

Фиг. 11 является видом для объяснения общего представления процесса изменения фокуса в соответствии с первым вариантом осуществления;

Фиг. 12 является видом для объяснения общего представления процесса уменьшения резкости в соответствии с первым вариантом осуществления;

Фиг. 13 является видом для объяснения диапазона поддержки изменения фокуса в соответствии с первым вариантом осуществления;

Фиг. 14A, 14B, и 14C являются видами для объяснения принципа процесса перемещения точки обзора в соответствии с первым вариантом осуществления;

Фиг. 15A, 15B, и 15C являются видами для объяснения смещения зрачка на высоте периферийного изображения датчика изображения в соответствии с первым вариантом осуществления;

Фиг. 16 является блок-схемой, показывающей ряд операций в соответствии с операцией перемещения точки обзора и операцией регулировки фокуса над захваченным изображением в соответствии с первым вариантом осуществления;

Фиг. 17 является блок-схемой, показывающей ряд операций процесса манипулирования изображением точки обзора в соответствии с первым вариантом осуществления;

Фиг. 18 является блок-схемой, показывающей ряд операций процесса проявления в соответствии с первым вариантом осуществления;

Фиг. 19A, 19B, 19C, и 19D являются видами, схематично показывающими UI перемещения точки обзора и UI регулировки фокуса в соответствии с первым вариантом осуществления;

Фиг. 20 является видом, схематично показывающим пример, в котором UI для степени выделения добавляется в UI в соответствии с первым вариантом осуществления;

Фиг. 21 является блок-схемой, показывающей ряд операций процесса манипулирования изображением параллакса в соответствии со вторым вариантом осуществления;

Фиг. 22 является видом, схематично показывающим матрицу пикселя в соответствии с третьим вариантом осуществления;

Фиг. 23A и 23B являются видом сверху и видом в разрезе, схематично показывающими пиксель в соответствии с третьим вариантом осуществления;

Фиг. 24 является видом, схематично показывающим UI перемещения точки обзора и UI перемещения фокуса в соответствии с третьим вариантом осуществления;

Фиг. 25A и 25B являются блок-схемами, показывающими ряд операций процесса манипулирования изображением параллакса в соответствии с четвертым вариантом осуществления;

Фиг. 26 является видом, схематично показывающим примеры представления у UI перемещения точки обзора и UI регулировки фокуса в соответствии с четвертым вариантом осуществления;

Фиг. 27 является видом, схематично показывающим примеры представления у UI перемещения точки обзора и UI регулировки фокуса в соответствии с четвертым вариантом осуществления; и

Фиг. 28 является видом, схематично показывающим примеры представления у UI перемещения точки обзора и UI регулировки фокуса в соответствии с четвертым вариантом осуществления.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0011] (Первый Вариант Осуществления)

Примерные варианты осуществления настоящего изобретения будут объяснены подробно ниже со ссылкой на сопроводительные чертежи. Отметим, что пример, в котором настоящее изобретение применяется к произвольной цифровой камере, выполненной с возможностью получения данных LF, будет объяснен ниже в качестве примера устройства обработки изображения. Тем не менее, настоящее изобретение применимо не только к цифровой камере, но также к произвольным устройствам, выполненным с возможностью обработки полученных данных LF. Эти устройства могут включать в себя, например, портативный телефон, игровую машину, планшетный терминал, персональный компьютер, информационные терминалы типа наручных часов и типа очков, систему мониторинга, бортовую систему, медицинскую систему, такую как эндоскоп, и робота, выполненного с возможностью предоставления изображения. Настоящее изобретение также может включать в себя компоновку, при которой произвольное устройство передает данные LF и содержимое операции серверному устройству (включая виртуальную машину), которое существует в Интернет или локальной сети и включает в себя средство обработки, такое как процессор, и данное серверное устройство исполняет часть или всю обработку над данными LF. В данном случае, настоящее изобретение может включать в себя компоновку, которая принимает результат обработки от произвольного устройства или серверного устройства и отображает результат обработки.

[0012] (Полная Конфигурация Цифровой Камеры 100)

Фиг. 1 является структурной схемой, показывающей пример функциональной конфигурации цифровой камеры 100 в качестве примера устройства обработки изображения данного варианта осуществления. Отметим, что один или более функциональные блоки, показанные на Фиг. 1, могут быть реализованы посредством аппаратного обеспечения, такого как ASIC или программируемая логически матрица (PLA), и также могут быть реализованы посредством программируемого процессора, такого как CPU или MPU, посредством исполнения программного обеспечения. Один или более функциональные блоки могут также быть реализованы посредством объединения программного обеспечения и аппаратного обеспечения. В нижеследующем объяснении, вследствие этого, даже когда разные функциональные блоки описываются как основные части работы, они могут быть реализованы посредством того же самого аппаратного обеспечения, как и основная часть.

[0013] Первая группа 101 линз включает в себя, например, увеличительную линзу, формирующую оптическую систему формирования изображения, и скомпонованную на дистальном конце оптической системы формирования изображения, и удерживается с возможностью перемещения вперед и назад в направлении оптической оси. Затвор 102 включает в себя диафрагму, и регулирует величину света, поступающую на датчик 107 изображения во время создания изображения посредством регулирования диаметра апертуры у диафрагмы. При захвате неподвижного изображения, затвор 102 функционирует как затвор для регулировки времени экспозиции. Затвор 102 и вторая группа 103 линз формируют вместе оптическую систему формирования изображения, которая перемещается вперед и назад в направлении оптической оси, и реализуют действие изменения плавного увеличения (функцию масштабирования) совместно с перемещением вперед/назад первой группы 101 линз.

[0014] Третья группа 105 линз включает в себя, например, фокусирующую линзу, формирующую оптическую систему формирования изображения, и выполняет фокусировку посредством перемещения вперед/назад по направлению оптической оси. Оптический элемент 106 включает в себя оптический низкочастотный фильтр, и сокращает ложный цвет и муар захваченного изображения. Датчик 107 изображения включает в себя, например, датчик изображения, сформированный посредством CMOS фотодатчика и периферийных цепей, и скомпонован в плоскости формирования изображения оптической системы формирования изображения.

[0015] Исполнительный механизм 111 масштабирования включает в себя приводное устройство для обеспечения перемещения вперед/назад первой и второй групп 101 и 103 линз, и перемещает первую и вторую группы 101 и 103 линз вперед и назад в направлении оптической оси посредством вращения кулачкового цилиндра (не показано). Исполнительный механизм 112 затвора диафрагмы включает в себя приводное устройство для обеспечения работы затвора 102, и управляет диаметром апертуры и работой затвора у затвора 102 под управлением задающего устройства 128 затвора диафрагмы. Исполнительный механизм 114 фокуса включает в себя приводное устройство для обеспечения перемещения вперед/назад третьей группы 105 линз, и выполняет фокусировку посредством перемещения третьей группы 105 линз вперед и назад в направлении оптической оси.

[0016] Осветительное устройство 115 включает в себя электрическую вспышку освещения объекта для создания изображения. Например, осветительное устройство 115 является осветительным устройством вспышки, использующим ксеноновую трубку, или осветительным устройством, включающим в себя LED, который непрерывно излучает свет. Блок 116 излучения вспомогательного света включает в себя AF вспомогательное устройство излучения света, и проецирует изображение маски с предварительно определенным шаблоном апертуры на поле через линзу проецирования света, тем самым улучшая способность к обнаружению фокуса для темного объекта и объекта с низкой контрастностью.

[0017] Контроллер 121 включает в себя CPU (или MPU), ROM, и RAM, и управляет каждым блоком всей цифровой камеры 100 посредством загрузки программы, хранящейся в ROM в RAM и исполнения программы, тем самым исполняя ряд операций, таких как AF, создание изображения, обработка изображения, и запись. Контроллер 121 также может включать в себя A/D преобразователь, D/A преобразователь, цепь интерфейса связи, и подобное. Кроме того, контроллер 121 может иметь функцию как контроллера отображения для управления содержимым, которое должно быть отображено в блоке 131 отображения, и также может исполнять обработку, которая должна быть исполнена посредством процессора 125 изображения, вместо процессора 125 изображения.

[0018] Контроллер 122 электронной вспышки включает в себя цепь управления или модуль управления, и управляет освещением осветительного устройства 115 синхронно с операцией создания изображения. Задающее устройство 123 вспомогательного света управляет освещением блока 116 излучения вспомогательного света синхронно с операцией обнаружения фокуса. Задающее устройство 124 датчика изображения управляет операцией создания изображения датчика 107 изображения, A/D-преобразует полученный сигнал изображения, и передает преобразованный сигнал контроллеру 121. Процессор 125 изображения выполняет обработку, такую как γ преобразование, интерполяция цвета, и JPEG сжатие над изображением, полученным посредством датчика 107 изображения.

[0019] Каждое из задающего устройства 126 фокуса, задающего устройства 128 затвора диафрагмы, и задающего устройства 129 масштабирования включает в себя цепь управления или модуль управления. Задающее устройство 126 фокуса управляет исполнительным механизмом 114 фокуса на основании результата обнаружения фокуса. Задающее устройство 128 затвора диафрагмы управляет исполнительным механизмом 112 затвора диафрагмы при предварительно определенном хронометраже операции создания изображения. Задающее устройство 129 масштабирования управляет исполнительным механизмом 111 масштабирования в соответствии с операцией масштабирования посредством пользователя.

[0020] Блок 131 отображения включает в себя устройство отображения, такое как LCD, и отображает, например, информацию режима создания изображения камеры, изображение предпросмотра перед созданием изображения и проверочное изображение после создания изображения, и отображает изображение в сфокусированном состоянии во время обнаружения фокуса. Блок 132 операции включает в себя переключатели для работы цифровой камеры 100, такие как переключатель питания, спусковой переключатель (пусковое устройство создания изображения), переключатель операции масштабирования, и переключатель выбора режима создания изображения. Когда блок 132 операции передает входную операцию пользователя контроллеру 121, контроллер 121 управляет каждым блоком цифровой камеры 100 для того, чтобы исполнить операцию, соответствующую операции пользователя. Записывающий носитель 133 информации включает в себя отсоединяемую флэш-память или подобное, и записывает захваченные изображения.

[0021] Блок 134 связи включает в себя цепь или модуль связи, и создает связь с внешним устройством (например, сервером, инсталлированным вовне) посредством использования способа связи, соблюдающего предварительно определенный стандарт. Например, блок 134 связи выгружает данные изображения на внешнее устройство, загружает данные изображения из внешнего устройства, и принимает результат предварительно определенной обработки, выполненной над выгруженными данными изображения посредством внешнего устройства.

[0022] (Компоновка Процессора 125 Изображения)

Компоновка процессора 125 изображения будет объяснена ниже со ссылкой на Фиг. 2. Блок 151 получения изображения сохраняет данные изображения, считанные из записывающего носителя 133 информации. Эти данные изображения являются данными изображения, содержащими изображение, полученное посредством синтезирования первого изображения точки обзора и второго изображения точки обзора (которые будут описаны позже) (также именуемое A+B изображение), и первое изображение точки обзора.

[0023] Блок 152 вычитания генерирует второе изображение точки обзора посредством вычитания первого изображения точки обзора из A+B изображения. Блок 153 обработки полутонов корректирует изменение величины света, вызванное предельными значениями изображения первого и второго изображений точки обзора. Блок 154 получения информации операции принимает значения регулировки для перемещения точки обзора и изменения фокуса, измененные пользователем, и подает значения регулировки, которыми манипулирует пользователь, блоку 155 обработки изменения точки обзора и блоку 156 обработки изменения фокуса.

[0024] Блок 155 обработки изменения точки обзора синтезирует изображение измененной точки обзора посредством изменения соотношения сложения (взвешивания) первого и второго изображения точки обзора. Как будет описано подробно позже, изображение с расширенной или сокращенной глубиной поля может быть сгенерировано посредством обработки блока 155 обработки изменения точки обзора. Блок 156 обработки изменения фокуса генерирует синтетическое изображение посредством выполнения сложения со сдвигом над первым и вторым изображениями точки обзора в направлении деления зрачка, тем самым генерируя изображения с разными позициями фокуса. Данная обработка посредством блока 156 обработки изменения фокуса также будет описана подробно позже.

[0025] Также, процессор 125 изображения выполняет процесс проявления посредством использования блока 157 балансировки белого, блока 158 демозайки, блока 159 гамма-преобразования, и блока 160 регулировки цвета, которые будут описаны ниже. Блок 157 балансировки белого выполняет процесс балансировки белого. В частности, блок 157 балансировки белого усиливает R, G, и B так, что R, G, и B становятся равными цветами в области белого. Посредством выполнения данного процесса балансировки белого до процесса демозайки, можно предотвратить ошибку определения при вычислении насыщенности, избегая того, что насыщенность становится выше насыщенности ложного цвета посредством затуманивания цвета или подобного.

[0026] Блок 158 демозайки интерполирует данные изображения с цветовой мозаикой двух цветов из трех основных цветов, которые являются недостающими в каждом пикселе, тем самым генерируя цветное изображение со всеми данными цветного изображения R, G, и B во всех пикселях. Блок 158 демозайки интерполирует интересующий пиксель посредством использования пикселей вокруг интересующего пикселя. После этого, блок 158 демозайки генерирует данные цветного изображения трех основных цветов R, G, и B в качестве результата интерполяции для каждого пикселя.

[0027] Блок 159 гамма-преобразования применяет процесс гамма-преобразования к данным цветного изображения каждого пикселя, тем самым генерируя данные цветного изображения, совпадающие, например, с характеристиками отображения блока 131 отображения. Блок 160 регулировки цвета применяет, к данным цветного изображения, разнообразные процессы регулировки цвета, такие как сокращение шума, выделение насыщенности, коррекция оттенка, и выделение края, которые являются процессами для улучшения внешнего вида изображения.

[0028] Блок 161 сжатия сжимает данные цветного изображения после регулировки цвета посредством способа, соблюдающего предварительно определенный способ сжатия, такой как JPEG, тем самым сокращая размер данных у данных цветного изображения, когда данные записываются. Блок 163 вывода выводит описанные выше данные цветного изображения или сжатые данные изображения, или данные отображения для интерфейса пользователя.

[0029] (Компоновка Элемента 107 Создания Изображения)

Матрицы пикселей и субпикселей в датчике 107 изображения в соответствии с данным вариантом осуществления будут объяснены со ссылкой на Фиг. 3. Фиг. 3 показывает двумерно-скомпонованную матрицу пикселей в диапазоне 4 столбцов × 4 строки, и также показывает матрицу субпикселей, включенную в каждый пиксель в диапазоне 8 столбцов × 4 строки.

[0030] В данной матрице пикселей, показанной на Фиг. 3, 2 столбца × 2 строки пикселей включают в себя пиксель 200R со спектральной чувствительностью R (красный) в верхнем левом угле, пиксели 200G с спектральной чувствительностью G (зеленый) в верхнем правом и нижнем левом угле, и пиксель 200B со спектральной чувствительностью B (синий) в нижнем правом угле. В дополнение, каждый пиксель включает в себя субпиксели 201 и 202, скомпонованные в 2 столбцах × 1 строку.

[0031] Захваченное изображение (или сигнал обнаружения фокуса) может быть получено посредством двумерно-скомпонованного большого числа 4 столбцов × 4 строки пикселей (8 столбцов × 4 строки субпикселей) показанных на Фиг. 3. В датчике 107 изображения, например, период P компоновки пикселя составляет 4мкм, число N пикселей составляет 5575 столбцов × 3725 строк=около 20750000 пикселей, период в направлении столбца PS субпикселей составляет 2мкм, и число NS субпикселей составляет 11150 столбцов × 3725 строк=около 41500000 пикселей.

[0032] Структура пикселя 200G, показанного на Фиг. 3, будет объяснена более подробно ниже. Фиг. 4A является видом сверху, показывающим пиксель 200G со стороны принимающей свет поверхности (+z сторона) датчика 107 изображения, а Фиг. 4B является видом в разрезе, показывающим разрез a-a на Фиг. 4A со стороны -y.

[0033] Пиксель 200G сформирован таким образом, чтобы фотоэлектрические преобразователи 301 и 302 делились на NH (делились на два) в направлении x и делились на NV (делились на один) в направлении y. Фотоэлектрические преобразователи 301 и 302 соответственно соответствуют субпикселям 201 и 202.

[0034] Пиксель 200G имеет микролинзу 305 для конденсации падающего света в направлении принимающей свет стороны (+z направление) пикселя, и сконфигурирована так, что луч света, прошедший через микролинзу 305, принимается фотоэлектрическим преобразователем 301 или 302. Каждый из фотоэлектрических преобразователей 301 и 302 может быть фотодиодом pin-структуры, сформированным посредством трехслойной структуры из нелегированного слоя между слоями p-типа и n-типа, и может быть фотодиодом pn-перехода, не включая нелегированный слой при необходимости. Цветной фильтр 306 скомпонован между микролинзой 305 и фотоэлектрическим преобразователем 301 и 302, пропускает свет с предварительно определенной частотой. Фиг. 4B показывает пример, в котором один цветной фильтр 306 формируется в одном пикселе 200G. Тем не менее, также можно формировать цветные фильтры с разными спектральными коэффициентами пропускания в каждом субпикселе, или не включать цветной фильтр, при необходимости.

[0035] В фотоэлектрическом преобразователе 301 и 302, пары электронов и дырок генерируются в соответствии с принятой величиной света, и разделяются запирающим слоем. После этого, электроны с отрицательным электрическим зарядом сохраняются в слое n-типа, а дырки выводятся вовне датчика 107 изображения через слой 300 p-типа, соединенный с источником постоянного напряжения (не показано). Электроны, хранящиеся в слоях n-типа фотоэлектрического преобразователя 301 и 302, переносятся в участок емкости (FD) через передающий элемент прибора с зарядовой связью, и преобразуются в сигнал напряжения.

[0036] (Зависимость между Структурой Пикселя Элемента 107 Создания Изображения и Делением Зрачка)

Зависимость между структурой пикселя датчика 107 изображения, показанного на Фиг. 4A и 4B, и делением зрачка теперь будет объяснена со ссылкой на Фиг. 5. Фиг. 5 показывает зависимость между видом в разрезе, на котором разрез a-a пикселя 200G, показанный на Фиг. 4A, рассматривается со стороны +y, и плоскостью зрачка выхода оптической системы формирования изображения. Отметим, что на Фиг. 5, ось x и ось y вида в разрезе пикселя 200G являются инвертированными по отношению к тем, что показаны на Фиг. 4A и 4B с тем, чтобы совпадать с осями координат плоскости зрачка выхода.

[0037] Частичная область 501 зрачка субпикселя 201 представляет собой область зрачка, через которую субпиксель 201 может принимать свет. Центр тяжести частичной области 501 зрачка у субпикселя 201 смещен в направлении стороны +X в плоскости зрачка, и принимающая свет поверхность фотоэлектрического преобразователя 301 с центром тяжести, смещенным в направлении -x, и микролинза, в целом, имеют сопряженную зависимость.

[0038] С другой стороны, частичная область 502 зрачка субпикселя 202 представляет собой область зрачка, через которую субпиксель 202 может принимать свет. Центр тяжести частичной области 502 зрачка у субпикселя 202 смещен в направлении стороны -X в плоскости зрачка, и принимающая свет поверхность фотоэлектрического преобразователя 302 с центром тяжести, смещенным в направлении +x, и микролинза, в целом, имеют сопряженную зависимость. Отметим, что область 500 зрачка является областью зрачка через которую свет может быть принят посредством всего пикселя 200G, включая оба фотоэлектрических преобразователя 301 и 302 (субпиксели 201 и 202).

[0039] Образ, посредством которого свет попадает на пиксель 200G с описанной выше компоновкой будет объяснен более подробно ниже. Фиг. 6A и 6B показывают пример распределения интенсивности света, когда свет попадает на микролинзу 305, сформированную в пикселе 200G. Фиг. 6A показывает распределение интенсивности света в разрезе параллельном оптической оси микролинзы, и Фиг. 6B показывает распределение интенсивности света в разрезе перпендикулярном оптической оси микролинзы в фокусной позиции микролинзы. Обращаясь к Фиг. 6A, H обозначает поверхность на выпуклой стороне микролинзы 305; f, фокусное расстояние микролинзы; nFΔ, перемещаемый диапазон фокусной позиции полученной посредством изменения фокуса (которое будет описано позже); и φ, максимальный угол падающего луча света.

[0040] Микролинза 305 конденсирует падающий свет в фокусной позиции, но диаметр пятна конденсации не становится меньше дифракционного предела Δ и имеет конечный размер, как показано на Фиг. 6A и 6B из-за влияния дифракции колебания света. Например, когда размер принимающей свет поверхности фотоэлектрического преобразователя 301 находится около 1 или 2мкм, пятно конденсации микролинзы также составляет около 1мкм. Вследствие этого, частичная область 501 зрачка (частичная область 502 зрачка для фотоэлектрического преобразователя 302) с сопряженной зависимостью с принимающей свет поверхностью фотоэлектрического преобразователя 301 через микролинзу 305 формирует распределение отношения приема света (распределение интенсивности зрачка), в котором деление зрачка выполняется нечетко из-за дифракционного размывания.

[0041] Фиг. 7 схематично показывает распределение интенсивности зрачка в пикселе 200G посредством нанесения координат зрачка на ось абсцисс и отношения приема света на ось ординат. Отметим, что распределение 701 интенсивности зрачка, показывает пример (сплошная линия) распределения интенсивности зрачка, взятого по оси X частичной области 501 зрачка, показанной на Фиг. 5, а распределение 702 интенсивности зрачка, показывает пример (пунктирная линия) распределения интенсивности зрачка, взятого по оси X частичной области 502 зрачка. Фиг. 7 показывает, что частичные области 501 и 502 зрачка имеют пологие пики интенсивности зрачка в разных позициях зрачка, и свет, проходя через микролинзу 305, плавно делится на зрачки.

[0042] Фиг. 8A показывает зависимость между делением зрачка и пикселями в разных позициях датчика 107 изображения. Лучи света, проходя через разные частичные области зрачка (частичные области 501 и 502 зрачка), проходят через плоскость 800 создания изображения и входят в пиксели датчика 107 изображения под разными углами. Тогда, субпиксель 201 (фотоэлектрический преобразователь 301) и субпиксель 202 (фотоэлектрический преобразователь 302) каждого 2 × 1-деленного пикселя принимают лучи света. Т.е., в датчике 107 изображения, множество пикселей, каждый включающий в себя множество субпикселей, выполнены таким образом, чтобы принимать лучи света, проходящие через разные частичные области зрачка у оптической системы формирования изображения.

[0043] Посредством использования датчика 107 изображения с данной компоновкой, можно генерировать первое изображение точки обзора посредством сбора сигналов приема света субпикселей 201 у каждого пикселя, и второе изображение точки обзора посредством сбора сигналов приема света субпикселей 202 у каждого пикселя. Т.е., множество изображений точки обзора может быть сгенерировано для каждой из разных частичных областей зрачка из входного изображения, полученного каждым пикселем датчика 107 изображения. Отметим, что в данном варианте осуществления, каждое из первого и второго изображений точки обзора является изображением матрицы Байера, так что процесс демозайки может быть применен к первому и второму изображениям точки обзора при необходимости. Также, захваченное изображение с разрешением в число N эффективных пикселей может быть сгенерировано посредством сложения и считывания сигналов от субпикселей 201 и 202 для каждого пикселя датчика изображения. В данном варианте осуществления, будет объяснен пример, использующий захваченное изображение, сгенерированное из множества изображений точки обзора (перового и второго изображений точки обзора). Отметим, что Фиг. 8A показывает пример, в котором область зрачка разделена на две области в горизонтальном направлении, но деление зрачка также может быть выполнено в вертикальном направлении в соответствии со способом деления субпикселя. Тем не менее, настоящее изобретение этим не ограничивается, и данный вариант осуществления и другие варианты осуществления применимы к любой компоновке, выполненной с возможностью получения множества изображений точки обзора посредством известной методики. Например, разные камеры со множеством точек обзора могут быть рассмотрены в качестве датчика 107 изображения, как раскрывается в Японском Выложенном Патенте № 2011-22796. В отличие от оптической системы, показанной на Фиг. 1, также можно сформировать, по матрице микролинзы, изображение луча света от оптической системы создания изображения, и сформировать датчик изображения на плоскости формирования изображения, так что плоскость объекта и датчик изображения имеют сопряженную зависимость. Кроме того, также можно переформировать, по матрице микролинзы, изображение луча света от оптической системы создания изображения (это именуется «переформированием изображения» так как формируется изображение рассеивающего луча света, который подвергался формированию изображения один раз), и сформировать датчик изображения на плоскости формирования изображения. Также может быть использован способ вставки маски (элемента модуляции усиления) с надлежащим шаблоном на оптическом пути системы операции создания изображения.

[0044] (Зависимость между Величинами Дефокусировки и Величинами смещения Изображения Изображений Параллакса)

Ниже будет объяснена зависимость между величинами дефокусировки и величинами смещения изображения первого и второго изображений точки обзора, выводимых из датчика 107 изображения. Фиг. 8B схематично показывает зависимость между величинами дефокуировки первого и второго изображений точки обзора и величинами смещения изображения первого и второго изображений точки обзора. Датчик 107 изображения (не показан на Фиг. 8) скомпонован на плоскости 800 создания изображения, и зрачок выхода оптической системы формирования изображения разделен на две области, т.е., частичные области 501 и 502 зрачка, подобно Фиг. 5, 8A, и 8B.

[0045] Величина d дефокусировки представляет собой расстояние от позиции формирования изображения объекта до плоскости 800 создания изображения с абсолютным значением |d|. Величина d дефокусировки представляет собой состояние, при котором позиция формирования изображения объекта находится ближе к объекту, чем плоскость 800 создания изображения (данное состояние также именуется состоянием переднего фокуса) посредством отрицательного знака (d<0). С другой стороны, величина d дефокусировки представляет собой состояние, при котором позиция формирования изображения объекта находится на противоположной стороне объекта от плоскости 800 создания изображения (данное состояние также именуется состоянием заднего фокуса) посредством положительного знака (d>0). Сфокусированное состояние, при котором позиция формирования изображения объекта находится на плоскости создания изображения соответствует d=0. Фиг. 9 показывает пример, в котором объект 801 находится в сфокусированном состоянии (d=0), и пример, в котором объект 802 находится в состоянии переднего фокуса (d<0). Отметим, что как состояние переднего фокуса (d<0), так и состояние заднего фокуса (d>0) являются состояниями дефокусировки (|d|>0).

[0046] В состоянии переднего фокуса (d<0), луч света, который является частью луча света от объекта 802 и прошел через частичную область 501 зрачка (частичную область 502 зрачка) конденсируется один раз, и расширяется на ширину Γ1 (Γ2) от центра G1 (G2) тяжести луча света, тем самым формируя размытое изображение в плоскости 800 создания изображения. Субпиксель 201 (202), формирующий каждый пиксель, упорядоченный в датчике изображения, принимает данное размытое изображение и генерирует первое изображение точки обзора (второе изображение точки обзора). Соответственно, первое изображение точки обзора (второе изображение точки обзора) записывается в качестве изображения объекта, в котором объект 802 размыт по ширине Γ1 (Γ2), в центре тяжести G1 (G2) по плоскости 800 создания изображения. По мере того, как абсолютное значение |d| у величины d дефокусировки увеличивается, ширина Γ1 (Γ2) размывания изображения объекта увеличивается в целом пропорционально. Подобным образом, по мере того, как абсолютное значение |d| у величины d дефокусировки увеличивается, абсолютное значение |p| у величины p смещения изображения (=разность центра тяжести G1 - G2 лучей света) у изображения объекта между первым и вторым изображениями точки обзора увеличивается в целом пропорционально. Состояние заднего фокуса (d>0) является точно таким же как состояние переднего фокуса за исключением того, что направление смещения изображения у изображения объекта между первым и вторым изображениями точки обзора является противоположным тому, что в состоянии переднего фокуса.

[0047] В данном варианте осуществления, вследствие этого, абсолютное значение величины смещения изображения между первым и вторым изображениями точки обзора увеличивается по мере того, как увеличивается абсолютное значение величины дефокусировки первого и второго изображений точки обзора, или сигнала создания изображения, получаемого посредством сложения первого и второго изображения точки обзора.

[0048] (Изменение Фокуса и Коррекция Изображения Точки Обзора)

Процесс коррекции и процесс изменения фокуса изображения точки обзора в соответствии с данным вариантом осуществления будут объяснены ниже. На первой стадии процесса изменения фокуса данного варианта осуществления, блок 155 обработки изменения точки обзора вычисляет распределение контрастности, представляющее собой, является ли контрастность высокой или низкой, на основании каждого значения пикселя захваченного изображения. На второй стадии, на основании вычисленного распределения контрастности, блок 155 обработки изменения точки обзора выполняет преобразование для выделения параллакса посредством увеличения разности между множеством изображений точки обзора (первым и вторым изображениями точки обзора) для каждого пикселя, тем самым генерируя множество скорректированных изображений точки обзора (первое и второе скорректированные изображения точки обзора). На третьей стадии, блок 156 обработки изменения фокуса складывает множество скорректированных изображений точки обзора (первое и второе скорректированные изображения точки обзора) посредством относительного их сдвига, тем самым генерируя изображение с измененным фокусом.

[0049] Отметим, что в нижеследующем объяснении, предполагая, что i и j являются целыми числами, (j,i) представляет собой j-ую позицию в направлении строки и i-ую позицию в направлении столбца датчика 107 изображения. Также отметим, что A0(j,i) представляет собой первое изображение точки обзора у пикселя в позиции (j,i), B0(j,i) представляет собой второе изображение точки обзора, и I(j,i)= A0(j,i)+ B0(j,i), представляет собой захваченное изображение.

[0050] (Первая Стадия: Вычисление Распределения Контрастности)

Блок 155 обработки изменения точки обзора вычисляет яркость Y(j,i) посредством сопоставления центров тяжести цвета у RGB в каждой позиции (j,i) для захваченного изображения I(j,i) с матрицей Байера, в соответствии с уравнением (1).

[0051]

Y(j,i)=[0.25*I(j-1,i-1)+0.5*I(j-1,i)+0.25*I(j-1,i+1)+0.5*I(j,i-1)+1.0*I(j,i)+0.5*I(j,i+1)+0.25*I(j+1,i-1)+0.5*I(j+1,i)+0.25*I(j+1,i+1)]/4 (1)

[0052] Затем, блок 155 обработки изменения точки обзора применяет обработку фильтра типа лапласиан, такую как [1,2,-1,-4,-1,2,1] к яркости Y(j,i) в горизонтальном направлении (направлении i столбца) в качестве направления деления зрачка, тем самым вычисляя высокочастотную составляющую dY(j,i) в горизонтальном направлении. Блок 155 обработки изменения точки обзора также может применять, при необходимости, обработку высокочастотного режекторного фильтра, такую как [1,1,1,1,1,1,1] в вертикальном направлении (направление j строки), которое не является направлением деления зрачка, тем самым сдерживая высокочастотный шум в вертикальном направлении.

[0053] Впоследствии, блок 155 обработки изменения точки обзора вычисляет стандартизованную (нормализованную) высокочастотную составляющую dZ(ji) горизонтального направления в соответствии с уравнением (2). Константа Y0 добавляется к знаменателю для того, чтобы предотвратить расходимость уравнения (2) при делении на 0. Блок 155 обработки изменения точки обзора также может сдерживать, при необходимости, высокочастотный шум посредством применения обработки высокочастотного режекторного фильтра к яркости Y(j,i) перед стандартизацией посредством уравнения (2).

[0054]

dZ(j,i)=dY(j,i)/(Y(j,i)+Y₀) (2)

[0055] Блок 155 обработки изменения точки обзора вычисляет распределение C(j,i) контрастности в соответствии с уравнением (3). Первая строка уравнения (3) показывает, что распределение C(j,i) контрастности установлено в 0, когда яркость захваченного изображения ниже предварительно определенной яркости Y_c. С другой стороны, третья строка уравнения (3) показывает, что распределение C(j,i) контрастности установлено в 1, когда стандартизованная высокочастотная составляющая dZ(j,i) больше предварительно определенного значения Zc. Остаток (т.е., вторая линия уравнения (3)) показывает, что значение, полученное посредством стандартизации dZ(j,i) по Zc, является распределением C(j,i) контрастности.

[0056]

[0057] Распределение C(j,i) контрастности принимает значение в диапазоне [0,1], и контрастность становится ниже, когда значение становится ближе к 0, и выше, когда значение становится ближе к 1.

[0058] Фиг. 9 показывает пример распределения C(j,i) контрастности захваченного изображения, полученного посредством уравнения (3). В данном распределении контрастности, белый участок указывает на то, что величина высокочастотной составляющей в горизонтальном направлении большая и контрастность является высокой, а черный участок указывает на то, что величина высокочастотной составляющей в горизонтальном направлении небольшая и контрастность является низкой.

[0059] (Вторая Стадия: Процесс Выделения Параллакса у Изображения Параллакса)

Теперь будет объяснен процесс выделения параллакса у изображения параллакса. В данном процессе выделения параллакса, сначала вычисляется распределение смещения изображения у изображения точки обзора. Распределение смещения изображения может быть получено посредством выполнения вычисления корреляции по паре из первого изображения A0 точки обзора и второго изображения B0 точки обзора, тем самым вычисляя относительную величину позиционного смещения у пары изображений. Доступны разнообразные хорошо известные способы вычисления корреляции, и блок 155 обработки изменения точки обзора может получать значение корреляции у пары изображений посредством сложения абсолютного значения разности между парой изображений как указывается уравнением (4).

[0060]

где A0i и B0i соответственно представляют собой яркости i-ых пикселей в первом изображении A0 точи обзора и втором изображении B0 точки обзора, и ni является числом, представляющим собой число пикселей, которые должны быть использованы при вычислении и правильно устанавливается в соответствии с минимальным диапазоном вычисления распределения смещения изображения.

[0061] Например, блок 155 обработки изменения точки обзора вычисляет k, которое минимизирует COR(k) у уравнения (4), в качестве величины смещения изображения. Т.е., в состоянии, при котором пара изображений сдвигаются на k пикселей, вычисляется абсолютное значение разности между i-ым A0 пикселем и i-ым B0 пикселем в направлении строки, и абсолютные значения множества пикселей в направлении строки складываются. Затем, блок 155 обработки изменения точки обзора вычисляет величину k сдвига пикселей посредством рассмотрения суммы, т.е., k, которое минимизирует COR(k), в качестве величины смещения изображения у A0 и B0.

[0062] В противоположность, при вычислении разности между пикселем первого изображения A0 точки обзора и вторым изображением B0 точки обзора посредством перемещения двумерного изображения на k пикселей только в направлении деления зрачка и сложения разностей для множества столбцов, вычисление корреляции определяется посредством уравнения (5).

[0063]

где A0ij и B0ij соответственно представляют собой яркости i-ых пикселей в j-ых столбцах в первом изображении A0 точки обзора и втором изображении B0 точки обзора, ni представляет собой число пикселей, которое должно быть использовано при вычислении, и nj представляет собой число пар изображений в направлении столбца в качестве целей вычисления корреляции.

[0064] Блок 155 обработки изменения точки обзора вычисляет k, которое минимизирует COR(k) у уравнения (5), в качестве величины смещения изображения, подобно уравнению (4). Отметим, что нижний индекс k добавляется только к i и не связан с j. Это потому, что вычисление корреляции выполняется при перемещении двумерного изображения только в направлении деления зрачка. Блок 155 обработки изменения точки обзора может вычислять распределение смещения изображения посредством вычисления величины смещения изображения в каждой области первого изображения A0 точки обзора и второго изображения B0 точки обзора в соответствии с уравнением (5).

[0065] Процесс изменения фокуса (который будет описан позже) данного варианта осуществления выполняется посредством выполнения обработки резкости (которая будет описана позже) только над участком с высокой контрастностью. В описанном выше процессе вычисления распределения контрастности, вследствие этого, вычисление корреляции, используя уравнение (5), не требуется выполнять в области, где распределение C(j,i) контрастности является 0 (т.е., в позиции, где яркость ниже предварительно определенной яркости Yc).

[0066] Конкретный пример процесса выделения параллакса будет объяснен ниже. Как показано в примере распределения интенсивности зрачка на Фиг. 7, деление зрачка выполняется посредством микролинзы и множество разделенных фотоэлектрических преобразователей, сформированных для каждого пикселя, является плавным делением зрачка из-за дифракционного размывания. Соответственно, во множестве изображений точки обзора соответствующих плавно разделенным распределениям интенсивности зрачка, эффективное F значение в направлении деления зрачка недостаточно затемняется (увеличивается), и эффективная глубина фокуса почти не увеличивается.

[0067] В данном варианте осуществления, вследствие этого, блок 155 обработки изменения точки обзора выполняет процесс выделения параллакса посредством увеличения разности между множеством изображений точки обзора (первым и вторым изображениями точки обзора) для каждого пикселя. Посредством данного процесса выделения параллакса, блок 155 обработки изменения точки обзора генерирует множество скорректированных изображений точки обзора (первое и второе скорректированные изображения точки обзора).

[0068] Блок 155 обработки изменения точки обзора увеличивает разность между первым изображением A0(j,i) точки обзора и вторым изображение Bo(j,i) точки обзора в соответствии с уравнениями (6) и (7), тем самым генерируя первое скорректированное изображение A(j,i) точки обзора и второе скорректированное изображение B(j,i) точки обзора. В нижеследующих уравнениях, k (0≤k≤1) и α (0≤α≤1) являются действительными числами.

[0069]

[0070]

[0071] Фиг. 10 показывает пример, в котором процесс выделения параллакса увеличивает разность между изображениями точки обзора в предварительно определенной позиции. Пунктирные линии указывают примеры первого изображения A0 (101) точки обзора и второго изображения B0 (102) точки обзора до процесса выделения параллакса, а сплошные линии указывают примеры первого скорректированного изображения A (103) точки обзора и второго скорректированного изображения B (104) точки обзора после того, как процесс выделения параллакса выполняется посредством уравнений (4) и (5). На Фиг. 10, ось абсцисс указывает c 1152-ого по 1156-ой пиксели в единицах субпикселей, а ось ординат указывает абсолютное значение параллакса в каждом пикселе. Процесс выделения параллакса не меняет значительно участок, где разность между изображениями точки обзора является небольшой (например, в окрестности 1154-ого пикселя), а увеличивает участок, где разность между изображениями точки обзора является большой (например, в окрестности 1153-его пикселя и 1155-ого пикселя), тем самым выделяя параллакс.

[0072] В данном варианте осуществления как описано выше, блок 155 обработки изменения точки обзора генерирует, для множества изображений точки обзора, множество скорректированных изображений точки обзора посредством выделения параллакса посредством увеличения разности между множеством изображений точки обзора. Отметим, что блок 155 обработки изменения точки обзора может сдерживать нагрузку процесса выделения параллакса посредством выполнения вычисления посредством использования сигналов множества субпикселей, включенных в пиксель.

[0073] В уравнении (6), когда выделение параллакса улучшается посредством увеличения значения k, параллакс между множеством скорректированных изображений точки обзора (первым и вторым скорректированными изображениями точки обзора) увеличивается. Соответственно, можно посредством увеличения значения k затемнить (увеличить) эффективное F значение в направлении деления, и увеличить эффективную глубину фокуса в направлении деления посредством коррекции. Тем не менее, если выделение параллакса чрезмерно улучшается, возрастает шум скорректированных изображений точки обзора, и уменьшается S/N.

[0074] В данном варианте осуществления, вследствие этого, степень преобразования выделения параллакса регулируется в области адаптивным образом на основании распределения C(j,i) контрастности. Например, блок 155 обработки изменения точки обзора увеличивает степень выделения параллакса посредством увеличения параллакса в области высокой контрастности, тем самым затемняя (увеличивая) эффективное F значение в направлении деления. С другой стороны, блок 155 обработки изменения точки обзора уменьшает степень выделения параллакса в области низкой контрастности для того, чтобы сохранить S/N, тем самым сдерживая уменьшение S/N. Это позволяет увеличить параллакс между множеством скорректированных изображений точки обзора (первым и вторым скорректированными изображениями точки обзора), затемнить (увеличить) эффективное F значение в направлении деления, и увеличить эффективную глубину фокуса в направлении деления посредством коррекции. Также, в процессе изменения фокуса, который будет описан позже, эффект изменения фокуса может быть улучшен (изменение в изображении посредством изменения фокуса может быть выделено) посредством генерирования изображение с измененным фокусом посредством использования множества скорректированных изображений точки обзора (первого и второго скорректированных изображений точки обзора).

[0075] Блок 155 обработки изменения точки обзора может, например, сдерживать уменьшение S/N делая, при необходимости, степень выделения параллакса в области высокой яркости у захваченного изображения больше, чем та что в области низкой яркости. Также, сходным образом можно сдерживать уменьшение S/N делая, при необходимости, степень выделения параллакса больше в области захваченного изображения, где величина высокочастотной составляющей больше, чем в области, где величина высокочастотной составляющей небольшая.

[0076] (Третья Стадия: Процесс Изменения Фокуса)

Процесс изменения фокуса, который будет выполняться в направлении деления зрачка (направлении столбца или горизонтальном направлении) посредством использования множества скорректированных изображений точки обзора (первого и второго скорректированных изображений точки обзора) будет объяснен со ссылкой на Фиг. 11. Фиг. 11 схематично показывает первое скорректированное изображение Ai точки обзора и вторые скорректированные изображения Bi точки обзора, каждое содержащее сигнал i-ого пикселя в направлении столбца у датчика 107 изображения, скомпонованного в плоскости 800 создания изображения. Первое скорректированное изображение Ai точки обзора содержит сигнал приема света луча света, поступающего в i-ый пиксель под углом θa главного луча (соответствующего частичной области 501 зрачка, показанной на Фиг. 8A). Второе скорректированное изображение Bi точки обзора содержит сигнал приема света луча света, поступающего в i-ый пиксель под углом θb главного луча (соответствующего частичной области 502 зрачка, показанной на Фиг. 8A). Т.е., первое скорректированное изображение Ai точки обзора и второе скорректированное изображение Bi точки обзора имеют информацию угла падения в дополнение к информации распределения интенсивности света.

[0077] Поскольку изображение точки обзора имеет информацию угла падения, блок 156 обработки изменения фокуса может генерировать изображение с измененным фокусом в предварительно определенной виртуальной плоскости формирования изображения. В частности, блок 156 обработки изменения фокуса транслирует первое скорректированное изображение Ai точки обзора и второе скорректированное изображение Bi точки обзора на виртуальную плоскость 810 формирования изображения по углу θa и углу θb, соответственно. Затем, блок 156 обработки изменения фокуса может сгенерировать изображение с измененным фокусом на виртуальной плоскости 810 формирования изображения посредством сложения транслированных скорректированных изображений точки обзора пиксель за пикселем. В данном примере, показанном на Фиг. 11, транслирование первого скорректированного изображения Ai точки обзора на виртуальную плоскость 810 формирования изображения по углу θa является эквивалентным сдвигу первого скорректированного изображения Ai точки обзора на +0.5 пикселя в направлении столбца. С другой стороны, транслирование второго скорректированного изображения Bi точки обзора на виртуальную плоскость 810 формирования изображения по углу θb является эквивалентным сдвигу второго скорректированного изображения Bi точки обзора на -0.5 пикселя в направлении столбца. Т.е., в данном примере, показанном на Фиг. 11, сочетание первого скорректированного изображения Ai точки обзора и второго скорректированного изображения Bi точки обзора на виртуальной плоскости 810 формирования изображения получается посредством относительного смещения первого скорректированного изображения Ai точки обзора и второго скорректированного изображения Bi точки обзора на +1 пиксель. Это позволяет генерировать изображение с измененным фокусом на виртуальной плоскости 810 формирования изображения посредством сложения первого скорректированного изображения Ai точки обзора и сдвинутого второго скорректированного изображения Bi точки обзора+1 пиксель за пикселем.

[0078] Таким образом, блок 156 обработки изменения фокуса складывает первое скорректированное изображение A точки обзора и второе скорректированное изображение B точки обзора посредством сдвига их в соответствии с уравнением (8) посредством использования интегральной величины s сдвига, тем самым генерируя изображения I(j,I;s) с измененным фокусом в каждой виртуальной плоскости формирования изображения, соответствующей интегральной величине s сдвига.

[0079]

I(j,I;s)=A(j,i)+B(j,i+s) (8)

[0080] В данном варианте осуществления, первое скорректированное изображение A точки обзора и второе скорректированное изображение B точки обзора формируются посредством матрицы Байера так, что блок 156 обработки изменения фокуса выполняет добавления сдвига в соответствии с уравнением (8) для каждого цвета посредством использования величины сдвига s=2n (n: целое число), которая является кратной 2. Т.е., блок 156 обработки изменения фокуса генерирует изображение I(j,i:s) с измененным фокусом, удерживая матрицу Байера у изображения, и после этого выполняет процесс демозайки над сгенерированным изображением I(j,i:s) с измененным фокусом. Отметим, что блок 156 обработки изменения фокуса также может выполнять, при необходимости, процесс демозайки над первым скорректированным изображением A точки обзора и вторым скорректированным изображение B точки обзора, и после этого выполнять процесс добавления сдвига посредством использования первого и второго скорректированных изображения точки обзора после демозайки. Кроме того, блок 156 обработки изменения фокуса также может генерировать, при необходимости, сигналы интерполяции между пикселями в первом скорректированном изображении A точки обзора и втором скорректированном изображении B точки обзора, и генерировать изображение с измененным фокусом соответствующее неинтегральной величине сдвига. Это позволяет генерировать изображение с измененным фокусом посредством изменения позиции виртуальной плоскости формирования изображения с более тонкой детализацией.

[0081] Далее будет объяснена обработка резкости, которую блок 156 обработки изменения фокуса применяет, чтобы генерировать более эффективное изображение с измененным фокусом и вычисление диапазона поддержки изменения фокуса.

[0082] (Обработка Резкости)

В процессе изменения фокуса, как описано выше, изображение с измененным фокусом на виртуальной плоскости формирования изображения генерируется посредством сложения первого скорректированного изображения A точки обзора и второго скорректированного изображения B точки обзора посредством их сдвига. Поскольку первое и второе скорректированные изображения A и B точки обзора сдвигаются посредством добавления сдвига, относительная величина сдвига (также именуемая величиной сдвига изображения) у изображения до процесса изменения фокуса является известной.

[0083] Интегральная величина s сдвига в описанном выше процессе изменения фокуса, соответствует данной величине сдвига изображения. Вследствие этого блок 156 обработки изменения фокуса может выделять контур объекта в изображении с измененным фокусом посредством выполнения обработки резкости над областью, соответствующей величине s сдвига изображения.

[0084] Обработка резкости в соответствии с данным вариантом осуществления использует обработку нерезкой маски, общее представление которой показано на Фиг. 12. В данной обработке нерезкой маски, фильтр размывания применяется к локальной области (исходный сигнал) вокруг интересующего пикселя, и разность между значениями пикселя до и после того как применяется процесс размывания отражается в значении пикселя у интересующего пикселя, тем самым реализуя улучшение края.

[0085] Обработка нерезкой маски для значения P пикселя, которое должно быть обработано, вычисляется в соответствии с уравнением (9). Отметим, что P' является значением пикселя после того, как применяется обработка, R является радиусом фильтра размывания, а T является величиной применения (%).

[0086]

P' (i,j)=P(i,j)+(P(i,j)-F(i,j,R))× T(i,j)/100 (9)

[0087] В уравнении (9), F(i,j,R) является значением пикселя, полученным посредством применения фильтра размывания с радиусом R к пикселю P(i,j). Отметим, что хорошо известный способ, такой как Гауссово размывание, может быть использован в фильтре размывания. Гауссово размывание является процессом усреднения посредством применения взвешивания, соответствующего Гауссову распределению в соответствии с расстоянием от пикселя, который должен быть обработан, и способным получить естественный результат обработки. Также, радиус R фильтра размывания относится к длине волны частоты по изображению, к которому должна быть применена обработка резкости. Т.е., тонкие узоры выделяются по мере уменьшения R, а средние узоры выделяются по мере увеличения R. Величина применения T(i,j) является значением, которое меняет величину применения улучшения края посредством обработки нерезкой маски в соответствии с распределением смещения изображения. В частности, пусть pred(i,j) будет величиной смещения изображения в позиции каждого пикселя, а величина s сдвига посредством процесса изменения фокуса, тогда величина T применения увеличивается в области где |s-pred(i,j)| имеет небольшое значение (например, смещение изображение составляет один пиксель или меньше), т.е., область, где сфокусированное состояние получается на виртуальной плоскости формирования изображения. С другой стороны, величина T приложения уменьшается в области, где |s-pred(i,j)| имеет большое значение (например, величина смещения изображения составляет три пикселя или более). Это позволяет выделять контур в области с небольшой величиной дефокусировки и близко к позиции фокуса или сфокусированной позиции, и выполнять обработку нерезкой маски (или не процесс размывания) над размытой областью с большой величиной дефокусировки. Т.е., можно больше выделять эффект перемещения позиции фокуса посредством процесса изменения фокуса.

[0088] (Вычисление Диапазона Поддержки Изменения Фокуса)

Диапазон поддержки изменения фокуса представляет собой диапазон позиции фокуса, которая может быть изменена процессом изменения фокуса. Например, Фиг. 13 схематично показывает диапазон поддержки изменения фокуса в соответствии с данным вариантом осуществления. Пусть, δ будет допустимой областью смешения, а F будет значением апертуры оптической системы формирования изображения, тогда глубина поля при значении F апертуры составляет±Fδ. В противоположность, эффективное значение апертуры F01 (F02) в горизонтальном направлении частичной области 501 (502) зрачка, ссуженная будучи разделенной на NH × NV (2 × 1), является настолько темной как F01=NHF. Эффективная глубина поля каждого первого скорректированного изображения точки обзора (второго скорректированного изображения точки обзора) составляет±NHFδ, т.е., увеличивается в NH раз, и сфокусированный диапазон ссужается в NH раз. Т.е., сфокусированное изображение объекта получается для каждого первого скорректированного изображения точки обзора (второго скорректированного изображения точки обзора) в пределах диапазона эффективной глубины поля±NHFδ. Вследствие этого, блок 156 обработки изменения фокуса может повторно регулировать (изменять фокус) позицию фокуса после создания изображения посредством процесса изменения фокуса в виде трансляции первого скорректированного изображения точки обзора (второго скорректированного изображения точки обзора) по углу θa (θb) главного луча, показанному на Фиг. 11. Другими словами, величина d дефокусировки от плоскости создания изображения на которую позиция фокуса может быть повторно отрегулирована (изменен фокус) после создания изображения ограничивается, и диапазон поддержки изменения фокуса величины d дефокусировки является, в целом, диапазоном уравнения (10).

[0089]

|d|≤N_HFδ (10)

[0090] Допустимая область смешения δ определяется посредством, например, δ=2ΔX (обратная величина вида 1/(2ΔX) в качестве частоты Найквиста с периодом ΔX пикселя). Посредством такого вычисления диапазона поддержки изменения фокуса, диапазон поддержки изменения фокуса может быть ассоциирован с рабочим диапазоном, когда позиция фокуса меняется (изменяется фокус) посредством операции пользователя. Также, пучок света (объект), который может быть сфокусирован посредством процесса изменения фокуса, может быть зажат заранее. Вследствие этого, можно, например, выполнять создание изображения вновь посредством управления условиями создания изображения, такими как состояние оптической системы формирования изображения, с тем, чтобы диапазон поддержки изменения фокуса включал в себя предварительно определенный объект.

(Процесс Перемещения Точки Обзора)

Процесс перемещения точки обзора в соответствии с данным вариантом осуществления, который выполняется посредством блока 155 обработки изменения точки обзора, будет объяснен ниже. Отметим, что данный процесс перемещения точки обзора является процессом, который уменьшает размывание неосновного объекта на ближней стороне, если данное размывание неосновного объекта перекрывает основной объект.

[0091] Фиг. с 14A по 14C показывают принцип обработки перемещения точки обзора. На Фиг. с 14A по 14C, датчик 107 формирования изображения (не показан) помещен в плоскость 600 создания изображения, и зрачок выхода оптической системы формирования изображения разделен на два, т.е., частичные области 501 и 502 зрачка, как на Фиг. 11.

[0092] Фиг. 14A показывает пример случая, при котором размытые изображения Γ1+Γ2 объекта q2 на ближней стороне захвачены так, что перекрывают сфокусированное изображение p1 основного объекта q1 (это также именуется передним размывающим перекрытием для основного объекта). Фиг. 14B и 14С, соответственно иллюстрируют пример, показанный на Фиг. 14A, посредством луча света, проходящего через частичную область 501 зрачка оптической системы формирования изображения, и луча света, проходящего через частичную область 502 зрачка. На Фиг. 14B, луч света от основного объекта q1 проходит через частичную область 501 зрачка и формирует изображение p1 в сфокусированном состоянии. С другой стороны, луч света от объекта q2 на ближней стороне проходит через частичную область 501 зрачка и расширяется в размытое изображение Γ1 в дефокусированном состоянии. Субпиксели 201 разных пикселей в датчике 107 изображения принимают эти лучи света, и генерируют первое изображение точки обзора. В данном первом изображении точки обзора, как показано на Фиг. 14B, изображение p1 основного объекта q1 и размытое изображение Γ1 объекта q2 на ближней стороне принимаются без какого-либо перекрытия. Это одно из множества изображений точки обзора (первого изображения точки обзора и второго изображения точки обзора), в которых создается изображение объекта на ближайшей стороне (размытое изображение Γ1 объекта q2) в самом узком диапазоне, в предварительно определенной области (окрестность изображения p1 объекта q1). Другими словами, одно из множества изображений точки обзора (первого и второго изображений точки обзора), в котором внешний вид размытого изображения Γ1 объекта q2 является небольшим и значение оценки контрастности является наибольшим, получается в предварительно определенной области (окрестности изображения p1 объекта q1).

[0093] С другой стороны, на Фиг. 14C, луч света от основного объекта q1 проходит через частичную область 502 зрачка и формирует изображение p1 в сфокусированном состоянии. С другой стороны, луч света от объекта q2 на ближайшей стороне проходит через частичную область 502 зрачка и расширяется в размытое изображение Γ2 в дефокусированном состоянии. Субпиксели 202 пикселей в датчике 107 изображения принимают эти лучи света, и генерируют второе изображение точки обзора. Во втором изображении точки обзора, как показано на Фиг. 14C, изображение p1 основного объекта q1 и размытое изображение Γ2 объекта q2 на ближней стороне принимаются, поскольку они перекрываются. Это одно из множества изображений точки обзора (первого и второго изображений точки обзора), в котором создание изображения объекта ближней стороны (размытое изображение Γ2 объекта q2) осуществляется в самом широком диапазоне, в предварительно определенной области (окрестности изображения p1 объекта q1). Другими словами, одно из множества изображений точки обзора (первого и второго изображения точки обзора), в котором внешний вид размытого изображения Γ2 объекта q2 является большим и значение оценки контрастности является наименьшим, полученным в предварительно определенной области (в окрестности изображения p1 объекта q1).

[0094] Соответственно, перекрытие переднего размывания основного объекта может быть сокращено посредством выполнения сложения посредством увеличения весового коэффициента первого изображения точки обзора, в котором перекрытие изображения p1 и размытого изображения Γ1 является небольшим, и уменьшения весового коэффициента второго изображения точки обзора, в котором перекрытие изображения p1 и размытого изображения Γ2 является большим, в окрестности изображения p1.

[0095] Обработка, посредством которой блок 155 обработки изменения точки обзора совмещает первое и второе изображения точки обзора посредством использования весовых коэффициентов, будет объяснена ниже. Отметим, что блок 155 обработки изменения точки обзора принимает первое изображение A(j,i) точки обзора и второе изображение B(j,i) точки обзора, описанные выше.

[0096] На первом этапе, блок 155 обработки изменения точки обзора устанавливает предварительно определенную область R=[j1,j2]× [i1,i2] в качестве цели перемещения точки обзора и ширину σ границы предварительно определенной области, и вычисляет табличную функцию T(j,i), соответствующую предварительно определенной области R и ширине σ границы предварительно определенной области в соответствии с уравнением (11).

[0097]

(11)

Отметим, что табличная функция T(j,i) является функцией, которая соответствует 1 внутри предварительно определенной области R и 0 вне предварительно определенной области R, и обычно непрерывно меняется от 1 до 0 посредством ширины σ границы предварительно определенной области R. Отметим, что блок 155 обработки изменения точки обзора также может устанавливать круг или другую произвольную форму в качестве предварительно определенной области, и устанавливать множество предварительно определенных областей и множество ширин границы.

[0098] На втором этапе, блок 155 обработки изменения точки обзора вычисляет первый весовой коэффициент Wa(j,i) первого изображения A(j,i) точки обзора в соответствии с уравнением (12A) посредством использования действительного коэффициента w(-1≤w≤1). В дополнение, блок 155 обработки изменения точки обзора вычисляет второй весовой коэффициент Wb(j,i) второго изображения B(j,i) точки обзора в соответствии с уравнением (12B).

[0099]

[0100] На третьем этапе, блок 155 обработки изменения точки обзора генерирует выходное изображение I(j,i) в соответствии с уравнением (13) посредством использования первого изображения A(j,i) точки обзора, второго изображения B(j,i) точки обзора, первого весового коэффициента Wa(j,i) и второго весового коэффициента Wb(j,i).

[0101]

[0102] В качестве альтернативы, блок 155 обработки изменения точки обзора также может генерировать выходное изображение Is(j,i) в соответствии с уравнением (14A) или (14B) посредством объединения данного процесса и процесса изменения фокуса, используя величину s сдвига.

[0103]

[0104] Выходное изображение Is(j,i) выводимое таким образом является изображением, для которого точка обзора была перемещена, и изображением, для которого позиция фокуса является повторно отрегулированной (с измененным фокусом).

[0105] Как описано выше, выходное изображение генерируется посредством синтеза множества изображений точки обзора посредством умножения каждого изображения точки обзора на весовой коэффициент, который непрерывно меняется в соответствии с областью выходного изображения. Т.е., при уменьшении перекрытия переднего размывания основного объекта посредством использования уравнения (13), блок 155 обработки изменения точки обзора генерирует выходное изображение, делая первый весовой коэффициент Wa первого изображения точки обзора, в котором перекрытие изображения p1 и размытого изображения Γ1 является небольшим, больше чем второй весовой коэффициент Wb второго изображения точки обзора, в котором перекрытие изображения p1 и размытого изображения Γ2 является большим, в окрестности изображения p1.

[0106] Другими словами, в предварительно определенной области изображения, блок 155 обработки изменения точки обзора минимизирует весовой коэффициент изображения точки обзора, в котором создание изображения объекта на ближней стороне осуществляется в самом широком диапазоне, или максимально увеличивает весовой коэффициент изображения точки обзора, в котором создание изображения объекта на ближней стороне осуществляется в самом узком диапазоне. Также, в предварительно определенной области выходного изображения, блок 155 обработки изменения точки обзора минимизирует весовой коэффициент изображения точки обзора, в котором значение оценки контрастности является наименьшим, или максимально увеличивает весовой коэффициент изображения точки обзора, в котором значение оценки контрастности является наибольшим.

[0107] Отметим, что в области, которая не является предварительно определенной областью и в которой процесс перемещения точки обзора не выполняется, блок 155 обработки изменения точки обзора также может генерировать выходное изображение посредством главным образом в равной степени добавления весовых коэффициентов (первого и второго весовых коэффициентов) множества изображений точки обзора с тем, чтобы не менять размытую форму оптической системы формирования изображения. Также отметим, что способ генерирования выходного изображения посредством изменения весового коэффициента (т.е., отношения сложения) в соответствии с назначением пользователя будет описан позже, но пользователь также может назначать предварительно определенную область, в которой должен быть выполнен процесс перемещения точки обзора.

[0108] (Процесс Перемещения Точки Обзора для Смещения Зрачка)

Ниже будет объяснено смещение зрачка на высоте периферийного изображения датчика 107 изображения. Фиг. с 15A по 15C каждая иллюстрируют зависимость между частичными областями (501, 502) зрачка, где субпиксели 201 и 202 каждого пикселя принимают свет, и зрачком 400 выхода оптической системы формирования изображения.

[0109] Фиг. 15A показывает случай, в котором расстояние D1 зрачка выхода оптической системы формирования изображения и установленное расстояние Ds зрачка датчика 107 изображения являются одним и тем же. В данном случае, зрачок 400 выхода оптической системы формирования изображения обычно в равной степени разделен частичными областями 501 и 502 зрачка как на высоте центрального изображения, так и на высоте периферийного изображения.

[0110] Фиг. 15B показывает случай, в котором расстояние D1 зрачка выхода оптической системы формирования изображения короче установленного расстояния Ds зрачка датчика 107 изображения. В данном случае, зрачок 400 выхода оптической системы формирования изображения является не в равной степени разделенным посредством частичных областей 501 и 502 зрачка на высоте периферийного изображения. В данном примере, показанном на Фиг. 15B, значение эффективной апертуры первого изображения точки обзора, соответствующего частичной области 501 зрачка, является меньше (ярче), чем то, что у второго изображения точки обзора, соответствующего частичной области 502 зрачка. На высоте изображения на противоположной стороне (не показано), значение эффективной апертуры первого изображения точки обзора, соответствующего частичной области 501 зрачка, является больше (темнее) чем то, что у второго изображения точки обзора, соответствующей частичной области 502 зрачка.

[0111] Фиг. 15C показывает случай, при котором расстояние D1 зрачка выхода оптической системы формирования изображения является длиннее установленного расстояния Ds зрачка датчика 107 изображения. В данном случае, на высоте периферийного изображения, зрачок 400 выхода оптической системы формирования изображения также в неравной степени разделен посредством частичных областей 501 и 502 зрачка. В данном примере, показанном на Фиг. 15C, значение эффективной апертуры первого изображения точки обзора, соответствующего частичной области 501 зрачка является больше (темнее) чем то, что у второго изображения точки обзора, соответствующего частичной области 502 зрачка. На высоте изображения на противоположной стороне (не показано), значение эффективной апертуры первого изображения точки обзора, соответствующего частичной области 501 зрачка является меньше (ярче) чем то, что у второго изображения точки обзора, соответствующего частичной области 502 зрачка.

[0112] Т.е., деление зрачка становится неравным на высоте периферийного изображения из-за смещения зрачка, эффективные f-числа первого и второго изображения точки обзора также становятся неравными. Следовательно, расширение размывания одного из первого и второго изображений точки обзора увеличивается, а то что у другого уменьшается.

[0113] Соответственно, в предварительно определенной области выходного изображения, блок 155 обработки изменения точки обзора желательно минимизирует весовой коэффициент изображения точки обзора с наименьшим значением эффективной апертуры, и максимально увеличивает весовой коэффициент изображения точки обзора с наибольшим значением эффективной апертуры, при необходимости. Перекрытие переднего размывания основного объекта может быть уменьшено посредством выполнения процесса перемещения точки обзора, как описано выше.

[0114] (Глубина Процесса Расширения Поля)

Процесс расширения поля посредством блока 155 обработки изменения точки обзора будет объяснен ниже обращаясь вновь к Фиг. 14B. На Фиг. 14B, как описано выше, изображением, проходящим через частичную область 501 зрачка, является первое изображение точки обзора, и изображением, проходящим через частичную область 502 зрачка, является второе изображение точки обзора. Поскольку каждое изображение точки обзора является изображением, полученным посредством прохождения через половину исходной частичной области обзора, как показано на Фиг. 14, диаметр апертуры в горизонтальном направлении становится половиной, когда частичная область зрачка разделена на два в горизонтальном направлении. Следовательно, глубина поля в горизонтальном направлении становится четырехкратной. С другой стороны, деление зрачка не выполняется в вертикальном направлении в данном варианте осуществления, так что глубина поля в вертикальном направлении остается неизмененной. Соответственно, первое или второе изображение точки обзора становится изображением с двойной глубиной поля по среднему в горизонтальном и вертикальном направлениях по отношению к глубине поля изображения (A+B изображение), полученного посредством синтеза первого и второго изображения точки обзора.

[0115] Как описано выше, блок 155 обработки изменения точки обзора может генерировать изображение с расширенной глубиной поля посредством генерирования синтетического изображения посредством изменения отношения сложения первого или второго изображения точки обзора до значения отличного от 1:1. В дополнение, блок 155 обработки изменения точки обзора применяет обработку нерезкой маски, используя описанные выше распределение контрастности и распределение смещения изображения к изображению, полученному посредством изменения отношения сложения первого или второго изображения точки обзора. Это позволяет расширить глубину поля, и сгенерировать синтетическое изображение с выделенным контуром. В данном процессе расширения глубины, предварительно определенная область также может быть обработана в соответствии с назначением пользователя, как в процессе перемещения точки обзора. Отметим, что, когда синтетическое изображение из изображений точки обзора выводится из блока 155 обработки изменения точки обзора, процесс проявления, описанный ранее, применяется к изображению, и процессор 125 изображения выводит проявленное изображение.

[0116] (Ряд Операций Перемещения Точки Обзора и Регулировки Фокуса для Захваченного Изображения)

Ряд операций перемещения точки обзора и регулировки фокуса для захваченного изображения будут объяснены ниже со ссылкой на Фиг. 16. Отметим, что данный процесс запускается, когда пользователь нажимает спусковой переключатель или подобное, включенный в блок 132 операции. Отметим также, что данный процесс реализуется посредством контроллера 121 посредством загрузки программы, хранящейся в ROM (не показано) в рабочую зону RAM, исполнения программы, и управления каждым блоком процессора 125 изображения и подобного.

[0117] На этапе S101, датчик 107 изображения выполняет создание изображения в соответствии с инструкцией контроллера 121. На этапе S102, датчик 107 изображения выводит данные изображения параллакса. В частности, датчик 107 изображения выводит описанные выше изображения точки обзора (A+B изображение и изображение A) в качестве данных изображения с одним форматом файла. Также, записывающий носитель 133 информации временно сохраняет данные изображения, выведенные из датчика 107 изображения.

[0118] На этапе S103, процессор 125 изображения считывает данные изображения параллакса в соответствии с инструкцией контроллера 121. Например, процессор 125 изображения получает данные изображения, хранящиеся в записывающем носителе 133 информации посредством использования блока 151 получения изображения. На данном этапе, процессор 125 изображения генерирует изображение B из изображения A+B, и получает, например, первое изображение точки обзора (изображение A) в качестве изображения с точкой обзора левой стороны, и второе изображение точки обзора (изображение B) в качестве изображения с точкой обзора правой стороны. На этапе S104, контроллер 121 выполняет процесс манипулирования изображением точки обзора (который будет описан позже), т.е., выполняет перемещение точки обзора и регулировку фокуса над захваченным изображением посредством управления блоком 132 операции и выводом из процессора 125 изображения. Контроллер 121 прекращает ряд процессов, при завершении процесса манипулирования изображением точки обзора.

[0119] (Ряд Операций Процесса Манипулирования Изображением Точки Обзора)

Ряд операций процесса манипулирования изображением точки обзора на этапе S104 будет объяснен ниже со ссылкой на блок-схему, показанную на Фиг. 17. Отметим, что ниже будет объяснен пример, в котором операции в интерфейсе пользователя (UI перемещения точки обзора) для выполнения перемещения точки обзора (и изменения глубины поля), выполняются перед операциями в интерфейсе пользователя (UI регулировки фокуса) для выполнения регулировки фокуса. Тем не менее, операции UI регулировки фокуса также могут быть выполнены пред операциями UI перемещения точки обзора.

[0120] На этапе S201, контроллер 121 предписывает блоку 131 отображения отображать интерфейс пользователя (который будет просто именоваться UI), включающий в себя UI перемещения точки обзора и UI регулировки фокуса, и захваченное изображение.

[0121] На этапе S202, контроллер 121 определяет, выполнять ли перемещение точки обзора на основании операции пользователя, введенной через блок 132 операции. Если введенная операция пользователя указывает исполнение перемещения точки обзора, контроллер 121 определяет выполнять перемещение точки обзора, и продвигает процесс к этапу S203. С другой стороны, если введенная операция пользователя не указывает исполнение перемещения точки обзора, контроллер 121 определяет не выполнять перемещение точки обзора, и продвигает процесс к этапу S207.

[0122] На этапе S203, контроллер 121 дополнительно получает операцию пользователя в виде оперирования UI перемещения точки обзора через блок 132 операции. Фиг. 19A показывает пример UI перемещения точки обзора, который будет отображаться в блоке 131 отображения. В данном примере, показанном на Фиг. 19A, изображение (захваченное изображение или изображение точки обзора) отображается в частичной области 1000, формирующей UI. Поскольку изображение, для которого зрачок разделен на два в горизонтальном направлении, получается в данном варианте осуществления как описано ранее, изображение точки обзора генерируется посредством использования только левого и правого изображений точки обзора.

[0123] UI перемещения точки обзора отображает ползунок 1001 и полосу 1002 ползунка в горизонтальном направлении так, что пользователь может оперировать рабочим элементов в направлении изменения точки обзора. Это позволяет пользователю оперировать перемещением точки обзора более интуитивно.

[0124] На этапе S204, контроллер 121 генерирует синтетическое изображение посредством изменения отношения сложения изображений точки обзора посредством использования процессора 125 изображения. В частности, процессор 125 изображения получает позицию ползунка 1001, назначенную на этапе S203, через блок 154 получения информации операции. Процессор 125 изображения синтезирует первое и второе изображения точки обзора посредством изменения отношения сложения этих изображений в соответствии с позицией ползунка 101 (т.е., выполняет процесс перемещения точки обзора), тем самым генерируя изображение с перемещенной точкой обзора. Определяя, что значение на правом конце полосы 1002 ползунка является 1, значение в центре является 0, и значение на левом конце является -1, процессор 125 изображения меняет отношение сложения так, что отношение первого и второго изображений точки обзора составляет (1+x):(1-x), когда ползунок 1001 присутствует в позиции x.

[0125] На этапе S205, контроллер 121 применяет процесс проявления к изображению, синтезированному на этапе S204 посредством использования процессора 125 изображения. Данный процесс проявления будет описан позже со ссылкой на блок-схему, показанную на Фиг. 18. На этапе S206, контроллер 121 отображает изображение, проявленное на этапе S205 в блоке 131 отображения.

[0126] На этапе S207, контроллер 121 определяет, выполнять ли регулировку фокуса на основании операции пользователя введенной через блок 132 операции. Если введенная операция пользователя указывает исполнение регулировки фокуса, контроллер 121 определяет выполнение регулировки фокуса, и продвигает процесс к этапу S208. С другой стороны, если введенная операция пользователя не указывает исполнение регулировки фокуса, контроллер 121 определяет не выполнение регулировки фокуса, и прекращает ряд процессов.

[0127] На этапе S208, контроллер 121 дополнительно получает операцию пользователя в виде оперирования UI регулировки фокуса через блок 132 операции. Фиг. 19A показывает пример UI регулировки фокуса. Полоса ползунка установлена в направлении перемещения точки обзора в описанном выше UI перемещения точки обзора, тогда как полоса ползунка устанавливается в направлении (под углом) отличным от того, который у перемещения точки обзора в UI регулировки фокуса. В данном примере, показанном на Фиг. 19A, полоса 1003 ползунка и ползунок 1004 у UI регулировки фокуса установлены в направлении (т.е., вертикальном направлении) перпендикулярном направлению полосы 1002 ползунка у UI перемещения точки обзора. Например, когда ползунок 1004 перемещается вверх, контроллер 121 управляет регулировкой фокуса в направлении, в котором становится сильным состояние заднего фокуса. Когда ползунок 1004 перемещается вниз, контроллер 121 управляет регулировкой фокуса в направлении, в котором становится сильным состояние переднего фокуса. Диапазон регулировки фокуса эквивалентен описанному выше диапазону поддержки изменения фокуса, и вычисляется в соответствии уравнением (10).

[0128] На этапе S209, контроллер 121 вычисляет позицию регулировки фокуса и выполняет описанный выше процесс изменения фокуса на основании позиции ползунка, назначенной на этапе S208 посредством использования процессора 125 изображения. Процессор 125 изображения принимает решение о величине дефокусировки (или величине сдвига), соответствующей диапазону поддержки изменения фокуса на основании позиции ползунка 1004 в полосе 1002 ползунка. На этапе S210, контроллер 121 выполняет процесс проявления посредством использования процессора 125 изображения. Затем, на этапе S211, контроллер 121 предписывает блоку 131 отображения отображать проявленное изображения, прекращает ряд операций процесса манипулирования изображением параллакса, и возвращает обработку вызывающей стороне.

[0129] (Ряд Операций Процесса Проявления)

Процесс проявления на этапах S205 и S210 будет теперь объяснен со ссылкой на Фиг. 18. На этапе S301, процессор 125 изображения выполняет процесс балансировки белого посредством применения усилений к R, G, и B так, что R, G, и B становятся равными цветами в области белого. На этапе S302, процессор 125 изображения выполняет процесс демозайки. В частности, процессор 125 изображения выполняет интерполяцию над входными изображениями в соответствующих определенных направлениях, и выбирает направление после этого, тем самым генерируя сигналы цветного изображения трех первичных цветов R, G, и B в качестве результатов интерполяции для каждого пикселя.

[0130] На этапе S303, процессор 125 изображения выполняет гамма-обработку. На этапе S304, процессор 125 изображения выполняет разнообразные процессы регулировки цвета, такие как уменьшение шума, выделение насыщенности, коррекция оттенка, и выделения края, для того, чтобы улучшить внешний вид изображения. На этапе S305, процессор 125 изображения сжимает сигнал цветного изображения с прошедшей регулировкой цвета на этапе S304 посредством предварительно определенного способа, такого как JPEG, и выводит сжатые данные изображения. На этапе S306, контроллер 121 записывает данные изображения, выведенные из процессора 125 изображения, на записывающий носитель 133 информации, прекращает ряд операций процесса проявления, и возвращает обработку вызывающей стороне.

[0131] (Примеры UI Перемещения Точки Обзора и UI Регулировки Фокуса)

Примеры работы описанных выше UI перемещения точки обзора и UI регулировки фокуса и примеры синтетического изображения после операций будут объяснены ниже со ссылкой на Фиг. с 19B по 19E. Фиг. 19B показывает пример отображаемого синтетического изображения, полученного посредством выполнения процесса изменения фокуса посредством оперирования UI регулировки фокуса. В ответ на операцию пользователя в виде перемещения ползунка 1004 вниз, контроллер 121 выполняет регулировку фокуса (процесс изменения фокуса) так, что становится сильным состояние переднего фокуса (посредством использования процессора 125 изображения), и отображает выходное изображение.

[0132] Фиг. 19C показывает пример отображаемого синтетического изображения, над которым процесс перемещения точки обзора выполняется посредством дальнейшего перемещения ползунка 1001 у UI перемещения точки обзора вправо от Фиг. 19B. В ответ на операцию пользователя в виде перемещения ползунка 1001 вправо, контроллер 121 отображает выходное изображение посредством расширения глубины поля посредством выполнения процесса перемещения точки обзора (посредством использования процессора 125 изображения). Также, Фиг. 19D показывает пример отображаемого синтетического изображения, полученного посредством расширения глубины поля посредством выполнения процесса перемещения точки обзора посредством перемещения ползунка 1001 у UI перемещения точки обзора влево от Фиг. 19B. Посредством компоновки ползунков и полос ползунков в качестве рабочих элементов так, что можно оперировать UI перемещения точки обзора и UI регулировки фокуса параллельно, как описано выше, пользователь может выполнять процесс перемещения точки обзора, расширения глубины поля, и изменения фокуса параллельно (в одно и то же время).

[0133] Фиг. 20 показывает пример, в котором UI выполнен с возможностью изменения степени выделения в описанном выше процессе выделения параллакса и дополнительно добавляется обработка резкости. В дополнение к UI, показанным на Фиг. с 19A по 19D, контроллер 121 компонует ползунок 1005 и полосу 1006 ползунка выполненные с возможностью изменения степени выделения. Операция над ползунком 1005 служит для изменения параметра, соответствующего переменной k в процессе выделения параллакса или величине T применения в обработки резкости, тем самым меняя степень выделения в синтетическом изображении, которое должно отображаться.

[0134] Отметим, что в данном варианте осуществления, UI перемещения точки обзора скомпонован в горизонтальном направлении, так как процесс перемещения точки обзора выполняется в горизонтальном направлении на основании сигналов, получаемых от датчика изображения, в котором каждый пиксель разделе в вертикальном направлении. Тем не менее, если направление деления в датчике изображения не является горизонтальным направлением (например, вертикальным направлением), направление, в котором компонуется UI перемещения точки обзора, также может быть установлен в соответствии с направлением деления (например, вертикальном направлении). В данном случае, UI регулировки фокуса может быть скомпонован в направлении отличном от того, что у UI перемещения точки обзора, для того, чтобы более четко различать два UI, и также может быть сохранен в вертикальном направлении для того, чтобы выполнять операцию для позиции фокуса более интуитивно.

[0135] Как было объяснено выше, после того, как получается сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света, осуществляется принятие операции перемещения точки обзора и операции регулировки позиции фокуса, и генерируется и отображается синтетическое изображение, соответствующее операциям. Это позволяет пользователю выполнять перемещение точки обзора, расширение глубины поля, и регулировку (изменение фокуса) позиции фокуса параллельно. Другими словами, операция отображения изображения с измененной точкой обзора и операция отображения изображения с измененной позицией фокуса могут быть выполнены параллельно на основании множества изображений точки обзора.

[0136] Также, посредством дополнительного принятия операции изменения степени выделения, можно дополнительно параллельно выполнять процесс выделения синтетического изображения с отрегулированным фокусом. В дополнение, когда пиксель датчика изображения для получения сигнала изображения, содержащего информацию интенсивности и информацию угла падающего луча света, делится на множество участков в горизонтальном направлении, UI перемещения точки обзора компонуется так, чтобы им можно было оперировать в горизонтальном направлении. Поскольку это совпадает с направлением, в котором может перемещаться точка обзора и направлением, в котором пользователь может выполнять операции, пользователь может выполнять операции более интуитивно.

[0137] (Второй Вариант Осуществления)

Второй вариант осуществления будет объяснен ниже. Во втором варианте осуществления, будет объяснен пример, в котором манипуляция изображением точки обзора выполняется посредством переключения отображения вертикальной позиции и отображения горизонтальной позиции изображения. Компоновка цифровой камеры 100 данного варианта осуществления является точно такой же, как та, что у первого варианта осуществления, и отличной является часть процесса манипулирования изображением параллакса. Вследствие этого, повторное ее объяснение будет опущено посредством обозначения одинаковых компонентов одинаковыми числовыми обозначениями, и главным образом будет объяснено отличие.

[0138] (Ряд Операций Процесса Манипулирования Изображением Точки Обзора)

Процесс манипулирования изображением точки обзора в соответствии с данным вариантом осуществления будет объяснен со ссылкой на Фиг. 21. На этапе S401, контроллер 121 определяет, выполнять ли отображение вертикальной позиции данных изображения. Контроллер 121 определяет, захвачено ли входное изображение в вертикальной позиции посредством, например, обращения к метаданным изображения. Если определяется, что изображение захвачено в вертикальной позиции, контроллер 121 продвигает процесс к этапу S402 для того, чтобы выполнить отображение вертикальной позиции. С другой стороны, если определяется, что изображение не захвачено в вертикальной позиции, контроллер 121 продвигает процесс к этапу S403 для того, чтобы выполнить отображение горизонтальной позиции. Отметим, что в определении этапа S401, отображение вертикальной позиции может быть выполнено, когда пользователь устанавливает отображение вертикальной позиции посредством использования кнопки или подобного у блока 132 операции, и также можно получить информацию, указывающую направление деления пикселя у датчика изображения из метаданных, и определить направление отображения в соответствии с направлением деления.

[0139] На этапе S402, контроллер 121 отображает изображение в вертикальной позиции, и также отображает UI перемещения точки обзора так, что UI может быть изменен в вертикальном направлении, и UI регулировки фокуса так, что UI может быть изменен в горизонтальном направлении. С другой стороны, на этапе S403, контроллер 121 отображает изображение в горизонтальном направлении, и также отображает UI перемещения точки обзора так, что UI может быть изменен в горизонтальном направлении, и UI регулировки фокуса так, что UI может быть изменен в вертикальном направлении. После этого, контроллер 121 выполняет процессы на этапах с S202 по S211 точно таким же образом, как в первом варианте осуществления, и возвращает обработку вызывающей стороне.

[0140] В данном варианте осуществления как объяснено выше, UI перемещения точки обзора и UI регулировки фокуса динамически переключаются в соответствии с тем, является ли входное изображение отображением вертикальной позиции или отображением горизонтальной позиции. Даже когда присутствуют захваченные изображения с разными направлениями отображения, вследствие этого, пользователь может выполнить операции согласования направления, в котором может быть выполнено перемещение точки обзора захваченных изображений.

[0141] (Третий Вариант Осуществления)

Ниже будет объяснен третий вариант осуществления. Отличие третьего варианта осуществления состоит в использовании датчика изображения, в котором каждый пиксель разделен на два в каждом из горизонтального направления и вертикального направления. Соответственно, компоновка цифровой камеры 100 является точно такой же как та, что у первого варианта осуществления, за исключением данного момента. Вследствие этого, повторное объяснение будет опущено посредством обозначения одинаковых компонентов одинаковыми числовыми обозначениями, и главным образом будет объясняться отличие.

[0142] Матрица пикселей и субпикселей в датчике 107 изображения в соответствии с данным вариантом осуществления будет объяснена со ссылкой на Фиг. 22. Фиг. 22 показывает массив пикселей посредством диапазона из 4 столбцов × 4 строки, и матрицу субпикселей посредством диапазона из 8 столбцов × 8 строк, в датчике 107 изображения данного варианта осуществления.

[0143] В данном варианте осуществления, в группе 200 пикселей 2 столбцов × 2 строки, показанной на Фиг. 22, пиксель 200R с спектральной чувствительностью R (красный) скомпонован в верхнем левом углу, пиксели 200G с спектральной чувствительностью G (зеленый) скомпонованы в верхнем правом и нижнем левом углах, и пиксель 200B с спектральной чувствительностью B (синий) скомпонован в нижнем правом углу. Кроме того, каждый пиксель сформирован посредством субпикселей с 221 по 224, скомпонованных в 2 столбцах × 2 строки.

[0144] Датчик 107 изображения может получать захваченное изображение (сигнал субпикселя) посредством компоновки большого числа 4 столбцов × 4 строки пикселей (8 столбцов × 8 сток субпикселей), показанных на Фиг. 22 на плоскости. Датчик 107 изображения является, например, датчиком изображения, в котором период P пикселя составляет 4мкм, число N пикселей составляет 5575 столбцов (горизонтальное направление) × 3725 строк (вертикальное направление)=около 20750000 пикселей, период субпикселя PSUB составляет 2мкм, и число NSUB субпикселей составляет 11150 столбцов (горизонтальное направление) × 7450 строк (вертикальное направление)=около 83000000 пикселей.

[0145] Фиг. 23A является видом сверху, показывающим один пиксель 200G, показанный на Фиг. 22, со стороны принимающей свет поверхности (+z сторона) датчика 107 изображения, а Фиг. 23B является видом в разрезе, показывающим разрез a-a Фиг. 23A со стороны -y. В пикселе 200G данного варианта осуществления, как показано на Фиг. 23A, сформированы фотоэлектрические преобразователи с 2301 по 2304, разделенные на NH (разделены на два) в направлении x, и разделенные на NV (разделены на два) в направлении y. Фотоэлектрические преобразователи с 2301 по 2304 соответственно соответствуют субпикселям с 221 по 224.

[0146] В данном варианте осуществления, первое изображение точки обзора генерируется посредством сбора сигналов приема света субпикселей 201 индивидуальных пикселей. Подобным образом, второе изображение точки обзора генерируется посредством сбора сигналов приема света субпикселей 202 индивидуальных пикселей, третье изображение точки обзора генерируется посредством сбора сигналов приема света субпикселей 203 индивидуальных пикселей, и четвертое изображение точки обзора генерируется посредством сбора сигналов приема света субпикселей 204 индивидуальных пикселей. Отметим, что в данном варианте осуществления, каждое из с первого по четвертое изображений точки обзора является изображением с матрицей Байера, и процесс демозайки может быть выполнен над с первого по четвертое изображениями точки обзора при необходимости.

[0147] Предполагая, что j и i являются целыми числами, (j,i) представляет собой j-ую позицию в направлении строки и i-ую позицию в направлении столбца датчика 107 изображения, и A0(j,i), B0(j,i), C0(j,i), и D0(j,i) соответственно представляет собой первое, второе, третье, и четвертое изображения точки обзора пикселя в позиции (j,i). В данном случае, захваченное изображение I является I(i,j)= A0(j,i)+B0(j,i)+C0(j,i)+D0(j,i).

[0148] (Коррекция и Изменение Фокуса Изображения Точки Доступа)

Как и в первом варианте осуществления, блок 155 обработки изменения точки обзора выполняет обработку контрастности. Т.е., блок 155 обработки изменения точки обзора вычисляет яркость Y(j,i) захваченного изображения I(j,i) с матрицей Байера в соответствии с уравнением (1). Также, блок 155 обработки изменения точки обзора вычисляет высокочастотную составляющую dY(j,i), высокочастотную составляющую dZ(j,i), и распределение контрастности C(j,i).

[0149] Затем, блок 155 обработки изменения точки обзора выполняет процесс выделения параллакса изображений точки обзора. Блок 155 обработки изменения точки обзора увеличивает разность между изображениями точки обзора с первого изображения A0(j,i) точки обзора по четвертое изображение D0(j,i) точки обзора в соответствии с уравнениями (15) и (16), тем самым выполняя преобразование выделения параллакса. Посредством данной обработки, блок 155 обработки изменения точки обзора генерирует скорректированные изображения точки обзора с первого скорректированного изображения A(j,i) точки обзора по четвертое скорректированное изображение D(j,i) точки обзора. В следующих уравнения, 0≤kAB, kAC, kAD, kBC, kBD, kCD≤1, и они являются действительными числами.

[0150]

(15)

[0151]

[0152] Затем, блок 156 обработки изменения фокуса выполняет процесс изменения фокуса посредством использования скорректированных изображений точки доступа, выведенных из блока 155 обработки изменения точки доступа. В частности, блок 156 обработки изменения фокуса выполняет добавление сдвига по с первого по четвертое скорректированным изображениям с A по D точки обзора в соответствии с уравнением (17) посредством использования интегральной величины s сдвига.

[0153]

[0154] Т.е., можно генерировать изображение I(j,i;s) с измененным фокусом в каждой виртуальной плоскости формирования изображения в соответствии с интегральной величиной s сдвига. Отметим, что с первого по четвертое скорректированные изображения с A по D точки обзора имеют матрицу Байера так, что изображение I(j,i;s) с измененным фокусом генерируется при удержании матрицы Байера посредством выполнения добавления сдвига уравнения (10) для каждого цвета на величину сдвига s=2n (n: целое число) как кратную 2. Процессор 125 изображения выполняет процесс демозайки над сгенерированным изображением I(j,i;s) с измененным фокусом.

[0155] Отметим, что также можно, при необходимости, применять процесс демозайки к с первого по четвертое скорректированным изображениям точки обзора, и предписывать блоку 156 обработки изменения фокуса генерировать изображение с измененным фокусом посредством выполнения процесса добавления сдвига над с первого по четвертое скорректированными изображениями точки обзора после демозайки. Также отметим, что блок 156 обработки изменения фокуса может генерировать сигнал интерполяции между пикселями с первого по четвертое скорректированных изображений точки обзора, и генерировать изображение с измененным фокусом, соответствующее неинтегральной величине сдвига, при необходимости.

[0156] (Распределение Смещения Изображения)

Будет объяснено распределение смещения изображения у изображения точки обзора в соответствии с данным вариантом осуществления. Распределение смещения изображения в направлении деления зрачка в горизонтальном направлении является точно таким же, как то, что в первом варианте осуществления, так что его объяснение будет опущено. Будет объяснено распределение смещения изображения в направлении деления зрачка в вертикальном направлении.

[0157] Блок 155 обработки изменения точки обзора перемещает двумерное изображение на k пикселей только в направлении деления зрачка в вертикальном направлении, и получает разность между пикселем первого изображения A0 точки обзора и третьим изображением C0 точки обзора. Соответственно, вычисление корреляции в виде сложения множества строк определяется посредством уравнения (18).

[0158]

где A0ij и C0ij соответственно представляют собой яркости i-ых пикселей в j-ых столбцах первого изображения A0 точки обзора и третьего изображения C0 точки обзора. Также ni является числом, представляющим собой число пикселей, которое должно быть использовано при вычислении, и nj является числом пар изображений в направлении столбца в качестве целевых у вычисления корреляции.

[0159] Блок 155 обработки изменения точки обзора вычисляет k, которое минимизирует COR' (k), показанное в уравнении (18) в качестве величины смещения изображения. Отметим, что нижний индекс k добавляется только к j и не связан с i. Это потому, что вычисление корреляции выполняется при перемещении двумерного изображения только в направлении деления зрачка в вертикальном направлении. Таким образом, блок 155 обработки изменения точки обзора может генерировать распределение смещения изображения посредством вычисления величин смещения изображения в каждой области первого изображения A0 точки обзора и третьего изображения C0 точки обзора. Отметим, что данный вариант осуществления использует A0 и C0, но также можно выполнять вычисление корреляции посредством использования B0 и D0, или посредством использования сигнала, полученного посредством сложения A0 и B0, и сигнала, полученного посредством сложения C0 и D0.

[0160] (Процесс Расширения Глубины Поля)

Блок 155 обработки изменения точки обзора вычисляет весовые коэффициенты изображений точки обзора в соответствии с уравнениями с (19A) по (19D) посредством использования действительного коэффициента w (-1≤w≤1).

[0161]

где Wa(j,i) является первым весовым коэффициентом первого изображения A(j,i) точки обзора, Wb(j,i) является вторым весовым коэффициентом второго изображения B(j,i) точки обзора, Wc(j,i) является третьим весовым коэффициентом третьего изображения C(j,i) точки обзора, и Wd(j,i) является четвертым весовым коэффициентом четвертого изображения D(j,i) точки обзора.

[0162] Блок 155 обработки изменения точки обзора генерирует выходное изображение I(j,i) в соответствии с уравнением (20) из весовых коэффициентов соответствующих соответствующим изображениям точки обзора.

[0163]

[0164] (Примеры UI Перемещения Точки Обзора и UI Регулировки Фокуса)

Компоновки UI перемещения точки обзора и UI регулировки фокуса в соответствии с данным вариантом осуществления будут объяснены ниже со ссылкой на Фиг. 24. В конфигурации данного варианта осуществления, направление деления зрачка делится в двух направлениях. т.е., горизонтальном направлении и вертикальном направлении, так что пользователь может перемещать точку обзора в вертикальном направлении и горизонтальном направлении. В данном варианте осуществления, вследствие этого, формируются две оси ползунков и полос ползунка, чтобы позволить пользователю выполнять операции в двух направлениях.

[0165] Полоса 3001 ползунка и ползунок 3002 в горизонтальном направлении скомпонованы для перемещения точки обзора в горизонтальном направлении, и полоса 4001 ползунка и ползунок 4002 в вертикальном направлении скомпонованы для перемещения точки обзора в вертикальном направлении. В UI регулировки фокуса, скомпонованы полоса 5001 ползунка и ползунок 5002 в направлении отличном от направлений в UI перемещения точки обзора. Отметим, что UI регулировки фокуса скомпонован так, чтобы проходить через пересечение UI перемещения точки обзора в форме креста, но также может быть скомпонован в другой позиции. Посредством такого перемещения ползунков перемещения точки обзора в двух направлениях, можно менять весовые коэффициенты с первого по четвертое изображений точки обзора, и генерировать изображения с разными точками обзора. В дополнение, оперирование UI перемещения точки обзора и UI регулировки фокуса можно осуществлять параллельно (в одно и то же время) как в первом варианте осуществления.

[0166] В данном варианте осуществления, как объяснено выше, после того как получается сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света, осуществляется принятие операции двумерного перемещения точки обзора (в горизонтальном и вертикальном направлениях) и операции регулировки позиции фокуса, и генерируется и отображается синтетическое изображение, соответствующее этим операциям. Когда возможно генерировать изображение посредством двумерного перемещения точки обзора из входного сигнала изображения, вследствие этого, пользователь может выполнять двумерное перемещение точки обзора и регулировку (изменение фокуса) позиции фокуса параллельно.

[0167] (Четвертый Вариант Осуществления)

Ниже будет объяснен четвертый вариант осуществления. В четвертом варианте осуществления, будет объяснен пример, в котором представление (отображение, которое должно быть прикреплено к описанному выше UI перемещения точки обзора или подобному) у UI при манипулировании изображением точки обзора посредством переключения изображения в отображение вертикальной позиции или отображение горизонтальной позиции. Представление UI для манипулирования перемещением точки обзора указывает, например, направление, в котором точка обзора у изображения точки обзора меняется в ответ на манипуляцию над изображением точки обзора. Конфигурация цифровой камеры 100 данного варианта осуществления является точно такой же как та, что у первого варианта осуществления, и отличается часть процесса манипулирования изображением параллакса. Вследствие этого, повторное объяснение будет опущено посредством обозначения одинаковых компонентов одинаковыми числовыми обозначениями, и главным образом будет объяснено отличие.

[0168] (Ряд Операций Процесса Манипулирования Изображением Точки Обзора)

Процесс манипулирования изображением точки обзора в соответствии с данным вариантом осуществления будет объяснен со ссылкой на Фиг. 25A и 25B. На этапе S501 Фиг. 25A, контроллер 121 определяет, отображать ли входное изображение в вертикальной позиции, для того чтобы определять, согласовывать ли представление UI для манипулирования изображением параллакса с отображением вертикальной позиции изображения. Например, контроллер 121 определяет, является ли входное изображение изображением, захваченным в вертикальной позиции посредством обращения к метаданным изображения. Если определяется, что входное изображение должно быть отображено в вертикальной позиции, контроллер 121 продвигает процесс к этапу S502 для того, чтобы согласовать представление UI с вертикальной позицией. С другой стороны, если определяется, что входное изображение не является изображением, захваченным в вертикальной позиции, контроллер 121 продвигает процесс к этапу S503 для того, чтобы установить представление горизонтальной позиции. На этапе S502, контроллер 121 дополнительно определяет угол поворота изображения. Например, контроллер 121 определяет угол (например, вертикальную позицию, полученную посредством поворота на 90° по часовой стрелке, или вертикальную позицию, полученную посредством поворота на 90° против часовой стрелки) захваченного изображения посредством обращения к метаданным входного изображения. Если определяется, что входное изображение является изображением, захваченным посредством поворота на 90° по часовой стрелке, контроллер 121 продвигает процесс к этапу S504 для того, чтобы установить представление для поворота на 90° по часовой стрелке в блоке 131 отображения. С другой стороны, если определяется, что захваченное изображение является изображением, не захваченным посредством поворота на 90° по часовой стрелке (но захваченным посредством отображения вертикальной позиции), контроллер 121 продвигает процесс к этапу S505 для того, чтобы установить представление для поворота на 90° против часовой стрелки. Отметим, что определения на этапах S501 и S502 также могут быть выполнены так, что представление вертикальной позиции устанавливается, если пользователь устанавливает отображение вертикальной позиции посредством кнопки или подобного в блоке 132 операции. Также можно получить информацию, указывающую направление деление пикселя в датчике изображения из метаданных, и определить представление UI для манипулирования изображением параллакса в соответствии с направлением деления.

[0169] На этапе S503, контроллер 121 отображает изображение в горизонтальной позиции, и отображает представление UI для оперирования перемещением точки обзора посредством представления горизонтальной позиции (правое-и-левое представление) (Фиг. 26). На этапе S504, контроллер 121 отображает изображение в вертикальной позиции поворота на 90° по часовой стрелке, и также отображает представление UI для оперирования перемещением точки обзора так, что левая сторона ползунка является «вверх», а правая сторона ползунка является «вниз» (Фиг. 27). На этапе S505, контроллер 121 отображает изображение в вертикальной позиции поворота на 90° по часовой стрелке, и отображает представление UI для оперирования перемещением точки обзора так, что левая сторона ползунка является «вниз», а правая сторона является «вверх» (Фиг. 28). Это позволяет контроллеру 121 переключать представления UI для оперирования перемещением точки обзора в соответствии с UI перемещения точки обзора, и переключать представления в соответствии с углом поворота в той же самой вертикальной позиции. По завершению процессов на этапах с S503 по S505, контроллер 121 выполняет процессы на этапах с S202 по S211, показанные на Фиг. 25B точно таким же образом, как в первом варианте осуществления, и возвращает обработку вызывающей стороне.

[0170] В данном варианте осуществления, как описано выше, представления UI перемещения точки обзора динамически переключаются в соответствии с тем, отображается ли входное изображение в вертикальной позиции или горизонтальной позиции, и с углом поворота изображения. Даже когда присутствуют захваченные изображения с разными направлениями отображения, пользователь может выполнять операцию согласования направления, в котором может быть выполнено перемещение точки обзора каждого захваченного изображения.

[0171] (Другие Варианты Осуществления)

Настоящее изобретение также может быть реализовано посредством подачи программы для реализации одной или более функций описанных выше вариантов осуществления системе или устройству через сеть или запоминающий носитель информации, и считывания и исполнения программы посредством одного или более процессоров в компьютере системы или устройстве. Настоящее изобретение также реализуется посредством цепи (например, ASIC), которая реализует одну или более функции.

[0172] Настоящее изобретение не ограничивается описанными выше вариантами осуществления, и разнообразные изменения и модификации могут быть выполнены, не отступая от сущности и объема изобретения. Вследствие этого, чтобы проинформировать общественность об объеме настоящего изобретения, прилагается нижеследующая формула изобретения.

[0173] По данной заявке испрашивается приоритет Японской Патентной Заявки № 2016-060897, поданной 24 марта 2016 г., и Японской Патентной Заявки № 2016-112103, поданной 03 июня 2016 г., которые во всей своей полноте включены в настоящее описание посредством ссылки.

ПЕРЕЧЕНЬ ЦИФРОВЫХ ОБОЗНАЧЕНИЙ

[0174] 122…контроллер, 125…процессор изображения, 131…блок отображения, 132…блок операции, 151…блок получения изображения, 155…блок обработки изменения точки обзора, 156…блок обработки изменения фокуса

Группа изобретений относится к устройству обработки изображения, устройству создания изображения и их способам управления. Устройство обработки изображения содержит средство получения для получения сигнала изображения, содержащего информацию интенсивности и информацию угла падающего луча света, средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса и средство обработки для осуществления, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, генерирования изображения посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса, при этом в случае, когда изображение может быть сгенерировано посредством изменения точки обзора в горизонтальном направлении или вертикальном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения точки обзора по горизонтальному направлению или вертикальному направлению, и при отображении, в вертикальной позиции, изображения, точка обзора которого может быть изменена в горизонтальном направлении в горизонтальной позиции, средство оперирования осуществляет принятие операции изменения точки обзора в вертикальном направлении. Устройство создания изображения содержит датчик изображения, в котором пиксели, каждый из которых включает в себя множество субпикселей, являются двумерно скомпонованными и который выводит сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света, на основе сигналов, выводимых из субпикселей, средство оперирования и средство обработки, при этом в датчике изображения множество субпикселей скомпонованы в предварительно определенном направлении в пикселе, и в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в предварительно определенном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения точки обзора по этому предварительно определенному направлению. Способ управления устройством обработки изображения выполняется устройством обработки изображения. Способ управления устройством создания изображения выполняется устройством создания изображения. Также устройство обработки изображения содержит средство отображения для отображения представления, указывающего направление изменения точки обзора в соответствии с операцией изменения точки обзора, при этом средство отображения меняет упомянутое представление в соответствии с направлением, в котором средство оперирования осуществляет принятие операции изменения точки обзора. Устройство обработки изображения содержит средство оперирования, дополнительно осуществляющее принятие операции изменения степени улучшения краев в изображении, предназначенном для отображения, и средство обработки, выполняющее улучшение краев в отношении сфокусированной области в изображении, предназначенном для отображения, в соответствии со степенью улучшения краев. Устройство создания изображения содержит средство отображения для отображения представления, указывающего направление, в котором меняется точка обзора в соответствии с операцией изменения точки обзора, при этом средство отображения меняет упомянутое представление в соответствии с углом поворота от вертикальной позиции или горизонтальной позиции, в которой захвачен сигнал изображения. Устройство создания изображения содержит средство оперирования, дополнительно осуществляющее принятие операции изменения степени улучшения краев в изображении, предназначенном для отображения, и средство обработки, выполняющее улучшение краев в отношении сфокусированной области в изображении, предназначенном для отображения, в соответствии со степенью улучшения краев. Использование группы изобретений позволяет параллельно выполнять операции отображения изображения с измененной точкой обзора и операции отображения изображения с измененной позицией фокуса на основании множества изображений точки обзора. 8 н. и 9 з.п. ф-лы, 28 ил.

1. Устройство обработки изображения, отличающееся тем, что содержит:

средство получения для получения сигнала изображения, содержащего информацию интенсивности и информацию угла падающего луча света;

средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса и

средство обработки для осуществления, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, генерирования изображения, предназначенного для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса, при этом

в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в горизонтальном направлении или вертикальном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения точки обзора по горизонтальному направлению или вертикальному направлению, и

при отображении, в вертикальной позиции, изображения, предназначенного для отображения, точка обзора которого может быть изменена в горизонтальном направлении в горизонтальной позиции, средство оперирования осуществляет принятие операции изменения точки обзора в вертикальном направлении.

2. Устройство обработки изображения по п. 1, отличающееся тем, что в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в горизонтальном направлении или вертикальном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения позиции фокуса по направлению, отличному от горизонтального направления или вертикального направления.

3. Устройство обработки изображения по п. 2, отличающееся тем, что средство оперирования осуществляет принятие операции изменения точки обзора так, что изменение точки обзора в горизонтальном направлении или вертикальном направлении увеличивается по мере того, как позиция перемещается от предварительно определенной позиции в горизонтальном направлении или вертикальном направлении, и изменение точки обзора увеличивается в направлении, противоположном горизонтальному направлению или вертикальному направлению, по мере того, как позиция перемещается в противоположную сторону от данной предварительно определенной позиции по горизонтальному направлению или вертикальному направлению.

4. Устройство обработки изображения по п. 1, отличающееся тем, что дополнительно содержит средство отображения для отображения представления, указывающего направление изменения точки обзора в соответствии с операцией изменения точки обзора, при этом средство отображения меняет данное представление в соответствии с направлением, в котором средство оперирования осуществляет принятие операции изменения точки обзора.

5. Устройство обработки изображения по п. 3, отличающееся тем, что средство оперирования осуществляет принятие операции изменения позиции фокуса так, что изменение позиции фокуса увеличивается по мере того, как операция изменения позиции фокуса перемещается от предварительно определенной позиции в направлении принятия операции.

6. Устройство обработки изображения по любому из пп. 1-5, отличающееся тем, что средство оперирования осуществляет принятие операции изменения точки обзора и операции изменения позиции фокуса в состоянии, в котором отображается изображение, предназначенное для отображения, на основе сигнала изображения.

7. Устройство обработки изображения по любому из пп. 1-5, отличающееся тем, что:

средство оперирования дополнительно осуществляет принятие операции изменения степени улучшения краев в изображении, предназначенном для отображения, и

средство обработки выполняет улучшение краев в отношении сфокусированной области в изображении, предназначенном для отображения, в соответствии со степенью улучшения краев.

8. Устройство обработки изображения по любому из пп. 1-5, отличающееся тем, что средство обработки генерирует изображение, предназначенное для отображения, посредством изменения весового коэффициента для сложения множества изображений, соответствующих точкам обзора, в соответствии с операцией изменения точки обзора и сложения множества изображений, соответствующих точкам обзора, посредством использования данного весового коэффициента.

9. Устройство обработки изображения по любому из пп. 1-5, отличающееся тем, что средство обработки генерирует изображение, предназначенное для отображения, посредством изменения величины сдвига между множеством изображений, соответствующих точкам обзора, в соответствии с операцией изменения позиции фокуса и сложения множества изображений, соответствующих точкам обзора, сдвинутых на эту величину сдвига.

10. Устройство создания изображения, отличающееся тем, что содержит:

датчик изображения, в котором пиксели, каждый из которых включает в себя множество субпикселей, являются двумерно скомпонованными и который выводит сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света, на основе сигналов, выводимых из субпикселей;

средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса и

средство обработки для осуществления, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, генерирования изображения, предназначенного для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса, при этом

в датчике изображения множество субпикселей скомпонованы в предварительно определенном направлении в пикселе, и

в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в предварительно определенном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения точки обзора по этому предварительно определенному направлению,

в случае, когда сигнал изображения, захваченный в горизонтальной позиции посредством использования устройства создания изображения, отображается в качестве изображения, предназначенного для отображения, в горизонтальной позиции, средство оперирования осуществляет принятие операции изменения точки обзора по упомянутому предварительно определенному направлению, а в случае, когда сигнал изображения, захваченный в горизонтальном направлении, отображается в качестве изображения, предназначенного для отображения, в вертикальной позиции, средство оперирования осуществляет принятие операции изменения точки обзора по направлению, перпендикулярному упомянутому предварительно определенному направлению.

11. Устройство создания изображения по п. 10, отличающееся тем, что дополнительно содержит средство отображения для отображения представления, указывающего направление, в котором меняется точка обзора в соответствии с операцией изменения точки обзора, при этом средство отображения меняет данное представление в соответствии с углом поворота от вертикальной позиции или горизонтальной позиции, в которой захвачен сигнал изображения.

12. Способ управления устройством обработки изображения, отличающийся тем, что содержит:

этап получения, на котором предписывают средству получения получать сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света;

этап оперирования, на котором предписывают средству оперирования осуществить принятие операции изменения точки обзора и операции изменения позиции фокуса; и

этап обработки, на котором предписывают средству обработки генерировать, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, изображение, предназначенное для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса, при этом

в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в горизонтальном направлении или вертикальном направлении на основе сигнала изображения, на этапе оперирования предписывают средству оперирования осуществить принятие операции изменения точки обзора по горизонтальному направлению или вертикальному направлению, и

при отображении, в вертикальной позиции, изображения, предназначенного для отображения, точка обзора которого может быть изменена в горизонтальном направлении в горизонтальной позиции, на этапе оперирования предписывают средству оперирования осуществить принятие операции изменения точки обзора в вертикальном направлении.

13. Способ управления устройством создания изображения, содержащим датчик изображения, в котором пиксели, каждый из которых включает в себя множество субпикселей, являются двумерно скомпонованными и который выводит сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света, на основе сигналов, выводимых из субпикселей, отличающийся тем, что содержит:

этап получения, на котором предписывают средству получения получать сигнал изображения, выводимый из датчика изображения;

этап оперирования, на котором предписывают средству оперирования осуществить принятие операции изменения точки обзора и операции изменения позиции фокуса; и

этап обработки, на котором предписывают средству обработки генерировать, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, изображение, предназначенное для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса, при этом

в датчике изображения множество субпикселей скомпонованы в предварительно определенном направлении в пикселе, и

на этапе оперирования, в случае когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в предварительно определенном направлении на основе сигнала изображения, осуществляют принятие операции изменения точки обзора по предварительно определенному направлению, и

в случае, когда сигнал изображения, захваченный в горизонтальной позиции посредством использования устройства создания изображения, отображается в качестве изображения, предназначенного для отображения, в горизонтальной позиции, на этапе оперирования предписывают средству оперирования осуществить принятие операции изменения точки обзора по упомянутому предварительно определенному направлению, а в случае, когда сигнал изображения, захваченный в горизонтальном направлении, отображается в качестве изображения, предназначенного для отображения, в вертикальной позиции, на этапе оперирования предписывают средству оперирования осуществить принятие операции изменения точки обзора по направлению, перпендикулярному упомянутому предварительно определенному направлению.

14. Устройство обработки изображения, отличающееся тем, что содержит:

средство получения для получения сигнала изображения, содержащего информацию интенсивности и информацию угла падающего луча света;

средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса;

средство обработки для осуществления, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, генерирования изображения, предназначенного для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса; и

средство отображения для отображения представления, указывающего направление изменения точки обзора в соответствии с операцией изменения точки обзора, при этом

в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в горизонтальном направлении или вертикальном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения точки обзора по горизонтальному направлению или вертикальному направлению,

при отображении, в вертикальной позиции, изображения, предназначенного для отображения, точка обзора которого может быть изменена в горизонтальном направлении в горизонтальной позиции, средство оперирования осуществляет принятие операции изменения точки обзора в вертикальном направлении, и

средство отображения меняет упомянутое представление в соответствии с направлением, в котором средство оперирования осуществляет принятие операции изменения точки обзора.

15. Устройство обработки изображения, отличающееся тем, что содержит:

средство получения для получения сигнала изображения, содержащего информацию интенсивности и информацию угла падающего луча света;

средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса и

средство обработки для осуществления, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, генерирования изображения, предназначенного для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса, при этом

средство оперирования дополнительно осуществляет принятие операции изменения степени улучшения краев в изображении, предназначенном для отображения, и

средство обработки выполняет улучшение краев в отношении сфокусированной области в изображении, предназначенном для отображения, в соответствии со степенью улучшения краев.

16. Устройство создания изображения, отличающееся тем, что содержит:

датчик изображения, в котором пиксели, каждый из которых включает в себя множество субпикселей, являются двумерно скомпонованными и который выводит сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света, на основе сигналов, выводимых из субпикселей;

средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса и

средство обработки для осуществления, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, генерирования изображения, предназначенного для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса; и

средство отображения для отображения представления, указывающего направление, в котором меняется точка обзора в соответствии с операцией изменения точки обзора, при этом

в датчике изображения множество субпикселей скомпонованы в предварительно определенном направлении в пикселе,

в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в предварительно определенном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения точки обзора по этому предварительно определенному направлению,

в случае, когда сигнал изображения, захваченный в горизонтальной позиции посредством использования устройства создания изображения, отображается в качестве изображения, предназначенного для отображения, в горизонтальной позиции, средство оперирования осуществляет принятие операции изменения точки обзора по упомянутому предварительно определенному направлению, а в случае, когда сигнал изображения, захваченный в горизонтальном направлении, отображается в качестве изображения, предназначенного для отображения, в вертикальной позиции, средство оперирования осуществляет принятие операции изменения точки обзора по направлению, перпендикулярному упомянутому предварительно определенному направлению, и

средство отображения меняет упомянутое представление в соответствии с углом поворота от вертикальной позиции или горизонтальной позиции, в которой захвачен сигнал изображения.

17. Устройство создания изображения, отличающееся тем, что содержит:

датчик изображения, в котором пиксели, каждый из которых включает в себя множество субпикселей, являются двумерно скомпонованными и который выводит сигнал изображения, содержащий информацию интенсивности и информацию угла падающего луча света, на основе сигналов, выводимых из субпикселей;

средство оперирования для принятия операции изменения точки обзора и операции изменения позиции фокуса и

средство обработки для осуществления, основываясь на множестве изображений, соответствующих точкам обзора, полученных на основе сигнала изображения, генерирования изображения, предназначенного для отображения, посредством изменения точки обзора в соответствии с операцией изменения точки обзора и изменения позиции фокуса в соответствии с операцией изменения позиции фокуса,

при этом в датчике изображения множество субпикселей скомпонованы в предварительно определенном направлении в пикселе, и

в случае, когда изображение, предназначенное для отображения, может быть сгенерировано посредством изменения точки обзора в предварительно определенном направлении на основе сигнала изображения, средство оперирования осуществляет принятие операции изменения точки обзора по этому предварительно определенному направлению;

при этом средство оперирования дополнительно осуществляет принятие операции изменения степени улучшения краев в изображении, предназначенном для отображения, и

средство обработки выполняет улучшение краев в отношении сфокусированной области в изображении, предназначенном для отображения, в соответствии со степенью улучшения краев.