УСТРОЙСТВО ЗАХВАТА ИЗОБРАЖЕНИЯ, СПОСОБ УПРАВЛЕНИЯ ДЛЯ УСТРОЙСТВА ЗАХВАТА ИЗОБРАЖЕНИЯ И НОСИТЕЛЬ ИНФОРМАЦИИ Российский патент 2014 года по МПК H04N5/00 

УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству захвата изображения, способу управления для устройства захвата изображения и запоминающему блоку. Более конкретно, настоящее изобретение относится к устройству захвата изображения, такому как электронный фотоаппарат или видеокамера, и способу управления для устройства захвата изображения, и носителю информации, который хранит программу для управления устройством захвата изображения.

Описание родственной области техники

[0002] В последние годы многие устройства захвата изображения, такие как цифровые камеры или цифровые видеокамеры, обеспечены функциями для выполнения обработки изображения в области, отличной от интересующего объекта. Например, в качестве одной из функций существует функция для придания эффекта псевдоразмывания области фона данных захваченного изображения, например.

[0003] В общем, если устройство захвата изображения имеет большой датчик изображения, как однообъективная зеркальная камера, глубина резкости становится неглубокой посредством открытия апертуры диафрагмы, чтобы сделать фокусное расстояние длиннее, и становится относительно просто захватить данные изображения, которое имеет размытый фон, кроме объекта, который находится в фокусе, как описано выше.

[0004] С другой стороны, в устройстве захвата изображения, имеющем небольшой датчик изображения, таком как компактная цифровая камера, даже если используется вышеописанный способ, глубина резкости стремится стать глубже, и в результате сложно захватить данные изображения с размытым фоном.

[0005] Ввиду этого факта, известно, что устройство захвата изображения, имеющее небольшой датчик изображения, такое как компактная цифровая камера, может получать данные изображения с размытым фоном посредством отличения области объекта от области фона данных захваченного изображения и выполнения обработки по фильтрации области фона.

[0006] Публикация заявки на патент Японии № 2007-124398 рассматривает способ для получения пространственно-частотной составляющей из данных захваченного изображения для того, чтобы различить область объекта и область фона. То есть, в способе, рассмотренном в публикации заявки на патент Японии № 2007-124398, величина размытости стороны фона данных захваченного изображения увеличивается посредством регулирования положения фокусной линзы так, чтобы объект был расположен в задней части глубины резкости. Затем вычисляется величина пространственно-частотной составляющей для каждого из множества сегментированных блоков, и блок, чье значение равно или больше, чем пороговое значение, различается как область объекта.

[0007] Однако в способе, рассмотренном в публикации заявки на патент Японии № 2007-124398, существует проблема, что достаточная точность не может быть получена, если величина размытости на стороне области фона является небольшой, так как различение между областями выполняется, исходя из величины пространственно-частотной составляющей одного кадра из данных изображения. В частности, в устройстве захвата изображения, имеющем небольшой датчик изображения, подобном компактной цифровой камере, которая широко используется в последние годы, существует тенденция, что достаточная величина размытости не получается, даже когда выполняется вышеописанная обработка. В результате сложно выполнить различение между областями, исходя из величины пространственно-частотной составляющей одного кадра из данных изображения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0008] Настоящее изобретение направлено на устройство захвата изображения, способ управления для устройства захвата изображения и запоминающий блок, способный, даже если данные изображения имеют недостаточную разницу по глубине между объектом и фоном, точно отличать область, содержащую объект, от области, содержащей фон.

[0009] Согласно аспекту настоящего изобретения устройство захвата изображения включает в себя блок генерирования, выполненный с возможностью генерирования первых данных изображения, когда положением в фокусе является первое фокусное положение, при котором объект находится в сфокусированном состоянии, или второе фокусное положение на стороне близкого расстояния первого фокусного положения, и вторых данных изображения, сгенерированных блоком генерирования, когда положением в фокусе является третье фокусное положение на стороне далекого расстояния фокусного положения, при котором фон находится в сфокусированном состоянии, и блок различения, выполненный с возможностью, на основе первых и вторых данных изображения, сгенерированных блоком генерирования, различения между первой областью, включающей в себя объект, и второй областью, включающей в себя фон.

[0010] Согласно другому аспекту настоящего изобретения способ управления устройства захвата изображения включает в себя различение, основанное на первых данных изображения, полученных при положении в фокусе, которым является первое фокусное положение, при котором объект находится в сфокусированном состоянии, или второе фокусное положение на стороне близкого расстояния первого фокусного положения, и вторых данных изображения, полученных при положении в фокусе, которым является третье фокусное положение на стороне большого расстояния фокусного положения, при котором сфокусирован фон, причем первая область содержит объект, а вторая область содержит фон.

[0011] Согласно еще одному аспекту настоящего изобретения обеспечен носитель информации, хранящий программу для управления устройством захвата изображения, причем программа исполняет обработку посредством компьютера, включает в себя различение, основанное на первых данных изображения, полученных при положении в фокусе, которым является первое фокусное положение, при котором сфокусирован объект, или второе фокусное положение на стороне близкого расстояния первого фокусного положения, и вторых данных изображения, полученных при положении в фокусе, которым является третье фокусное положение на стороне далекого расстояния фокусного положения, при котором сфокусирован фон, причем первая область включает в себя объект, а вторая область включает в себя фон.

[0012] Дополнительные признаки и аспекты настоящего изобретения станут очевидны из следующего подробного описания примерных вариантов осуществления со ссылкой на приложенные чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0013] Сопроводительные чертежи, которые включены в состав и образуют часть данного описания, иллюстрируют примерные варианты осуществления, признаки и аспекты данного изобретения и вместе с данным описанием служат для объяснения принципов данного изобретения.

[0014] На фиг.1 показана блок-схема, иллюстрирующая конфигурацию устройства 100 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0015] На фиг.2 показана блок-схема, иллюстрирующая конфигурацию схемы 112 различения областей с фиг.1 согласно примерному варианту осуществления настоящего изобретения.

[0016] На фиг.3 показана блок-схема операций, иллюстрирующая операцию обработки по захвату изображения устройства 100 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0017] На фиг.4 показана блок-схема операций, иллюстрирующая операцию обработки по различению областей устройства 100 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0018] На фиг.5 показана блок-схема, иллюстрирующая конфигурацию устройства 500 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0019] На фиг.6 показана блок-схема, иллюстрирующая конфигурацию блока 513 генерирования размытого изображения фона на фиг.5 согласно примерному варианту осуществления настоящего изобретения.

[0020] На фиг.7 показана блок-схема операций, иллюстрирующая операцию обработки по размыванию фона устройства 500 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0021] На фиг.8A и 8B показаны примеры отношения между расстоянием сканируемых пикселей и области объекта и значением усиления устройства 500 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0022] На фиг.9 показан другой пример отношения между расстоянием сканируемого пикселя и области объекта и значением усиления устройства 500 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0023] На фиг.10 показана карта расстояний устройства 500 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0024] На фиг.11А, 11B и 11C проиллюстрированы размытости и расплывания, возникающие при стандартной обработке изображения.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0025] Различные примерные варианты осуществления, признаки и аспекты данного изобретения будут описаны подробно со ссылкой на чертежи.

[0026] Сначала общая конфигурация устройства захвата изображения, согласно примерному варианту осуществления настоящего изобретения, описана со ссылкой на фиг.1. На фиг.1 показана блок-схема, иллюстрирующая конфигурацию устройства 100 захвата изображения согласно примерному варианту осуществления настоящего изобретения.

[0027] Устройство 100 захвата изображения включает в себя блок 117 управления, который выполняет управление всем устройством 100 захвата изображения. Блок 117 управления образован центральным блоком обработки (CPU) или микропроцессорным блоком (MPU) и управляет работой каждой схемы, описанной ниже. Блок 117 управления управляет приведением в действие для регулирования диафрагмы (не проиллюстрировано). Схема 116 управления захватом изображения управляет механизмом приведения в действие диафрагмы (не проиллюстрировано) для изменения диаметра апертуры диафрагмы для диафрагмы согласно сигналу от блока 117 управления.

[0028] Дополнительно, блок 117 управления управляет приведением в действие для регулирования фокусной линзы (не проиллюстрировано) внутри объектива 101 формирования изображения. Схема 116 управления захватом изображения управляет механизмом приведения в действие линзы (не проиллюстрировано), который выполняет фокусирование посредством приведения в действие фокусной линзы в направлении оптической оси, согласно сигналу от блока 117 управления. Механизм приведения в действие линзы включает в себя шаговый двигатель или двигатель постоянного тока (DC) в качестве источника приведения в действие. В качестве линз внутри объектива 101 формирования изображения предоставлены линза переменной кратности и неподвижная линза в дополнение к фокусной линзе, и блок линз выполнен с возможностью включения в себя этих линз.

[0029] Датчик 102 изображения образован датчиком на устройствах с зарядовой связью (ПЗС) или датчиком с комплементарной структурой металл-оксид-полупроводник (КМОП) или другими датчиками, и его поверхность покрыта цветными RGB фильтрами, как, например, фильтр Байера, который обеспечивает возможность захвата цветного изображения. Изображение объекта, падающее через объектив 101 формирования изображения, включающий в себя фокусную линзу, формируется на датчике 102 изображения. Датчик 102 изображения фотоэлектрически преобразует изображение объекта для генерирования данных изображения. Затем сгенерированные данные изображения сохраняются в память 103.

[0030] Блок 117 управления вычисляет скорость срабатывания затвора и значение апертуры диафрагмы, которые обеспечивают возможность всем данным изображения иметь правильную экспозицию, и вычисляет величину приведения в действие объектива 101 формирования изображения, чтобы сфокусироваться на объекте. Затем значение экспозиции (скорость срабатывания затвора и значение апертуры диафрагмы), вычисленное блоком 117 управления, и информация, указывающая величину приведения в действие объектива 101 формирования изображения, выводятся в схему 116 управления захватом изображения. Управление экспозицией и регулирование фокуса выполняются на основе соответственных значений.

[0031] Схема 104 с матрицей преобразования цветов применяет усиление цвета к данным захваченного изображения, которые следует воспроизвести в оптимальном цвете, и конвертирует их в цветоразностные сигналы R-Y и B-Y. Схема 105 фильтра низких частот (ФНЧ) используется для ограничения полос частот цветоразностных сигналов R-Y и B-Y. Схема 106 подавления цветности (CSUP) используется для подавления ложного цветового сигнала участка насыщенности в данных изображения, ограниченных по полосе частот схемой 105 ФНЧ.

[0032] С другой стороны, данные захваченного изображения также выводятся в схему 107 генерирования сигнала яркости. Схема 107 генерирования сигнала яркости генерирует сигнал Y яркости из входных данных изображения. Схема 108 улучшения контура выполняет обработку по улучшению контура сгенерированного сигнала Y яркости.

[0033] Схема 109 RGB-преобразования преобразует цветоразностные сигналы R-Y и B-Y, выведенные из схемы 106 CSUP, и сигнал Y яркости, выведенный из схемы 108 улучшения контура, в RGB-сигналы. Схема 110 гамма-коррекции выполняет коррекцию градации преобразованных RGB-сигналов. В дальнейшем, схема 111 преобразования яркости цвета преобразует RGB-сигналы, которые были подвергнуты коррекции градации, в YUV-сигналы.

[0034] Схема 112 различения областей выполняет различение между областью объекта и областью фона относительно данных изображения, преобразованных в YUV-сигналы. Подробная конфигурация схемы 112 различения областей будет описана ниже. Блок 113 обработки изображения выполняет обработку изображения, такую как обработка по размыванию области фона. Схема 114 сжатия по стандарту объединенной экспертной группы по фотографии (JPEG) сжимает способом JPEG или тому подобным данные изображения, которые были подвергнуты обработке изображения блоком 113 обработки изображения, и сохраняет данные изображения после сжатия на внешнем или внутреннем носителе 115 записи.

[0035] Затем будет описана конкретная конфигурация схемы 112 различения областей. На фиг.2 показана блок-схема, иллюстрирующая конфигурацию схемы 112 различения областей с фиг.1. Как проиллюстрировано на фиг.2, схема 112 различения областей включает в себя блок 201 обнаружения контура, блок 202 вычитания контура, блок 203 вычисления целого значения контура, блок 204 оценки целого значения контура и блок 205 генерирования карты областей.

[0036] Ниже в данном документе работа устройства 100 захвата изображения согласно настоящему примерному варианту осуществления будет подробно описана со ссылкой на фиг.3 и 4. Следующая процедура обработки хранится в памяти (не проиллюстрировано) в блоке 117 управления как компьютерная программа (программное обеспечение), и CPU (не проиллюстрировано) в блоке 117 управления считывает и исполняет компьютерную программу.

[0037] Сначала операция обработки по захвату изображения устройством 100 захвата изображения будет описана со ссылкой на фиг.3. На фиг.3 показана блок-схема операций, иллюстрирующая операцию обработки по захвату изображения устройством 100 захвата изображения.

[0038] После того как статус переключателя 1 (SW 1) для выполнения операции формирования изображения в дежурном режиме, такой как управление экспозицией и регулирование фокуса, переводится в положение "Включено", выполняется операция формирования изображения в дежурном режиме для фокусирования на объекте и для получения правильной экспозиции, статус переключателя 2 (SW 2) для выполнения операции формирования изображения переводится в положение "Включено". В это время на этапе S301 блок 117 управления получает расстояние до текущего объекта. В этом процессе расстояние до объекта может быть вычислено на основе, например, положения линзы, при котором объект находится в сфокусированном состоянии.

[0039] На этапе S302 блок 117 управления приводит в действие объектив 101 формирования изображения так, чтобы сфокусироваться на фоне. В это время фотограф может необязательно определить положение в фокусе фона посредством оперирования устройством 100 захвата изображения, или устройство 100 захвата изображения может автоматически выполнять обнаружение фокуса множества зон в пределах угла поля зрения, чтобы тем самым определить положение в фокусе фона.

[0040] На этапе S303 блок 117 управления получает расстояние до текущего фона. В этом процессе расстояние до фона может быть вычислено на основе, например, положения линзы, при котором фон находится в сфокусированном состоянии. На этапе S304 блок 117 управления приводит в действие объектив 101 формирования изображения так, чтобы фон был расположен в передней части глубины резкости. То есть, объектив 101 формирования изображения перемещается в положение (третье фокусное положение) на стороне далекого расстояния положения в фокусе фона, в пределах диапазона, где фон находится в глубине резкости.

[0041] На этапе S305 блок 117 управления выполняет управление для выполнения операции формирования изображения. Данные изображения, сгенерированные датчиком 102 изображения посредством операции формирования изображения, сохраняются в памяти 103. К тому же, данные изображения, полученные посредством операции формирования изображения, являются сфокусированными на стороне фона, которая находится в пределах диапазона глубины резкости положения фокуса, но объект, расположенный спереди, размыт больше, чем фон, потому что он находится вне глубины резкости положения фокуса, и их величина размытости больше, чем когда фон является сфокусированным.

[0042] На этапе S306 блок 117 управления определяет, представлен ли фон в пределах той же глубины резкости, что и глубина резкости объекта, когда объект приводится в сфокусированное состояние, на основе расстояния до фона и расстояния до объекта, полученных ранее (на основе условия формирования изображения). Если фон присутствует в пределах той же глубины резкости, что и глубина резкости объекта (ДА на этапе S306), то обработка переходит к этапу S307. С другой стороны, если фон не присутствует в пределах той же глубины резкости, что и глубина резкости объекта (НЕТ на этапе S306), то обработка переходит к этапу S309.

[0043] Сначала описана обработка на этапе S307. На этапе S307 блок 117 управления приводит в действие объектив 101 формирования изображения, чтобы сфокусироваться на объекте. На этапе S308 устройство 100 захвата изображения выполняет операцию формирования изображения и сохраняет данные изображения, сгенерированные посредством операции формирования изображения, в памяти 103.

[0044] Далее описана обработка на этапе S309. На этапе S309 блок 117 управления приводит в действие объектив 101 формирования изображения так, чтобы объект был расположен в задней части глубины резкости. То есть, объектив 101 формирования изображения перемещается в положение (второе фокусное положение) на стороне малого расстояния положения в фокусе (первое фокусное положение) объекта, в пределах диапазона, где объект находится внутри глубины резкости. На этапе S310 устройство 100 захвата изображения выполняет операцию формирования изображения и сохраняет данные изображения, сгенерированные посредством операции формирования изображения, в памяти 103.

[0045] Далее операция обработки по различению областей устройством 100 захвата изображения будет описана со ссылкой на фиг.4. На фиг.4 показана блок-схема операций, иллюстрирующая операцию обработки по различению областей устройством 112 захвата изображения. Более конкретно, на фиг.4 показана блок-схема операций, иллюстрирующая обработку по различению между областью объекта и областью фона данных изображения.

[0046] На этапе S401 блок 201 обнаружения контура выполняет обработку по полосовой фильтрации данных изображения, которое сфокусировано на стороне объекта, и данных изображения, которое сфокусировано на стороне фона, полученных посредством обработки, проиллюстрированной на фиг.3, чтобы принять абсолютные значения, и получает контуры соответственных данных изображения.

[0047] "Данные изображения, которое сфокусировано на стороне объекта", являются данными изображения, полученными на этапах S308 и S310. Кроме того, "данные изображения, которое сфокусировано на стороне фона", являются данными изображения, полученными на этапе S305. Данные изображения, которое сфокусировано на стороне объекта, являются примером первых данных изображения, и данные изображения, которое сфокусировано на стороне фона, являются примером вторых данных изображения.

[0048] На этапе S402 блок 202 вычитания контура вычитает контуры данных изображения, которое сфокусировано на стороне фона, из контуров данных изображения, которое сфокусировано на стороне объекта, для каждого пикселя, чтобы сгенерировать разницу контуров (в дальнейшем в этом документе называемые данными изображения с разницей контуров) данных изображения. На этапе S403 блок 203 вычисления целого значения контура делит данные изображения с разницей контуров, сгенерированные на этапе S402, на множество областей и объединяет в единое целое величины контуров соответственных областей.

[0049] На этапе S404 блок 204 оценки целого значения контура сравнивает целое значение величин контуров соответственных областей, вычисленных на этапе S403, с предварительно определенным пороговым значением. Если целое значение величин контуров равно или больше, чем предварительно определенное пороговое значение, то блок 204 оценки целого значения контура определяет, что область является областью объекта. С другой стороны, блок 204 оценки целого значения контура определяет, что область является областью фона, если целое значение величин контуров меньше, чем предварительно определенное пороговое значение. Вышеописанное предварительно определенное пороговое значение может быть предварительно определенным фиксированным значением или может быть адаптивно получено, исходя из распределения гистограммы контуров данных изображения.

[0050] На этапе S405 блок 205 генерирования карты областей генерирует карту областей, которая может различать область объекта и область фона, на основе результата определения на этапе S404. В вышеописанной карте областей, например, соотношение объединения представлено самим значением пикселя данных изображения. Для того чтобы сделать неровность границы незаметной относительно карты областей, фильтр низких частот может быть применен к границе между областью объекта и областью фона. Вышеописанная область объекта является примером первой области, а вышеописанная область фона является примером второй области.

[0051] Далее будет описана обработка по размыванию области фона согласно настоящему примерному варианту осуществления. Блок 113 обработки изображения выполняет специальную обработку по фильтрации данных захваченного изображения для генерирования данных IMG 2 размытого изображения. Данные изображения, которое является целевым, которые следует подвергнуть специальной обработке по фильтрации, являются данными захваченного изображения в одном из этапов S305, S308 и S310.

[0052] При вышеописанной специальной обработке по фильтрации обработка по фильтрации выполняется над данными изображения на основе назначенной формы фильтра. При обработке по фильтрации выполняется интерполяция значения яркости насыщенного пикселя посредством умножения пикселя, имеющего предварительно определенное значение яркости, на произвольно заданное значение K усиления.

[0053] Далее блок 113 обработки изображения объединяет данные IMG 1 изображения, которое сфокусировано на стороне объекта, полученные на этапе S308 или S310, и данные IMG 2 размытого изображения на основе вышеописанной карты областей. Будет описан пример обработки по объединению данных изображения. Блок 113 обработки изображения объединяет данные IMG 1 изображения, которое сфокусировано на стороне объекта, и данные IMG 2 размытого изображения на основе α (0≤α≤1), полученного из значения пикселя вышеописанной карты областей, и генерирует объединенные данные "B" изображения. То есть блок 113 обработки изображения вычисляет каждый пиксель B[i, j] объединенных данных B изображения, используя следующее уравнение 1.

B[i, j]=IMG1[i, j]*α[i, j]+IMG2[i, j]*(1-α) уравнение 1

[0054] Объединенные данные "B" изображения, полученные посредством вышеописанной обработки, получены как данные размытого изображения фона. Кроме того, обработка по генерированию данных размытого изображения фона в настоящем примерном варианте осуществления изобретения не ограничена вышеописанным примерным вариантом осуществления.

[0055] Например, данные размытого изображения фона могут быть получены посредством выполнения специальной обработки по фильтрации только на области фона данных изображения, которое сфокусировано на стороне объекта, на основе карты областей. Данные IMG 2 размытого изображения могут быть сгенерированы посредством уменьшения данных захваченного изображения и увеличения уменьшенных данных изображения для их возврата к их изначальному размеру.

[0056] В качестве альтернативы данные IMG 2 размытого изображения могут быть сгенерированы посредством применения фильтра низких частот к данным захваченного изображения. "Данные захваченного изображения" являются данными изображения, захваченного в одном из этапов S305, S308 и S310.

[0057] Становится возможно выполнить специальную обработку изображения на области фона, сегментированной посредством вышеописанной обработки.

[0058] Кроме того, настоящее изобретение не ограничено этими примерными вариантами осуществления, и различные вариации и модификации возможны в пределах объема настоящего изобретения. Например, порядок операций формирования изображения данных изображения, которое сфокусировано на стороне фона, данных изображения, которое сфокусировано на объекте, или данных изображения, которое сфокусировано на стороне объекта, может быть взаимозаменяемым.

[0059] Кроме того, обработка по различению областей согласно настоящему примерному варианту осуществления выполняется, используя данные изображения, которое сфокусировано на стороне объекта, и данные изображения, которое сфокусировано на стороне фона, но она не ограничена этим. Например, при дополнительном выполнении другой обработки над объектом, который присутствует на стороне малого расстояния главного объекта, могут быть использованы три или более порций данных изображения, включающих в себя данные изображения, захваченного перемещением положения в фокусе к стороне малого расстояния объекта. В этом случае, посредством выполнения обработки по различению областей согласно настоящему примерному варианту осуществления, в котором главный объект рассматривается как фон, становится возможным разделить данные изображения на множество областей согласно глубине резкости.

[0060] Кроме того, в вышеописанном примерном варианте осуществления пример захвата данных изображения проиллюстрирован на этапах S305, S308 и S310, но он не ограничен этим. Например, после захвата данных изображения, которое сфокусировано на объекте, данные изображения, которое сфокусировано на стороне фона, могут быть сгенерированы посредством выполнения обработки изображения так, что данные изображения становятся ближе к сфокусированному состоянию изображения, которое могло бы быть получено, если объектив формирования изображения размещен в положении, при котором фон находится в сфокусированном состоянии. Аналогично, данные изображения, которое сфокусировано на стороне объекта, могут быть сгенерированы посредством выполнения обработки изображения так, что данные изображения становятся ближе к сфокусированному состоянию изображения, которое могло бы быть получено, если объект размещен в задней части глубины резкости.

[0061] Согласно настоящему примерному варианту осуществления, после получения соответственных контуров данных изображения, захваченного в положении в фокусе объекта или посредством сдвига в положение на стороне малого расстояния положения в фокусе объекта, и данных изображения, захваченного посредством сдвига в положение на стороне большого расстояния положения в фокусе фона, различение областей выполняется на основе их разностных значений. Следовательно, даже в данных изображения, в которых разница глубины между объектом и фоном является недостаточной, становится возможным выполнить различение области между объектом и фоном с высокой точностью.

[0062] Данные изображения области фона, которой был придан эффект размывания посредством обработки по коррекции величины экспозиции для оценки величины действительной экспозиции насыщенного пикселя и применения усиления согласно оцененной величине действительной экспозиции, и данные изображения области объекта, которой не был придан эффект размывания, могут быть объединены. В таком случае может возникнуть размытость и расплывание из-за размытия насыщенного пикселя в области объекта, в области фона вблизи области объекта.

[0063] Ниже в данном документе, ссылаясь на фиг.11A-11C, данное явление будет конкретно описано. На фиг.11A проиллюстрированы данные изображения, захваченного, когда объект сфокусирован. На фиг.11B проиллюстрированы данные изображения, которым был придан эффект размывания посредством выполнения обработки по коррекции величины экспозиции данных изображения, проиллюстрированных на фиг.11A. В случае, когда сегментирована только область объекта данных изображения, проиллюстрированных на фиг.11A, и объединена с данными изображения, проиллюстрированными на фиг.11B, возникает размытость и расплывание, как проиллюстрировано на фиг.11C.

[0064] Таким образом, в настоящем примерном варианте осуществления будет описана конфигурация устройства захвата изображения и работа устройства захвата изображения для получения данных изображения, в котором подавляется возникновение размытости и расплывания на области фона в непосредственной близости от области объекта.

[0065] Сначала общая конфигурация устройства захвата изображения будет описана со ссылкой на фиг.5. На фиг.5 показана блок-схема, иллюстрирующая конфигурацию устройства 500 захвата изображения.

[0066] Устройство 500 захвата изображения включает в себя блок 517 управления, который выполняет управление всем устройством 500 захвата изображения. Блок 517 управления образован посредством CPU, MPU или тому подобного и управляет работой соответственных схем, описанных ниже. Объектив 501 формирования изображения присоединен с возможностью отсоединения к устройству 500 захвата изображения через блок крепления (не проиллюстрировано). Блок 521 электрических контактов предоставлен в блоке крепления.

[0067] Блок 517 управления в устройстве 500 захвата изображения выполняет связь с объективом 501 формирования изображения через блок 521 электрических контактов и управляет приведением в действие для регулирования фокусной линзы 518 и диафрагмы 522 внутри объектива 501 формирования изображения. Схема 520 управления линзой, согласно сигналу от блока 517 управления, управляет механизмом 519 приведения в действие линзы, который приводит в действие фокусную линзу 518 в направлении оптической оси для выполнения фокусировки.

[0068] Механизм 519 приведения в действие линзы имеет шаговый двигатель или двигатель постоянного тока (DC) в качестве источника приведения в действие. Кроме того, схема 524 приведения в действие управления диафрагмой управляет механизмом 523 приведения в действие диафрагмы для изменения диаметра апертуры диафрагмы для диафрагмы 522, согласно сигналу от блока 517 управления. На фиг.5 только фокусная линза 518 проиллюстрирована как линза внутри объектива 501 формирования изображения, но в дополнение к этому предоставляется линза переменной кратности или неподвижная линза, и блок линз выполнен с возможностью включения в себя этих линз.

[0069] На фиг.5 датчик 502 изображения образован ПЗС-датчиком, КМОП-датчиком или другими датчиками, и его поверхность покрыта цветным RGB фильтром, таким как фильтр Байера, и способен выполнять формирование цветного изображения. Когда изображение объекта, падающее через объектив 501 формирования изображения, включающий в себя фокусную линзу 518, прикрепляемую к и отсоединяемую от устройства 500 захвата изображения, формируется на датчике 502 изображения, генерируются данные изображения и сохраняются в памяти 503.

[0070] Блок 517 управления вычисляет скорость срабатывания затвора и значение апертуры диафрагмы так, чтобы данные всего изображения показывали правильную экспозицию, и вычисляет величину приведения в действие фокусной линзы 518 так, чтобы быть сфокусированной на объекте, размещенном в пределах области в фокусе. Затем информация, указывающая значение экспозиции (скорость срабатывания затвора и значение апертуры диафрагмы), вычисленное блоком 517 управления, и величину приведения в действие фокусной линзы 518, выводится в схему 516 управления захватом изображения, схему 524 приведения в действие управления диафрагмой и схему 520 управления линзой. Управление экспозицией и регулирование фокуса выполняются на основе каждого значения.

[0071] Схема 504 с матрицей преобразования цветов применяет усиление цвета так, чтобы данные захваченного изображения воспроизводились в оптимальном цвете, и конвертирует их в цветоразностные сигналы R-Y и B-Y. Схема 505 фильтра низких частот (ФНЧ) используется для ограничения полосы частот цветоразностных сигналов R-Y и B-Y. Схема 506 подавления цветности (CSUP) используется для подавления ложного цветового сигнала насыщенного участка в данных изображения, ограниченных по полосе частот схемой 505 ФНЧ.

[0072] С другой стороны, данные захваченного изображения также выводятся в схему 507 генерирования сигнала яркости. Схема 507 генерирования сигнала яркости генерирует сигнал Y яркости из входных данных изображения. Схема 508 улучшения контура выполняет обработку по улучшению контура сгенерированного сигнала Y яркости.

[0073] Схема 509 RGB-преобразования преобразует цветоразностные сигналы R-Y и B-Y, выведенные из схемы 506 CSUP, и сигнал Y яркости, выведенный из схемы 508 улучшения контура, в RGB-сигналы. Схема 510 гамма-коррекции выполняет коррекцию градации преобразованных RGB-сигналов. В дальнейшем схема 511 преобразования яркости цвета преобразует RGB-сигналы, которые были подвергнуты коррекции градации, в YUV-сигналы.

[0074] Блок 513 генерирования размытого изображения фона выполняет обработку изображения для придания эффекта размывания на преобразованных данных изображения. Подробная конфигурация блока 513 генерирования размытого изображения фона будет описана ниже. Схема 514 JPEG-сжатия сжимает данные изображения, которые были подвергнуты обработке изображения блоком 513 генерирования размытого изображения фона, используя схему JPEG или тому подобную, и вызывает после сжатия данных изображения сохранение на внешнем или внутреннем носителе 515 записи.

[0075] Далее описана конкретная конфигурация блока 513 генерирования размытого изображения фона. На фиг.6 проиллюстрирована конфигурация блока 513 генерирования размытого изображения фона. Как проиллюстрировано на фиг.6, блок 513 генерирования размытого изображения фона включает в себя блок 601 обнаружения контура, блок 602 вычитания контура, блок 603 вычисления целого значения контура, блок 604 оценки целого значения контура, блок 605 генерирования карты областей, блок 606 обработки по размыванию и блок 607 объединения изображений.

[0076] Далее, ссылаясь на схему последовательности операций на фиг.7, описана обработка по размыванию блоком 513 генерирования размытого изображения фона.

[0077] На этапе S701 устройство 500 захвата изображения выполняет операцию формирования изображения при фокусировке на объекте. Далее устройство захвата изображения 500 выполняет операцию формирования изображения посредством смещения фокусной линзы на предварительно определенную величину, чтобы сфокусироваться на фоне. После того как множество данных изображения было захвачено в таких разных сфокусированных положениях, на этапе S702 блок 601 обнаружения контура обнаруживает контуры данных изображения, которое было захвачено посредством фокусирования на объекте, и обнаруживает контуры данных изображения, которое было захвачено посредством фокусирования на фоне.

[0078] Примеры способов обнаружения контура включают в себя способ для обнаружения контуров данных изображения посредством выполнения полосовой фильтрации данных захваченного изображения, чтобы принять абсолютное значение. Способ для обнаружения контуров не ограничен этим, и другие способы могут быть использованы. Ниже в данном документе контуры, обнаруженные из данных изображения, захваченного посредством фокусирования на объекте, называются данными изображения контура на стороне в фокусе объекта, и контуры, обнаруженные из данных изображения, захваченного посредством фокусирования на фоне, называются данными изображения контура на стороне в фокусе фона.

[0079] На этапе S703 блок 602 вычитания контура вычитает данные изображения контура на стороне в фокусе фона из данных изображения контура на стороне в фокусе объекта для каждого пикселя, чтобы сгенерировать разницу контуров данных изображения (в дальнейшем в этом документе называемые данными изображения с разницей контуров). На этапе S704 блок 603 вычисления целого значения контура делит данные изображения с разницей контуров, сгенерированные на этапе S703, на множество областей и объединяет в единое целое величины контуров соответственных областей.

[0080] На этапе S705 блок 604 оценки целого значения контура сравнивает целое значение величин контуров соответственных областей, вычисленных на этапе S704, и предварительно определенное пороговое значение. Если целое значение величин контуров равно или больше, чем предварительно определенное пороговое значение, то блок 604 оценки целого значения контура определяет данную область как область объекта. С другой стороны, блок 604 оценки целого значения контура определяет данную область как область фона, если целое значение величин контуров меньше, чем предварительно определенное пороговое значение. Вышеописанное предварительно определенное пороговое значение может быть постоянным значением, определенным заранее, или может быть адаптивно получено, исходя из распределения гистограммы контуров данных изображения.

[0081] На этапе S706 блок 605 генерирования карты областей генерирует сегментированные карты, которые обеспечивают возможность различения области объекта и области фона, на основе результата определения на этапе S705. В вышеописанной сегментированной карте, например, соотношение объединения представлено самим значением пикселя данных изображения. Для того чтобы сделать неровность границы незаметной относительно сегментированных карт, фильтр низких частот может быть применен к границе между областью объекта и областью фона.

[0082] На этапе S707 блок 606 обработки по размыванию выполняет обработку по размыванию, на основе сегментированных карт, данных изображения, захваченного, когда объект сфокусирован, чтобы сгенерировать данные размытого изображения.

[0083] Далее описаны подробности обработки по размыванию на этапе S707. При обработке по размыванию обработка по фильтрации выполняется над данными изображения, захваченного, когда объект находится в сфокусированном состоянии, на основе назначенной формы фильтра. При обработке по фильтрации обработка по фильтрации выполняется после умножения пикселя, имеющего предварительно определенное значение яркости, на значение K усиления, полученное из таблицы, проиллюстрированной на фиг.8A, и интерполяции значения яркости насыщенного пикселя. Ниже в данном документе пиксель, сканируемый (целевой участок) в текущий момент при обработке по фильтрации, называется сканируемым пикселем.

[0084] На фиг.8A вместо табличной формы проиллюстрировано отношение между расстояниями от сканируемых пикселей до области объекта и значениями усиления. Действительно, однако, значения усиления, соответствующие соответственным расстояниям от сканируемых пикселей до области объекта, заданы в таблице. Область объекта может отличаться от вышеописанных сегментированных карт.

[0085] Как проиллюстрировано на фиг.8A, значение K усиления для сканируемого пикселя принимает значение 0 или больше и является значением, определяемым в зависимости от расстояния "r" между сканируемым пикселем и областью объекта. Например, как проиллюстрировано на фиг.8B, предполагается, что существуют сканируемые пиксели, имеющие расстояния от области объекта ra и rb (ra<rb). В это время, в таблице, проиллюстрированной на фиг.8A, значение Kh усиления задано для сканируемого пикселя, имеющего более короткое расстояние ra от области объекта, и значение K усиления, которое выше чем Kh, задано для сканируемого пикселя, имеющего более длинное расстояние rb от области объекта.

[0086] В случае, когда сканируемый пиксель лежит в области объекта, значение усиления установлено на Kmin. Значение усиления, которое следует задать в таблице, проиллюстрированной на фиг.8A, определяется на основе числа выводов (отводов) или формы сигнала фильтра. Например, если число выводов фильтра является большим, то "r" устанавливают на значение усиления с большим значением для того, чтобы быть свободным от воздействия пикселей на область объекта.

[0087] Однако настоящее изобретение не ограничено этим, а могут быть использованы значения K и Kmin усиления с постоянными значениями, как проиллюстрировано на фиг.9. Значение K усиления является примером предварительно определенного второго значения усиления, и значение Kmin усиления является примером предварительно определенного первого значения усиления.

[0088] Будут описаны преимущества, когда используются значения K и Kmin усиления с постоянными значениями. Например, если сегментация области объекта точно выполнена попиксельно, значение K усиления всегда задается для пикселя, различаемого как область фона, и значение Kmin усиления всегда задается для пикселя, различаемого как область объекта. В результате, размытость насыщенного пикселя области объекта подавлена до минимума, и вследствие этого размытость и расплывание данных изображения после объединения могут быть предотвращены. Как проиллюстрировано на фиг.9, К>Kmin удовлетворено.

[0089] Далее описаны преимущества определения значения усиления, используя таблицу, как проиллюстрировано на фиг.8A. Например, если возникает ошибка между действительным положением области объекта и положением сегментированной области объекта, возникает размытость и расплывание из-за размытости насыщенного пикселя области в данных изображения после объединения просто из-за ошибки. В этом случае размытость и расплывание данных изображения после объединения могут быть предотвращены посредством задания более низкого значения усиления для пикселя в близости от области объекта.

[0090] Вышеописанные характеристики фильтрации или значение усиления могут быть адаптивно изменены на основе карты расстояний, включающей в себя информацию о глубине данных захваченного изображения. На фиг.10 проиллюстрирован пример карты расстояний, в которой глубины данных изображения разобраны на множество уровней. Посредством ссылки на карту расстояний, как проиллюстрировано на фиг.10, форма фильтра задана большой или значение усиления задано высоким для области с глубокой глубиной. С другой стороны, форма фильтра задана небольшой или значение усиления задано низким для области с неглубокой глубиной.

[0091] Возвращаясь к описанию фиг.7, на этапе S708 блок 607 объединения изображений сегментирует область объекта из данных изображения, захваченного, когда объект находится в сфокусированном состоянии на основе сегментированных карт, и объединяет их с данными размытого изображения, сгенерированными на этапе S707.

[0092] В этом процессе только необходимо выполнить обработку по объединению данных изображения образом, аналогичным, например, вышеописанному первому примерному варианту осуществления. Другими словами, блок 607 объединений изображений объединяет область объекта данных IMG 1[i, j] изображения, захваченного, когда объект находится в сфокусированном состоянии, и данных IMG 2[i, j] размытого изображения на основе α [i, j] (0≤α≤l), полученного из значений пикселей сегментированных карт, чтобы сгенерировать объединенные данные B [i, j] изображения. То есть, блок 607 объединения изображений вычисляет объединенные данные B [i, j] изображения, используя уравнение 1 в первом примерном варианте осуществления, [i, j] указывает каждый пиксель.

[0093] Посредством вышеописанной обработки блок 607 объединения изображений может получать данные размытого изображения, полученные интерполяцией значения яркости насыщенного пикселя при подавлении возникновения размытости и расплывания области фона в непосредственной близости от области объекта. Кроме того, расстояние "r" между сканируемыми пикселями и областью объекта в примерном варианте осуществления является расстоянием до области объекта, которое является сейчас самым близким к сканируемому пикселю, в ее центре, но расстояние "r", посредством получения координат центра масс главного объекта, может быть расстоянием от координат центра масс до сканируемого пикселя.

[0094] Кроме того, сегментированные карты в настоящем примерном варианте осуществления сгенерированы из двух порций данных изображения: данных изображения, захваченного, когда объект находится в сфокусированном состоянии, и данных изображения, захваченного, когда фон находится в сфокусированном состоянии, но могут быть сгенерированы из трех или более порций данных изображения, включающих в себя данные изображения, захваченного, когда передняя сторона объекта находится в сфокусированном состоянии.

[0095] Как описано выше, согласно настоящему примерному варианту осуществления данные изображения, которые были подвергнуты обработке по фильтрации посредством перемены значения усиления для насыщенного пикселя согласно расстоянию от области объекта, и данные изображения, захваченного, когда четкий объект находится в сфокусированном состоянии, объединяются на основе сегментированных карт. Следовательно, становится возможным сгенерировать данные изображения, которым придан эффект размывания с оцененной величиной действительной экспозиции для области высокой яркости фона при подавлении возникновения размытости и расплывания на периферии области высокой яркости объекта, и могут быть предоставлены данные изображения, желательные для фотографа.

[0096] Аспекты настоящего изобретения могут быть также реализованы компьютером системы или устройством (или устройствами, таким как CPU или MPU), которое считывает и исполняет программу, записанную на запоминающем устройстве, для выполнения функций вышеописанных вариантов осуществления, и посредством способа, этапы которого выполняются компьютером системы или устройством посредством, например, считывания и исполнения программы, записанной на запоминающем устройстве, для выполнения функций вышеописанных вариантов осуществления. Для этой цели программа предоставляется компьютеру, например, через сеть или из носителя записи различных типов, служащего в качестве запоминающего устройства (например, считываемый компьютером носитель). В таком случае система или устройство и носитель записи, где хранится программа, включены в состав, как находящиеся в рамках объема настоящего изобретения.

[0097] В то время как настоящее изобретение было описано с учетом примерных вариантов осуществления, следует понимать, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем следующей формулы изобретения должен соответствовать наиболее широкой интерпретации с тем, чтобы охватывать все модификации, эквивалентные структуры и функции.

Изобретение относится к устройствам захвата изображения. Техническим результатом является точное разделение объекта съемки и фона, даже если данные изображения имеют недостаточную разницу по глубине между объектом и фоном. Результат достигается тем, что устройство захвата изображения включает в себя блок генерирования, выполненный с возможностью генерирования данных изображения, и блок различения, выполненный с возможностью, на основе первых данных изображения, сгенерированных блоком генерирования, когда положение в фокусе находится в первом фокусном положении, при котором объект находится в сфокусированном состоянии, или втором фокусном положении на стороне малого расстояния первого фокусного положения, и вторых данных изображения, сгенерированных блоком генерирования, когда положение в фокусе находится в третьем фокусном положении на стороне далекого расстояния фокусного положения, при котором фон находится в сфокусированном состоянии, различения первой области, включающей в себя объект, и второй области, включающей в себя фон. 3 н. и 13 з.п. ф-лы, 11 ил.

1. Устройство захвата изображения, содержащее:
блок генерирования, выполненный с возможностью генерирования первых данных изображения, когда положением в фокусе является первое фокусное положение, при котором объект находится в сфокусированном состоянии, или второе фокусное положение на стороне близкого расстояния первого фокусного положения, и вторых данных изображения, сгенерированных блоком генерирования, когда положением в фокусе является третье фокусное положение на стороне далекого расстояния фокусного положения, при котором фон находится в сфокусированном состоянии; и
блок различения, выполненный с возможностью, на основе первых и вторых данных изображения, сгенерированных блоком генерирования, различения между первой областью, включающей в себя объект, и второй областью, включающей в себя фон.

2. Устройство захвата изображения по п.1, в котором второе фокусное положение является положением в пределах диапазона, в котором объект попадает внутрь глубины резкости, и является положением на стороне близкого расстояния первого фокусного положения.

3. Устройство захвата изображения по п.1, в котором третье фокусное положение является положением в пределах диапазона, в котором фон попадает внутрь глубины резкости, и является положением на стороне далекого расстояния фокусного положения, при котором сфокусирован фон.

4. Устройство захвата изображения по п.1, в котором блок генерирования выполнен с возможностью генерирования первых данных изображения посредством расположения фокусной линзы в одном из первого фокусного положения и второго фокусного положения, согласно условию формирования изображения.

5. Устройство захвата изображения по п.1, дополнительно содержащее:
блок обработки, выполненный с возможностью выполнения предварительно определенной обработки по фильтрации первых данных изображения или вторых данных изображения; и
блок объединения, выполненный с возможностью объединения первых данных изображения или вторых данных изображения, которые были подвергнуты предварительно определенной обработке по фильтрации блоком обработки, на основе результата различения блока различения, и первых данных изображения, которые были сгенерированы блоком генерирования.

6. Устройство захвата изображения по п.5, дополнительно содержащее:
блок различения, выполненный с возможностью определения значения усиления согласно расстоянию между целевым участком в данных изображения и областью, включающей в себя объект, причем блок обработки выполняет предварительно определенную обработку по фильтрации данных изображения после интерполяции целевого участка, используя значение усиления, определенное блоком определения.

7. Устройство захвата изображения по п.6, в котором блок определения выполнен так, чтобы определенное значение усиления было меньше, по мере того как расстояние между целевым участком и областью, включающей в себя объект, уменьшается.

8. Устройство захвата изображения по п.6, в котором блок определения выполнен с возможностью определения, в случае, когда целевой участок включен в область, включающую в себя объект, предварительно определенного первого значения усиления и определяет, в случае, когда целевой участок включен в область, отличающуюся от области, включающей в себя объект, предварительно определенное второе значение усиления.

9. Устройство захвата изображения по п.6, в котором предварительно определенное первое значение усиления меньше, чем предварительно определенное второе значение усиления.

10. Устройство захвата изображения по п.6, в котором блок определения изменяет значение усиления, которое следует определить, согласно характеристикам фильтра, используемого при предварительно определенной обработке по фильтрации.

11. Устройство захвата изображения по п.6, в котором блок определения выполнен с возможностью изменения значения усиления, которое следует определить, согласно глубине резкости целевого участка.

12. Устройство захвата изображения по п.6, в котором блок обработки выполнен с возможностью изменения характеристик фильтра согласно глубине резкости целевого участка.

13. Устройство захвата изображения по п.1, дополнительно содержащее:
блок обработки, выполненный с возможностью уменьшения размера первых данных изображения или вторых данных изображения и увеличения уменьшенных данных изображения, чтобы тем самым вернуть их к их изначальному размеру; и
блок объединения, выполненный с возможностью объединения первых данных изображения или вторых данных изображения, которые были обработаны блоком обработки, на основе результата различения блока различения, и первых данных изображения, которые были сгенерированы блоком генерирования.

14. Устройство захвата изображения по п.1, дополнительно содержащее:
блок обработки, выполненный с возможностью применения фильтра низких частот к первым данным изображения или вторым данным изображения; и
блок объединения, выполненный с возможностью объединения первых данных изображения или вторых данных изображения, обработанных блоком обработки, на основе результата различения блока различения, и первых данных изображения, которые были сгенерированы блоком генерирования.

15. Способ управления устройства захвата изображения, содержащий:
различение, основанное на первых данных изображения, полученных при положении в фокусе, которым является первое фокусное положение, при котором объект находится в сфокусированном состоянии, или второе фокусное положение на стороне близкого расстояния первого фокусного положения, и вторых данных изображения, полученных при положении в фокусе, которым является третье фокусное положение на стороне большого расстояния фокусного положения, при котором сфокусирован фон, причем первая область содержит объект, а вторая область содержит фон.

16. Носитель информации, хранящий программу для управления устройством захвата изображения, причем программа исполняет обработку посредством компьютера, причем обработка включает в себя:
различение, основанное на первых данных изображения, полученных при положении в фокусе, которым является первое фокусное положение, при котором сфокусирован объект, или второе фокусное положение на стороне близкого расстояния первого фокусного положения, и вторых данных изображения, полученных при положении в фокусе, которым является третье фокусное положение на стороне далекого расстояния фокусного положения, при котором сфокусирован фон, причем первая область включает в себя объект, а вторая область включает в себя фон.