УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ УПРАВЛЕНИЯ Российский патент 2015 года по МПК G03B15/05 

УРОВЕНЬ ТЕХНИКИ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству формирования изображений, которое выполняет множество операций съемки, чтобы получать множество фрагментов данных изображения, которые должны использоваться для составления изображений, и к способу для управления им.

ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

[0002] Устройства формирования изображений, такие как цифровая камера, могут выполнять операцию съемки с высокой чувствительностью, чтобы подавлять дрожание камеры при фотосъемке ночного пейзажа в режиме ручной съемки. Эти устройства формирования изображений традиционно имеют проблему повышенного шума при таких операциях съемки с высокой чувствительностью. Выложенная заявка на патент (Япония) номер 2007-124292 поясняет технологию для комбинирования данных изображения, получаемого посредством выполнения операции съемки с низкой чувствительностью в то же время вынуждая вспышку излучать свет, и данных изображения, получаемых посредством выполнения операции съемки с высокой чувствительностью без вынуждения излучения света посредством вспышки. Этот способ включает в себя попиксельное определение соотношения комбинирования. Чем большее значение яркости имеет пиксель данных изображения, получаемых посредством выполнения операции съемки при вынуждении излучения света посредством вспышки, тем выше становится доля данных изображения, получаемых посредством выполнения операции съемки при вынуждении излучения света посредством вспышки.

[0003] Согласно способу, поясненному в выложенной заявке на патент (Япония) номер 2007-124292, состояние экспозиции для выполнения операции съемки посредством вынуждения излучения света посредством вспышки и состояние экспозиции для выполнения операции съемки без вынуждения излучения света посредством вспышки не задаются надлежащим образом для того, чтобы могло получаться предпочтительное составное изображение.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Настоящее изобретение направлено на устройство формирования изображений, которое позволяет получать предпочтительное составное изображение посредством комбинирования данных изображения, получаемых посредством выполнения операции съемки посредством вынуждения светоизлучающего устройства излучать свет, и данных изображения, получаемых посредством выполнения операции съемки без вынуждения светоизлучающего устройства излучать свет.

[0005] Согласно аспекту настоящего изобретения устройство формирования изображений включает в себя модуль формирования изображений, выполненный с возможностью захватывать изображение объекта для того, чтобы выводить данные изображения, модуль получения, выполненный с возможностью получать информацию относительно яркости объекта, и модуль определения, выполненный с возможностью определять значение управления экспозицией, которое должно быть использовано при операции съемки, на основе информации, полученной посредством модуля получения относительно яркости объекта, при этом модуль формирования изображений выполнен с возможностью получать множество данных изображения, для обработки комбинирования изображений, посредством выполнения множества операций съемки, включающих в себя операцию съемки с использованием светового излучения, выполняемую посредством вынуждения светоизлучающего устройства излучать свет, и операцию съемки без использования светового излучения, выполняемую без вынуждения светоизлучающего устройства излучать свет, и при этом модуль определения выполнен с возможностью определять значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе информации, полученной посредством модуля получения относительно яркости объекта из предварительного излучения света, выполняемого посредством светоизлучающего устройства.

[0006] Дополнительные признаки настоящего изобретения должны стать очевидными из нижеприведенного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства формирования изображений согласно примерному варианту осуществления.

[0008] Фиг. 2 является блок-схемой последовательности операций способа, иллюстрирующей различные типы обработки для получения составного изображения.

[0009] Фиг. 3 является блок-схемой последовательности операций способа, иллюстрирующей различные типы обработки для получения составного изображения.

[0010] Фиг. 4A, 4B и 4C являются схемами, иллюстрирующими изображения, полученные в сцене портретной съемки с ночным пейзажем на фоне. Фиг. 4A является схемой, иллюстрирующей изображение, получаемое посредством выполнения операции съемки посредством вынуждения светоизлучающего устройства излучать свет. Фиг. 4B является схемой, иллюстрирующей изображение, получаемое посредством выполнения операции съемки без вынуждения светоизлучающего устройства излучать свет. Фиг. 4C является схемой, иллюстрирующей составное изображение из изображений, проиллюстрированных на фиг. 4A и 4B.

[0011] Фиг. 5 является схемой, иллюстрирующей количество основного светового излучения, когда количество отраженного света предварительного излучения света светоизлучающего устройства является небольшим.

[0012] Фиг. 6 является схемой, иллюстрирующей количество основного светового излучения, когда количество отраженного света предварительного излучения света светоизлучающего устройства является большим.

[0013] Фиг. 7 является схемой, иллюстрирующей взаимосвязь между фрагментами данных изображения и различными типами обработки при обработке комбинирования изображений.

[0014] Фиг. 8 является блок-схемой последовательности операций способа, иллюстрирующей обработку, связанную с обработкой комбинирования изображений.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0015] Различные примерные варианты осуществления, признаки и аспекты изобретения подробно описываются ниже со ссылкой на чертежи.

[0016] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию камеры 100, которая является устройством формирования изображений согласно примерному варианту осуществления настоящего изобретения.

[0017] Функциональный модуль 101 включает в себя переключатель и кнопку, которой пользователь управляет для того, чтобы вводить различные инструкции в камеру 100. Функциональный модуль 101 включает в себя переключатель затвора для ввода инструкции для того, чтобы начинать операцию подготовки к съемке, и инструкции для того, чтобы начинать операцию съемки, колесико для переключения режимов для выбора требуемого режима фотосъемки из множества режимов фотосъемки и датчик касания, размещенный на передней поверхности модуля 115 отображения, который описывается ниже.

[0018] Модуль 102 управления управляет работой камеры 100 в целом. Модуль 102 управления управляет различными компонентами согласно инструкциям из функционального модуля 101.

[0019] Датчик 103 изображений является прибором с зарядовой связью (CCD) или датчиком на основе комплементарной структуры "металл-оксид-полупроводник" (CMOS). Датчик 103 изображений принимает свет, который падает через объектив 107 и элемент 108 регулирования количества света, и выводит данные изображения согласно принимаемому количеству света.

[0020] Модуль 104 аналого-цифрового (A/D) преобразования выполняет дискретизацию, регулировку усиления и аналогово-цифровое преобразование для данных аналогового изображения, выводимого из датчика 103 изображений, и выводит результирующие данные изображения в качестве данных цифрового изображения. Регулировка усиления модуля 104 аналого-цифрового преобразования соответствует изменению чувствительности захвата.

[0021] Блок 105 обработки изображений выполняет различные типы обработки изображений для данных цифровых изображений, выводимых из модуля 104 аналого-цифрового преобразования, и выводит обработанные данные изображения.

[0022] Модуль 106 вычисления яркости вычисляет значение яркости (значение Bv) для того, чтобы получать информацию относительно яркости объекта на основе данных изображения, выводимых из блока 105 обработки изображений.

[0023] Объектив 107 является модулем объектива, включающим в себя множество линз, к примеру, фокусирующую линзу и трансфокатор.

[0024] Элемент 108 регулирования количества света является элементом, который регулирует количество света, падающего на датчик 103 изображений через объектив 107. Примеры включают в себя диафрагму, которая изменяет диаметр апертуры для того, чтобы регулировать количество света, которое должно проходить через апертуру, фильтр ослабления пучка, который уменьшает количество проходящего света, и затвор, который переключает состояние датчика 103 изображений между экспонированным состоянием и светоэкранированным состоянием.

[0025] Запоминающее устройство 109 временно сохраняет данные изображения, выводимые из блока 105 обработки изображений. Как описано ниже, запоминающее устройство 109 временно сохраняет множество фрагментов данных изображения, которые должны использоваться для обработки комбинирования изображений.

[0026] Светоизлучающий модуль 110 облучает объект с помощью вспомогательного освещения посредством использования ксеноновой трубки или светоизлучающего диода (светодиода) в качестве источника света. Модуль 111 управления излучением света выполняет управление излучением света для светоизлучающего модуля 110 на основе инструкции пользователя и/или значения яркости, вычисленного посредством модуля 106 вычисления яркости.

[0027] Модуль 112 кодера преобразует формат данных изображения, выводимых из блока 105 обработки изображений и/или модуля 116 комбинирования изображений, в такой формат как формат совместной экспертной группы по фотографии (JPEG). Модуль 112 кодера выводит результирующие данные изображения в модуль 113 записи изображений. Модуль 113 записи изображений выполняет обработку для записи данных изображения после преобразования формата, выводимых из модуля 112 кодера, на не проиллюстрированный носитель записи в камере 100 или внешний носитель записи, вставленный в камеру 100. Внешний соединительный модуль 114 предназначен для того, чтобы соединять камеру 100 с внешним устройством проводным или беспроводным способом. Данные изображения с преобразованным форматом, выводимые из модуля 112 кодера, могут быть переданы во внешнее устройство через внешний соединительный модуль 114.

[0028] Модуль 115 отображения включает в себя жидкокристаллическое или органическое электролюминесцентное (EL) устройство. Модуль 115 отображения отображает изображение на основе данных изображения, выводимых из блока 105 обработки изображений.

[0029] Модуль 116 комбинирования изображений выполняет обработку комбинирования изображений посредством использования множества фрагментов данных изображения, выводимых из блока 105 обработки изображений, посредством этого формируя данные составных изображений.

[0030] Описывается обработка комбинирования изображений в сцене портретной съемки с ночным пейзажем на фоне.

[0031] Фиг. 4A, 4B и 4C являются схемами, иллюстрирующими изображения, полученные в сцене портретной съемки с ночным пейзажем на фоне. Операция съемки может быть выполнена посредством задания чувствительности захвата относительно низкой, как описано ниже, и излучения света посредством светоизлучающего модуля 110 таким образом, что человек имеет корректную яркость. Данные изображения, полученные посредством такой операции съемки, называются "данными изображения, получаемыми с излучением света". Фиг. 4A иллюстрирует пример изображения (в дальнейшем в этом документе называемого "изображением, получаемым с излучением света") на основе данных изображения, получаемых с излучением света. Операция съемки может быть выполнена без вынуждения светоизлучающего модуля 110 излучать свет и посредством задания чувствительности захвата относительно более высокой, чем когда операция съемки выполняется посредством вынуждения светоизлучающего модуля 110 излучать свет. Данные изображения, полученные посредством такой операции съемки, называются "данными изображения, получаемыми без излучения света". Фиг. 4B иллюстрирует пример изображения (в дальнейшем в этом документе называемого "изображением, получаемым без излучения света") на основе данных изображения, получаемых без использования светового излучения. Фиг. 4C иллюстрирует пример составного изображения на основе данных составных изображений, сформированных посредством комбинирования данных изображения, получаемых с излучением света, с данными изображения, получаемыми без излучения света.

[0032] Чтобы получать изображение без излучения света с ярким фоном, как проиллюстрировано на фиг. 4B, чувствительность захвата задается относительно более высокой, чем тогда, когда светоизлучающий модуль 110 вынуждается излучает свет для операции съемки. Более высокая чувствительность захвата увеличивает эффект шума в данных изображения, получаемых без излучения света, по сравнению с эффектом шума в данных изображения, получаемых с излучением света. Модуль 116 комбинирования изображений затем арифметически усредняет и комбинирует множество фрагментов данных изображения, получаемых без излучения света и полученных посредством выполнения множества операций съемки без вынуждения светоизлучающего модуля 110 излучать свет. Модуль 116 комбинирования изображений посредством этого формирует данные составного изображения, получаемого без излучения света. Арифметическое усреднение и комбинирование множества фрагментов данных изображения, получаемых без излучения света, позволяет уменьшать эффект шума в данных составного изображения, получаемых без излучения света. При получении составного изображения, к примеру, проиллюстрированного на фиг. 4C, модуль 116 комбинирования изображений может использовать вышеприведенные данные составного изображения, получаемого без излучения света, вместо одного фрагмента данных изображения, получаемых без излучения света, для того, чтобы уменьшать эффект шума в данных изображения, получаемых без излучения света. Эффект шума иногда может оставаться на допустимом уровне, даже если чувствительность захвата задается относительно высокой. В таком случае модулю 116 комбинирования изображений нет необходимости получать множество фрагментов данных изображения, получаемых без излучения света, посредством выполнения множества операций съемки без вынуждения светоизлучающего модуля 110 излучать свет или формировать данные составного изображения, получаемого без излучения света. Модуль 116 комбинирования изображений может использовать один фрагмент данных изображения, получаемых без излучения света, для обработки комбинирования изображений.

[0033] Модуль 116 комбинирования изображений формирует данные составных изображений на основе сформированных данных составного изображения, получаемых без излучения света, и данных изображения, получаемых с излучением света. Для области человека модуль 116 комбинирования изображений использует данные изображения, получаемые с излучением света, согласно приоритету. Для фоновой области модуль 116 комбинирования изображений использует данные составного изображения, получаемого без излучения света, согласно приоритету. Использование данных изображения, получаемых с излучением света, согласно приоритету означает то, что модуль 116 комбинирования изображений комбинирует более высокую долю данных изображения, получаемых с излучением света, с более низкой долей данных составного изображения, получаемых без излучения света. Также включается использование только данных изображения, получаемых с излучением света, без данных составного изображения, получаемых без излучения света.

[0034] Посредством формирования данных составных изображений так, как описано выше, модуль 116 комбинирования изображений может получать такое изображение, как проиллюстрировано на фиг. 4C, в котором фон и человек являются яркими без значительного эффекта шума или дрожания камеры.

[0035] Модуль 117 управления объективом приводит в действие объектив 107, чтобы выполнять регулирование фокуса на основе инструкции пользователя и/или данных изображения, выводимых из блока 105 обработки изображений.

[0036] Модуль 118 управления элементом регулирования количества света управляет элементом 108 регулирования количества света на основе инструкции пользователя и/или значения яркости, вычисленного посредством модуля 106 вычисления яркости.

[0037] Далее описываются операции, связанные с операцией съемки. Пользователь включает выключатель питания, включенный в функциональный модуль 101. Модуль 102 управления определяет включение и подает питание в компоненты, составляющие камеру 100. С помощью питания, подаваемого в компоненты камеры 100, затвор открывается, и свет падает на датчик 103 изображений через объектив 107 и элемент 108 регулирования количества света. Модуль 102 управления затем инструктирует датчику 103 изображений выводить данные аналогового изображения в предварительно определенных циклах.

[0038] Если пользователь управляет переключателем затвора таким образом, чтобы вводить инструкцию для того, чтобы начинать операцию подготовки к съемке (переключатель SW1 включается), модуль 102 управления начинает операцию подготовки к съемке посредством использования данных изображения, выводимых из блока 105 обработки изображений. Например, операция подготовки к съемке включает в себя обработку регулирования фокуса, обработку определения состояния экспозиции и обработку определения излучения света светоизлучающего модуля 110.

[0039] При обработке определения излучения света модуль 102 управления может определять то, что излучение света не требуется (светоизлучающий модуль 110 не должен излучать свет). В таком случае модуль 102 управления переходит к операции основной съемки, когда пользователь управляет переключателем затвора таким образом, чтобы вводить инструкцию для того, чтобы начинать операцию съемки (переключатель SW2 включается). При операции основной съемки модуль 102 управления выполняет управление экспозицией на основе результата обработки определения состояния экспозиции, выполняемой при операции подготовки к съемке.

[0040] Модуль 102 управления может определять то, что излучение света требуется (светоизлучающий модуль 110 должен излучать свет). В таком случае, модуль 102 управления получает данные изображения, получаемые без излучения света, (данные изображения, получаемые без излучения света, для управления количеством света), которые должны быть использованы для того, чтобы определять величину излучения света светоизлучающего модуля 110, когда включается переключатель SW2. Модуль 102 управления затем инструктирует светоизлучающему модулю 110 выполнять предварительное излучение света и получает данные изображения, получаемые с использованием предварительного излучения света. Модуль 102 управления сравнивает данные изображения, получаемые без излучения света, для управления количеством света с данными изображения, получаемыми с использованием предварительного излучения света, и определяет величину основного излучения света, требуемую для операции основной съемки. При операции основной съемки модуль 102 управления выполняет управление экспозицией на основе результата обработки определения состояния экспозиции, выполняемой при операции подготовки к съемке, и инструктирует светоизлучающему модулю 110 излучать свет фактически в количестве основного излучения света, определенном так, как описано выше.

[0041] Далее подробно описывается вышеприведенная обработка для получения составного изображения со ссылкой на фиг. 2 и 3. Фиг. 2 и 3 являются блок-схемами последовательности операций способа, иллюстрирующими различные типы обработки для получения составного изображения. Фиг. 2 рассматривает случай, в котором пользователь ранее управлял колесиком для переключения режимов, чтобы выбирать режим фотосъемки с комбинированием изображений, в котором обработка комбинирования изображений выполняется посредством использования данных изображений, получаемых посредством выполнения множества операций съемки.

[0042] Пользователь включает выключатель питания, включенный в функциональный модуль 101. На этапе S201 модуль 102 управления открывает затвор, чтобы экспонировать датчик 103 изображений. Если модуль 102 управления выполняет этап S201 сразу после того, как включается выключатель питания, модуль 102 управления задает предварительно определенные начальные значения в качестве состояния экспозиции. Во второй раз и далее, модуль 102 управления задает состояние экспозиции на основе значения яркости, вычисленного на этапе S203, который описан ниже.

[0043] На этапе S202 модуль 102 управления выполняет накопление заряда датчика 103 изображений на основе установленного состояния экспозиции, а затем инструктирует датчику 103 изображений выводить данные аналогового изображения. Модуль 102 управления посредством этого получает данные изображения.

[0044] На этапе S203, модуль 106 вычисления яркости вычисляет значение яркости (значение Bv) на основе данных изображения, получаемых на этапе S202. Модуль 106 вычисления яркости может вычислять значение яркости посредством использования традиционного способа. Его подробное описание опускается. Настоящий примерный вариант осуществления рассматривает случай, в котором модуль 106 вычисления яркости разделяет данные изображения на множество блоков, вычисляет значение яркости в каждом блоке и усредняет вычисленные значения яркости соответствующих блоков, чтобы определять среднее значение яркости. Среднее значение яркости используется в качестве значения яркости на этапе S203.

[0045] На этапе S204 модуль 102 управления определяет то, включен или нет переключатель SW1. Модуль 102 управления и модуль 106 вычисления яркости повторяют обработку этапов S202-S204 до тех пор, пока переключатель SW1 не будет включен.

[0046] На этапе S204, если модуль 102 управления определяет то, что переключатель SW1 включен ("Да" на этапе S204), то на этапе S205 модуль 102 управления выполняет обработку определения излучения света светоизлучающего модуля 110 на основе значения яркости, вычисленного на этапе S203.

[0047] При обработке определения излучения света этапа S205, если определяется, что излучение света не требуется ("Нет" на этапе S205), то на этапе S206, модуль 102 управления определяет конфигурацию экспозиции для операции съемки без излучения света (операции съемки без вынуждения светоизлучающего модуля 110 излучать свет) на основе значения яркости, вычисленного на этапе S203. В частности, модуль 102 управления определяет значения управления экспозицией, включающие в себя апертурное число Av диафрагмы, которое должно быть использовано при операции съемки без излучения света, скорость Tv срабатывания затвора, соответствующую времени накопления заряда датчика 103 изображений, и чувствительность Sv захвата. Модуль 102 управления может определять значения управления экспозицией посредством использования традиционного способа. Например, программная схема, ассоциирующая значения яркости со значениями управления экспозицией, может быть заранее сохранена. Согласно сохраненной программной схеме модуль 102 управления может определять значения управления экспозицией на основе значения яркости, вычисленного на этапе S203.

[0048] На этапе S207 модуль 102 управления определяет то, включен или нет переключатель SW2. Если модуль 102 управления определяет то, что переключатель SW2 включен ("Да" на этапе S207), модуль 102 управления переходит к этапу S209. Если модуль 102 управления определяет то, что переключатель SW2 не включен ("Нет" на этапе S207), то на этапе S208, модуль 102 управления определяет то, включен или нет переключатель SW1. Если модуль 102 управления определяет то, что переключатель SW1 не включен ("Нет" на этапе S208), модуль 102 управления переходит к этапу S202. Если модуль 102 управления определяет то, что переключатель SW1 включен ("Да" на этапе S208), модуль 102 управления переходит к этапу S207.

[0049] На этапе S209 модуль 102 управления последовательно выполняет множество (например, три) операций съемки без излучения света в состоянии экспозиции, определенном на этапе S206.

[0050] На этапе S210 модуль 116 комбинирования изображений выполняет обработку комбинирования изображений посредством использования множества фрагментов данных изображения, получаемых без излучения света, полученных посредством выполнения множества фрагментов операций съемки без излучения света. Модуль 116 комбинирования изображений посредством этого формирует данные составных изображений.

[0051] При обработке определения излучения света этапа S205, если определяется, что излучение света требуется ("Да" на этапе S205), то на этапе S211 по фиг. 3, модуль 102 управления определяет состояние экспозиции для операции съемки с излучением света (операции съемки, выполняемой посредством вынуждения светоизлучающего модуля 110 излучать свет) на основе значения яркости, вычисленного на этапе S203. В частности, модуль 102 управления определяет значения управления экспозицией, включающие в себя апертурное число Avf диафрагмы, используемое при операции съемки с излучением света, скорость Tvf срабатывания затвора, соответствующую времени накопления заряда датчика 103 изображений, и чувствительность Svf захвата.

[0052] На этапе S212 модуль 102 управления определяет то, включен или нет переключатель SW2. Если модуль 102 управления определяет то, что переключатель SW2 включен ("Да" на этапе S212), модуль 102 управления переходит к этапу S214. Если модуль 102 управления определяет то, что переключатель SW2 не включен ("Нет" на этапе S212), то на этапе S213, модуль 102 управления определяет то, включен или нет переключатель SW1. Если модуль 102 управления определяет то, что переключатель SW1 не включен ("Нет" на этапе S213), модуль 102 управления переходит к этапу S202. Если модуль 102 управления определяет то, что переключатель SW1 включен ("Да" на этапе S213), модуль 102 управления переходит к этапу S212.

[0053] На этапе S214, для того чтобы определять количество излучения света светоизлучающего модуля 110, модуль 102 управления последовательно выполняет операцию съемки без излучения света и операцию съемки с излучением света, чтобы получать данные изображения, получаемые без излучения света, для управления количеством света и данные изображения, получаемые с использованием предварительного излучения света. Настоящий примерный вариант осуществления рассматривает случай, в котором модуль 102 управления выполняет операцию съемки без излучения света и операцию съемки с излучением света посредством использования предварительно определенных состояний экспозиции и предварительно определенного количества предварительного излучения света. Состояние экспозиции для операции съемки без излучения света и состояние экспозиции для операции съемки с излучением света являются идентичными. Количество предварительного излучения света существенно меньше управляемого максимального количества излучения света светоизлучающего модуля 110. При операции съемки без излучения света и операции съемки с излучением света, выполняемой на этапе S214, модуль 102 управления может задавать состояния экспозиции и количество предварительного излучения света на основе значения яркости, вычисленного на этапе S203.

[0054] На этапе S215 модуль 102 управления вычисляет количество отраженного света предварительного излучения света из результата сравнения между полученными данными изображения, получаемыми без излучения света, для управления количеством света и данными изображения, получаемыми с использованием предварительного излучения света. В частности, модуль 106 вычисления яркости вычисляет значения яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света, и модуль 102 управления вычисляет разность между значениями яркости. Разность в значении яркости соответствует увеличению значения яркости посредством предварительного излучения света, т.е. количества отраженного света предварительного излучения света. Следует отметить, что модуль 106 вычисления яркости может разделять данные изображения на множество блоков и вычисляет значения яркости соответствующих блоков. При вычислении количества отраженного света предварительного излучения света, модуль 102 управления может использовать значения яркости блоков, в которых значения яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света варьируются более чем на предварительно определенное значение. Например, модуль 102 управления может вычислять средние значения яркости таких блоков данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света, соответственно, в которых значения яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света варьируются более чем на предварительно определенную величину. Модуль 102 управления затем может вычислять разность между вычисленными средними значениями яркости. В некоторых блоках значения яркости могут не варьироваться значительно с предварительным излучением света. Если модуль 102 управления вычисляет среднее значение яркости данных изображения, получаемых с использованием предварительного излучения света, посредством включения значений яркости таких блоков, среднее значение яркости становится меньше, чем при вычислении только из значений яркости блоков, в которых значения яркости варьируются в значительной степени с предварительным излучением света. Это уменьшает разность между средними значениями яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света по сравнению с использованием среднего значения яркости, вычисленного только из значений яркости блоков, в которых значения яркости варьируются в значительной степени с предварительным излучением света. В таком случае, вычисленное количество отраженного света предварительного излучения света становится меньше фактического количества.

[0055] Как описано выше, модуль 102 управления вычисляет количество отраженного света предварительного излучения света на основе значений яркости блоков, в которых значения яркости варьируются в значительной степени с предварительным излучением света. Как результат модуль 102 управления может точно вычислять количество отраженного света предварительного излучения света.

[0056] На этапе S215 модуль 102 управления дополнительно определяет количество основного излучения света в состоянии экспозиции, определенном на этапе S211, на основе вычисленного количества отраженного света предварительного излучения света. Взаимосвязь между количеством отраженного света предварительного излучения света и количеством основного излучения света описывается со ссылкой на фиг. 5 и 6. Фиг. 5 является схемой, иллюстрирующей количество основного излучения света, когда количество отраженного света предварительного излучения света является небольшим. Фиг. 6 является схемой, иллюстрирующей количество основного излучения света, когда количество отраженного света предварительного излучения света является большим. Состояния экспозиции, в которых выполняются операции съемки для вычисления количества отраженного света предварительного излучения света, может отличаться от состояния экспозиции для операции съемки с излучением света, определенного на этапе S211. В нижеприведенном описании модуль 102 управления вычисляет количество основного излучения света с учетом такого различия между состояниями экспозиции. Значения яркости, проиллюстрированные на фиг. 5 и 6, являются средними значениями яркости блоков, в которых значения яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света варьируются более чем на предварительно определенное значение.

[0057] Фиг. 5 иллюстрирует случай, в котором значение яркости, вычисленное из данных изображения, получаемых с использованием предварительного излучения света, является небольшим (количество отраженного света предварительного излучения света является небольшим). Чтобы задавать значение яркости данных изображения, получаемых с использованием основного излучения света, равным надлежащему значению яркости, количество основного излучения света должно формировать значительное увеличение яркости. Как описано выше, количество предварительного излучения света существенно меньше максимального количества излучения света светоизлучающего модуля 110. Таким образом, надлежащее значение яркости, вероятно, должно быть достижимым посредством задания количества основного излучения света превышающим количество предварительного излучения света.

[0058] Фиг. 6 иллюстрирует случай, в котором значение яркости, вычисленное из данных изображения, получаемых с использованием предварительного излучения света, является большим (количество отраженного света предварительного излучения света является большим). Чтобы задавать значение яркости данных изображения, получаемых с использованием основного излучения света, равным надлежащему значению яркости, количество основного излучения света должно формировать только небольшое увеличение яркости. Если светоизлучающий модуль 110 может излучать свет фактически в количестве излучения света, требуемом для того, чтобы задавать значение яркости данных изображения, получаемых с использованием основного излучения света, равным надлежащему значению яркости, проблемы не возникает. Тем не менее, количество излучения света, требуемое для того, чтобы задавать значение яркости данных изображения, получаемых с использованием основного излучения света, равным надлежащему значению яркости, иногда может быть меньше управляемого минимального количества излучения света светоизлучающего модуля 110. В таком случае значение яркости данных изображения, получаемых с использованием основного излучения света, превышает надлежащее значение яркости на избыток количества излучения света. Например, в сцене портретной съемки, проиллюстрированной на фиг. 4 с ночным пейзажем на фоне, человек может быть переэкспонирован.

[0059] Чтобы подавлять переэкспозицию объекта и получать предпочтительное составное изображение без некомфортного ощущения, модуль 102 управления выполняет обработку этапа S216 и следующих этапов.

[0060] На этапе S216 модуль 102 управления определяет то, меньше или нет количество основного излучения света, вычисленное на этапе S215, минимального количества излучения света светоизлучающего модуля 110.

[0061] Если количество основного излучения света, вычисленное на этапе S215, меньше минимального количества излучения света ("Да" на этапе S216), то на этапе S217 модуль 102 управления определяет новое состояние экспозиции для операции съемки с излучением света. На этапе S217 модуль 102 управления определяет новые значения управления экспозицией, включающие в себя апертурное число Avf2, скорость Tvf2 срабатывания затвора и чувствительность Svf2 захвата, так что новое состояние экспозиции приводит к недоэкспозиции по сравнению с состоянием экспозиции, определенным на этапе S211. Апертурное число Avf2, скорость Tvf2 срабатывания затвора и чувствительность Svf2 захвата не обязательно должны все без исключения отличаться от значений управления экспозицией, определенных на этапе S211, но по меньшей мере одно должно отличаться. На этапе S217 модуль 102 управления определяет новые значения управления экспозицией на основе значений управления экспозицией, определенных на этапе S211, и разности между количеством основного излучения света, вычисленным на этапе S215, и минимальным количеством излучения света светоизлучающего модуля 110. Например, модуль 102 управления определяет значения управления экспозицией так, что среднее значение яркости блоков, в которых значения яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света варьируются более чем на предварительно определенное значение, становится надлежащим значением яркости, если светоизлучающий модуль 110 излучает свет фактически в количестве излучения света, большем или равном минимальному количеству излучения света. При определении новых значений управления экспозицией модуль 102 управления также определяет новое количество основного излучения света светоизлучающего модуля 110. Настоящий примерный вариант осуществления рассматривает случай, в котором модуль 102 управления задает новое количество основного излучения света равным минимальному количеству излучения света. Модуль 102 управления задает новую чувствительность Svf2 захвата ниже чувствительности Svf захвата, так что среднее значение яркости блоков, в которых значения яркости варьируются более чем на предварительно определенную величину, становится надлежащим значением яркости, когда светоизлучающий модуль 110 излучает свет фактически в минимальном количестве излучения света.

[0062] На этапе S218 модуль 102 управления выполняет операцию съемки с излучением света в состоянии экспозиции и с количеством основного излучения света, определенным на этапе S217. Поскольку новое состояние экспозиции для операции съемки с излучением света определяется на основе данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света, переэкспозиция объекта может подавляться.

[0063] На этапе S219 модуль 102 управления определяет состояние экспозиции для операции съемки без излучения света на основе состояния экспозиции, определенного на этапе S217. Как описано выше, чтобы получать изображение, получаемое без излучения света, с ярким фоном, модуль 102 управления повышает чувствительность захвата для операции съемки без излучения света по сравнению с чувствительностью захвата для операции съемки с излучением света. Более конкретно, модуль 102 управления задает чувствительность Sv2 захвата для операции съемки без излучения света относительно выше чувствительности Svf2 захвата для операции съемки с излучением света. Чтобы получать предпочтительное составное изображение без некомфортного ощущения, другие значения управления экспозицией для операции съемки без излучения света, а именно, апертурное число Av2 и скорость Tv2 срабатывания затвора, могут быть заданы идентичными апертурному числу Avf2 и скорости Tvf2 срабатывания затвора для операции съемки с излучением света. Модуль 102 управления может определять значения управления экспозицией, включающие в себя чувствительность Sv2 захвата, согласно ранее сохраненной программной схеме, так что экспозиция при операции съемки без излучения света становится ярче экспозиции при операции съемки с излучением света. Настоящий примерный вариант осуществления рассматривает случай, в котором модуль 102 управления задает апертурное число Av2 идентичным апертурному числу Avf2, задает скорость Tv2 срабатывания затвора идентичной скорости Tvf2 срабатывания затвора и задает чувствительность Sv2 захвата на один уровень выше чувствительности Svf2 захвата.

[0064] Модуль 102 управления может определять разность между чувствительностью Sv2 захвата для операции съемки без излучения света и чувствительностью Svf2 захвата для операции съемки с излучением света на основе разности в шуме между данными изображения, получаемыми с использованием предварительного излучения света, и данными изображения, получаемыми без излучения света, для управления количеством света. Чувствительность Sv2 захвата может быть на два или более уровней выше, если разность в шуме между данными изображения, получаемыми с использованием предварительного излучения света, и данными изображения, получаемыми без излучения света, для управления количеством света является небольшой.

[0065] Как описано выше, модуль 116 комбинирования изображений может комбинировать фрагменты данных изображения, получаемых без излучения света, чтобы формировать данные составного изображения, получаемого без излучения света. Это позволяет уменьшать эффект шума, даже если операции съемки без излучения света выполняются с повышенной чувствительностью захвата. Чем больше число фрагментов данных изображения, получаемых без излучения света, тем в большей степени может быть уменьшен эффект шума. Таким образом, модуль 102 управления может задавать разность экспозиции между операцией съемки без излучения света и операцией съемки с излучением света согласно числу операций съемки без излучения света. Например, по сравнению с тем, когда число операций съемки без излучения света представляет собой первое число, модуль 102 управления может увеличивать разность экспозиции, когда число операций съемки без излучения света представляет собой второе число, превышающее первое число.

[0066] На этапе S220 модуль 102 управления выполняет операции съемки без излучения света в состоянии экспозиции, определенном на этапе S219. Как описано выше, модуль 102 управления может выполнять одну, две или более операций съемки без излучения света. Настоящий примерный вариант осуществления рассматривает случай, в котором модуль 102 управления выполняет три операции съемки без излучения света последовательно.

[0067] Модуль 102 управления временно сохраняет фрагмент данных изображения, получаемых с излучением света, и три фрагмента данных изображения, получаемых без излучения света, полученных посредством последовательного выполнения одной операции съемки с излучением света и трех операций съемки без излучения света, в запоминающее устройство 109.

[0068] На этапе S221 модуль 116 комбинирования изображений выполняет обработку комбинирования изображений посредством использования одного фрагмента данных изображения, получаемых с излучением света, и трех фрагментов данных изображений, получаемых без излучения света, временно сохраненных в запоминающем устройстве 109. Модуль 116 комбинирования изображений посредством вынуждения этого формирует данные составных изображений. Ниже описывается обработка комбинирования изображений с использованием данных изображения, получаемых с излучением света, и данных изображения, получаемых без излучения света.

[0069] Если количество основного излучения света, вычисленное на этапе S215, не меньше минимального количества излучения света ("Нет" на этапе S216), то на этапе S222 модуль 102 управления выполняет операцию съемки с излучением света в состоянии экспозиции, определенном на этапе S211, и с количеством основного излучения света, вычисленным на этапе S215.

[0070] На этапе S223 модуль 102 управления определяет состояние экспозиции для операции съемки без излучения света на основе состояния экспозиции, определенного на этапе S211. На этапе S223 аналогично этапу S219, чтобы получать изображение, получаемое без излучения света, с ярким фоном, модуль 102 управления повышает чувствительность захвата для операции съемки без излучения света по сравнению с чувствительностью захвата для операции съемки с излучением света. Более конкретно, модуль 102 управления задает чувствительность Sv3 захвата для операции съемки без излучения света относительно выше чувствительности Svf захвата для операции съемки с излучением света. Чтобы получать предпочтительное составное изображение без некомфортного ощущения, другие значения управления экспозицией для операции съемки без излучения света, а именно, апертурное число Av3 и скорость Tv3 срабатывания затвора могут быть заданы идентичными апертурному числу Avf и скорости Tvf срабатывания затвора для операции съемки с излучением света. Модуль 102 управления может определять значения управления экспозицией, включающие в себя чувствительность Sv3 захвата, согласно ранее сохраненной программной схеме. Настоящий примерный вариант осуществления рассматривает случай, в котором модуль 102 управления задает апертурное число Av3 идентичным апертурному числу Avf, задает скорость Tv3 срабатывания затвора идентичной скорости Tvf срабатывания затвора и задает чувствительность Sv3 захвата на один уровень выше чувствительности Svf захвата.

[0071] Модуль 102 управления может определять разность между чувствительностью Sv3 захвата для операции съемки без излучения света и чувствительностью Svf захвата для операции съемки с излучением света на основе разности в шуме между данными изображения, получаемыми с излучением света, и данными изображения, получаемыми без излучения света. Чувствительность Sv3 захвата может быть на два или более уровней выше, если разность в шуме между данными изображения, получаемыми с излучением света, и данными изображения, получаемыми без излучения света, является небольшой.

[0072] На этапе S224 модуль 102 управления выполняет операции съемки без излучения света в состоянии экспозиции, определенном на этапе S223. Как описано выше, модуль 102 управления может выполнять одну, две или более операций съемки без излучения света. Настоящий примерный вариант осуществления рассматривает случай, в котором модуль 102 управления последовательно выполняет три операции съемки без излучения света.

[0073] Модуль 102 управления временно сохраняет фрагмент данных изображения, получаемых с излучением света, и три фрагмента данных изображения, получаемых без излучения света, полученных посредством последовательного выполнения одной операции съемки с излучением света и трех операций съемки без излучения света, в запоминающее устройство 109.

[0074] На этапе S225 модуль 116 комбинирования изображений выполняет обработку комбинирования изображений посредством использования одного фрагмента данных изображения, получаемых с излучением света, и трех фрагментов данных изображений, получаемых без излучения света, временно сохраненных в запоминающем устройстве 109. Модуль 116 комбинирования изображений посредством вынуждения этого формирует данные составных изображений.

[0075] Как описано выше, модуль 102 управления определяет состояние экспозиции для операции съемки с излучением света и состояние экспозиции для операций съемки без излучения света на основе информации относительно яркости объекта, когда предварительное излучение света выполняется. Это позволяет подавлять переэкспозицию и недоэкспозицию при операции съемки с излучением света. Модуль 102 управления может задавать надлежащую разность между состояниями экспозиции для операции съемки с излучением света и операций съемки без излучения света, посредством чего может быть получено предпочтительное составное изображение.

[0076] На этапах S205 и S206 модуль 102 управления выполняет обработку на основе значения яркости, вычисленного на этапе S203. Вместо этого, модуль 102 управления может получать данные изображения после того, как включается переключатель SW1. В таком случае, модуль 102 управления вычисляет значение яркости на основе полученных данных изображения и использует вычисленное значение яркости для обработки.

[0077] На этапе S215 модуль 102 управления вычисляет количество отраженного света предварительного излучения света из результата сравнения между данными изображения, получаемыми без излучения света, для управления количеством света и данными изображения, получаемыми с использованием предварительного излучения света. Если эффект внешнего освещения является небольшим, модуль 102 управления может вычислять количество отраженного света предварительного излучения света только из данных изображения, получаемых с использованием предварительного излучения света.

[0078] На этапе S215 модуль 102 управления использует среднее значение яркости блоков, в которых значения яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света варьируются более чем на предварительно определенную величину. Вместо этого, модуль 102 управления может использовать взвешенное среднее значение яркости, вычисленное посредством использования различных весовых коэффициентов для соответствующих блоков.

[0079] На этапе S216 модуль 102 управления сравнивает вычисленное количество основного излучения света с минимальным количеством излучения света. Тем не менее, модуль 102 управления может сравнивать вычисленное количество основного излучения света с максимальным количеством излучения света. Предположим, что вычисленное количество основного излучения света превышает максимальное количество излучения света. В таком случае в отличие от случая, когда вычисленное количество основного излучения света меньше минимального количества излучения света, значение яркости данных изображения, получаемых с использованием основного излучения света, становится меньше надлежащего значения яркости фактически на величину нехватки количества излучения света. Если вычисленное количество основного излучения света превышает максимальное количество излучения света, модуль 102 управления может определять новые значения управления экспозицией на основе значений управления экспозицией, определенных на этапе S211, и разности между количеством основного излучения света, вычисленным на этапе S215 и максимальным количеством излучения света светоизлучающего модуля 110. Например, модуль 102 управления может определять значения управления экспозицией так, что среднее значение яркости блоков, в которых значения яркости данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, варьируются более чем на предварительно определенную величину, становится надлежащим значением яркости, когда светоизлучающий модуль 110 излучает свет фактически в количестве излучения света, меньшем максимального количества света.

[0080] На этапе S219 модуль 102 управления определяет состояние экспозиции для операции съемки без излучения света на основе состояния экспозиции для операции съемки с излучением света, определенного на этапе S217. Тем не менее, модуль 102 управления может определять состояние экспозиции для операции съемки без излучения света на основе состояния экспозиции, определенного на этапе S211, данных изображения, получаемых с использованием предварительного излучения света, и данных изображения, получаемых без излучения света, для управления количеством света. Если эффект внешнего освещения является небольшим, как описано выше, модуль 102 управления может определять состояние экспозиции для операции съемки без излучения света на основе состояния экспозиции, определенного на этапе S211, и данных изображения, получаемых с использованием предварительного излучения света.

[0081] Далее описывается пример обработки комбинирования изображений, выполняемой на этапах S221 и S225, со ссылкой на фиг. 7 и 8. Фиг. 7 является схемой, иллюстрирующей взаимосвязь между фрагментами данных изображения и обработкой, которая должна выполняться при обработке комбинирования изображений. Чтобы пояснять различия между фрагментами данных изображения, фиг. 7 иллюстрирует изображения, соответствующие соответствующим фрагментам данных изображения. Фиг. 8 является блок-схемой последовательности операций способа, иллюстрирующей обработку, связанную с обработкой комбинирования изображений. Обработка комбинирования изображений, выполняемая на этапах S211 и S225, может отличаться от способа, описанного в связи с фиг. 7 и 8. Могут применяться другие традиционные способы для получения составного изображения на основе данных изображения, получаемых с излучением света, и данных изображения, получаемых без излучения света.

[0082] На этапе S801 обработки комбинирования изображений блок 105 обработки изображений первоначально выполняет обработку (в дальнейшем в этом документе, называемую "цифровой обработкой усиления") для умножения данных изображения, получаемых с излучением света, (701 на фиг. 7) на неизменяемый коэффициент G усиления (цифровой коэффициент усиления). Блок 105 обработки изображений временно сохраняет обработанные данные изображения, получаемые с излучением света, (705 на фиг. 7) в запоминающее устройство 109.

[0083] Модуль 102 управления определяет коэффициент G усиления, используемый на этапе S801, чтобы компенсировать разность между чувствительностью захвата для операции съемки с излучением света и чувствительностью захвата для операции съемки без излучения света. Модуль 102 управления определяет коэффициент G усиления посредством использования следующего уравнения (1):

G=2^(разность между чувствительностью захвата для операции съемки с излучением света и чувствительностью захвата для операции съемки без излучения света) (1)

[0084] В настоящем примерном варианте осуществления чувствительность захвата для операции съемки с излучением света задается на один уровень ниже чувствительности захвата для операции съемки без излучения света. Согласно уравнению (1) коэффициент G усиления равен 2. Область человека данных изображения, получаемых с излучением света, имеет надлежащее значение яркости вследствие излучения света светоизлучающего модуля 110. После цифровой обработки усиления область человека в силу этого имеет значение яркости, превышающее надлежащее значение яркости. После цифровой обработки усиления фоновая область имеет значение яркости, приблизительно идентичное значению яркости данных изображения, получаемых без излучения света, поскольку разность в чувствительности захвата компенсируется.

[0085] На этапе S802 блок 105 обработки изображений выполняет обработку проявки для каждого из пяти фрагментов данных изображения (701-705 на фиг. 7), временно сохраненных в запоминающем устройстве 109. Обработка проявки включает в себя обработку баланса белого, обработку интерполяции цветов для преобразования сигнала байеровской матрицы красного, зеленого и синего цвета (RGB) в три сигнала RGB-плоскости, обработку гамма-коррекции, коррекцию насыщенности цвета и коррекцию оттенка. Блок 105 обработки изображений посредством вынуждения этого формирует данные изображения в формате YUV (Y: сигнал яркости, U: разность между сигналом яркости и компонентом синего цвета, и V: разность между сигналом яркости и компонентом красного цвета) и временно сохраняет данные YUV-изображений в запоминающее устройство 109. Применение обработки проявки ко всем фрагментам данных изображения в идентичном состоянии упрощает определение разностей между фрагментами данных изображения. Это упрощает обработку комбинирования данных изображения, получаемых с излучением света, и данных изображения, получаемых без излучения света, которая должна быть выполнена после этого. Следует отметить, что четыре из фрагментов данных изображения (701-704 на фиг. 7), временно сохраненных в запоминающем устройстве 109, не обязательно должны подвергаться обработке проявки на этапе S802. Каждый из таких фрагментов данных изображения может быть по отдельности подвергнут обработке проявки во время получения. Фрагмент или фрагменты данных изображения, уже подвергнутых обработке проявки, могут опускаться из обработки проявки этапа S802.

[0086] Блок 105 обработки изображений выполняет обработку проявки этапа S802 в идентичном состоянии независимо от того, будь то данные изображения, получаемые с излучением света, или данные изображения, получаемые без излучения света. Например, блок 105 обработки изображений использует коэффициенты коррекции баланса белого при обработке баланса белого. Как для данных изображения, получаемых с излучением света, так и для данных изображения, получаемых без излучения света, блок 105 обработки изображений использует коэффициенты коррекции баланса белого таким образом, что вспомогательное освещение в данных изображения излучения света становится ахроматическим. Это приводит к корректному цветному тону человека, основного объекта. Следует отметить, что коэффициенты коррекции баланса белого не ограничены этим, и могут быть использованы любые коэффициенты.

[0087] На этапе S803 блок 105 обработки изображений выполняет обработку коррекции (в дальнейшем в этом документе, называемую "коррекцией дрожания камеры") для коррекции позиционных отклонений, возникающих между четырьмя фрагментами данных изображения (702-705 на фиг. 7). Блок 105 обработки изображений выполняет обработку коррекции дрожания камеры посредством определения величины позиционного отклонения целевых данных изображения для позиционирования относительно опорных данных изображения для позиционирования и коррекции целевых данных изображения для позиционирования согласно определенной величине позиционного отклонения.

[0088] Настоящий примерный вариант осуществления рассматривает случай, в котором данные изображения, получаемые с излучением света, после цифровой обработки усиления используются в качестве опорных данных изображения для позиционирования, а множество фрагментов данных изображения, получаемых без излучения света, полученных посредством последующих операций съемки, - в качестве целевых данных изображения для позиционирования.

[0089] Один из множества фрагментов данных изображения, получаемых без излучения света, может быть использован в качестве опорных данных изображения для позиционирования, а остальные фрагменты данных изображения, получаемых без излучения света, и данные изображения, получаемые с излучением света, могут быть использованы в качестве целевых данных изображения для позиционирования. Операция съемки с излучением света не обязательно должна выполняться первой. Выполнение операции съемки с излучением света первой позволяет упрощать возможность захвата фотографии человека, основного объекта.

[0090] Причина использования данных изображения, получаемых с излучением света, после цифровой обработки усиления, а не данных изображения, получаемых с излучением света, до цифровой обработки усиления, состоит в том, что меньшая разность между значениями яркости опорных данных изображения для позиционирования и целевых данных изображения для позиционирования повышает точность позиционирования. Данные изображения, получаемые с излучением света, включают в себя область или области, освещаемые посредством светоизлучающего модуля 110. Такие области могут исключаться из определения величины позиционного отклонения, поскольку области имеют значительные различия в значении яркости относительно идентичных областей данных изображения, получаемых без излучения света.

[0091] На этапе S804, блок 105 обработки изображений попиксельно вычисляет среднее значение данных изображения, получаемых с излучением света, после цифровой обработки усиления этапа S801 и данных изображения, получаемых без излучения света, после обработки коррекции дрожания камеры на этапе S803. Блок 105 обработки изображений посредством вынуждения этого формирует средние данные изображения.

[0092] Посредством усреднения множества фрагментов данных изображения блок 105 обработки изображений может получать малошумные данные изображения без изменения яркости фона. Настоящий примерный вариант осуществления рассматривает случай, в котором блок 105 обработки изображений усредняет не только множество фрагментов данных изображения, получаемых без излучения света, но также и данных изображения, получаемых с излучением света, после цифровой обработки усиления. Усреднение не только множества фрагментов данных изображения, получаемых без излучения света, но и также данных изображения, получаемых с излучением света, после цифровой обработки усиления позволяет дополнительно повышать эффект уменьшения уровня шума по сравнению со случаем, когда усредняется только множество фрагментов данных изображения, получаемых без излучения света.

[0093] Средние данные изображения (706 на фиг. 7), сформированные на этапе S804, включают в себя фоновую область с надлежащей яркостью и область человека с ненадлежащей яркостью.

[0094] На этапе S805 блок 105 обработки изображений попиксельно вычисляет количество освещения светоизлучающего модуля 110 (в дальнейшем в этом документе, называемое "количеством освещения") в данных изображения излучения света. Такая обработка далее называется "обработкой вычисления количества освещения".

[0095] При обработке вычисления количества освещения согласно этапу S805 блок 105 обработки изображений первоначально применяет фильтр нижних частот к данным изображения, получаемого с излучением света, после цифровой обработки усиления и к данным изображения, получаемого без излучения света, после обработки коррекции дрожания камеры, чтобы получать низкочастотные данные изображения. Применение фильтра нижних частот позволяет уменьшать эффект шума и повышать точность вычисления количества освещения. Данные изображения, получаемые без излучения света, которые должны фильтроваться, могут быть фрагментом данных изображения, получаемых без излучения света, который получается посредством операции съемки без излучения света, ближайшей к операции съемки с излучением света. В таком случае эффект отклонений человека, основного объекта, может быть минимизирован.

[0096] Блок 105 обработки изображений попиксельно вычисляет разность (различие в яркости) между сигналами Y яркости двух фрагментов данных изображения. Абсолютная величина различия в яркости между данными изображения, получаемыми с излучением света, и данными изображения, получаемыми без излучения света, соответствует абсолютной величине количества освещения. Поскольку используются данные изображения, получаемые с излучением света, после цифровой обработки усиления, сигналы Y яркости данных изображения, получаемых с излучением света, и данных изображения, получаемых без излучения света, в общем, совпадают друг с другом в пикселах, не проиллюстрированных посредством светоизлучающего модуля 110. Чем большее различие в яркости имеет пиксель, тем больше количество освещения.

[0097] В настоящем примерном варианте осуществления блок 105 обработки изображений вычисляет количество освещения из различия в яркости между двумя фрагментами данных изображения. Блок 105 обработки изображений может вычислять количество освещения дополнительно на основе разностей в цветовых различиях U и V.

[0098] Блок 105 обработки изображений сохраняет вычисленное количество освещения каждого пиксела в запоминающее устройство 109.

[0099] На этапе S806 модуль 116 комбинирования изображений попиксельно комбинирует данные изображения, получаемые с излучением света, (701 на фиг. 7) до цифровой обработки усиления со средними данными изображения (706 на фиг. 6), сформированными на этапе S804, при соотношении комбинирования на основе количества освещения каждого пиксела, вычисленного на этапе S805. Модуль 116 комбинирования изображений комбинирует данные изображения на основе уравнения (2):

Комбинированный сигнал = данные изображения, получаемые с излучением света, × k + средние данные изображения × (1-k) (2),

где k (0≤k≤1) является долей данных изображения, получаемых с излучением света, в соотношении комбинирования. Чем больше количество освещения, тем выше значение соотношения k. Согласно количеству освещения модуль 116 комбинирования изображений может изменять соотношение k пошагово, а не непрерывно. Модуль 116 комбинирования изображений может изменять соотношение k согласно количеству освещения, если количество освещения меньше предварительно определенного значения, и может задавать k=1, если количество освещения превышает или равно предварительно определенное количество.

[0100] Таким образом, модуль 116 комбинирования изображений завершает обработку комбинирования изображений согласно этапам S221 и S225.

[0101] Посредством выполнения обработки комбинирования изображений, как описано выше, блок 105 обработки изображений и модуль 116 комбинирования изображений могут получать предпочтительное составное изображение посредством комбинирования данных изображения, получаемых посредством выполнения операции съемки посредством вынуждения светоизлучающего модуля 110 излучать свет, и данных изображения, получаемых посредством выполнения операций съемки без вынуждения светоизлучающего модуля 110 излучать свет.

[0102] Выше описан примерный вариант осуществления настоящего изобретения. Настоящее изобретение не ограничено таким примерным вариантом осуществления и может включать в себя схемы, попадающие в пределы объема без отступления от сущности настоящего изобретения.

[0103] Например, вышеприведенный примерный вариант осуществления рассматривает случай, в котором камера 100 выполняет операцию съемки с излучением света посредством использования встроенного светоизлучающего модуля 110. Тем не менее, камера 100 может быть выполнена с возможностью осуществлять операцию съемки с излучением света посредством использования светоизлучающего устройства, съемно прикрепленного к ней.

[0104] Вышеприведенный примерный вариант осуществления рассматривает случай, в котором пользователь заранее выбирает режим фотосъемки с комбинированием изображений. Камера 100 может иметь функцию определения сцены фотосъемки на основе величины перемещения и яркости объекта. В таком случае, камера 100 может автоматически выбирать режим фотосъемки с комбинированием изображений на основе результата определения сцены.

[0105] Вышеприведенный примерный вариант осуществления рассматривает случай, в котором модуль 102 управления начинает экспозицию датчика 103 изображений, когда включается выключатель питания. Тем не менее, модуль 102 управления может быть выполнен с возможностью начинать экспозицию датчика 103 изображений, когда вводится инструкция для того, чтобы начинать операцию съемки. В таком случае, камера 100 может включать в себя датчик для измерения интенсивности света, отличный от датчика 103 изображений. Модуль 102 управления может определять состояние экспозиции на основе результата измерения интенсивности света посредством датчика для измерения интенсивности света, который представляет собой информацию относительно яркости объекта, вместо определения состояния экспозиции на основе данных изображения, выводимых из блока 105 обработки изображений.

[0106] Вышеприведенный примерный вариант осуществления рассматривает случай, в котором модуль 116 комбинирования изображений камеры 100 выполняет составление изображений. В другой возможной конфигурации камера 100 может выполнять множество операций съемки и передавать полученное множество фрагментов данных изображения во внешнее устройство, и внешнее устройство может выполнять составление изображений.

[0107] Варианты осуществления настоящего изобретения также могут быть реализованы посредством компьютера системы или устройства, которое считывает и выполняет машиноисполняемые инструкции, записанные на носителе хранения данных (например, энергонезависимом машиночитаемом носителе хранения данных), чтобы выполнять функции одного или более из вышеописанного варианта(ов) осуществления настоящего изобретения, и посредством способа, осуществляемого посредством компьютера системы или устройства, например, посредством считывания и выполнения машиноисполняемых инструкций из носителя хранения данных, чтобы выполнять функции одного или более из вышеописанного варианта(ов) осуществления. Компьютер может содержать одно или более из центрального процессора (CPU), микропроцессора (MPU) или другой схемы и может включать в себя сеть отдельных компьютеров или отдельных процессоров компьютера. Машиноисполняемые инструкции могут предоставляться в компьютер, например, из сети или носителя хранения данных. Носитель хранения данных может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), устройства хранения распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), универсальный цифровой диск (DVD) или Blu-Ray-диск (BD)™), устройства флэш-памяти, карты памяти и т.п.

[0108] Хотя настоящее изобретение описано со ссылкой на примерные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем нижеследующей формулы изобретения должен соответствовать самой широкой интерпретации, так что он заключает в себе все такие модификации и эквивалентные структуры и функции.

Настоящее изобретение относится к устройству формирования изображений, которое выполняет множество операций съемки, чтобы получать множество фрагментов данных изображения, которые должны использоваться для составления изображений, и к способу для управления им. Заявленные устройства формирования изображений содержат модуль формирования изображений, модуль получения, модуль определения, при этом модуль формирования изображений выполнен с возможностью получать множество данных изображения, для обработки комбинирования изображений, посредством выполнения множества операций съемки, включающих в себя операцию съемки с излучением света, выполняемую посредством вынуждения светоизлучающего устройства излучать свет, и операцию съемки без излучения света, выполняемую без вынуждения светоизлучающего устройства излучать свет, а модуль определения выполнен с возможностью определять значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе информации, полученной посредством модуля получения относительно яркости объекта из предварительного излучения света, выполняемого посредством светоизлучающего устройства. Технический результат заключается в получении предпочтительного составного изображения посредством комбинирования данных изображения, получаемых посредством выполнения операции съемки посредством вынуждения светоизлучающего устройства излучать свет, и данных изображения, получаемых посредством выполнения операции съемки без вынуждения светоизлучающего устройства излучать свет. 2 н. и 14 з.п. ф-лы, 8 ил.

1. Устройство формирования изображений, содержащее:
- модуль формирования изображений, выполненный с возможностью захватывать изображение объекта для того, чтобы выводить данные изображения;
- модуль получения, выполненный с возможностью получать информацию относительно яркости объекта; и
- модуль определения, выполненный с возможностью определять значение управления экспозицией, которое должно быть использовано при операции съемки, на основе информации, полученной посредством модуля получения относительно яркости объекта,
- при этом модуль формирования изображений выполнен с возможностью получать множество данных изображения, для обработки комбинирования изображений, посредством выполнения множества операций съемки, включающих в себя операцию съемки с излучением света, выполняемую с вынуждением светоизлучающего устройства излучать свет, и операцию съемки без излучения света, выполняемую без вынуждения светоизлучающего устройства излучать свет,
- при этом модуль определения выполнен с возможностью определять значение управления экспозицией для операции съемки с излучением света на основании информации, полученной модулем получения, относительно яркости объекта с вынуждением светоизлучающего устройства выполнять предварительное излучение света, и
при этом модуль определения выполнен с возможностью определять значение управления экспозицией для операции съемки без излучения света на основе информации, полученной посредством модуля получения относительно яркости объекта с вынуждением светоизлучающего устройства выполнять предварительное излучение света.

2. Устройство формирования изображений по п. 1, дополнительно содержащее модуль вычисления, выполненный с возможностью вычислять количество основного излучения света светоизлучающего устройства при операции съемки с излучением света на основе информации, полученной посредством модуля получения относительно яркости объекта, с вынуждением светоизлучающего устройства выполнять предварительное излучение света,
- при этом модуль определения выполнен с возможностью определять значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе количества основного излучения света, вычисленного посредством модуля вычисления.

3. Устройство формирования изображений по п. 2, в котором модуль определения выполнен с возможностью, если количество основного излучения света, вычисленное посредством модуля вычисления, меньше управляемого минимального количества излучения света светоизлучающего устройства, определять упомянутые значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе количества основного излучения света, вычисленного посредством модуля вычисления.

4. Устройство формирования изображений по п. 2, в котором модуль определения выполнен с возможностью, если количество основного излучения света, вычисленное посредством модуля вычисления, меньше управляемого минимального количества излучения света светоизлучающего устройства, определять упомянутые значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе разности между количеством основного излучения света, вычисленным посредством модуля вычисления, и минимальным количеством излучения света.

5. Устройство формирования изображений по п. 1, в котором модуль определения выполнен с возможностью, если светоизлучающее устройство вынуждено излучать свет с управляемым минимальным количеством излучения света светоизлучающего устройства, определять упомянутые значения управления экспозицией операции съемки с излучением света и операции съемки без излучения света на основе информации, полученной посредством модуля получения относительно яркости объекта, когда предварительное излучение света выполняется посредством светоизлучающего устройства.

6. Устройство формирования изображений по п. 2, в котором модуль определения выполнен с возможностью, если количество основного излучения света, вычисленное посредством модуля вычисления, превышает управляемое максимальное количество излучения света светоизлучающего устройства, определять упомянутые значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе количества основного излучения света, вычисленного посредством модуля вычисления.

7. Устройство формирования изображений по п. 2, в котором модуль определения выполнен с возможностью, если количество основного излучения света, вычисленное посредством модуля вычисления, превышает управляемое максимальное количество излучения света светоизлучающего устройства, определять значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе разности между количеством основного излучения света, вычисленным посредством модуля вычисления, и максимальным количеством излучения света.

8. Устройство формирования изображений по п. 1, в котором модуль определения выполнен с возможностью, если светоизлучающее устройство вынуждено излучать свет с управляемым максимальным количеством излучения света светоизлучающего устройства, определять упомянутые значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе информации, полученной посредством модуля получения относительно яркости объекта с вынуждением светоизлучающего устройства выполнять предварительное излучение света.

9. Устройство формирования изображений по п. 1, в котором модуль определения выполнен с возможностью определять упомянутые значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света на основе информации, полученной посредством модуля получения относительно яркости объекта с вынуждением светоизлучающего устройства выполнять предварительное излучение света, и информации, полученной посредством модуля получения относительно яркости объекта без вынуждения светоизлучающего устройства выполнять предварительное излучение света.

10. Устройство формирования изображений по п. 1, в котором модуль определения выполнен с возможностью определять упомянутые значения управления экспозицией для операции съемки с излучением света и операции съемки без излучения света, так что экспозиция при операции съемки без излучения света является ярче экспозиции при операции съемки с излучением света.

11. Устройство формирования изображений по п. 10, в котором множество операций съемки включает в себя две или более операции съемки без излучения света, и
- при этом модуль определения выполнен с возможностью определять упомянутые значения управления экспозицией для операции съемки с излучением света и операций съемки без излучения света таким образом, чтобы формировать разность экспозиции на основе числа операций съемки без излучения света при множестве операций съемки.

12. Устройство формирования изображений по п. 11, в котором модуль определения выполнен с возможностью определять упомянутые значения управления экспозицией для операции съемки с излучением света и операций съемки без излучения света таким образом, что разность экспозиции, когда число операций съемки без излучения света представляет собой второе число, превышающее первое число, превышает разность экспозиции, когда число операций съемки без излучения света представляет собой первое число.

13. Устройство формирования изображений по п. 1, в котором модуль определения выполнен с возможностью задавать чувствительность захвата для одной или более операций съемки без излучения света выше чувствительности захвата для операции съемки с излучением света.

14. Устройство формирования изображений по п. 1, дополнительно содержащее модуль комбинирования изображений, выполненный с возможностью выполнять обработку комбинирования изображений на основе множества данных изображения, выводимых из модуля формирования изображений в результате множества операций съемки.

15. Устройство формирования изображений по п. 1, в котором модуль определения выполнен с возможностью определять значение управления экспозицией для операции съемки с излучением света на основе информации, полученной посредством модуля получения относительно яркости объекта с вынуждением светоизлучающего устройства выполнять предварительное излучение света, и определять значение управления экспозицией для операции съемки без излучения света на основе определенного значения управления экспозицией для операции съемки с излучением света.

16. Способ для управления устройством формирования изображений, включающим в себя модуль формирования изображений, выполненный с возможностью захватывать изображение объекта для того, чтобы выводить данные изображения, при этом способ содержит этапы, на которых:
- получают информацию относительно яркости объекта;
- определяют значение управления экспозицией, которое должно быть использовано при операции съемки, на основе полученной информации относительно яркости объекта;
- получают множество данных изображения, которые должны использоваться для обработки комбинирования изображений, посредством выполнения множества операций съемки, включающих в себя операцию съемки с излучением света, выполняемую с вынуждением светоизлучающего устройства излучать свет, и операцию съемки без излучения света, выполняемую без вынуждения светоизлучающего устройства излучать свет;
- определяют значение управления экспозицией для операции съемки с излучением света на основании полученной информации относительно яркости объекта с вынуждением светоизлучающего устройства выполнять предварительное излучение света, и
определяют значение управления экспозицией для операции съемки без излучения света на основе полученной информации относительно яркости объекта с вынуждением светоизлучающего устройства выполнять предварительное излучение света.