УСТРОЙСТВО С КАМЕРОЙ И ЭКРАНОМ Российский патент 2019 года по МПК H04N5/232 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройствам с камерой и экраном.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

В последнее время люди все чаще стали фотографировать себя и делиться такими фотографиями с друзьями посредством использования платформ общего доступа к мультимедийным данным. Прежде, чем выложить фотографии, некоторые пользователи зачастую обрабатывают фотографии с использованием приложений, таких как, например, Photoshop, чтобы улучшить свой внешний вид. Например, в ходе такого процесса обработки можно использовать добавление конкретных эффектов, таких как осветление, придание теплого тона и т.д. Благодаря такому улучшению фотографий, люди считают, что выглядят лучше, и могут проявлять большую социальную активность.

Такой процесс обработки фотографий занимает много времени и не может быть выполнен в случае выкладывания фотографий или видео в режиме реального времени. Например, процесс обработки не может быть выполнен в режиме реального времени в ходе проведения видеочата или видеоконференции.

Поэтому существует потребность в возможности улучшения изображения таким способом, который снижает или устраняет потребность в выполнении процесса обработки изображений, и/или который может быть выполнен в режиме реального времени.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Изобретение определяется посредством формулы изобретения.

Согласно иллюстративному варианту осуществления изобретения, обеспечивается устройство, содержащее:

камеру;

экран, предназначенный для отображения изображения, захваченного посредством камеры;

интерфейс ввода пользователя; и

процессор, где процессор является выполненным с возможностью:

приема ввода пользователя, представляющего желаемую модификацию для изображения, отображенного на экране, демонстрирующем сцену; и

получения требуемых характеристик светового выхода осветительного устройства для изменения освещения для сцены, чтобы последующие захваченные изображения отражали желаемую модификацию.

Такое устройство позволяет пользователю указать желаемый внешний вид изображения (например, в отношении параметров, которые могут находиться под влиянием условий освещения, таких как, например, цвет или яркость), при этом устройство впоследствии вычисляет световой выход для освещения сцены, чтобы последующие изображения имели желаемый внешний вид, даже без необходимости в выполнении какого-либо процесса обработки изображений. Например, пользователь может выбрать модификацию изображения, которая создает наиболее привлекательное изображение (например, в отношении цвета кожи, видимости морщин на лице и т.д.), и в таком случае последующие изображения будут иметь эти желаемые свойства изображения. Таким образом, благодаря изменению условий освещения, устраняется потребность в редактировании изображения. Это представляет особый интерес в случае выкладывания изображений в режиме реального времени, таком как, например, выкладывание фотографий или приложений видеоконференции, с использованием портативного устройства.

Ввод пользователя, представляющий желаемую модификацию, может являться различным, например, как было упомянуто выше, а также как будет упомянуто ниже, 1) в отношении параметров, которые могут находиться под влиянием условий освещения, таких как, например, цвет или яркость, 2) выбора одного желаемого изображения из группы альтернативных модифицированных изображений, 3) описания желаемого эффекта изображения в устной форме или текстовым способом, например, "Я хочу, чтобы свет сделал меня более нежным", "Мне бы хотелось романтичной атмосферы" и "Пожалуйста, уберите морщины с моего лица" и т.д.

Процессор может создать желаемое модифицированное изображение на основе ввода пользователя (и, в некоторых случаях, отобразить желаемое модифицированное изображение на экране) и получить требуемые характеристики светового выхода осветительного устройства для изменения освещения для сцены на основе различия между захваченным изображением и желаемым модифицированным изображением, чтобы последующие захваченные изображения являлись похожими на желаемое модифицированное изображение.

Однако этап создания желаемого модифицированного изображения не является существенным этапом для процессора. Процессор может попросту получить требуемые характеристики светового выхода осветительного устройства непосредственно на основе ввода пользователя. Например, процессор имеет предварительно сохраненную таблицу или список, содержащий две связанные части информации, эффект изображения и соответствующие характеристики светового выхода.

Соответственно, изобретение обеспечивает интеллектуальную осветительную систему, которая может автоматически дублировать указанный пользователем эффект обработанного изображения, а затем настраивать внешнее освещение для воспроизведения эффектов в режиме реального времени. Например, модификация может относиться к свойствам изображения, таким как тон, насыщенность и яркость.

Требуемые характеристики светового выхода для создания желаемого модифицированного изображения могут быть преобразованы в сигналы возбуждения LED, такие как, например, токи возбуждения LED.

Осветительное устройство, предназначенное для обеспечения светового выхода для освещения сцены, может являться частью формирования постоянного освещения области, в которой используется устройство. В данном случае устройство может взаимодействовать с постоянным освещением для реализации желаемого изменения в условиях освещения.

Устройство может дополнительно содержать осветительное устройство. В данном случае само устройство обеспечивает требуемое освещение. Поэтому оно может быть использовано в любой среде, и при этом устройство не должно управлять внешними осветительными блоками.

Процессор может являться выполненным с возможностью приема ввода пользователя, идентифицирующего одно выбранное изображение из группы модифицированных изображений.

Таким способом пользователь может сделать простой выбор предпочтительного изображения из группы, при этом условия освещения впоследствии модифицируются, чтобы последующие изображения, захваченные посредством камеры, являлись похожими, или даже могли совпадать с тем желаемым внешним видом изображения.

Процессор может являться выполненным с возможностью получения различия между метрикой, представляющей выбранное модифицированное изображение, и метрикой, представляющей исходное изображение, и получения требуемого светового выхода исходя из различия. Например, эта метрика может представлять собой средние значения RGB пикселов, которые формируют выбранные области лица модифицированного изображения.

Благодаря процессу обработки разностного сигнала, требуемые условия освещения могут быть получены при помощи выполнения простого процесса обработки. Метрика является мерой, которая обеспечивает индикацию условий освещения. Например, она может быть получена из пиксельных значений RGB исходного изображения и желаемого модифицированного изображения.

Например, сначала может быть определено множество пикселов (Np), которые будут выбраны из выбранной области лица модифицированного изображения. Значения RGB этих пикселов будут использоваться для получения требуемых параметров освещения. Полученные параметры освещения будут зависеть от размера Np группы пикселов, которые анализируются. Например, будет присутствовать смещение между значениями RGB каждого пиксела модифицированного изображения и исходного изображения. Среднее из смещений красного, зеленого и синего цветов может быть впоследствии выведено на осветительную систему, при этом выполняется настройка этих цветовых компонентов осветительной системы для генерирования освещения, которое создает желаемые эффекты освещения.

Устройство может содержать портативное устройство, такое как, например, мобильный телефон или планшетный компьютер, кроме того осветительное устройство может содержать вспышку камеры портативного устройства. Это обеспечивает комплексное и портативное решение для предоставления возможности выполнения выкладывания изображения в режиме реального времени в любом местоположении. Последующие захваченные изображения могут являться неподвижными, или же они могут формировать видеопоследовательность. Например, эти изображения могут являться фотографиями, подлежащими выкладыванию на платформу общего доступа к мультимедийным данным, или видеоизображениями, используемыми для канала передачи видеоинформации в режиме реального времени или конференции между двумя и более участниками.

Предпочтительно, чтобы захваченное изображение и последующие захваченные изображения включали в себя лицо пользователя. В частности, пользователь может являться чувствительным к созданию желаемого внешнего вида его лица.

В данном случае процессор может являться выполненным с возможностью:

выполнения функции распознавания лиц;

получения метрики, представляющей пиксельные свойства для области лица изображения и для области лица желаемого модифицированного изображения; и

получения характеристик светового выхода на основе различия между метриками.

Таким способом освещение адаптируется для создания желаемой модификации для изображения лица пользователя.

Изобретение также обеспечивает способ управления освещением с использованием устройства, которое имеет камеру и экран, причем способ содержит этапы:

захвата изображения сцены с использованием камеры устройства;

отображения изображения на экране устройства;

приема ввода пользователя, представляющего желаемую модификацию для отображаемого изображения;

получения требуемых характеристик светового выхода осветительного устройства для изменения освещения для сцены, чтобы последующие захваченные изображения отражали желаемую модификацию; и

управления осветительным устройством для вывода требуемых характеристик светового выхода.

Изобретение также обеспечивает компьютерный программный продукт, который может быть загружен из сети связи и/или сохранен на машиночитаемой среде и/или среде, исполнимой посредством микропроцессора, отличающийся тем, что он содержит инструкции программного кода для реализации способа управления освещением с использованием устройства, которое имеет камеру и экран, как было упомянуто выше, когда программа запускается на компьютере.

Изобретение также обеспечивает среду, которая предназначается для сохранения и содержания компьютерного программного продукта, как было упомянуто выше. Среда может являться любой энергозависимой или энергонезависимой памятью, такой как, например, RAM, PROM, EPROM, карта памяти или флэш - память, или другим энергонезависимым запоминающим устройством, таким как, например, жесткий диск или оптическая среда, и т.д.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее будут подробно описаны примеры изобретения со ссылкой на прилагаемые чертежи, на которых изображено следующее:

Фиг. 1 изображает устройство, согласно варианту осуществления;

Фиг. 2 используется для разъяснения первого метода работы;

Фиг. 3 используется для разъяснения второго метода работы;

Фиг. 4 изображает первый пример устройства более подробно; и

Фиг. 5 изображает второй пример устройства более подробно.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Изобретение обеспечивает устройство, имеющее камеру и экран, предназначенный для отображения изображения, захваченного посредством камеры. Пользователь указывает желаемую модификацию для отображенного на экране изображения для создания желаемого модифицированного изображения. Например, благодаря этому, внешний вид пользователя может быть сделан более привлекательным. Впоследствии управление осветительным устройством осуществляется таким образом, чтобы последующие захваченные изображения с использованием вновь измененного освещения являлись похожими на желаемое модифицированное изображение.

Освещение может быть обеспечено посредством самого устройства или же может быть обеспечено отдельно для устройства.

Фиг. 1 изображает устройство, согласно варианту осуществления, в котором освещение обеспечивается посредством самого устройства, и в котором устройство является портативным устройством, таким как, например, планшетный компьютер или мобильный телефон.

Портативное устройство 10 содержит камеру 12, объектив которой изображается на чертеже, и экран 14, предназначенный для отображения изображения, захваченного посредством камеры. Обеспечивается осветительное устройство в форме вспышки 16 камеры, при этом в данном примере оно служит еще и в качестве источника общего постоянного освещения. Устройство имеет интерфейс ввода пользователя, который может содержать экран, кнопки (одной из которых на чертеже присваивается ссылочная позиция 18), или комбинацию вышеперечисленного.

Устройство имеет процессор, который принимает ввод пользователя, представляющий желаемую модификацию для изображения, отображенного на экране 14, демонстрирующем сцену, для создания желаемого модифицированного изображения. Характеристики светового выхода осветительного устройства 16 получают для изменения освещения для сцены, чтобы последующие захваченные изображения являлись похожими на желаемое модифицированное изображение.

Фиг. 2 используется для разъяснения первого метода работы. В верхней части демонстрируется исходное изображение 19, которое выбирается посредством пользователя и отображается на экране. Для предоставления пользователю возможности выбрать модифицированную версию, обеспечивается группа альтернативных модифицированных изображений 20, как демонстрируется в нижней части.

Эти модифицированные изображения имеют измененные параметры, которые находятся под влиянием условий освещения, таких как, например, цвет или яркость. Такие модификации изображения являются хорошо известными в приложениях обработки изображений, чтобы изображение выглядело более теплым, или более холодным, или более ярким или более темным, или имело менее насыщенные цвета или имело более насыщенные цвета и т.д.

В данном случае группа модифицированных изображений соответствует изменениям в визуальном эффекте, который может быть получен посредством управления окружающим светом. Например, модификации изображения могут соответствовать изменениям во внешнем виде, которые будут возникать в результате внешнего освещения иного цвета и/или внешнего освещения иной интенсивности.

Этот означает то, что возможно дублировать желаемую модификацию изображения посредством изменения внешнего освещения, чтобы процесс обработки последующих изображений не требовался для достижения схожести с желаемой модификацией изображения.

Пользователь выбирает одно желаемое изображение из модифицированных изображений 20. Затем устройство вычисляет метрику, которая относится пиксельным свойствам изображения. В одном примере метрика является средними значениями RGB (то есть, средним значением R, средним значением G и средним значением B) пикселов из области лица изображения. Эта область лица может быть идентифицирована автоматически, или же она может быть задана посредством пользователя.

Благодаря сравнению степени изменения этой метрики между исходным изображением 19 и изображением 20, выбранным посредством пользователя, метрика используется для определения светового выхода, который впоследствии используется для освещения сцены, чтобы последующие изображения имели желаемый внешний вид, даже без необходимости в выполнении какого-либо процесса обработки изображений. Например, управление световым выходом осуществляется посредством выбора подходящих значений тока возбуждения для источника света LED.

Изменения в значениях R, G, B будут достигаться посредством функций преобразования изображения, используемых для создания множество вариантов 20 выбора для пользователя.

Для каждого типа лампы или осветительного прибора LED может быть использована поисковая таблица, которая сохраняет взаимосвязь между значениями тока возбуждения и характеристиками светового выхода. Эти характеристики светового выхода могут быть представлены в качестве:

значений RGB;

значений тона, насыщенности и яркости; или

координат цвета.

Поисковая таблица может быть сохранена в контроллерах освещения. Например, это соотношение между значениями тока возбуждения и характеристиками светового выхода может быть измерено перед запуском осветительной системы.

Это соотношение может быть использовано в качестве начальной точки для настройки осветительного устройства. Однако как будет разъясняться ниже, может существовать несколько последующих итераций, после которых захваченное изображение будет иметь приемлемо малое различие в сравнении с желаемым модифицированным изображением.

Затем осуществляется управление вспышкой 16 для создания требуемого внешнего освещения. Изображение 21 является изображением, созданным с измененными условиями освещения.

Например, пользователь может выбрать модификацию изображения, которая создает наиболее привлекательное изображение (например, в отношении цвета кожи, видимости морщин на лице и т.д.), и в таком случае последующие изображения будут иметь эти желаемые свойства изображения без необходимости в выполнении процесса обработки изображения.

Фиг. 3 изображает альтернативный метод. В данном случае устройство представляет пользователю органы управления, которые на данном чертеже демонстрируются в качестве ползунков 30,32, которые предоставляют возможность выполнения настройки свойств изображения, вместо представления предварительно определенных модифицированных изображений. Один ползунок может соответствовать цвету применяемого освещения, а другой ползунок может соответствовать интенсивности.

Например, осветительный блок может иметь управляемые компоненты RGB и общую яркость. Существует прямое соответствие между RGB, тоном и насыщенностью цвета, чтобы управление освещением могло эквивалентно содержать управление этими параметрами.

Например, может существовать три варианта управления: один - для тона, один - для насыщенности и один - для яркости. В качестве альтернативы может существовать три варианта управления: один - для красного цвета, один - для зеленого цвета и один - для синего цвета. Могут существовать все шесть вариантов управления, чтобы пользователь мог выбрать какой-либо из них для настройки, при этом соответствие между RGB и тоном/яркостью/насыщенностью будет поддерживаться посредством контроллера.

Фиг. 4 изображает первый пример устройства более подробно.

Устройство содержит камеру 12, дисплей 14 и источник 16 света, как разъяснялось выше. Контроллер 40 реализовывает разъясненный выше способ управления, и за счет этого управляет выводом изображения с дисплея 14, а также принимает ввод пользователя с интерфейса 42 ввода пользователя, который может включать в себя сам дисплей, имеющий ввод через сенсорный экран.

Передатчик 44 выводит изображения после управления освещением, например, через сеть мобильной телефонной связи. Например, изображения отправляются на платформы общего доступа к мультимедийным данным, или же они могут быть использованы для видеосвязи в режиме реального времени.

Фиг. 5 изображает второй пример устройства более подробно.

Устройство также содержит камеру 12, дисплей 14, контроллер 40 и интерфейс 42 ввода.

В данном примере осветительная система 50 не является частью устройства. Устройство имеет передатчик 52 ближнего радиуса действия, предназначенный для устанавливания связи с источником 50 света для изменения его настроек. Например, он может являться интерфейсом WiFi, Bluetooth или Zigbee, или поддерживать любой другой стандарт ближнего радиуса действия. Также обеспечивается передатчик 44 мобильной телефонной связи.

В данном случае осветительная система 50, которая обеспечивает свет для освещения сцены, может являться частью формирования постоянного освещения области, в которой используется устройство. В данном случае устройство взаимодействует с постоянным освещением для реализации желаемого изменения в условиях освещения.

Устройство и способ могут быть использованы для выгрузки фотографий в режиме реального времени или для проведения видеочата в режиме реального времени с использованием портативного устройства. Однако они представляют интерес не только для приложений, работающих в режиме реального времени, но также могут быть использованы в качестве способа обеспечения улучшенных изображений естественным способом. В частности, изображения являются прямыми изображениями без манипуляции, изменяются только условия освещения. Соответственно, устройство и способ могут быть использованы просто для повышения качества изображений посредством управления освещением, таким как, например, постоянное освещение помещения, с использованием съемочного устройства.

Для получения требуемого светового выхода, значения RGB захваченного изображения и модифицированного изображения могут быть проанализированы на попиксельной основе.

Затем может быть получена метрика, например, средние значения красного, зеленого и синего цветов для целого изображения. Соответственно, метрика может содержать группу значений (то есть, вектор). Впоследствии одна метрика представляет исходное изображение, а другая метрика представляет выбранное модифицированное изображение. Затем, на основе различия между этими метриками, может быть получен требуемый световой выход.

Следует отметить, что различие может быть измерено в другой форме параметров, отличных от параметров в метрике. Например, оно может являться различием между средними значениями R, G, B или H, С, L всех пикселов исходного изображения и выбранного модифицированного изображения. В качестве альтернативы, оно может являться различием между значениями R, G, B или H, С, L отдельного пиксела исходного изображения и выбранного модифицированного изображения. Предпочтительно, чтобы отдельный пиксел располагался на лице пользователи в изображении.

В качестве примера, контроллер может реализовать алгоритм распознавания лиц для идентификации областей изображения, которые содержат лицо (или множество лиц). Как правило, условия освещения выбираются для улучшения внешнего вида лица, чтобы управление освещением могло быть основано на анализе областей лица.

В данном случае впоследствии будут определяться средние пиксельные значения красного, зеленого и синего цветов в области(ях) лица. Затем получают различие в значениях красного, зеленого и синего цветов между исходным захваченным изображением и выбранным модифицированным изображением.

Задача управления освещением заключается в том, чтобы свести эти различия к нулю.

В случае использования области лица, распознавание лиц может сначала выполнить определение количества пикселов (Np), которые будут выбираться из выбранной области лица, после чего значения RGB этих пикселов будут вычисляться для смещения параметров освещения. Среднее смещения между средней насыщенностью цвета в исходном изображении и в выбранном модифицированном изображении используется в качестве сигнала управления для вывода на осветительную систему и настройки освещения для создания ожидаемых эффектов освещения.

Осветительный блок может содержать любое осветительное средство с управляемой цветовой точкой. Примером является осветительное средство LED со светоизлучающими диодами LED красного, зеленого и синего цветов. Должны быть выбраны светоизлучающие диоды LED, по меньшей мере, трех разных цветов, при этом треугольник, определенный посредством этих трех цветов, является цветовой гаммой. Чем больше выбирается светоизлучающих диодов LED, тем больше становится цветовая гамма.

Светоизлучающие диоды LED красного, зеленого и синего цветов являются типичными вариантами цветов. Цвета могут быть сгенерированы с использованием комбинации светоизлучающие диодов LED синего цвета и подходящего слоя люминофора. В данном случае цветовая гамма определяется посредством цветовой точки светоизлучающего диода LED синего цвета и характеристики люминофора. При помощи вышеупомянутых способов определяется управляемая цветовая точка.

Цвет может быть определен при помощи координат RGB, HSL (тон, насыщенность, яркость) или HSV (тон, насыщенность, значение), которые могут быть преобразованы между собой с помощью доступной формулы преобразования. Сигналы управления для осветительного блока также содержат сигналы PWM (широтно-импульсной модуляции) для светоизлучающих диодов LED разных цветов для независимого управления цветами.

Если источник света является внешним по отношению к устройству, как в примере, изображенном на Фиг. 5, то он имеет модуль связи (например, Zigbee), который может принимать сигнал, указывающий отправленные с устройства параметры освещения, и декодировать сигнал в требуемые сигналы PWM для управления освещением.

Требуемый световой выход для достижения желаемого изменения в захваченном изображении будет зависеть от позиции источника света по отношению к пользователю, а также от характера и ориентации источника света. Когда источник света является вспышкой портативного устройства, его свойства являются известными. Вероятная позиция по отношению к пользователю также является известной. Соответственно, можно заблаговременно смоделировать способ, при помощи которого источник света будет изменять освещение пользователя. Таким образом можно создать простое соответствие между желаемым изменением в условиях освещения (то есть, различием RGB) и требуемыми сигналами управления светом.

В самом простом варианте реализации различие в средней составляющей красного цвета части представляющего интерес изображения (то есть, целого изображения или же частей лица) попросту вычисляется для получения желаемой составляющей красного цвета источника освещения. Подобным образом, различие в средней составляющей синего цвета вычисляется (посредством той же самой или иной величины) для получения желаемой составляющей синего цвета источника освещения. Подобным образом, различие в средней составляющей зеленого цвета вычисляется (посредством той же самой или иной величины) для получения желаемой составляющей зеленого цвета источника освещения.

Для получения сигналов управления освещением, вместо значений RGB, могут быть обработаны значения тона, яркости и насыщенности двух изображений. Как было упомянуто выше, существует прямое соответствие между системами координат различных цветов, чтобы требуемый процесс обработки являлся, по существу, идентичным. По существу, идентифицируется различие (или группа различий) в свойствах света между исходным изображением и желаемым модифицированным изображением. Впоследствии это различие используется для управления освещением. Составляющая RGB изображений может быть проанализирована, однако освещением можно управлять с использованием команд управления HSL или HSV. Подобным образом, составляющая HSL или HSV изображений может быть проанализирована, при этом освещением можно управлять посредством других параметров, таких как, например, значения RGB.

Несомненно, желаемый световой выход может быть получен посредством более сложного алгоритма, чем простое усреднение значений R, G и B для получения требуемых компонент R, G и B освещения.

Например, вместо абсолютных пиксельных значений могут быть использованы отношения между цветовыми компонентами. Помимо всего прочего, максимальные и/или минимальные значения цветовых компонент могут быть исключены из процесса обработки, используемого для получения условий освещения. Соответственно, метрика, может являться более сложной, чем простое усреднение отдельных пиксельных характеристик.

Источнику света, который не является частью устройства, эффекты освещения не будут известны заблаговременно. Например, угол между световым выходом и пользователем не будет известен, при этом расстояние от источника света до пользователя также не будет известно. В данном случае может быть использован подход обратной связи. Например, после выбора модифицированного изображения, условия освещения могут быть изменены на основе ряда предположений и нового захваченного изображения. Выбор модифицированного изображения может быть повторен (один или несколько раз) для сведения освещения к подходящим условиям светового выхода при помощи пользователя, обеспечивающего обратную связь посредством повторных выборов модифицированных изображений.

Система может обучаться после каждой итерации. Например, если первая настройка светового выхода не достигает желаемой модификации для изображения, то ряд предположений может быть изменен, чтобы следующая итерация могла обеспечить лучшие результаты. Это сводит требуемое количество итераций к минимуму.

Обратная связь может являться автоматической вместо выполняемой вручную. В данном случае освещением можно управлять для изменения числа раз без ввода пользователя, а с использованием системы, стремящейся минимизировать различие между полученным изображением и модифицированным изображением, как было первоначально выбрано посредством пользователя.

Далее будет описан пример возможного автоматического процесса итерации. Если целевые свойства изображения являются (Rt, Gt, Bt), то такая целевая информации отправляется в качестве входных данных на осветительный прибор, при этом получают сигналы управления освещением. Как разъяснялось выше, эти сигналы управления освещением получают на основе различий между целевыми свойствами изображения и фактическими свойствами изображения, которые впоследствии преобразовываются в соответствующие значения тока возбуждения светоизлучающих диодов LED цветов R, G, B, полученные из сохраненной поисковой таблицы. Эта поисковая таблица используется для управления осветительными приборами.

Итоговые значения освещения RGB, которые фактически получают в результате на области лица после модификации освещения, обеспечивают итоговые свойства изображения, например, значения (Rr, Gr, Br). Вследствие отражательной способности кожи и отражательной способности среды может возникнуть различие между целевой и итоговой насыщенностями цвета.

Как было упомянуто выше, задача способа управления освещением заключается в том, чтобы свести эти различия к нулю или к приемлемой погрешности. Величина приемлемой погрешности может быть выбрана посредством пользователя, чтобы в случае, когда конечный пользователь не желает очень высокой точности, могла быть допущена большая погрешность. Количество итераций зависит от желаемой точности.

Если целевые свойства изображения задаются в качестве (Rt, Gt, Bt), то настроечные значений (Rа, Ga, Ba) могут быть рассмотрены в качестве нового целевого значения, и они задаются в качестве:

Rа=2Rt-Rr,

Ga=2Gt-Gr,

Ba=2Bt-Br.

При каждой итерации значения Ra, Ga, Ba обрабатываются для получения настроек освещения. Процессы будут сходиться в точке, в которой Rt=Rr, Gt=Gr и Bt=Br. Соответственно, погрешность (между желаемыми свойствами модифицированного изображения и итоговыми свойствами изображения) будут сводиться к нулю при каждой итерации. Итерации завершатся, когда погрешность станет меньше целевой. Несомненно, также может существовать максимальное количество итераций. Например, могут возникать случаи, когда осветительный блок является неспособным обеспечить желаемую модификацию изображения в результате доминирования неконтролируемого внешнего освещения.

В вышеприведенном примере, имеющем интегрированный источник света, он содержит вспышку камеры. Однако могут быть обеспечены отдельные источники света, одни из которых являются оптимизированными для функции вспышки (то есть, кратковременный импульс высокой интенсивности), а другие являются оптимизированными для непрерывного освещения более низкой интенсивности с цветовым управлением.

Вышеприведенные примеры демонстрируют портативное устройство, однако изобретение не ограничивается этим. Например, устройство может являться частью системы фотосъемки, например, кабины, используемой для проведения чата в режиме реального времени. Управление освещением в пределах кабины может осуществляться посредством пользователя, выбирающего освещение, которое наилучшим образом улучшает его внешний вид.

Вышеприведенный пример использует распознавание лиц (посредством, которого выполняется распознавание того, какая часть изображения является лицом, и чье это лицо). Альтернатива заключается в использовании фильтра для цвета кожи, чтобы части изображения, которые включают в себя тоны цвета кожи, могли быть идентифицированы без необходимости в использовании программных средств для распознавания лиц.

Пользовательское модифицированное изображение может быть рассмотрено в качестве опорного изображения, которому осветительная система пытается подражать посредством модификации условий освещения. Условия освещения модифицируются до тех пор, пока опорное изображение и захваченное изображение не будут отличаться на величину ниже порога. Сравниваемые данные изображения могут содержать информацию о RGB, информацию о CMYK, информацию о тоне и насыщенности или информацию о цветовой температуре (или комбинацию вышеперечисленного).

Устройство использует контроллер для реализации алгоритма для управления освещением. Компоненты, которые могут быть использованы для контроллера, включают в себя, в числе прочего, традиционные микропроцессоры, специализированные интегральные схемы (ASIC) и программируемые пользователем вентильные матрицы(FPGA).

В различных вариантах реализации процессор или контроллер может быть связан с одной или более средами хранения данных, такими как, например, энергозависимая и энергонезависимая память компьютера, такая как, например, RAM, PROM, EPROM и EEPROM. Среда хранения данных может быть закодирована при помощи одной или более программ, которые, при выполнении на одном или более процессорах и/или контроллерах, выполняют требуемые функции. Различные среды хранения данных могут быть зафиксированы в пределах процессора или контроллера, или же могут являться переносными, чтобы одна или более сохраненных на них программ могли быть загружены в процессор или контроллер.

Другие вариации для раскрытых вариантов осуществления могут стать очевидными и произведены посредством специалистов в данной области техники в осуществлении заявленного изобретения на практике после изучения чертежей, раскрытия и прилагаемой формулы изобретения. В формуле изобретения термин "содержащее" не исключает наличия других элементов или этапов, а упоминание элемента в единственном числе не исключает наличия множества таких элементов. Лишь тот факт, что в отличающихся друг от друга зависимых пунктах формулы изобретения упоминаются конкретные измерения, не указывает на невозможность применения с пользой комбинации этих измерений. Любые ссылочные позиции в нижеследующей формуле изобретения не следует рассматривать в порядке ограничения ее объема.

Изобретение относится к устройствам захвата и обработки изображений. Техническим результатом является создание фотографических эффектов посредством коррекции дополнительного освещения, излучаемого устройством захвата изображения. Результат достигается тем, что устройство содержит камеру и экран, предназначенный для отображения изображения, захваченного посредством камеры. Пользователь указывает желаемую модификацию для отображенного на экране изображения для создания желаемого модифицированного изображения. Впоследствии вычисляют метрику, которая относится к пиксельным свойствам изображения, на основе метрики получают требуемые характеристики светового выхода осветительного устройства, чтобы последующие захваченные изображения с использованием измененного освещения являлись похожими на желаемое модифицированное изображение. 3 н. и 11 з.п. ф-лы, 5 ил.

1. Устройство управления световым выходом осветительного устройства, содержащее:

камеру (12);

экран (14), предназначенный для отображения изображения, захваченного посредством камеры;

интерфейс (42) ввода пользователя и

процессор (40), где процессор является выполненным с возможностью:

приема ввода пользователя, представляющего желаемую модификацию для изображения, отображенного на экране, демонстрирующем сцену; и

получения требуемых характеристик светового выхода осветительного устройства для изменения освещения для сцены, чтобы последующие захваченные изображения отражали желаемую модификацию.

2. Устройство по п. 1, в котором процессор дополнительно выполнен с возможностью:

использования ввода пользователя для создания желаемого модифицированного изображения и

получения требуемых характеристик светового выхода осветительного устройства для изменения освещения для сцены на основе различия между захваченным изображением и желаемым модифицированным изображением, чтобы последующие захваченные изображения являлись похожими на желаемое модифицированное изображение.

3. Устройство по п. 1, в котором модификация относится к свойствам изображения, таким как, например, тон, насыщенность и яркость.

4. Устройство по любому из предыдущих пунктов, в котором процессор является выполненным с возможностью приема ввода пользователя, идентифицирующего одно выбранное изображение из группы модифицированных изображений (20).

5. Устройство по п. 4, в котором процессор является выполненным с возможностью получения различия между метрикой, представляющей выбранное модифицированное изображение (20), и метрикой, представляющей исходное изображение (19), и получения требуемого светового выхода на основе различия.

6. Устройство по любому из предыдущих пунктов, содержащее портативное устройство, такое как, например, мобильный телефон или планшетный компьютер, в котором осветительное устройство (16) содержит вспышку камеры портативного устройства.

7. Устройство по любому из предыдущих пунктов, в котором последующие захваченные изображения являются неподвижными или формируют видеопоследовательность.

8. Устройство по п. 7, в котором захваченное изображение и последующие захваченные изображения включают в себя лицо пользователя, при этом процессор является дополнительно выполненным с возможностью:

выполнения функции распознавания лиц;

получения метрики, представляющей пиксельные свойства для области лица изображения и для области лица желаемого модифицированного изображения; и

получения характеристик светового выхода на основе различия между метриками.

9. Способ управления освещением с использованием устройства, которое имеет камеру (12) и экран (14), содержащий этапы, на которых:

захватывают изображение сцены с использованием камеры (12) устройства;

отображают изображение на экране (14) устройства;

принимают ввод пользователя, представляющий желаемую модификацию для отображаемого изображения для создания желаемого модифицированного изображения;

получают требуемые характеристики светового выхода осветительного устройства (16) для изменения освещения для сцены, чтобы последующие захваченные изображения являлись похожими на желаемое модифицированное изображение; и

управляют осветительным устройством (16) для вывода требуемых характеристик светового выхода.

10. Способ по п. 9, в котором этап отображения изображения на экране содержит этап, на котором отображают группу модифицированных изображений (20), а этап приема ввода пользователя содержит этап, на котором принимают выбор одного изображения из группы модифицированных изображений.

11. Способ по п. 9, в котором этап получения требуемого светового выхода содержит этапы, на которых получают различие между метрикой, представляющей выбранное модифицированное изображение (20), и метрикой, представляющей исходное изображение (19), и получают необходимый световой выход на основе различия.

12. Способ по п. 11, содержащий этапы, на которых:

выполняют функцию распознавания лиц;

получают метрику, представляющую пиксельные свойства для области лица изображения и для области лица желаемого модифицированного изображения; и

получают характеристики светового выхода на основе различия между метриками.

13. Способ по любому из пп. 9-12, в котором устройство содержит портативное устройство, такое как, например, мобильный телефон или планшетный компьютер, а этап управления осветительным устройством содержит этап, на котором управляют вспышкой камеры портативного устройства.

14. Машиночитаемая среда, содержащая компьютерный программный продукт, хранящийся на ней, причем компьютерный программный продукт содержит инструкции программного кода для реализации способа управления освещением по любому из пп. 9-13 с использованием устройства, которое имеет камеру (12) и экран (14), когда упомянутый программный код запускается на компьютере.