УСТРОЙСТВО И СПОСОБ ДЛЯ ОБНАРУЖЕНИЯ БЛЕСКА КОЖИ Российский патент 2021 года по МПК A61B5/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству и способу для обнаружения блеска (глянца) кожи.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Многие мужчины и женщины, особенно в Азии, обеспокоены блеском их кожи. Они ищут эффективные и простые решения, позволяющие измерять величину блеска (т.е. уровень блеска кожи), которая может быть интересующей метрикой. Для этой цели известно множество датчиков кожи, многие из которых используют измерение компонента зеркального отражения одного или нескольких управляемых источников света. Но все еще имеется потребность в способах измерения видимого блеска кожи более легко и эффективно.

US 4846184 А раскрывает зонд, содержащий корпус, у которого одна грань, которая будет находиться в контакте с кожей, снабжена отверстием, соединена с измерительным устройством с помощью гибкого соединения в волоконной оптике, содержащей по меньшей мере три оптических проводника, которые, на первом конце, закреплены в корпусе зонда, чтобы быть обращенными к его отверстию, первый и второй проводники имеют свои первые концевые участки, направленные, соответственно, в первом и втором направлениях, которые симметричны друг другу относительно оси, проходящей нормально через отверстие, в то время как третий проводник имеет первый концевой участок, направленный в другом направлении, чем упомянутое второе направление.

Дополнительный уровень техники можно найти в US 2016/098614 A1 и US 2007/132759 A1.

КРАТКОЕ ОПИСАНИЕ СущностИ изобретения

Задачей настоящего изобретения является создание устройства и способа для обнаружения блеска кожи, которое позволяет легко и эффективно определять величину блеска кожи области кожи.

В первом аспекте настоящего изобретения представлено устройство для обнаружения блеска кожи, причем упомянутое устройство содержит:

- блок освещения для освещения области кожи с частотой мигания,

- блок формирования изображения для получения изображений области кожи с частотой формирования изображения, которая отличается от упомянутой частоты мигания, причем получают изображения области кожи, когда освещение упомянутым блоком освещения включено, и изображения области кожи, когда освещение упомянутым блоком освещения выключено, и

- блок обработки для обработки полученных изображений путем обнаружения величины блеска в области кожи из компонента зеркального отражения и диффузного компонента в по меньшей мере одном первом частичном изображения области кожи, представляющем участок изображения, полученного блоком формирования изображения, когда область кожи освещается упомянутым блоком освещения, и по меньшей мере одном втором частичном изображении области кожи, представляющем участок изображения, полученного блоком формирования изображения, когда область кожи не освещается упомянутым блоком освещения.

В другом аспекте настоящего изобретения представлен способ для обнаружения блеска кожи, причем упомянутый способ содержит:

- освещение области кожи с частотой мигания,

- получение изображений области кожи с частотой формирования изображений, которая отличается от упомянутой частоты мигания, причем получают изображения области кожи, когда освещение включено, и изображения области кожи, когда освещение выключено, и

- обработку полученных изображений путем обнаружения величины блеска в области кожи из компонента зеркального отражения и диффузного компонента в по меньшей мере одном первом частичном изображения области кожи, представляющем участок полученного изображения, когда область кожи освещается, и по меньшей мере одном втором частичном изображении области кожи, представляющем участок полученного изображения, когда область кожи не освещается.

В других аспектах настоящего изобретения обеспечиваются компьютерная программа, которая содержит средство программного кода для побуждения устройства, как раскрыто здесь, выполнять этапы способа, раскрытые здесь, когда упомянутая компьютерная программа выполняется на устройстве, а также долговременный считываемый компьютером носитель записи, который хранит компьютерный программный продукт, который, при исполнении устройством, обеспечивает выполнение раскрытого здесь способа.

Предпочтительные варианты осуществления изобретения определены в зависимых пунктах формулы изобретения. Следует понимать, что заявленный способ, компьютерная программа и носитель имеют аналогичные и/или идентичные предпочтительные варианты, как заявленное устройство, в частности, как определено в зависимых пунктах формулы изобретения и как раскрыто здесь.

Настоящее изобретение основано на идее о том, чтобы использовать эффект постепенно раскатывающегося затвора (роллинг-шаттер - rolling shutter). Обрезка вследствие раскатывающегося затвора представляется проблемой, на первый взгляд, но при правильной обработке это позволяет фактически осуществлять съемку (захватывать) со строчной частотой. Это означает, что частота мигания может быть намного выше возможности человека воспринимать мерцание. Технология, позволяющая осуществлять измерение блеска кожи с использованием большой установленной базы пользовательских устройств, таких как смартфоны или камеры, предоставляет прекрасную возможность быстро выйти на большой рынок. Одной проблемой с любым решением на основе камеры является технология точного отслеживания черт лица и положения лица на видео. В соответствии с настоящим изобретением, однако, предоставлены различные варианты осуществления решения, которые преодолевают упомянутую проблему.

По меньшей мере одно частичное изображение (например, часть полного изображения) области кожи при освещении и по меньшей мере одно частичное изображение области кожи без освещения может быть использовано для обнаружения величины блеска в области кожи. Частичное в данном случае относится к тому факту, что, когда в соответствии с повышенной дискретизацией во времени, освещение может быть "еще включено" в верхней части изображения, и выключено в нижней части изображения.

В варианте осуществления упомянутый блок формирования изображения сконфигурирован для получения изображений освещенной области кожи с частотой формирования изображения, которая выше, чем упомянутая частота мигания. Например, при записи изображений с частотой формирования изображения, равной 120 изображений (также называемых кадрами) в секунду и требовании попеременно освещенных изображений, блок освещения (также называемый вспышкой) работает с половиной этой частоты (60 кадров в секунду) или ниже, приводя к раздражающей, но и потенциально опасной наблюдаемости этой модуляции вспышки для эпилептически чувствительных людей.

В примерном варианте осуществления, частота мигания выводится из строчной частоты и частоты формирования изображения блока формирования изображения таким образом, что в любом другом поле (т.е. кадре) свет является (по существу) чередующимся в каждом наборе из n строк. Изображение, как правило, считывается из блока формирования изображения построчно. Частота этого отсчета является строчной частотой. Частота мигания Ff может быть выбрана таким образом, что половина времени цикла мигания Тf/2=1/(2*Ff) является нечетным коэффициентом деления времени TN захвата кадра (где N указывают число строк в кадре, включая строки бланкирования (гашения)). Для простоты, рабочий цикл мигания может быть выбран как (но без ограничения этим) 50%. Этот коэффициент деления определяет тогда значение n, которое является числом строк с последовательной подобной экспозицией вспышки (включено или выключено), n будет иметь значение между 1 и количеством строк N изображений. На практике, вспышка (блок освещения) и камера (блок формирования изображения) являются несинхронизированными, и шаблон будет смещаться.

В другом варианте осуществления упомянутый блок освещения сконфигурирован для освещения области кожи с частотой мигания, которая в нецелое кратное число раз выше, чем упомянутая частота формирования изображения, в частности, выше, чем двукратная упомянутая частота формирования изображения. В этом варианте осуществления знание об эффекте сворачивающегося затвора используется, чтобы преодолеть это ограничение для частоты мигания путем приведения в действие устройства формирования изображений при более низкой частоте кадров и вспышки при более высоком нецелочисленном коэффициенте частоты кадров, чтобы гарантировать, что могут быть записаны построчно чередующиеся экспозиции со вспышкой и без вспышки. Это имеет дополнительное преимущество уменьшения времени вычислений для отслеживания черт лица, поскольку имеется меньше кадров изображения в секунду для обработки и регистрации. Может применяться частота мигания между 1,0 (практически от 1,5) раза удвоенной частоты формирования изображения и частотой в половину числа строк (=1/Тns, где Tns является временем экспозиций n строк, причем n составляет от 1 до числа строк в кадре (в том числе строк гашения)).

Устройство может предпочтительно дополнительно содержать блок управления для управления частотой мигания и/или частотой формирования изображения. Частоты могут быть предопределенными и фиксированными или могут быть управляемыми, например, пользователем, например, в зависимости от окружающих условий освещенности, типа и/или цвета кожи и т.д. В другом варианте осуществления блок управления сконфигурирован для генерации конфигурируемых временных световых шаблонов с изменяемыми рабочими циклами.

Есть несколько вариантов для обработки полученных изображений для определения блеска кожи. В одном варианте осуществления упомянутый блок обработки сконфигурирован для определения компонента зеркального отражения в одном или нескольких подобластях упомянутой области кожи и определения величины блеска кожи в упомянутой подобласти путем определения отношения компонентов зеркального отражения в упомянутой одной или нескольких подобластях к диффузному компоненту в упомянутой одной или нескольких подобластях. Блок обработки, в частности, сконфигурирован для определения подобластей кожи освещенной области кожи, которые, по существу, перпендикулярны к оптической оси блока формирования изображения, и для определения величины блеска кожи от определенных подобластей кожи. Зеркальные компоненты обычно присутствуют в тех перпендикулярных подобластях кожи, которые могут, например, быть определены путем использования трекера черт лица в сочетании с алгоритмом оценки положения (ориентации). Например, может быть определена подходящая карта этих подобластей кожи. Значения во время включенного освещения составляют S+D. Значения во время выключенного освещения составляют только D. Таким образом, S является зеркальным компонентом, а D представляет собой диффузный компонент. В приближении первого порядка, блеск для перпендикулярного угла равен S/D, что может быть вычислено как ('S+D'-D)/D. В качестве альтернативы, также (S+D)/D представляет собой отношение, которое обеспечивает значение блеска (глянцевитости), которое, после применения эвристики, компенсирующей расстояние на основе шкалы черт лица, может обеспечить надежную оценку глянцевитости кожи первого порядка.

Согласно другому варианту осуществления, упомянутый блок обработки может быть сконфигурирован для определения упомянутых подобластей кожи с использованием деформируемой модели, оценивающей ориентиры кожи и/или оценки положения, или путем обнаружения компонентов вспышки и диффузных компонентов. Как описано выше, освещение добавляет компонент яркости к сцене. Это является одним аспектом настоящего изобретения, где используется эффект сворачивающегося затвора. Суммируя строки изображения (в области кожи, например, области лица), модуляция вспышки может быть обнаружена в данных изображениях. Так как это несинхронизированная система, это устанавливает ожидаемый диапазон модуляции. В предположении, что объекты кожи, например объекты лица, имеют больше, чем число n строк, модуляция обычно очень сильная. Само присутствие сильной модуляции может быть использовано, чтобы определить, какие области принимать во внимание при вычислении амплитуды модуляции. Другими словами, 'Если есть мигание, то, вероятно, сигнал представляет собой полезный сигнал; если нет мигания, это может быть проигнорировано'.

Блок обработки может быть дополнительно сконфигурирован, чтобы компенсировать одно или несколько изображений области кожи без освещения упомянутым блоком освещения с вкладом освещения в оценку диффузного компонента на сдвиг гистограммы цветового канала. Когда происходит под-отслеживание двух изображений, чтобы найти компоненты, которые выше из-за изменения условий освещения, 'структуры кожи' сначала должны быть точно выровнены. Затем, принимая во внимание разницу, получают вклад освещения (даже в 3 цветовых каналах). Без этого точного выравнивания, края образцов кожи (веснушки, родинки, поры, …), возможно, были бы измерены вместо этого. Кожа, как правило, не гладкая, что означает, что больше пикселов в области кожи должно быть зарегистрировано, чтобы получить плотное точное совмещение для того, чтобы деформировать изображение должным образом для локального выравнивания везде.

В другом варианте осуществления упомянутый блок обработки сконфигурирован для определения численного значения блеска кожи на пиксел, в частности, путем деления значения зеркального компонента, приходящегося на пиксел, на значение диффузного компонента, приходящегося на пиксел, или путем деления суммы значения зеркального компонента, приходящегося на пиксел, и значения диффузного компонента, приходящегося на пиксел, на значение диффузного компонента, приходящееся на пиксел.

Как упоминалось выше, упомянутый блок обработки может быть сконфигурирован для определения карты блеска кожи области кожи, указывающей величину блеска кожи на пиксел или на группу пикселов. Эта карта блеска кожи может затем выводиться пользователю, например, на дисплее, или среднее значение блеска кожи может быть определенно для областей кожи, для которых определяется карта блеска кожи.

Раскрытое здесь устройство может, в принципе, быть любым мобильным пользовательским устройством, имеющим блок освещения и блок формирования изображения. Примерные (но не ограничивающие) варианты осуществления включают в себя смартфон, камеру, ноутбук или планшет.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты настоящего изобретения будут очевидны и объяснены со ссылкой на вариант(ы) осуществления, описанный(е) ниже. На следующих чертежах

Фиг. 1 показывает схематичную диаграмму варианта осуществления устройства в соответствии с настоящим изобретением,

Фиг. 2 показывает диаграмму среднего значения яркости на кадр F изображения и два смежных изображения с включенной вспышкой и выключенной вспышкой,

Фиг. 3 показывает два примерных изображения с низким блеском кожи и высоким блеском кожи,

Фиг. 4 показывает различные примеры поверхностного отражения света,

Фиг. 5 показывает изображения лица для иллюстрации автоматического отслеживания области лица на основе отслеживания ориентира (распознаваемого элемента) лица,

Фиг. 6 показывает два примерных участка лба с их цветовыми гистограммами,

Фиг. 7 показывает различные разностные изображения области лба,

Фиг. 8 показывает примерную бинарную маску, указывающую действительные значения блеска в области лба,

Фиг. 9 показывает пример выходной карты блеска,

Фиг. 10 показывает три примерных кадра при переключении вспышки с частотой мигания, составляющей 4,25 частоты формирования изображения, и

Фиг. 11 показывает блок-схему последовательности операций способа для обнаружения блеска кожи в соответствии с настоящим изобретением.

Подробное описание изобретения

Фиг. 1 показывает схематичную диаграмму варианта осуществления устройства 1 для обнаружения блеска кожи в соответствии с настоящим изобретением. Устройство может представлять собой мобильное пользовательское устройство, например, смартфон, камеру, ноутбук или планшет, которые доступны многим пользователям для повседневного использования и которые приспособлены для желательной цели обнаружения блеска кожи, например, с использованием программного приложения ('app'), что позволяет использовать существующие аппаратные компоненты и оценивать данные, которые получены с помощью существующих аппаратных компонентов. В качестве альтернативы, устройство также может представлять собой специализированное устройство, предназначенное, в частности, для обнаружения блеска кожи (и опционально для других целей). В примере, показанном здесь и обсуждаемом ниже, устройство 1 может быть реализовано как смартфон.

Устройство 1 содержит блок 2 освещения для освещения области кожи с частотой мигания. Блок 2 освещения может представлять собой, например, вспышку пользовательского устройства. В дальнейшем, устройство освещения часто просто упоминается как вспышка, что должно, однако, в общем случае пониматься как блок освещения.

Устройство 1 дополнительно содержит блок 3 формирования изображения для получения изображений области кожи с частотой формирования изображения, которая отличается от упомянутой частоты мигания. Блок 3 формирования изображения может представлять собой, например, камеру пользовательского устройства. В дальнейшем, блок формирования изображения часто просто упоминается как камера, которая должна, однако, как правило, пониматься как блок формирования изображения.

Устройство 1 дополнительно содержит блок 4 обработки для обработки полученных изображений и обнаружения величины блеска в области кожи из по меньшей мере одного частичного (или полного) изображения области кожи при освещении упомянутым блоком 2 освещения и по меньшей мере одного частичного (или полного) изображения области кожи без освещения упомянутым блоком 2 освещения. Блок 4 обработки может быть, например, процессором пользовательского устройства. Как правило, блок 4 обработки также может представлять собой внешний процессор, например, внешнего компьютера, на который полученные изображения передаются для обработки, чтобы получить информацию о блеске кожи. Однако предпочтительно, что блок обработки образует интегрированное устройство с блоком 2 освещения и блоком 3 формирования изображения.

Устройство 1 может содержать дополнительные опциональные элементы, такие как блок 5 управления для управления блоком 2 освещения и/или блоком 3 формирования изображения, в частности, для управления частотой мигания и/или частотой формирования изображения. Задача блока 5 управления может, однако, также выполняться процессором 4, или частота мигания и/или частота формирования изображения может быть предопределенной и фиксированной, так что активный блок 5 управления может не требоваться.

Устройство 1 может дополнительно содержать пользовательский интерфейс 6, например, дисплей, клавиатуру, сенсорный экран и т.д., позволяя пользователю вводить информацию, например, для запуска и остановки обнаружения блеска кожи, изменения настроек, ввода персональной информации и т.д. и обеспечения возможности вывода информации, например, информации обнаруженного блеска кожи или пользовательских инструкций.

В соответствии с настоящим изобретением блок 2 освещения управляется таким образом, что точно известно, какая строка изображения экспонируется с включенной или выключенной вспышкой (т.е. освещением). Кроме того, отслеживание черт лица (или другие средства) может быть использовано для точного отслеживания участка, формы и положения лица, при которых блеск кожи области кожи (например, лба, щек, подбородка и т.д.) должен быть определен. Кроме того, может быть выполнено усреднение (например, горизонтальное усреднение) содержимого изображения, приводя в результате к сильному 1D сигналу, указывающему точное время переключения по каждой строке изображения еще более точно.

Далее, различные варианты осуществления будут пояснены более подробно. Первый основной вариант осуществления извлекает значения блеска кожи из чередующихся изображений. Второй основной вариант осуществления создает и сочетает в себе поочередные освещения на строку изображения.

В первом основном варианте осуществления, для вычисления величины блеска (с использованием аппроксимации нулевого порядка) используются подобласти кожи, которые перпендикулярны к оптической оси блока формирования изображений (так как в смартфоне вспышка установлена очень близко к камере). Эти "перпендикулярные" подобласти, например, могут быть определены одним из следующих двух комбинированных способов.

Один способ основан на модели. Он может, в частности, использовать точное обнаружение ориентира лица и 3D оценку положения лица. Подгонка 3D деформируемой модели показывает подобласти кожи, которые перпендикулярны, по существу перпендикулярны, оптической оси блока формирования изображения. Имеется много различных способов, известных для обнаружения ориентира лица и 3D оценки положения лица (например, в настоящее время можно найти на http://blog.mashape.com/list-of-10-face-detection-recognition-apis/ или https://facedetection.com/software/). Другие способы перечислены Tim Cootes на http://personalpages.manchester.ac.uk/staff/timothy.f.cootes/tfc_publications.html. Они включает в себя компьютерный алгоритм для определения визуального местоположения общих черт лица на изображении и затем для подгонки деформируемой модели 3D формы к этим общим чертам лица, чтобы наиболее надежно оценить положение и углы поверхности. В соответствии с одним вариантом осуществления, местоположения пространственных изображений выводятся из обнаруженных ориентиров и положения лица, которые перпендикулярны к камере. Модель 3D формы, подогнанная к обобщенным чертам лица, обеспечивает оценку нормальных векторов кожи для каждой части кожи.

В соответствии с другим способом, используются области, где компонент вспышки намного больше, чем диффузный компонент. Компонент вспышки соответствует повышению освещения в любом месте в сцене из-за вспышки (как далее указано посредством S+D). Зеркальный компонент (S) освещения вспышки значительно выше и присутствует только в местоположении, где поверхность близка к перпендикулярной. Помимо этого, предполагается, что окружающий свет вносит вклад главным образом в базовую линию D. Значение диффузного компонента либо взята из медианы дельты в яркости на лице, поскольку большая часть лица не перпендикулярна к оптической оси камеры. Это работает даже более точно, если взять области из вышеупомянутого первого способа для определения этих неперпендикулярных областей.

Фиг. 2 показывает среднее значение L яркости (по вертикальной оси) на каждый кадр F изображения (по горизонтальной оси). Простое обнаружение пересечения обнаружения со скользящим средним может быть применено, чтобы найти два смежных изображения 10, 11 с включенной и выключенной вспышкой.

Фиг. 3 показывает два примерных изображения 12, 13 последовательности изображений с низким блеском кожи (изображение 12) и высоким блеском кожи (изображение 13). Каждое изображение является разностным изображением из двух смежных изображений с включенной и выключенной вспышкой.

Фиг. 4 показывает различные примеры поверхностного отражения света.

Вкратце, отношение значения зеркального компонента и значения диффузного компонента может быть использовано в качестве указателя для величины блеска.

Большая точность достигается в другом варианте осуществления за счет компенсации изображения без вспышки (например, изображения 11) с вкладом вспышки в диффузную оценку на сдвиг гистограммы цветового канала. Такое сопоставление гистограмм предпочтительно применяется только в отслеживаемой области лица, полученной из ориентиров лица, как показано на фиг. 5, изображающей примерные изображения 14, 15 для иллюстрации автоматического отслеживания области лица на основе отслеживания ориентира лица. В обоих изображениях 14, 15 ориентиры лица обозначены цифрами. В изображении 15 показаны область 16 лба и область 17 щек. В качестве альтернативы, область лба может включать в себя область между бровями (Tzone).

Фиг. 6 показывает два примера областей 20, 30 лба с их красными 21, 31, зелеными 22, 32 и синими 23, 33 цветовыми гистограммами. Область 20 лба получают в изображении без вспышки, область лба 30 получают в изображении со вспышкой. Гистограммы 31, 32, 33 в среднем сдвигаются вверх (вправо), а также дополнительно имеют пик для компонентов зеркального отражения в зеленом и синем каналах по сравнению с гистограммами 21, 22, 23. Сопоставление гистограмм может быть использовано для определения вклада S+D вспышки, более точно на каждый цветовой канал. Вспышка не просто вносит вклад в яркость равномерно по спектру света. Вкратце, поверхностное отражение кожи выше для зеленого и синего цветов. Красный проникает глубже в кожу.

Фиг. 7 показывает различные разностные изображения 40, 41. Изображение 40 представляет разность между зарегистрированными изображениями со вспышкой и без вспышки после высокоточного выравнивания сначала и деформирования фрагментов изображения. Оно сохраняет компонент зеркального отражения плюс компонент диффузного отражения. Изображение 41 представляет собой разницу между 'изображением без вспышки с согласованной гистограммой' и изображением со вспышкой, приводящим только к компоненту зеркального отражения.

Ориентиры лица уже дают надежное точное совмещение/выравнивание области лица на последовательный кадр изображения. Дополнительная точность может быть опционально достигнута за счет плотного точного совмещения точек признаков изображения внутри этой области.

Оценка блеска предпочтительно только вычисляется для подобластей кожи, которые близки к перпендикуляру к оси камеры и которые показывают значительный зеркальный компонент (например, имеющий значение выше заданного порогового значения). Как уже упоминалось, оценка 'перпендикулярности' для каждого пиксела в изображении может быть грубо определена с использованием надежной оценки положения лица на основе 3D модели лица. Эта комбинированная подобласть может быть, например, проиллюстрирована с помощью двоичной маски, как показано в качестве примера на фиг. 8.

Численное значение блеска может быть вычислено на каждый пиксел путем деления значения зеркального компонента на значение диффузного компонента и может быть отнесено к области кожи, где двоичная маска действительна. Альтернативно, отношение между зеркальным+диффузным компонентом, деленным на диффузный компонент, также может быть использовано в качестве грубого указателя для величины блеска.

В другом варианте осуществления, несколько пар видов с камеры из последовательности видео (видов под углом лица) комбинируются (например, путем взятия максимального измеренного блеска) в одну карту блеска, которая затем присваивается изображению с 'наиболее' фронтальным лицом, присутствующим в последовательности пар видов. Это может привести к полной карте блеска для каждой области лица или всего лица. Примерная выходная карта 50 блеска (с кодированием цвета тепловой карты, т.е. области 51 для низких значений, области 52 для средних значений и области 53 для высоких значений) для лба, который был частично 'смазан' маслом, иллюстрирует разницу между низким блеском (левая часть изображения) и средним/высоким блеском (правая часть изображения).

Кроме того, в одном варианте осуществления, время экспозиции автоматически фиксируется путем установки автоэкспозиции во время первой экспозиции, удерживая вспышку включенной, а затем фиксируя экспозицию. Это приводит к записи, которая вряд ли когда-либо обрезается из-за передержки.

Во втором основном варианте осуществления, частота кадров вспышки (т.е. частота мигания) в нецелое число раз выше, чем частота кадров камеры (т.е. частота формирования изображения). Это приводит к экспозиции изображения, где рабочий цикл вспышки отчетливо виден в каждом отдельном изображении. Намеренно выбирая частоту мигания, не начинающуюся синхронно с каждой экспозицией кадра, фаза освещенных строк изображения смещается для каждого кадра изображения. Хотя эта схема является более сложной, она имеет преимущество, обеспечивая возможность запускать вспышку с частотой модуляции, которая не воспринимается глазом человека, что может быть необходимым условием для применения измерения блеска с помощью смартфона.

Время вспышки может точно контролироваться, чтобы знать, какие строки экспонированы со вспышкой, а какие без вспышки. Для некоторых существующих базовых аппаратных средств (например, некоторых смартфонов или камер) вспышка не может легко управляться настолько детально. Когда дело обстоит именно так, как показано в этом варианте осуществления, строка изображения, при которой происходит переключение вспышки, может быть надежно извлечена из изображения, например, путем суммирования строк изображения и обнаружения переключения от этого 1D сигнала модуляции. Фиг. 10 показывает несколько примеров этого эффекта.

Фиг. 10 отдельно показывает три примерных кадра 60, 61, 62, которые получены при переключении вспышки камеры с частотой, в 4,25 раза больше частоты кадров камеры (т.е. частоты формирования изображения), во время записи белого листа бумаги, для того, чтобы проиллюстрировать, как каждая строка изображения по-разному освещается. Наложенная линия 63 указывает среднее значение освещенности для каждой строки изображения, указывая рабочий цикл и фазу вспышки.

Последующая обработка весьма сходна с обработкой, поясненной выше для первого основного варианта осуществления, при этом принимая во внимание соотнесение каждого набора строк изображения либо с включенной вспышкой, либо с выключенной вспышкой.

Фиг. 11 показывает блок-схему последовательности операций способа для обнаружения блеска кожи в соответствии с настоящим изобретением. На первом этапе S10 область кожи освещается с частотой мигания. На втором этапе S11 изображения области кожи получают с частотой формирования изображения, которая отличается от упомянутой частоты мигания. На третьем этапе полученные изображения обрабатываются, и величина блеска в области кожи обнаруживается по меньшей мере из одного частичного (или полного) изображения области кожи при освещении упомянутым блоком освещения и по меньшей мере одного частичного (или полного) изображения области кожи без освещения упомянутым блоком освещения.

Таким образом, настоящее изобретение использует эффект сворачивающегося затвора и добавляет некоторую обработку для измерения блеска кожи. Блеск может определяться при низких частотах мигания с использованием полных изображений со вспышкой или без вспышки. Это может быть достигнуто, даже если изображение разрывается вспышкой, происходящей гораздо быстрее с частотой мигания, намного превышающей частоту формирования изображения. С предложенным решением, не является проблемой то, что вспышка переключается несколько раз во время экспозиции кадра.

В одном варианте осуществления смартфон устанавливается для записи с высокой частотой кадров (частотой формирования изображения), например, 120 кадров в секунду (fps), при (синхронном) переключении вспышки для включения и выключения при 60 fps. Записанные изображения теперь поочередно состоят из окружающей освещенной сцены (состоящей, например, из лица) и сцены, которая представляет собой освещенное окружение плюс освещение вспышки. С использованием точного отслеживания черты лица и положения, как было показано, выделяется и измеряется компонент зеркального отражения относительно компонента окружающей среды, который является сильным указателем величины блеска (глянцевитости) кожи. Кроме того, во втором варианте осуществления камера работает на более низкой частоте кадров, в то время как вспышка работает при конкретном нецелочисленном кратном значении частоты кадров, приводя в результате, вследствие эффекта сворачивающегося затвора, к различным освещенностям по каждому набору строк изображения. Технология компьютерного зрения могут быть использованы для выравнивания областей лица, несмотря на эффект сворачивающегося затвора, и измерения различных экспозиций для той же самой области, приводя в результате к аналогичным измерениям блеска.

В то время как изобретение было проиллюстрировано и подробно описано на чертежах и в вышеприведенном описании, такая иллюстрация и описание, должны рассматриваться в качестве иллюстративных и примерных, а не ограничивающих; настоящее изобретение не ограничивается описанными вариантами осуществления. Другие вариации раскрытых вариантов осуществления могут быть поняты и осуществлены специалистами в данной области техники при осуществлении на практике заявленного изобретения, при изучении чертежей, раскрытия и прилагаемой формулы изобретения.

В пунктах формулы изобретения слово "содержит" не исключает других элементов или этапов, а формы единственного числа не исключает множественности. Один элемент или другой блок могут выполнять функции нескольких элементов, перечисленных в формуле изобретения. Сам по себе тот факт, что определенные меры изложены во взаимно различных зависимых пунктах формулы изобретения, не означает, что сочетание этих мер не может быть использовано с выгодой.

Компьютерная программа может храниться/распространяться на подходящем долговременном носителе, таком как оптический носитель хранения или твердотельной носитель, предоставляемые вместе или как часть других аппаратных средств, но также могут распространяться в других формах, например, через Интернет или другие проводные или беспроводные телекоммуникационные системы.

Любые ссылочные позиции в формуле изобретения не должны рассматриваться как ограничивающие объем изобретения.

Группа изобретений относится к медицинской технике, в частности к устройству и способу для обнаружения блеска кожи. Для обеспечения возможности обнаружения блеска кожи простым и эффективным способом, предпочтительно с помощью доступного пользовательского устройства, устройство содержит блок освещения для освещения области кожи с частотой мигания, блок формирования изображения для получения изображений области кожи с частотой формирования изображения, которая отличается от упомянутой частоты мигания, и блок обработки для обработки полученных изображений и обнаружения величины блеска в области кожи из по меньшей мере одного частичного изображения области кожи при освещении упомянутым блоком освещения и по меньшей мере одного частичного изображения области кожи без освещения упомянутым блоком освещения. 3 н. и 12 з.п. ф-лы, 11 ил.

1. Устройство для обнаружения блеска кожи, причем упомянутое устройство содержит:

- блок (2) освещения для освещения области кожи с частотой мигания,

- блок (3) формирования изображения для получения изображений области кожи с частотой формирования изображения, которая отличается от упомянутой частоты мигания, причем получают изображения области кожи, когда освещение упомянутым блоком освещения включено, и изображения области кожи, когда освещение упомянутым блоком освещения выключено, и

- блок (4) обработки для обработки полученных изображений путем обнаружения величины блеска в области кожи из компонента зеркального отражения и диффузного компонента в по меньшей мере одном первом частичном изображении области кожи, представляющем участок изображения, полученного блоком формирования изображения, когда область кожи освещается упомянутым блоком освещения, и по меньшей мере одном втором частичном изображении области кожи, представляющем участок изображения, полученного блоком формирования изображения, когда область кожи не освещается упомянутым блоком освещения.

2. Устройство по п. 1,

в котором упомянутый блок (3) формирования изображения сконфигурирован для получения изображений освещенной области кожи с частотой формирования изображения, которая выше, чем упомянутая частота мигания.

3. Устройство по п. 1,

в котором упомянутый блок (2) освещения сконфигурирован для освещения области кожи с частотой мигания, которая является кратным значением упомянутой частоты формирования изображения.

4. Устройство по п. 3,

в котором упомянутый блок (2) освещения сконфигурирован для освещения области кожи с частотой мигания, которая является нецелым кратным значением удвоенной упомянутой частоты формирования кадра.

5. Устройство по п. 1,

дополнительно содержащее блок (5) управления для управления частотой мигания и/или частотой формирования изображения.

6. Устройство по п. 5,

в котором упомянутый блок (5) управления сконфигурирован для генерации конфигурируемых временных шаблонов освещения с модифицируемыми рабочими циклами.

7. Устройство по п. 1,

в котором упомянутый блок (4) обработки сконфигурирован для определения компонента зеркального отражения в одной или нескольких подобластях упомянутой области кожи и определения величины блеска кожи в упомянутой подобласти путем определения отношения компонента зеркального отражения в упомянутой одной или нескольких подобластях к диффузному компоненту в упомянутой одной или нескольких подобластях.

8. Устройство по п. 1,

в котором упомянутый блок (4) обработки сконфигурирован для определения подобласти кожи освещенной области кожи, которая, по существу, перпендикулярна к оптической оси блока формирования изображения, и для определения величины блеска кожи от определенных подобластей кожи.

9. Устройство по п. 8,

в котором упомянутый блок (4) обработки сконфигурирован для определения упомянутых подобластей кожи с использованием деформируемой модели, оценивающей ориентиры кожи, и/или оценки положения или путем обнаружения компонентов вспышки и диффузных компонентов.

10. Устройство по п. 1,

в котором упомянутый блок (4) обработки сконфигурирован для компенсации одного или нескольких изображений области кожи при отсутствии освещения упомянутым блоком освещения с вкладом освещения в оценку диффузного компонента на сдвиг гистограммы цветового канала.

11. Устройство по п.1,

в котором упомянутый блок (4) обработки сконфигурирован для определения числового значения блеска кожи на пиксел, в частности, путем деления значения зеркального компонента на пиксел на значение диффузного компонента на пиксел или путем деления суммы значения зеркального компонента на пиксел и значения диффузного компонента на пиксел на значение диффузного компонента на пиксел.

12. Устройство по п. 1,

в котором упомянутый блок (4) обработки сконфигурирован для определения карты блеска кожи области кожи, указывающей величину блеска кожи на пиксел или на группу пикселов.

13. Устройство по п. 1,

в котором упомянутое устройство является мобильным пользовательским устройством, в частности смартфоном, камерой, ноутбуком, или планшетом.

14. Способ для обнаружения блеска кожи, причем упомянутый способ содержит:

- освещение области кожи с частотой мигания,

- получение изображений области кожи с частотой формирования изображений, которая отличается от упомянутой частоты мигания, причем получают изображения области кожи, когда освещение включено, и изображения области кожи, когда освещение выключено, и

- обработку полученных изображений путем обнаружения величины блеска в области кожи из компонента зеркального отражения и диффузного компонента в, по меньшей мере одном первом частичном изображении области кожи, представляющем участок полученного изображения, когда область кожи освещается, и по меньшей мере одном втором частичном изображении области кожи, представляющем участок полученного изображения, когда область кожи не освещается.

15. Долговременный считываемый компьютером носитель записи, содержащий компьютерную программу, содержащий средство программного кода для побуждения устройства по п. 1 выполнять этапы способа по п. 14, когда упомянутая компьютерная программа выполняется на устройстве.