УПРАВЛЕНИЕ КАМЕРОЙ ПОСРЕДСТВОМ ФУНКЦИИ РАСПОЗНАВАНИЯ ЛИЦА Российский патент 2018 года по МПК G06K9/00 

Область техники, к которой относится изобретение

Изобретение относится, в целом, к способам управления электронным устройством. Более конкретно, изобретение относится, в общем, к способам управления камерой посредством функции распознавания лица.

Уровень техники

Многие электронные устройства, такие как смартфоны и планшетные компьютеры, имеют встроенные камеры, которые позволяют пользователям фиксировать цифровые фотографии. Для захвата изображения пользователь может войти в режим камеры, который позволяет пользователю использовать устройство как камеру. В режиме камеры дисплей устройства используется в качестве своего рода видоискатель, который показывает изображение, которое будет захвачено. Если дисплей представляет собой сенсорный экран, то дисплей может также служить устройством ввода. Например, пользователь может нажать виртуальную кнопку на дисплее для захвата изображения. Еще до захвата изображения пользователь может иметь возможность воздействовать на области экрана, чтобы изменить фокусировку, отключить вспышку или изменить масштаб, например. Если пользователь устройства удерживает корпус устройства в одной руке и другой рукой нажимает кнопки на дисплее, то нельзя обеспечить неподвижность камеры, что в результате приводит к дополнительному перемещению корпуса и возникновению дополнительного размытия в захваченном изображении. Кроме того, если пользователь устройства имеет возможность использовать только одну руку, то он не может сделать необходимые настройки камеры или захватить изображение.

Краткое описание чертежей

Фиг. 1 представляет собой блок-схему электронного устройства, которое использует функцию распознавания лиц для управления камерой.

Фиг. 2 представляет собой блок-схему алгоритма способа управления камерой, используя функцию распознавания лица.

Фиг. 3А, 3В и 3С иллюстрируют один пример способа управления камерой, используя функцию распознавания лица.

Фиг. 4 показывает взаимосвязь между изображением, полученным фронтальной камерой 114, и коэффициентом масштабирования тыльной камеры 116.

Фиг. 5А, 5В и 5С иллюстрируют другой пример управления камерой, используя функцию распознавания лица.

Используется одинаковая нумерация компонентов и признаков, описанных в настоящем документе и на чертежах. Числа, начинающиеся с 100, относятся к признакам, первоначально указанным на фиг. 1; числа, начинающиеся с 200, относятся к признакам, первоначально указанным на фиг. 2; и так далее.

Описание вариантов осуществления

Изобретение относится к способам использования функции распознавания лиц для управления камерой в устройстве с фронтальной камерой и тыльной камерой. Фронтальная камера обращена в том же направлении, что и дисплей, таким образом, она может быть использована, например, для захвата изображения лица пользователя для проведения видеоконференций. Тыльная камера обращена в противоположенное от фронтальной камеры и дисплея направление. Тыльная камера представляет собой камеру, которая будет чаще всего использоваться для съемки цифровых фотографий или цифрового видео, что будет храниться в устройстве пользователя.

Фронтальная камера может быть использована для распознавания лица пользователя камеры. Изменения в изображении лица пользователя могут быть использованы для управления тыльной камерой, которая может быть направлена на сцену, которую пользователь пытается сфотографировать. Например, пользователь может перемещать камеру от или к лицу. Фронтальная камера может обнаружить изменение видимого размера лица пользователя и использовать эту информацию для управления некоторыми признаками тыльной камеры, например, изменяя коэффициент масштабирования. Используемый в данном описании термин "жест" относится к любому действию пользователя, которое может вызвать изменение потока изображения фронтальной камеры. Жесты, которые могут быть обнаружены и использованы для управления тыльной камерой, включают в себя, но не ограничиваются ими, движения головы, движения глаз, моргание, подмигивание, пожимание плечами, показ языка, улыбка, хмурый вид, движения камеры, которые вызывают изменения в тыльном изображении, такие как движение от или в сторону лица пользователя или наклон камеры, который вызывает изменение размера или положения изображения, снятого тыльной камерой. Любой признак управления тыльной камеры может работать в паре с любым жестом. Признаки управления включают в себя, но не ограничиваются ими, масштабирование, глубину фокуса, расположение фокуса, скорость затвора, захват изображения, смена режима и переключение различных признаков, таких как вспышка, переключение между режимами фотографирования и видеорежимом, обеспечение пакетного режима и т.п.

С помощью настоящего способа фронтальная камера может быть использована для приема потока изображений лица пользователя в то же самое время, когда используется тыльная камера для захвата изображения (например, пейзаж или группа людей). Поток изображений, принятых с помощью фронтальной камеры, может включать в себя один или несколько кадров данных изображения. Устройство использует поток изображений с фронтальной камеры для извлечения информации о жестах пользователя, таких как выражения лица, движений головы, движения камеры и тому подобное. На основе различных жестов устройство инициирует действия, которые в противном случае пришлось бы сделать с помощью пальцев на сенсорном экране или нажатием кнопок на стороне компьютерного устройства.

Описанные здесь способы позволяют пользователю держать обе руки на корпусе устройства, контролируя камеру устройства, что может повысить стабильность и уменьшить размытость изображения. Способы, описанные в данном документе, могут также предоставить пользователю возможность полностью управлять камерой одной рукой, что может быть полезно, когда пользователь имеет только одну свободную руку как для ношения устройства, так и для управления признаками камеры. Когда пользователь использует одну руку для переноски и управления камерой, то рука также может быть использована для управления признаками камеры.

На фиг. 1 представлена блок-схема электронного устройства, которое использует функцию распознавания лица для управления камерой. Электронное устройство 100 может быть любым подходящим электронным устройством, например мобильный телефон, смартфон, планшетный компьютер, ноутбук или цифровой фотоаппарат, среди других. Устройство 100 может включать в себя процессор 102, который выполнен с возможностью выполнять сохраненные инструкции. Процессор 102 может быть одноядерным процессором, многоядерным процессором, вычислительным кластером или иметь любое количество других конфигураций. Кроме того, устройство 100 может включать в себя более чем один процессор 102. Процессор 102 может быть соединен с другими компонентами устройства 100 с помощью шины 104.

Устройство 100 может также включать в себя память 106. Память 106 может включать в себя энергонезависимую память, энергозависимую память или любую их комбинацию. Память 106 может использоваться для хранения пользовательских данных, таких как данные изображения и видео, а также инструкций, выполняемых процессором, таких как операционная система, приложения и другой программный код. Примеры энергонезависимой памяти включают в себя, но не ограничиваются ими, электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), постоянное запоминающее устройство (ROM), флэш-память и другие типы твердотельной памяти, например мемристор. Примеры энергозависимой памяти включают в себя, но не ограничиваются ими, статическое оперативное запоминающее устройство (SRAM) и динамическая память с произвольным доступом (DRAM).

В некоторых вариантах осуществления изобретения устройство 100 включает в себя графический процессор (GPU) 108 в дополнение к процессору 102. GPU 108 может быть выполнен с возможностью выполнять любое количество графических операций в устройстве 100. Например, графический процессор 108 может быть выполнен с возможностью визуализировать или манипулировать графические изображения, графические кадры, видео или тому подобное, которые будут отображаться устройством 100 пользователю. В некоторых вариантах осуществления графический процессор 108 включает в себя ряд графических блоков (не показаны), в котором каждый графический блок выполнен с возможностью выполнять конкретные графические задачи или выполнять конкретные типы рабочих нагрузок. В некоторых вариантах осуществления изобретения устройство 100 не включает в себя графический процессор 108, и графические операции выполняются процессором 102.

Процессор 102 может быть соединен через шину 104 с различными устройствами 110 ввода, которые могут включать в себя, например, кнопки, сенсорный экран и любые другие подходящие органы управления, среди прочих. Устройства 110 ввода могут быть использованы для управления устройством 100. Например, многие из признаков управления камерой могут быть доступны через устройства 110 ввода. Процессор 102 также может быть соединен через шину 104 с дисплеем 112. Дисплей 112 может включать в себя экран дисплея, который является встроенным компонентом устройства 100. Дисплей 112 может быть интегрирован с сенсорным экраном устройства ввода.

Устройство 100 также включает в себя две или более камер, включающие в себя фронтальную камеру 114 и тыльную камеру 116. Фронтальная камера 114 является камерой, которая направлена в сторону пользователя, когда пользователь использует устройство 100 обычным способом, другими словами, смотрит на дисплей 112 и обращен лицом к устройству 110 ввода. Тыльная камера 116 является камерой, которая обращена наружу от тыльной части устройства 100, другими словами, в сторону, противоположную от дисплея 112 и устройства 110 ввода. Тыльная камера 116 может быть камерой с высоким разрешением и, как правило, представляет собой камеру, которая будет использоваться для съемки и записи видео. Каждая из камер 114 и 116 может включать в себя любой подходящий тип формирователя изображения, который может захватить изображение для хранения на машинно-считываемом носителе информации. Например, камеры могут включать в себя прибор с зарядовой связью (CCD) формирователя изображения, комплементарные структуры металл-оксид-полупроводник (CMOS) формирователя изображения, систему на кристалле (SoC) формирователя изображения, формирователя изображения с фоточувствительными тонкопленочными транзисторами или любую их комбинацию. В некоторых примерах тыльная камера включает в себя более одного формирователя изображения и соответствующие линзы или набор линз. Например, тыльная камера может быть 3D-камерой, используемой для захвата трехмерных изображений.

Одна или более камер 114 и 116 могут включать в себя контроллер 118 масштабирования, который регулирует коэффициент масштабирования камеры. В некоторых примерах коэффициент масштабирования может регулироваться путем перемещения объектива камеры, и контроллер 118 масштабирования может включать в себя или может быть соединен с двигателем для перемещения одного из объективов. В некоторых примерах тыльная камера 116 включает в себя контроллер 118 масштабирования, а фронтальная камера 114 не имеет. Одна или несколько камер 114 и 116 могут также включать в себя контроллер 120 экспозиции, который регулирует параметр экспозиции или чувствительности формирователя изображения камеры в зависимости от интенсивности потока падающего света. Например, если камера включает в себя механический затвор, то контроллер 120 экспозиции может включать в себя схему для регулирования скорости затвора и диафрагмы затвора. Контроллер 120 экспозиции может контролировать уровень яркости захваченного изображения, глубину резкости захваченного изображения и другие эффекты. Устройство 100 также может включать в себя другие контроллеры, не показанные на фиг. 1.

Устройство 100 также включает в себя модуль 122 управления камерой, который включает в себя логику для управления фронтальной камерой и тыльной камерой. Модуль управления камерой может управлять камерами, посылая команды в контроллер масштабирования и контроллер экспозиции, например. Модуль 122 управления камерой выполнен в виде аппаратных средств или комбинации аппаратных средств и программного обеспечения. Например, как показано на фиг. 1, модуль 122 управления камерой может быть сконфигурирован в виде хранимых программных инструкций, которые будут выполняться процессором 102. Однако в некоторых примерах модуль 122 управления камерой выполнен в виде одной или более компьютерных микросхем (не показаны), которые могут обмениваться данными с процессор 102. Например, модуль 122 управления камерой может быть включен в состав специализированной интегральной схемы (ASIC), массива программируемой пользователем вентильной матрицы (FPGA) или другого специального назначения интегральной схемы или схем.

Модуль 122 управления камерой позволяет пользователю управлять тыльной камерой 116 посредством различных жестов, которые приняты с помощью фронтальной камеры 114. Когда устройство находится в режиме камеры, поток данных изображения может быть принят тыльной камерой 116, обрабатывается и отображается на дисплее 112 для просмотра пользователем. В то же время фронтальная камера 114 может принимать поток данных изображения, который обрабатывается для идентификации жестов, которые указывают на конкретный параметр управления камерой, по желанию пользователя, например увеличение или уменьшение параметра масштабирования, изменение фокусного расстояния, изменение освещенности или инициирование конкретного признака, такого как вспышка. Различные примеры будут дополнительно описаны ниже. Блок-схема, показанная на фиг. 1, не предназначена для указания того, что устройство 100 должно включать в себя все компоненты, показанные на фиг. 1. Дополнительно устройство 100 может включать в себя любое количество дополнительных компонентов, не показанные на фиг. 1, в зависимости от особенностей конкретного варианта реализации. Например, хотя варианты осуществления описываются в данном документе как имеющие фронтальную камеру и тыльную камеру, другие варианты осуществления могут включать в себя различные компоновки камер. Например, камеры могут быть расположены под некоторым другим углом, отличным от размещения под углом 180° друг от друга, например вариант размещения камер, который предусматривает установку камер на одной стороне электронного устройства 100.

На фиг. 2 представлена блок-схема алгоритма способа управления камерой, используя функцию распознавания лица. На протяжении всего описания способа 200 ссылка может иногда быть сделана на фиг. 1 Способ 200 может быть выполнен с помощью любого подходящего электронного устройства, которое включает в себя фронтальную камеру и тыльную камеру. Способ 200 может быть выполнен, например, с помощью модуля 122 управления камерой электронного устройства 100, показанного на фиг. 1.

Способ 200 может начинаться на этапе 202, в котором устройство переходит в режим камеры. Во время режима работы камеры устройство принимает данные изображения и может принимать инструкции управления камерой от пользователя, такие как инструкция для захвата изображения. Также в режиме камеры дисплей устройства может быть использован в качестве видоискателя и отображать поток изображения из тыльной камеры. Если устройство представляет собой планшетный компьютер, например, то режим камеры может быть активирован пользователем путем выбора приложения камеры. Если устройство представляет собой цифровую камеру, режим камеры может быть активирован при включении устройства. Во время "режима камеры" пользователь будет иметь возможность захватывать изображения или видео. Кроме того, термин "захват" относится к процессу получения изображения или видео, так что оно может быть сохранено для последующего извлечения и просмотра. Другими словами, изображение захватывается, когда пользователь делает снимок в отличие от простого просмотра потока изображения на дисплее. Кроме того, видео захватывается, когда пользователь подает команду в камеру использовать режим записи.

На этапе 204 поток изображения принимается тыльной камерой и направляется в дисплей. Как было объяснено выше со ссылкой на фиг. 1, дисплей находится на противоположной стороне устройства относительно фронтальной камеры. Поток изображения направляется в дисплей с тыльной камеры, что позволяет пользователю просматривать изображение, которое будет захвачено, если пользователь делает снимок. Дополнительная графика может отображаться на дисплее в дополнение к изображению с тыльной камеры. Например, индикатор целевого фокуса может быть отображен на экране, чтобы указать часть изображения, которая будет использоваться для выполнения автоматической фокусировки камеры. Дополнительно индикатор целевой экспозиции может быть отображен на экране, чтобы указать часть изображения, которая будет использоваться для автоматической настройки яркости изображения. Индикаторы целевой фокусировки и целевой экспозиции могут быть перемещены в различные части изображения пользователем. Чтобы переместить индикатор целевой фокусировки или целевой экспозиции, пользователь может использовать различные устройства ввода. Например, пользователь может перемещать индикатор целевой фокусировки или целевой экспозиции, коснувшись другой точки на сенсорном экране. Кроме того, пользователь может также переместить индикатор целевой фокусировки или целевой экспозиции с помощью жестов, которые могут быть получены с помощью фронтальной камеры и идентифицированы модулем 122 управления камерой. Множество других информационных индикаторов также могут быть отображены, например индикаторы режима или индикатор включения или выключения вспышки камеры. В некоторых вариантах осуществления признаки управления также могут быть отображены на дисплее, например кнопки, ползунки и тому подобное. Например, дисплей может включать в себя кнопку, которая переключает режим вспышки или позволяет пользователю захватить изображение или начать запись видео.

На этапе 206 поток изображения принимается от фронтальной камеры. Как было описано выше со ссылкой на фиг. 1, фронтальная камера представляет собой камеру, которая обращена к дисплею и, скорее всего, направлена на пользователя. Поток изображения может быть получен с помощью модуля 122 управления камерой, показанного на фиг. 1. Модуль 122 управления камерой может быть выполнен с возможностью идентифицировать лицо человека. Чтобы идентифицировать жесты, может быть установлено изображение исходного состояния лица пользователя. Изображение исходного состояния лица может быть установлено пользователем вручную или автоматически. Например, пользователь может инициировать создание изображения исходного состояния лица пользователя вручную, обеспечивая ввод в камеру, например, путем нажатия физической кнопки или прикосновением к виртуальной кнопке на сенсорном экране. Модуль 122 управления камерой может устанавливать изображение исходного состояния лица пользователя автоматически, гарантируя, что изображение существенно не изменилось в течение определенного периода времени. Например, пороговый уровень движения может быть указан, и если пороговый уровень движения не будет превышен в течение заданного периода времени, то модуль 122 управления камерой может сохранить текущее изображение использования в качестве исходного состояния лица пользователя. В некоторых вариантах осуществления признаки изображения исходного состояния лица пользователя могут идентифицироваться, и их позиции в пределах изображения могут быть сопоставлены. Например, контуры лица пользователя могут быть идентифицированы, и позиции различных черт лица могут быть сопоставлены, например глаз, ушей, нос, рта и т.д. Другие признаки также могут быть сопоставлены, например, плечи, например. В некоторых примерах один кадр изображения может быть использован для идентификации жестов, и в этом случае не может быть установлено изображение исходного состояния лица пользователя. Например, при распознавании лица пользователя модуль 122 управления камерой может быть выполнен с возможностью определить, что один глаз открыт и один глаз закрыт в одном кадре изображения.

На этапе 208 поток изображения от фронтальной камеры обрабатывается, чтобы идентифицировать жесты. Жесты могут быть идентифицированы на основе изменений в потоке изображения, захваченного фронтальной камерой. Например, жесты могут быть идентифицированы путем сравнения текущего изображения с исходным изображением. Движения головы пользователя или плеч, или специфические черты лица пользователя, могут быть распознаны путем сравнения текущего изображения с исходным изображением. Кроме того, движение камеры относительно пользователя будет вызывать изменения размеров изображения, которые также могут быть обнаружены. Например, посредством наклона устройства вверх будет вызваны все признаки изображения для сдвига изображения вниз. Перемещение устройства от пользователя уменьшит масштаб отображения лица пользователя. Некоторые из обнаруженных изменений будут соответствовать конкретным жестам, так что модуль управления камерой выполнен с возможностью распознавать эти жесты, как признаки управления камерой. Жесты, которые модуль 122 управления камерой может распознавать в качестве признаков управления, включают в себя движения головы, мимику лица, движения плеч или изменения размеров изображении, указывающие на перемещение устройства. Примеры движений головы, которые могут соответствовать конкретным жестам, включают в себя наклон головы вверх, вниз или в сторону, поворот головы влево или вправо или качание головы. Примеры мимики лица, которые могут быть идентифицированы как жесты, включают в себя мигание, моргание, открывание или закрывание рта, улыбку, хмурый вид и торчащий язык среди других. Примеры изменения размера изображений включают в себя наклон устройства вверх, вниз, влево или вправо, перемещение устройства ближе или дальше от пользователя и встряхивание устройства среди других. Другие примеры включают в себя жесты пожимания плечами или одним плечом. В некоторых вариантах осуществления жесты могут быть идентифицированы с помощью устройства, отличного от камеры, например датчик движения, датчик расстояния и тому подобное.

На этапе 210 жест, идентифицированный на этапе 208, может быть использован для идентификации признака управления камерой, применимого к фронтальной камере. Любой признак управления камерой может управляться с помощью соответствующего жеста. Возможные признаки управления камерой, которые могут управляться с помощью жестов, включают в себя, но не ограничиваются ими, коэффициент масштабирования, фокусное расстояние, глубина резкости, целевой фокус, яркость изображения, целевая экспозиция, вспышка включена или выключена, переключение различных режимов работы камеры, например уменьшение эффекта красных глаз, пакетный режим, режим камеры/режим видео, режимы, которые определяют скорость затвора и диафрагму, среди нескольких других.

Корреляция между конкретными жестами и их соответствующими признаками управления может быть предварительно запрограммирована в устройстве. Например, устройство может включать в себя таблицу поиска, которая сопоставляет каждый жест с соответствующим признаком управления. Например, если моргание идентифицируется как жест, то жест может быть назначен как конкретный идентификатор и используется для получения соответствующего признака управления из таблицы поиска. В настоящем примере жест подмигивания может соответствовать признаку управления, который является командой для захвата изображения. Устройство также может включать в себя утилиту настройщика, которая позволяет пользователю указать, какие жесты используются в паре с признаками управления. Таким образом, корреляция между жестами и признаками управления камеры варьируются от одного пользователя к другому. Например, камера, которая находится в собственности двух человек, может иметь два отдельных набора корреляций. Для одного пользователя жест подмигивания может вызвать одно управляющее действие камеры, а для другого пользователя подмигивание может вызвать другое управляющее действие камерой. Это может быть полезно в тех случаях, когда один пользователь использует определенный жест для управления устройством.

Различные жесты являются комплементарными, означая, что они имеют противоположный признак, и поэтому пригодны для использования в паре с признаками управления, которые также являются комплементарными. Например, подмигивание левым глазом является комплементарным жестом для подмигивания правым глазом. Точно так же, пожимание левым плечом является комплементарным жестом для пожимания правым плечом. Улыбка является комплементарным жестом для хмурого вида. Такие комплементарные жесты могут работать в паре с комплементарными признаками управления. Например, улыбка может быть сопряжена с признаком управления увеличения масштаба, в то время, как хмурый вид может быть сопряжен с признаком управления уменьшения масштаба. Жест наклона головы влево может быть сопряжен с признаком управления перемещения целевой фокусировки влево, и жест наклона головы вправо может быть сопряжен с признаком управления перемещения целевой фокусировки вправо.

Различные жесты могут рассматриваться как жесты, соответствующие определенному направлению и поэтому пригодны для использования в паре с признаками управления, которые также являются признаками, указывающими направление. Например, вверх, вниз, влево или вправо и наклоны головы могут быть использованы в паре с соответствующими движениями вверх, вниз, влево, вправо перемещения указателя целевой фокусировки или целевой экспозиции.

Некоторые жесты могут рассматриваться как признаки активации, которые являются жестами, которые активируют конкретное действие, например захват изображения (т.е. фотографирование), признак включения и выключения или продвижение по списку доступных признаков. Например, жест торчащего языка, подмигивание или мигание может быть сопряжен с признаком управления съемкой. Если мигание используется как жест, то жест может быть идентифицирован с помощью последовательности быстрого мигания, чтобы отличить этот жест от естественного мигания глаз. Жест быстрого поворота головы влево-вправо может быть использован в паре с признаком управления активацией или деактивацией определенного режима, например переключение между режимами камеры и режимом видеосъемки, удаление снимка или выхода из режима камеры или видео, среди других. Жест открытия или закрытия рта может быть сопряжен с признаком управления работой вспышки.

Любой жест может быть сопряжен с любым признаком управления в зависимости от конструктивных особенностей конкретной реализации. Различные примеры некоторых из возможных вариантов совместного использования были описаны здесь. Однако составить исчерпывающий перечень каждого возможного варианта осуществления является фактически нереализуемой задачей и много дополнительных вариантов осуществления совместного использования жестов и признаков управления могут быть известны специалистам в данной области с учетом преимущества изобретения.

На этапе 212 идентифицированный признак управления активируется для тыльной камеры. Например, если признак управления является командой на увеличение масштаба изображения, то модуль 122 управления камерой может послать команду в контроллер 118 масштабирования для увеличения масштаба. Если признак управления представляет собой команду увеличения яркости изображения, то модуль 112 управления камерой может послать команду контроллеру 110 экспозиции, чтобы увеличить яркость изображения. Если признак управления представляет собой команду изменения целевой экспозиции или целевого фокуса на другую часть отображаемого изображения, то модуль 122 управления камерой может послать команду на изменение местоположения целевой экспозиции или целевой фокусировки. Описанный выше процесс может повторяться до тех пор, пока устройство остается в режиме камеры.

Фиг. 3А, 3В и 3С иллюстрируют один пример управления камерой, используя функцию распознавания лица. Фиг. 3А показывает пользователя, держащего электронное устройство 100, которое в этом примере является планшетным компьютером. Устройство 100 включает в себя фронтальную камеру 114 и тыльную камеру (не показана). Сцена, отображаемая на дисплее 112, поступает с тыльной камеры. Изображения также получены фронтальной камерой 114, но эти изображения не отображаются на устройстве 100. Более того, фиг. 3 показывает пользователя, устанавливающего исходное изображение лица, как было описано выше на этапе 206 на фиг. 2. В этом примере исходное изображение лица пользователя соответствует исходному расстоянию 300.

Фиг. 3В показывает пользователя, перемещающего устройство ближе к себе после установления исходного изображения. Исходное положение устройства 100, когда было установлено исходное изображение лица пользователя, показано пунктирными линиями. Разность между исходным положением устройства 100 и текущим положением устройства 100 показана как измененное расстояние 302. Измененное расстояние 302 может быть обнаружено как жест, который может использоваться для управления тыльной камерой. Например, измененное расстояние 302 может быть использовано для изменения коэффициента масштабирования тыльной камеры. Более того, изменение коэффициента масштабирования может быть пропорционально величине измененного расстояния 302. В некоторых вариантах осуществления перемещение устройства 100 ближе к пользователю вызывает пропорциональное постепенное уменьшение коэффициента масштабирования тыльной камеры (другими словами, уменьшать величину масштабирования).

Фиг. 3С показывает перемещение устройства пользователем в сторону после установления исходного изображения лица пользователя. Исходное положение устройства 100, когда была установлено исходное изображение лица пользователя, показано пунктирными линиями. Разность между исходным положением устройства 100 и текущим положением устройства 100 показана как измененное расстояние 304. Как показано на фиг. 5, дополнительное перемещение устройства 100 вызывает пропорциональное постепенное увеличение коэффициента масштабирования тыльной камеры (другими словами, увеличение). Кроме того, жест перемещения устройства ближе к пользователю и в сторону также может быть использован для управления другими признаками тыльной камеры. Например, жест, описанный на фиг. 3А-3С, может использоваться для ручной регулировки фокусного расстояния, ближе или дальше. Хотя исходное расстояние 300 и измененное расстояние 302 и 304 используются для объяснения изобретения, исходное расстояние и измененное расстояние в некоторых вариантах осуществления может не быть непосредственно вычислено. Скорее всего, видимое изменение размера изображения лица пользователя с точки фронтальной камеры 114 может быть использовано, как замена фактического расстояния. Это описано ниже со ссылкой на фиг. 4.

На фиг. 4 показана взаимосвязь между изображением, принятым фронтальной камерой 114, и коэффициентом масштабирования тыльной камеры 116. Изображение 600 показывает исходное изображение лица пользователя, установленное посредством фронтальной камеры 114. В некоторых вариантах осуществления исходное изображение 600 не отображается пользователю. Исходное изображение 600 может быть обработано для идентификации видимого размера лица, как представлено прямоугольником 602. Изображение 604 представляет собой изображение, принятое с помощью тыльной камеры 114, и отображается пользователю, когда фронтальная камера 116 находится на исходной позиции.

Когда пользователь перемещает устройство 100 ближе к себе, как показано на фиг. 3В, то видимый размер лица пользователя становится больше, как показано на изображении 606. Перемещение устройства 100 ближе к себе может быть обнаружено как жест, соответствующий команде на уменьшение масштаба, что находит свое отражение в изображении 608. Когда пользователь перемещает устройство 100 дальше от себя, как показано на фиг. 3С, то видимый размер лица пользователя становятся меньше, как показано на изображении 610. Перемещение устройства 100 дальше от себя может быть обнаружено как жест, соответствующий команде на изменение масштаба изображения, что отражено на изображении 610.

Фиг. 5А, 5В и 5С иллюстрируют другой пример управления камерой с помощью функции распознавания лица. Фиг. 5А показывает пользователя, удерживающего устройство 100 в положении, соответствующем исходному изображению. Как показано на фиг. 5А, исходное изображение лица пользователя устанавливается в то время, когда пользователь смотрит прямо перед собой и обращен к фронтальной камере. Таким образом, в данном примере исходное изображение лица пользователя будет являться относительно симметричным с позиции фронтальной камеры.

Фиг. 5В показывает пользователя, который слегка повернул голову влево. Модуль 122 управления камерой может идентифицировать это изменение, как направленный жест, соответствующий команде сдвига целевой точки 700 влево. Целевая точка 700 может быть индикатором целевого фокуса либо целевой экспозиции, например. Целевая точка 700 может также быть индикатором целевого выбора. Другими словами, выбор цели может быть выбором точки на экране, которую пользователь хочет выбрать с помощью другого жеста, например морганием или торчащим языком, среди прочих. Таким образом, пользователь может выбрать виртуальную кнопку, показанную на дисплее 112. Другие жесты направления могут быть использованы также для выдачи направленной команды. Например, целевая точка 700 также может быть перемещена влево посредством наклона головы влево, а не поворотом головы.

Фиг. 5С показывает пользователя, который слегка наклонил голову. Модуль 122 управления камерой может идентифицировать это изменение как жест управления по направлению, соответствующий команде на измерение направления, такая как команда на сдвиг целевой точки 700 вверх. В дополнение к конкретным жестам, показанным на фиг. 5В и 5С, жест наклона головы вниз может быть интерпретирован, как команда перемещения целевой точки 700 вниз, и жест поворота головы вправо или наклон головы вправо может быть истолкован, как команда перемещения целевой точки 700 вправо. Кроме того, величина смещения целевой точки от центра может быть пропорциональна степени изменения между исходным изображением лица пользователя и текущим изображением лица пользователя. В некоторых вариантах осуществления команды для перемещения целевой точки 700 соответствуют жестам движения глаз, а не жестам движения головы.

В настоящем описании и формуле изобретения могут быть использованы термины "соединенный" и "подключенный" вместе с их производными. Следует понимать, что эти термины не следует рассматривать как синонимы друг к другу. Скорее всего, в конкретных вариантах осуществления "соединенный" может быть использован для указания того, что два или более элементов находятся в непосредственном физическом или электрическом контакте друг с другом. "Соединенный" может означать, что два или более элементов находятся в непосредственном физическом или электрическом контакте. Однако "соединенный" может также означать, что два или более элементов не находятся в непосредственном контакте друг с другом, но тем не менее все еще взаимодействуют друг с другом.

Некоторые варианты осуществления могут быть реализованы в одной или в комбинации аппаратных средств, встроенного программного обеспечения и программного обеспечения. Некоторые варианты осуществления также могут быть реализованы в виде инструкций, хранящихся на машиночитаемом носителе, которые могут быть считаны и выполнены вычислительной платформой для выполнения операций, описанных в настоящем документе. Машиночитаемый носитель может включать в себя любой механизм для хранения или передачи информации в форме, считываемой машиной, например компьютером. Например, машиночитаемый носитель может включать в себя постоянное запоминающее устройство (ROM); оперативное запоминающее устройство (RAM); магнитные диски; оптические носители информации; устройства флэш-памяти; или электрические, оптические, акустические или другие формы распространяющихся сигналов, например, несущих волн, инфракрасные сигналы, цифровые сигналы и интерфейсы, которые передают и/или принимают сигналы, среди прочих.

Один из вариантов осуществления является вариантом реализации или примером. Ссылка в описании на "вариант осуществления", "один из вариантов осуществления", "некоторые варианты осуществления", "различные варианты осуществления" или "другие варианты осуществления" означают, что конкретный признак, структура или характеристика, описанные в связи с вариантами осуществления, включены в состав по меньшей мере некоторых вариантов осуществления, но не обязательно во все варианты осуществления изобретения. Различные способы использования "варианта осуществления", "один вариант осуществления" или "некоторых вариантов осуществления" не обязательно относятся к одним и тем же вариантам осуществления. Элементы или аспекты варианта осуществления могут быть объединены с элементами или аспектами другого варианта осуществления.

Не все компоненты, признаки, структуры, характеристики и т.д., описанные и проиллюстрированные здесь, обязательно должны быть включены в состав конкретного варианта осуществления или вариантов осуществления. Если спецификация указывает на компонент, признак, структуру или характеристику, которые "возможно могут", "могли бы", "могут" или "могли" быть включены в состав, например, что не обязательно требуется использование конкретного компонента, признака, структуры или характеристики. Если спецификация или формула изобретения ссылается на "а" или "an" элемент, то это не означает, что существует только один из элементов. Если спецификация или претензии ссылается на "дополнительный" элемент, то это не исключают наличия более одного дополнительного элемента.

Следует отметить, что, хотя некоторые варианты осуществления были описаны в отношении конкретных вариантов реализаций, возможны другие варианты реализации в соответствии с некоторыми вариантами осуществления. Кроме того, компоновка и/или порядок элементов схемы или другие признаки, показанные на чертежах и/или описанные в данном документе, не должны быть расположены проиллюстрированным и описанным образом. Многие другие варианты осуществления возможны в соответствии с некоторыми вариантами осуществления.

В каждой системе, показанной на чертеже, элементы в некоторых случаях могут каждый иметь тот же ссылочный номер или другой идентификационный номер, чтобы предположить, что представленные элементы могут быть разными и/или подобными. Тем не менее, элемент может быть достаточно гибким, чтобы иметь различные варианты реализаций и работать с некоторыми или со всеми системами, показанными или описанными в данном документе. Различные элементы, показанные на чертежах, могут быть одинаковыми или различными. Какой из них упоминается в качестве первого элемента, и который называется вторым элементом, являются произвольными.

Следует понимать, что упомянутые выше примеры могут быть использованы в любом месте в одном или нескольких вариантах осуществления. Например, все возможные признаки вычислительного устройства, описанного выше, могут быть реализованы в отношении любого из способов, описанных в данном документе, или машиночитаемого носителя информации. Более того, хотя блок-схемы алгоритма операций и/или диаграммы состояний могут быть использованы здесь для описания вариантов осуществления, настоящие способы не ограничиваются этими блок-схемами алгоритма или соответствующим описанием. Например, последовательность выполнения операций способа может не проходить через каждый изображенный этап обработки или состояние или в том же порядке, как показано и описано в данном документе.

Изобретение не ограничено конкретными деталями, перечисленными в настоящем документе. Фактически, специалисты в данной области техники могут воспользоваться выгодами изобретения и могут получить другие варианты осуществления из приведенного выше описания и чертежей в пределах объема изобретения. Соответственно прилагаемая формула изобретения включает в себя любые изменения, которая определяет объем изобретения.

Пример 1

Ниже приведено описание примера электронного устройства в соответствии с изобретением. Электронное устройство включает в себя первую камеру, вторую камеру и модуль управления камерой. Первая камера принимает первый поток изображения. Вторая камера принимает второй поток изображения, который включает в себя изображение лица пользователя электронного устройства. Модуль управления камерой выполнен с возможностью идентифицировать жест, основанный на изменении во втором потоке изображений, идентифицировать признак управления первой камеры на основании жеста; и активировать признак управления камерой для первой камеры.

В некоторых примерах модуль управления камерой выполнен с возможностью устанавливать исходное изображение из второго потока изображения и сравнивать исходное изображение с текущим изображением второго потока изображения для идентификации жеста. В некоторых примерах этот жест представляет собой перемещение электронного устройства от лица пользователя, и признак управления камерой представляет собой команду на увеличение масштаба. В некоторых примерах этот жест является подмигиванием, и признак управления камерой является активацией захвата изображения. Этот жест может быть комплиментом для второго жеста и признак управления камерой может быть комплиментом второго признака управления камерой, управляемой вторым жестом.

Этот жест также может быть направленным жестом, и признак управления камерой может быть направленным признаком управления камерой. Для примера, этот жест может быть наклоном головы или поворотом головы, и признак управления камерой может быть командой на перемещение целевой точки фокуса или командой на перемещение целевой точки экспозиции.

Пример 2

Ниже приведен пример электронного устройства в соответствии с изобретением. Электронное устройство включает в себя логику для приема первого потока изображений, который включает в себя изображение лица пользователя электронного устройства. Электронное устройство включает в себя логику для идентификации жеста, основанного на изменении в первом потоке изображения. Электронное устройство также включает в себя логику для идентификации признака управления второй камеры на основании жеста и активации признака управления камерой для второй камеры.

В некоторых примерах осуществления электронное устройство включает в себя логику для установления исходного изображения из первого потока изображения и имеет возможность сравнивать исходное изображение с текущим изображением первого потока изображения для идентификации жеста. В некоторых примерах этот жест является перемещением электронного устройства от лица пользователя, и признак управления камерой является командой на увеличение масштаба. В некоторых примерах этот жест является подмигиванием, и признак управления камерой является активацией захвата изображения. Этот жест может быть комплиментом второго жеста, и признак управления камерой может быть комплиментом второго признака управления камерой, управляемой вторым жестом.

Этот жест также может быть направленным жестом, и признак управления камерой может быть признаком направленного управления камерой. Для примера, этот жест может быть наклоном головы или поворотом головы, и признак управления камерой может быть командой на перемещение целевой точки фокуса или командой на перемещение целевой точки экспозиции.

Пример 3

Ниже приведен пример материального, постоянного, машиночитаемого носителя информации в соответствии с изобретения. Машиночитаемый носитель информации включает в себя инструкции для управления процессором для приема первого потока изображения из первой камеры. Инструкции также управляют процессором для приема второго потока изображения из второй камеры, в котором второй поток изображения включает в себя изображение лица пользователя электронного устройства. Инструкции также управляют работой процессора для идентификации жеста, основанного на изменении во втором потоке изображений, идентификации признака управления камерой первой камеры на основании жеста; и активировании признака управления камерой для первой камеры.

В некоторых примерах инструкции управляют работой процессора для установления исходного изображения из второго потока изображения, и сравнивают исходное изображение с текущим изображением второго потока изображения для идентификации жеста. В некоторых примерах этот жест является перемещением второй камеры от лица пользователя, и признак управления камерой является командой на увеличение масштаба. В некоторых примерах этот жест является подмигиванием, и признак управления камерой является активацией захвата изображения. Этот жест может быть комплиментом второго жеста, и признак управления камерой может быть комплиментом второго признака управления камерой, управляемой вторым жестом.

Этот жест также может быть направленным жестом, и признак управления камерой может быть направленным признаком управления камерой. Для примера, этот жест может быть наклоном головы или поворотом головы, и признак управления камерой может быть командой на перемещение целевой точки фокуса или командой на перемещение целевой точки экспозиции.

Изобретение относится к способам управления электронным устройствам. Технический результат заключается в обеспечении возможности управлять камерой одной рукой. Устройство содержит первую камеру и вторую камеру. Первая камера принимает первый поток изображения, и вторая камера принимает второй поток изображения, который включает в себя изображение лица пользователя электронного устройства. Устройство включает в себя модуль управления камерой, который идентифицирует жест, основанный на изменении во втором потоке изображения, идентифицирует признак управления камерой первой камеры на основании жеста и активирует признак управления камерой для первой камеры. 3 н. и 13 з.п. ф-лы, 9 ил.

1. Электронное устройство для управления камерой посредством функции распознавания лица, содержащее:

тыльную камеру для приема потока тыльных изображений;

фронтальную камеру для приема потока фронтальных изображений, который включает в себя лицо пользователя электронного устройства;

модуль управления камерой, выполненный с возможностью:

установления исходного изображения из потока фронтальных изображений, если пороговый уровень перемещения не превышен в течение заданного периода времени;

идентификации перемещения электронного устройства от лица пользователя на основе изменения размера лица в потоке фронтальных изображений по сравнению с исходным изображением лица;

идентификации первого признака управления камерой для тыльной камеры на основе перемещения, при этом первый признак управления камерой является командой на изменение масштаба изображения; и

активации первого признака управления камерой для тыльной камеры.

2. Электронное устройство по п. 1, в котором модуль управления камерой выполнен с возможностью идентификации подмигивания на основе изменения в потоке фронтальных изображений по сравнению с исходным изображением и в ответ на подмигивание активации захвата изображения.

3. Электронное устройство по п. 1, в котором модуль управления камерой выполнен с возможностью:

идентификации перемещения электронного устройства по направлению к лицу на основе изменения в потоке фронтальных изображений по сравнению с исходным изображением; и

идентификации второго признака управления камерой для тыльной камеры на основе перемещения, при этом второй признак управления камерой является командой на изменение масштаба изображения в противоположном направлении по сравнению с первым признаком управления камерой.

4. Электронное устройство по п. 1, в котором модуль управления камерой выполнен с возможностью идентификации наклона головы и в ответ на наклон активации направленного признака управления камерой.

5. Электронное устройство по п. 1, в котором модуль управления камерой выполнен с возможностью идентификации поворота головы и в ответ на поворот активации направленного признака управления камерой.

6. Электронное устройство для управления камерой посредством функции распознавания лица, содержащее:

логику для приема первого потока изображений посредством первой камеры, в котором первый поток изображений включает в себя изображение лица пользователя электронного устройства;

логику для установления исходного изображения лица из первого потока изображения, если пороговый уровень перемещения не превышен в течение заданного периода времени;

логику для идентификации перемещения электронного устройства от лица пользователя на основе изменения размера лица в первом потоке изображений по сравнению с исходным изображением лица;

логику для идентификации первого признака управления камерой для второй камеры на основании перемещения, при этом первый признак управления камерой является командой на изменение масштаба изображения; и

логику для активирования признака управления камерой для второй камеры.

7. Электронное устройство по п. 6, в котором модуль управления камерой выполнен с возможностью идентификации подмигивания на основе изменения в потоке фронтальных изображений по сравнению с исходным изображением и в ответ на подмигивание активации захвата изображения.

8. Электронное устройство по п. 6, содержащее логику для:

идентификации перемещения электронного устройства по направлению к лицу на основе изменения в первом потоке изображений по сравнению с исходным изображением; и

идентификации второго признака управления камерой для второй камеры на основе перемещения, при этом второй признак управления камерой является командой на изменение масштаба изображения в противоположном направлении по сравнению с первым признаком управления камерой.

9. Электронное устройство по п. 6, содержащее логику для идентификации направленного жеста и для перемещения целевой точки фокусировки в ответ на направленный жест.

10. Электронное устройство по п. 6, содержащее логику для идентификации направленного жеста и для перемещения целевой точки экспозиции в ответ на направленный жест.

11. Материальный, постоянный, считываемый компьютером носитель информации, содержащий инструкции для управления работой процессора для:

приема потока тыльных изображений из тыльной камеры;

приема потока фронтальных изображений из фронтальной камеры, в которой поток фронтальных изображений включает в себя изображение лица пользователя электронного устройства;

установления исходного изображения из потока фронтальных изображений, если пороговый уровень перемещения не превышен в течение заданного периода времени;

идентификации перемещения электронного устройства от лица пользователя на основе изменения размера лица в потоке фронтальных изображений по сравнению с исходным изображением лица;

идентификации второго признака управления камерой для тыльной камеры на основе перемещения, при этом первый признак управления камерой является командой на изменение масштаба изображения; и

активации признака управления камерой для тыльной камеры.

12. Считываемый компьютером носитель информации по п. 11, в котором инструкции управляют процессором для идентификации подмигивания на основе изменения в потоке фронтальных изображений по сравнению с исходным изображением и в ответ на подмигивание активации захвата изображения.

13. Считываемый компьютером носитель информации по п. 11, в котором инструкции управляют процессором для:

идентификации перемещения электронного устройства по направлению к лицу на основе изменения в потоке фронтальных изображений по сравнению с исходным изображением; и

идентификации второго признака управления камерой для тыльной камеры на основе перемещения, при этом второй признак управления камерой является командой на изменение масштаба изображения в противоположном направлении по сравнению с первым признаком управления камерой.

14. Считываемый компьютером носитель информации по п. 11, в котором инструкции управляют процессором для идентификации наклона головы и в ответ на наклон активации направленного признака управления камерой.

15. Считываемый компьютером носитель информации по п. 11, в котором инструкции управляют процессором для идентификации поворота головы и активации направленного признака управления камерой в ответ на поворот.

16. Считываемый компьютером носитель информации по п. 11, в котором инструкции управляют процессором для идентификации направленного жеста и для перемещения целевой точки фокусировки в ответ на направленный жест.