СПОСОБ И УСТРОЙСТВО УПРАВЛЕНИЯ ДИСПЛЕЕМ Российский патент 2018 года по МПК G06F3/01 

Область техники, к которой относится изобретение

[1] Настоящее изобретение относится к способу для эффективного управления экранным дисплеем электронного устройства.

Уровень техники

[2] С успехами в технологиях информации, связи и полупроводников популярность и использование электронных устройств продолжает увеличиваться. В частности, мобильный терминал объединяет различные признаки других электронных устройств помимо функций телефонии и обмена сообщениями. Например, мобильный терминал может в настоящее время включать в себя различные усовершенствованные функции, включая функцию воспроизведения TV (например, функцию мобильного воспроизведения широкого вещания (DMB), функцию воспроизведения музыки (например, функцию воспроизведения уровня 3 аудио MPEG (MP3)), функцию фотографирования изображений, функцию передачи данных, функцию доступа к интернету, функцию беспроводной связи ближнего действия, и т.д.

[3] Также мобильный терминал оснащается различными датчиками, а также камерой, чтобы расширять его функциональные возможности. Например, мобильный терминал, оснащенный камерой, может распознавать лицо из изображения, взятого камерой, и отслеживать взгляд пользователя. Однако электронное устройство родственной области техники испытывает недостаток функциональных возможностей в виду эффективности использования питания. Таким образом, имеется потребность в усовершенствованном устройстве и способе для управления дисплеем электронного устройства в виду требований питания.

[4] Вышеупомянутая информация предоставлена только как информация предыстории, чтобы помочь пониманию настоящего изобретения. Не сделано никакого определения и не сделано никакого утверждения относительно того, могло ли быть применимым любое из вышеупомянутого как предшествующий уровень техники относительно настоящего изобретения.

Раскрытие изобретения

Техническая проблема

[5] Аспекты настоящего изобретения должны адресоваться, по меньшей мере, вышеупомянутым проблемам и/или недостаткам и обеспечивать, по меньшей мере, преимущества, описанные ниже. Таким образом, аспект настоящего изобретения должен предоставлять способ и устройство управления дисплеем электронного устройства, которое может управлять экранным дисплеем электронного устройства в зависимости от состояния питания электронного устройства или присутствия/отсутствия пользователя, независимо от состояния питания, таким образом, улучшая эффективность использования питания электронного устройства.

Решение проблемы

[6] В соответствии с аспектом настоящего изобретения, предоставлен способ управления экранным дисплеем электронного устройства. Способ управления экранным дисплеем включает в себя определение разрешения камеры, распознавание лица пользователя с использованием камеры, работающей с определенным разрешением, и управление экранным дисплеем электронного устройства на основе лица.

[7] В соответствии с другим аспектом настоящего изобретения, предоставлено электронное устройство. Электронное устройство включает в себя устройство управления, сконфигурированное с возможностью определения разрешения, камеру, сконфигурированную с возможностью работы с разрешением, определенным устройством управления, чтобы распознавать лицо пользователя, и устройство дисплея, сконфигурированное с возможностью отображения экрана под управления устройства управления на основе распознанного лица.

Преимущественные результаты изобретения

[8] Другие аспекты, преимущества и характерные признаки изобретения станут понятными специалистам в данной области техники из следующего подробного описания, которое, взятое совместно с прилагаемыми чертежами, раскрывает различные варианты осуществления настоящего изобретения.

Краткое описание чертежей

[9] Вышеупомянутые и другие аспекты, признаки и преимущества определенных вариантов осуществления настоящего изобретения станут более понятными из следующего описания, взятого совместно с сопровождающими чертежами, на которых:

[10] фиг. 1 - блок-схема последовательности этапов, иллюстрирующая способ управления экранным дисплеем в соответствии с вариантом осуществления настоящего изобретения;

[11] фиг. 2 - блок-схема последовательности этапов, иллюстрирующая процедуру управления экранным дисплеем электронного устройства, оснащенного камерой высокого разрешения, в соответствии с вариантом осуществления настоящего изобретения;

[12] фиг. 3 и фиг. 4 - блок-схемы последовательности этапов, иллюстрирующие процедуры управления экранным дисплеем с использованием камеры низкого разрешения, в соответствии с вариантом осуществления настоящего изобретения;

[13] фиг. 5а, фиг. 5b, фиг. 5с, фиг. 5d и фиг. 5e - диаграммы, иллюстрирующие экранные дисплеи для объяснения способа управления экранным дисплеем в соответствии с вариантом осуществления настоящего изобретения;

[14] фиг. 6а и фиг. 6b - диаграммы, иллюстрирующие ситуацию управления экранным дисплеем в соответствии с вариантом осуществления настоящего изобретения; и

[15] фиг. 7 - блок-схема, иллюстрирующая конфигурацию электронного устройства в соответствии с вариантом осуществления настоящего изобретения.

[16] Одинаковые ссылочные номера используются, чтобы представлять одинаковые элементы по всем чертежам.

Способ для изобретения

[17] Следующее описание со ссылкой на сопровождающие чертежи предоставлено, чтобы помочь в полном понимании различных вариантов осуществления настоящего изобретения, как определено формулой изобретения и ее эквивалентами. Оно включает в себя различные специфические детали, чтобы помочь в этом понимании, но они должны рассматриваться только как иллюстративные. Таким образом, обычные специалисты в данной области техники поймут, что различные изменения и модификации различных вариантов осуществления, описанных в настоящем раскрытии, могут быть сделаны, не выходя за рамки объема и сущности настоящего изобретения. Кроме того, описания широко известных функций и конструкций могут быть пропущены для ясности и краткости.

[18] В соответствии с вариантом осуществления настоящего изобретения, электронное устройство может быть устройством, оснащенным функцией связи. Примеры электронных устройств включают в себя смартфон, планшетный персональный компьютер (РС), мобильный телефон, видеотелефон, устройство чтения электронной книги, настольный РС, портативный переносной РС, сетевой портативный компьютер, персонального цифрового ассистента (PDA), портативный плеер мультимедиа (PMP), плеер МР3, мобильное медицинское электронное оборудование, камеру и надеваемое устройство (например, устройство, устанавливаемое на голове (HMD)), такое как электронные очки, электронная одежда, электронный браслет, электронное ожерелье, электронное устройство измерения пульса и калорий, электронное тату, интеллектуальные часы и т.д.

[19] В соответствии с вариантом осуществления настоящего изобретения, электронное устройство может быть бытовым электронным оборудованием интеллектуального дома, оснащенным функцией связи. Примеры бытового электронного оборудованием интеллектуального дома включают в себя телевизор, плеер цифрового видеодиска (DVD), аудио устройство, холодильник, кондиционер, пылесос, печь, микроволновую печь, стиральную машину, очиститель воздуха, телеприставку, TV блок (например, Samsung HomeSyncTM, Apple TVTM, Google TVTM), игровую консоль, электронный словарь, электронный ключ, видеокамеру, электронную рамку и т.д.

[20] В соответствии с вариантом осуществления настоящего изобретения, примеры электронного устройства включают в себя различное медицинское электронное оборудование (например, магнитно-резонансную ангиографию (MRA), магнитно-резонансное получение изображений (MRI), камеру компьютерной томографии (СТ) и ультразвуковое устройство), навигационное устройство, приемник глобальной системы позиционирования (GPS), устройство записи данных событий (EDR), самописец полетных данных (FDR), автомобильное информационно-развлекательное устройство, морское электронное устройство (например, морское навигационное устройство и гирокомпас), авиационное электронное устройство, устройство безопасности, промышленные и домашние роботы и т.д.

[21] В соответствии с вариантом осуществления настоящего изобретения, примеры электронного устройства включают в себя мебель или часть здания/конструкции, которая оснащена функцией связи, электронную доску, устройство приема электронной подписи, проектор, измерительное устройство (например, воды, электричества, газа, и измерительные устройство электрических волн). Электронное устройство в соответствии с вариантом осуществления настоящего изобретения может быть любой комбинацией, по меньшей мере, двух из вышеперечисленных устройств. Для специалистов в данной области техники является очевидным, что электронное устройств настоящего изобретения не ограничено вышеперечисленными устройствами.

[22] Фиг. 1 - блок-схема последовательности этапов, иллюстрирующая способ управления экранным дисплеем в соответствии с вариантом осуществления настоящего изобретения. Способ управления экранным дисплеем в соответствии с вариантом осуществления настоящего изобретения выполняется электронным устройством.

[23] Ссылаясь на фиг. 1, в операции 110 электронное устройство может определить разрешение камеры. Разрешение означает степень, указывающую, сколько пикселей или точек используются для представления изображения. Например, электронное устройство может достигать «высокого разрешения» при активации всех пикселей датчика изображения камеры и «низкого разрешения» при активации части пикселей датчика изображения. Электронное устройство может определять разрешение камеры, независимо от состояния питания или в зависимости от состояния питания. В варианте осуществления электронное устройство может устанавливать разрешение камеры в высокое или низкое, независимо от состояния питания.

[24] В другом варианте осуществления электронное устройство может устанавливать разрешение камеры в высокое или низкое, в зависимости от своего состояния питания. Например, если питание электронного устройства больше или равно порогу, электронное устройство определяет текущее состояние как состояние высокого питания и устанавливает разрешение камеры в высокое. Иначе, если питание электронного устройства ниже, чем порог, электронное устройство определяет текущее состояние как состояние низкого питания и устанавливает разрешение камеры в низкое. В настоящем раскрытии порог может быть выражен как процент остаточного питания электронного устройства и может быть установлен по-разному, например, в 30%, 40%, 50% или 60% от емкости батареи. Порог может быть установлен в значение по умолчанию электронным устройством или в определенное значение пользователем. Например, если значение порога установлено в 30% от емкости батареи, электронное устройство определяет состояние остаточного питания, равное 30%, как состояние высокого питания, а состояние остаточного питания, равное 29%, как состояние низкого питания.

[25] Если электронное устройство соединяется с внешним устройством, оно определяет свое состояние как состояние высокого питания и устанавливает разрешение камеры в высокое. Если электронное устройство не соединяется с внешним устройством и, если его состояние питания является низким, оно устанавливает разрешение камеры в низкое. Внешнее устройство является устройством, подающим питание в электронное устройство, например, через универсальную последовательную шину (USB) или узел, такой как PIN CONNECTOR. В этом случае, поскольку внешнее устройство подает питание в электронное устройство, электронное устройство определяет свое состояние питания как состояние высокого питания, независимо от остаточного питания. Иначе, если электронное устройство с низким остаточным питанием не соединяется с внешним устройством, оно определяет, что его состояние является состоянием низкого питания.

[26] В операции 120 электронное устройство активирует камеру с определенным разрешением, чтобы распознавать лицо пользователя. В качестве примера, распознавание лица распознает лицо или взгляд пользователя, чтобы определить то, является ли это передней частью лица пользователя или боковой частью лица пользователя, и распознает искаженную степень лица.

[27] В соответствии с различными вариантами осуществления, электронное устройство может достигать «высокого разрешения» при активации всех пикселей датчика изображения камеры и «низкого разрешения» при активации части пикселей датчика изображения. Допуская, что полное число пикселей датчика изображения равно 10 миллионам пикселей, электронное устройство устанавливает порог в 5 миллионов. Электронное устройство может определить число пикселей, больших или равных порогу, как «высокое разрешение», и число пикселей, меньших, чем порог, как «низкое разрешение».

[28] В операции 130 электронное устройство может управлять экранным дисплеем электронного устройства на основе распознанного лица. В соответствии с различными вариантами осуществления, электронное устройство управляет камерой с высоким разрешением, чтобы получать позицию взгляда пользователя, и управляет экранным дисплеем на основе позиции взгляда. Электронное устройство также может управлять камерой с низким разрешением, чтобы определять присутствие/отсутствие пользователя и, если определено, что пользователь присутствует, изменять значения конфигурации камеры, чтобы распознавать позицию лица пользователя и управлять экранным дисплеем на основе позиции лица.

[29] Электронное устройство может управлять, по меньшей мере, одним действием, ассоциированным с экраном, отображенным на устройстве дисплея, таким как прокрутка, воспроизведение, пауза, уменьшение масштаба, увеличение масштаба, остановка и реакция на основе распознанного лица. Термин «прокрутка» означает управление экраном прокруткой вверх, вниз, влево и вправо. Термин «воспроизведение» означает управление экраном воспроизведением музыки или движущегося изображения на экране. Термин «пауза» означает управление экраном приостановкой музыки или движущегося изображения. Термин «уменьшение масштаба» означает управление экраном уменьшением масштаба на экране, а термин «увеличение масштаба» означает управление экраном увеличением масштаба на экране. Термин «остановка» означает управление экраном поддержанием экрана как включенного, а термин «реакция» означает управление экраном в соответствии с реакцией пользователя на входящий вызов или сообщение. В качестве примера, реакцией пользователя может быть одно из приема и отклонения входящего вызова, определения того, просмотреть ли сообщение или нет, или тому подобное.

[30] В соответствии с вариантом осуществления, когда электронное устройство соединяется с внешним устройством, можно использовать питание без ограничения и, таким образом, управлять камерой с максимальной частотой кадров, чтобы улучшать вероятность распознавания пользователя. Электронное устройство может дополнительно поддерживать функцию мониторинга, функцию защиты от пожара и функцию записи экстренной ситуации.

[31] Фиг. 2 - блок-схема последовательности этапов, иллюстрирующая процедуру управления экранным дисплеем электронного устройства, оснащенного камерой высокого разрешения, в соответствии с вариантом осуществления настоящего изобретения.

[32] Ссылаясь на фиг. 2, в операции 210а электронное устройство получает позицию взгляда пользователя с использованием камеры высокого разрешения. Камера может быть расположена на передней или задней стороне электронного устройства, чтобы захватывать окружающую сцену, объект или человека. Информация захваченного изображения передается в устройство управления электронного устройства и сохраняется в электронном устройстве. Камера может быть инфракрасной камерой или другим типом камеры. Камера высокого разрешения является камерой, которая может работать в режиме высокого разрешения, который может конфигурироваться с цветовыми значениями высокого разрешения, чтобы распознавать лицо пользователя и отслеживать позицию взгляда пользователя, одновременно или последовательно. Например, электронное устройство может распознавать лицо пользователя с помощью комбинации ориентаций зрачков лица пользователя, чтобы определять позицию взгляда.

[33] В операции 220а электронное устройство получает информацию координат с помощью отображения позиции взгляда в устройство дисплея электронного устройства. Электронное устройство может также получать информацию координат позиции взгляда на устройстве дисплея, который соответствует позиции взгляда. В соответствии с различными вариантами осуществления, электронное устройство может управлять экранным дисплеем электронного устройства на основе только полученной информации координат. Однако, поскольку позиция взгляда пользователя изменяется во времени, электронное устройство определяет направление движения или скорость движения информации координат, чтобы управлять экранным дисплеем более точно.

[34] В операции 230а электронное устройство определяет информацию направления или информацию скорости на основе изменения информации координат во времени. Электронное устройство может определять информацию направления или информацию скорости на основе первоначально полученной позиции взгляда и измененной позиции взгляда, если позиция взгляда изменяется во времени после первоначального распознавания взгляда. В соответствии с различными вариантами осуществления, электронное устройство может компенсировать информацию направления и информацию скорости с использованием данных датчика, полученных посредством датчика.

[35] В операции 240а электронное устройство управляет экранным дисплеем на основе информации направления или скорости. Например, если управление экранным дисплеем является «прокрутка», информация направления или скорости может влиять на направление прокрутки и/или скорость прокрутки.

[36] В другом варианте осуществления электронное устройство может получать данные датчика с использованием датчика в операции 220b. Датчик может включать в себя, по меньшей мере, один из датчика движения, гироскопического датчика, датчика ускорения, датчика влажности, датчика близости, инфракрасного датчика, датчика освещенности, датчика магнитного поля земли, инерционного датчика, датчика наклона и датчика утечки (например, датчика испарения). Датчик может получать данные датчика, включающие в себя, по меньшей мере, одно или любую комбинацию изменения угла, изменения направления, изменения позиции, изменения положения, изменения силы и изменения скорости. Датчик обнаруживает событие движения, произведенное пользователем, таким образом, чтобы получить данные датчика, по меньшей мере, из одного или любой комбинации увеличения масштаба щипком, касания краем руки и движения воздуха. Для ссылки, датчик утечки может обнаруживать дыхание пользователя, а датчик обнаружения звука, такой как громкоговоритель, может обнаруживать звук утечки.

[37] В операции 230 электронное устройство может назначить приоритет информации изображения и данным датчика. В настоящем раскрытии информация изображения является информацией, получаемой камерой, такой как позиция взгляда. Например, если камера является камерой высокого разрешения, электронное устройство может установить приоритет информации камеры в значение, более высокое, чем приоритет данных датчика. Если камера является камерой низкого разрешения, электронное устройство может установить приоритет информации изображения в значение, более низкое, чем приоритет данных датчика.

[38] В операции 240b электронное устройство управляет экранным дисплеем с использованием информации, отсортированной в убывающей последовательности приоритета. Например, если приоритет информации изображения является высоким, электронное устройство может управлять экранным дисплеем на основе информации изображения. Иначе, если приоритет данных датчика является высоким, электронное устройство может управлять экранным дисплеем на основе данных датчика. Например, если приоритет данных датчика является выше, чем приоритет данных информации изображения, электронное устройство может управлять экранным дисплеем на основе данных датчика. Информация изображения может отражаться после управления экранным дисплеем на основе данных датчика или может использоваться для компенсации данных датчика.

[39] фиг. 3 и фиг. 4 - блок-схемы последовательности этапов, иллюстрирующие процедуры управления экранным дисплеем с использованием камеры низкого разрешения, в соответствии с вариантом осуществления настоящего изобретения.

[40] Ссылаясь на вариант осуществления фиг. 3, электронное устройство определяет то, присутствует ли или отсутствует пользователь, с использованием камеры низкого разрешения в операции 310а. Камера низкого разрешения является камерой, работающей в режиме низкого разрешения, осуществляемом с помощью установки значений конфигурации в значения черного и белого низкого разрешения. Электронное устройство потребляет низкое питание в режиме низкого разрешения по сравнения с режимом высокого разрешения.

[41] Если определено, что пользователь присутствует, электронное устройство изменяет значение конфигурации камеры в операции 320а. Опять камера работает как камера низкого разрешения. Значение конфигурации может быть любым из скорости камеры, т.е., кадров в секунду (FPS) и международной организации по стандартизации (IOS). Электронное устройство также может изменять, по меньшей мере, одно из диафрагмы камеры, скорости затвора, значения экспозиции (EV), баланса белого (WB) и времени экспозиции. Электронное устройство может увеличивать скорость распознавания камеры с помощью изменения значений конфигурации камеры.

[42] В операции 330а электронное устройство распознает позицию лица пользователя с использованием камеры с измененными значениями конфигурации. Позиция лица может быть позицией, в которой расположено лицо пользователя.

[43] В операции 340а электронное устройство управляет экранным дисплеем электронного устройства на основе позиции лица.

[44] В другом варианте осуществления электронное устройство получает данные датчика с использованием, по меньшей мере, одного датчика в операции 340b. Поскольку датчик и данные датчика являются одинаковыми с данными и данными датчика, описанными со ссылкой на фиг. 2, описание их пропускается в настоящем раскрытии. Для ссылки, электронное устройство может определять то, является ли освещенность достаточной, чтобы распознавать лицо посредством камеры на основе данных датчика датчика освещенности. Электронное устройство может определять то, выполнять ли обработку изображения, когда камера выполняется при обработке вызова, на основе данных датчика датчика близости. Электронное устройство может также определять то, можно ли получать информацию из камеры постоянно, вследствие перевернутого положения или существенного дрожания электронного устройства, на основе данных датчика датчика движения.

[45] В операции 350b электронное устройство получает информацию координат с помощью отображения данных датчика и позиции лица в устройство дисплея электронного устройства. Электронное устройство может получать информацию координат в позиции устройства дисплея, которая соответствует позиции взгляда. В соответствии с различными вариантами осуществления, электронное устройство может управлять экранным дисплеем электронного устройства на основе только полученной информации координат.

[46] В операции 360b электронное устройство определяет направление и скорость на основе изменения координат во времени. Если позиция взгляда изменяется во времени с момента, когда позиция взгляда была обнаружена, электронное устройство может определить направление движения или скорость позиции взгляда с использованием первоначальной позиции взгляда и измененной позиции взгляда. В соответствии с различными вариантами осуществления, электронное устройство может компенсировать информацию направления и/или информацию скорости с использованием данных датчика, полученных датчиком.

[47] В операции 370b электронное устройство может управлять экранным дисплеем на основе информации направления и/или информации скорости.

[48] Ссылаясь на фиг. 4, электронное устройство определяет то, присутствует ли или отсутствует пользователь, с использованием камеры низкого разрешения в операции 410а.

[49] Если определено, что пользователь присутствует, электронное устройство получает данные датчика с использованием датчика в операции 420а.

[50] В операции 430а электронное устройство управляет экранным дисплеем на основе данных датчика. Таким образом, электронное устройство может управлять экранным дисплеем с использованием информации относительно позиции лица, распознанной с использованием камеры низкого разрешения, вместе с данными датчика.

[51] В варианте осуществления электронное устройство определяет то, можно ли получить изображение из камеры, на основе данных датчика в операции 430b. Электронное устройство анализирует данные датчика, полученные из датчика освещенности, чтобы определить то, больше или равно ли окружающая освещенность порогу, и, таким образом, то, можно ли получить изображение с использованием камеры. Электронное устройство может анализировать данных датчика из датчика близости, чтобы определять то, находится ли расстояние от позиции лица пользователя в пределах порогового расстояния, и, таким образом, то, можно ли получить изображение с использованием камеры.

[52] Если определено, что получение изображения является возможным, электронное устройство изменяет значение конфигурации камеры на основе данных датчика в операции 440b. Значение конфигурации может быть скоростью камеры, т.е., FPS или чувствительностью камеры.

[53] В операции 450b электронное устройство может распознать позицию лица пользователя с использованием камеры, сконфигурированной с измененным значением конфигурации.

[54] В операции 460b электронное устройство управляет экранным дисплеем на основе позиции лица пользователя.

[55] Иначе, если определено, что получение изображения является невозможным, электронное устройство останавливает работу камеры и управляет экранным дисплеем на основе данных датчика в операции 470b. То есть, электронное устройство может управлять экранным дисплеем на основе только данных датчика.

[56] Фиг. 5а по фиг. 5e - диаграммы, иллюстрирующие экранные дисплеи для объяснения способа управления экранным дисплеем в соответствии с вариантом осуществления настоящего изобретения.

[57] Ссылаясь на фиг. 5а по фиг. 5е, электронное устройство 500 может управлять камерой в одном из режимов низкого и высокого разрешения, в зависимости или независимо от состояния питания.

[58] Фиг. 5а изображает ситуацию управления экранным дисплеем в ответ на команду прокрутки (интеллектуальной прокрутки). Если выполняется команда интеллектуальной прокрутки, электронное устройство 500 активизирует приложение, поддерживающее прокрутку. Электронное устройство может прокручивать содержимое, отображенное на устройстве дисплея, влево, вправо, вверх или вниз в соответствии с лицом, распознанным камерой. Например, если первая позиция 510 взгляда изменяется на вторую позицию 520 взгляда на устройстве дисплея электронного устройства 500, электронное устройство 500 прокручивает экран снизу вверх на устройстве дисплея, так что нижняя часть содержимого появляется на экране. Электронное устройство 500 может обнаруживать снижение лица или подъем лица на основе, по меньшей мере, одного из позиции взгляда, позиции лица и угла лица, чтобы определять направление и/или скорость прокрутки. Электронное устройство 500 может прокручивать экран в соответствии с определенным направлением и/или скоростью прокрутки.

[59] В соответствии с различными вариантами осуществления настоящего изобретения, электронное устройство 500 может компенсировать направление прокрутки и/или скорость прокрутки на основе данных датчика, полученных из датчика. Например, электронное устройство 500 определяет то, соответствует ли позиция взгляда пользователя, полученная посредством камеры, устройству дисплея, на основе датчика наклона и, если так, прокручивает экран с использованием только данных датчика. Гироскопический датчик считывает степень наклона электронного устройства 500 и управляет направлением прокрутки и/или скоростью прокрутки в соответствии со степенью наклона. Например, если электронное устройство 500 наклоняется вверх дважды при быстром движении, экран может быстро прокручиваться вверх. При этом, если электронное устройство 500 наклоняется один раз вниз, прокрутка вверх останавливается. Также, если электронное устройство наклоняется вниз дважды, прокрутка вверх останавливается и начинается прокрутка вниз. Пользователь может вручную конфигурировать, по меньшей мере, одно из направления, угла и скорости. Если полученные данные датчика соответствуют, по меньшей мере, одной из информации направления, угла и скорости, электронное устройство 500 прокручивает экран в соответствии, по меньшей мере, с одной из информации направления, угла и скорости.

[60] В соответствии с различными вариантами осуществления, если невозможно распознать лицо пользователя с использованием камеры, электронное устройство 500 может получить данные датчика из датчика. Электронное устройство 500 определяет то, манипулирует ли им пользователь, на основе данных датчика. Например, если определено, что электронное устройство 500 поддерживает положение, расположенное плоско горизонтально, как, если бы оно располагалось на столе без какого-либо ввода, электронное устройство 500 определяет, что оно не используется. Если определено, что электронное устройство не используется, электронное устройство может уменьшить частоту кадров камеры. Если не обнаруживается никакой ввод в пороговое время, электронное устройство 500 останавливает работу камеры. То есть, электронное устройство определяет то, используется ли оно, на основе данных датчика и регулирует частоту кадров камеры, что выключить камеру, если определено, что электронное устройство 500 не используется.

[61] Фиг. 5b изображает ситуацию управления экранным дисплеем в ответ на команду воспроизведения (интеллектуального воспроизведения). Например, электронное устройство 530 может воспроизводить музыкальный контент. Если позиция взгляда находится на устройстве дисплея, отображающем музыкальный контент, электронное устройство 540 может воспроизвести музыкальный контент.

[62] Фиг. 5с изображает ситуацию управления экранным дисплеем в ответ на команду паузы (интеллектуальной паузы). Если позиция взгляда пользователя находится на устройстве дисплея, электронное устройство воспроизводит музыкальный контент, как изображено на экранном дисплее 550. В состоянии воспроизведения музыкального контента, если позиция взгляда пользователя перемещается из устройства дисплея, электронное устройство приостанавливает воспроизведение музыкального контента, как изображено на экранном дисплее 560.

[63] Фиг. 5d изображает ситуацию управления экранным дисплеем в ответ на команду уменьшения масштаба (интеллектуального уменьшение масштаба) или увеличения масштаба (интеллектуального увеличение масштаба). Электронное устройство 570 может уменьшать масштаб или увеличивать масштаб содержимого в соответствии с расстоянием между позицией взгляда пользователя и устройством дисплея. Электронное устройство 570 может отображать содержимое на пороговом расстоянии (d0) между позицией взгляда и устройством дисплея. Если расстояние между позицией взгляда и устройством дисплея (d1) больше или равно пороговому расстоянию (d0) (d0≤d1), электронное устройство может уменьшить масштаб содержимого, как изображено на рисунке 570а. Если расстояние между позицией взгляда и устройством дисплея (d2) меньше чем расстояние (d0) (d0>d2), электронное устройство может увеличить масштаб содержимого, как изображено на рисунке 570b.

[64] Фиг. 5е изображает ситуацию управления экранным дисплеем в ответ на команду реакции. Если позиция взгляда находится на устройстве дисплея, электронное устройство может принять входящий вызов, как изображено на рисунке 580а. То есть, если позиция взгляда перемещается слева направо, как изображено на рисунке 580а, электронное устройство принимает входящий вызов (ответ: да). Иначе, если позиция взгляда перемещается справа налево, как изображено на рисунке 580b, электронное устройство может отклонить входящий вызов (ответ: нет).

[65] В соответствии с различными вариантами осуществления, электронное устройство может управлять экранным дисплеем в ответ на команду остановки (интеллектуальной остановки). Команда остановки является, чтобы давать команду поддерживать экран, отображенный на устройстве дисплея электронного устройства в том виде, как он включен. В случае команды остановки электронное устройство требует широкий угол зрения и может использовать переднюю камеру, работающую в режиме YUV, чтобы уменьшать вероятность ошибочного распознавания лица.

[66] Фиг. 6а и фиг. 6b - диаграммы, иллюстрирующие ситуацию управления экранным дисплеем в соответствии с вариантом осуществления настоящего изобретения.

[67] Ссылаясь на фиг. 6а, электронное устройство 600 может выполнять приложение книги, такое, что устройство дисплея отображает страницу, как изображено на рисунке 610. Если датчик движения обнаруживает, что электронное устройство, стоящее прямо, падает плоско на свою заднюю сторону, как обозначено ссылочным номером 600а, электронное устройство переворачивает текущую страницу на следующую страницу, как изображено на рисунке 600а. Если обнаружено, что позиция взгляда пользователя расположена на правом крае текущей страницы, электронное устройство 600 может перевернуть текущую страницу на следующую страницу на устройстве дисплея.

[68] Ссылаясь на фиг. 6b, электронное устройство 600 может управлять экранным дисплеем внешнего устройства 640, соединенного с ним. Внешнее электронное устройство 640 может быть любым из всех типов электронных устройств, соединяемых снаружи электронного устройства 600, таким как телевизор, монитор компьютера, телеприставка, навигатор, громкоговоритель, и тому подобные. При этом электронное устройство 600 может быть соединено с внешним электронным устройством 650 через внешнее устройство 630. В случае, когда электронное устройство 600 соединяется с внешним электронным устройством 640, можно управлять экранным дисплеем внешнего электронного устройства 640 на основе лица пользователя, распознанного посредством камеры. Например, если позиция распознанного лица пользователя находится на внешнем электронном устройстве 640, электронное устройство 600 может продолжать предоставление данных экрана во внешнее электронное устройство 640. Если позиция распознанного лица пользователя выходит из устройства дисплея и внешнего электронного устройства 640, электронное устройство 600 может остановить воспроизведение контента на внешнем электронном устройстве 640. Если позиция лица находится вне устройства дисплея и внешнего электронного устройства 640 выше порогового времени, электронное устройство 600 может выключить внешнее электронное устройство 640 или управлять внешним электронным устройством 640, чтобы войти в режим экономии питания.

[69] В соответствии с различными вариантами осуществления, если внешнее электронное устройство 640 является громкоговорителем, электронное устройство 600 может выводить речь пользователя противоположной стороны вызова через громкоговоритель в режиме телефонии. Если внешнее электронное устройство 640 является устройством навигации или встроенным автомобильным устройством, электронное устройство 600 может обнаруживать экстренные ситуации на основе лица и перемещения пользователя. Например, экстренной ситуацией может быть одной из, дремоты, отвлекания внимания от дороги или нахождения препятствия на дороге. Если определено, что пользователь дремлет, электронное устройство 600 может вывести сигнал или объявление тревоги или уведомить о ситуации на дороге.

[70] Фиг. 7 - блок-схема, иллюстрирующая конфигурацию электронного устройства в соответствии с вариантом осуществления настоящего изобретения.

[71] Ссылаясь на фиг. 7, электронное устройство 700 включает в себя устройство 710 управления, устройство 720 камеры, устройство 730 дисплея, устройство 740 ввода, устройство 750 источника питания, устройство 760 датчика и устройство 770 связи.

[72] Устройство 710 управления определяет разрешение устройства 720 камеры. В соответствии с различными вариантами осуществления настоящего изобретения, устройство 710 управления может устанавливать разрешение устройства 720 камеры в высокое или низкое, независимо от состояния питания электронного устройства 700. Устройство 710 управления может определять то, находится ли электронное устройство 700 в состоянии высокого питания или в состоянии низкого питания, в зависимости от того, больше и равно ли питание электронного устройства порогу, и/или соединено ли электронное устройство с внешним устройством. Например, если питание электронного устройства 700 больше или равно порогу, или, если электронное устройство 700 соединено с внешним устройством, устройство 710 управления определяет это, как состояние высокого питания и устанавливает разрешение устройства 720 камеры в высокое. Внешнее устройство подает питание в электронное устройство 700. Если питание электронного устройства ниже, чем порог, и, если внешнее устройство не соединено с электронным устройством 700, устройство 710 управления определяет это как состояние низкого питания и устанавливается разрешение камеры в низкое. Электронное устройство снабжается питанием через устройство 750 источника питания. Устройство источника питания может быть соединено с внешним устройством.

[73] Устройство 710 управления управляет общими операциями электронного устройства 700 и потоками сигналов между внутренними компонентами электронного устройства 700, обработками данных и управляет подачей питания в компоненты. Устройство 710 управления включает в себя центральный процессор (CPU) и устройство обработки графики (GPU). Как широко известно в данной области техники, CPU является устройством управления ядра компьютерной системы, которая выполняет оперирование и сравнение данных, и интерпретацию и выполнение команд. GPU является устройство управления графикой выполнения оперирования и сравнения графических данных, и интерпретации и выполнения команд. Каждый из CPU и GPU может быть интегрирован в корпус одной интегральной схемы, включающей в себя два или более независимых ядер (например, счетверенное ядро). CPU и GPU также могут быть интегрированы в чип в виде системы на чипе (SoC). CPU и GPU также могут быть осуществлены в виде многослойного корпуса. Корпусные CPU и GPU могут быть упомянуты как прикладной процессор (АР).

[74] Камера 710 может работать с определенным разрешением, чтобы распознавать лицо пользователя. В соответствии с различными вариантами осуществления настоящего изобретения, устройство 720 камеры работает с высоким разрешением, чтобы получать позицию взгляда пользователя. Устройство 710 камеры может работать с низким разрешением, чтобы распознавать позицию лица пользователя.

[75] Устройство 730 дисплея может отображать экран, управляемый на основе лица. Устройство 730 дисплея отображает изображение на экране под управлением устройства 710 управления. То есть, устройство 710 управления обрабатывает данные, чтобы генерировать изображение, подготовленное для экрана (например, декодирование данных), в буфер, и устройство 730 дисплея преобразует буферизированное изображение в аналоговые сигналы, такие, что изображение представляется на экране. Устройство 730 дисплея может быть осуществлено с помощью любого из жидкокристаллического дисплея (LCD), органических светодиодов (OLED), OLED активной матрицы (AMOLED) и гибкого дисплея. В соответствии с различными вариантами осуществления настоящего изобретения, устройство 730 дисплея может быть интегрировано в устройство 740 ввода.

[76] Устройство 740 ввода включает в себя множество кнопок для приема алфавитно-цифровой информации и конфигурирования различных функций. Примеры кнопок включают в себя кнопку меню, кнопку включения/выключения экрана, кнопку включения/выключения питания, кнопку управления громкостью и т.д. Устройство 740 ввода генерирует установку пользователя и сигналы кнопок управления функциями электронного устройства в устройство 710 управления. Примеры сигнала кнопки включают в себя сигнал включения/выключения питания, сигнал управления громкостью, сигнал включения/выключения экрана, сигнал затвора и т.д. Устройство 710 управления управляет вышеупомянутыми компонентами в ответ на сигнал кнопки. Кнопки, составляющие устройство 740 ввода, упоминаются как аппаратные кнопки, а кнопки, представленные на устройстве 730 дисплея, упоминаются как программные кнопки.

[77] В соответствии с различными вариантами осуществления устройство 710 управления получает информацию координат с помощью отображения позиции взгляда в устройство 730 дисплея и управляет экранным дисплеем на основе полученной информации координат. Устройство 710 управления определяет информацию направления и скорости на основе изменения информации координат и управляет экранным дисплеем на основе информации направления и скорости. Устройство 710 управления также определяет то, присутствует ли или отсутствует пользователь, с использованием устройства 720 камеры, работающем в режиме низкого разрешения, и, если пользователь присутствует, изменяет значение конфигурации устройства 720 камеры, чтобы распознавать позицию лица пользователя. Значение конфигурации может быть скоростью камеры, т.е., FPS или чувствительностью камеры.

[78] Устройство 760 датчика может включать в себя, по меньшей мере, один из датчика движения, гироскопического датчика, датчика ускорения, датчика влажности, датчика близости, инфракрасного датчика, датчика освещенности, датчика магнитного поля земли, датчика наклона и датчика утечки. Датчик может получать данные датчика, включающие в себя, по меньшей мере, одно или комбинацию из изменения угла, изменения направления, изменения позиции, изменения положения, изменения силы и изменения скорости. Датчик обнаруживает событие движения, произведенное пользователем, таким образом, чтобы получить данные датчика, по меньшей мере, из одного или любой комбинации увеличения масштаба щипком, касания краем руки и движения воздуха.

[79] В соответствии с различными вариантами осуществления, устройство 710 управления принимает данные датчика из устройства 760 датчика, чтобы получить информацию координат на основе данных датчика и отображения позиции лица в устройство дисплея электронного устройства. Устройство 710 управления определяет информацию направления и скорости на основе изменения информации координат во времени. То есть, устройство 710 управления получает информацию координат с использованием позиции лица и данных датчика и точно определяет направление движения и скорость.

[80] В соответствии с различными вариантами осуществления, если определено, что пользователь присутствует, устройство 710 управления активирует, по меньшей мере, один датчик устройства 760 датчика и управляет экранным дисплеем на основе данных датчика, предоставленных устройством 760 датчика. Устройство 710 управления определяет то, можно ли получить изображение из камеры на основе данных датчика, и, если так, изменяет значения конфигурации камеры на основе данных датчика, чтобы распознавать позицию лица пользователя. Если невозможно получить изображение из камеры, устройство 710 управления останавливает работу устройства 720 камеры и управляет экранным дисплеем на основе данных датчика.

[81] В соответствии с различными вариантами осуществления, устройство 710 управления может назначать приоритеты информации изображения, полученной с использованием устройства 720 камеры, и данным датчика. Устройство 710 управления может управлять экранным дисплеем на основе информации, отсортированной в убывающей последовательности. Например, если устройство 720 камеры работает в режиме высокого разрешения, устройство 710 управления может назначить высокий приоритет информации изображения по сравнению с данными датчика. Иначе, если устройство 720 камеры работает в режиме низкого разрешения, устройство 710 управления может назначить низкий приоритет информации изображения по сравнению с данными датчика.

[82] Таким образом, устройство 710 управления может управлять экранным дисплеем устройства 730 дисплея совместно, по меньшей мере, с одной из команды прокрутки, воспроизведения, паузы, уменьшения масштаба, увеличения масштаба, остановки и реакции.

[83] Электронное устройство 700 может также функционировать как, по меньшей мере, одно из устройства вывода (не изображено), устройства 770 связи и памяти (не изображена).

[84] Устройство вывода может включать в себя микрофон и громкоговоритель. Устройство вывода может вводить и выводить аудио сигналы (например, речевые данные), относящиеся к распознаванию речи, записи речи, цифровой записи и телефонии. Устройство вывода преобразует аудио сигналы из устройства 710 управления в аналоговый сигнал (D/A преобразование) и усиливает и выводит сигналы через громкоговоритель. Устройство вывода преобразует аудио сигнал (первый звуковой сигнал), принятый через микрофон, в цифровой сигнал (A/D преобразование) и предает цифровой сигнал в устройство 710 управления. Громкоговоритель преобразует аудио сигнал (звуковые данные) в звуковой сигнал. Микрофон преобразует звуковой сигнал, сгенерированный человеком или другим источником звука, в аудио сигнал.

[85] Устройство 770 связи является ответственным за связь речи, видео и/или данных с другим электронным устройством через сеть по управлением устройства 710 управления. Устройство 770 связи включает в себя радиочастотный (RF) передатчик для преобразования частоты с повышением частоты и усиления сигнала передачи, и RF приемник для усиления с низким шумом и преобразования частоты с понижением частоты принятого сигнала. Устройство 770 связи может включать в себя модуль мобильной связи (например, модуль мобильной связи 3-го поколения (3G), модуль мобильной связи 3.5G и модуль мобильной связи 4G), модуль цифрового широкого вещания (например, модуль DMB, и модуль связи ближнего действия (например, модуль Wi-Fi, модуль Bluetooth и модуль беспроводной связи ближнего действия (NFC).

[86] Память может сохранять приложения программного обеспечения, относящиеся к работе электронного устройства 700, и различные данные, принимаемые или генерируемые в результате работы электронного устройства 700. Память может быть определенным типом цифровой памяти, читаемой и записываемой. Память может включать в себя устройство вторичной памяти устройства 710 управления, такое как диск, память произвольного доступа (RAM), постоянная память (ROM) и флэш-память. Память может сохранять информацию (например, контакт), генерируемую электронным устройством 700, и данные (например, сообщение и файл движущегося изображения), принимаемые извне через устройство 770 связи. Память может сохранять информацию относительно изображения (например, клавиатуры, движущегося изображение и сообщения), такую как объем информации и область отображения информации).

[87] Как описано выше, способ и устройство управления дисплеем настоящего изобретения является выгодным в том, что экранный дисплей электронного устройства управляется в зависимости от присутствия/отсутствия пользователя, независимо от состояния питания, таким образом, чтобы улучшать эффективность использования питания электронного устройства.

[88] Также способ и устройство управления дисплеем настоящего изобретения является выгодным в том, что электронное устройство выполняет функции, выборочно влияющие на потребление питания, в зависимости от своего состояния питания, таким образом, чтобы улучшать эффективность использования питания электронного устройства.

[89] Несмотря на то, что настоящее изобретение было изображено и описано со ссылкой на различные его варианты осуществления, специалисты в данной области техники поймут, что различные изменения по форме и в деталях могут быть сделаны в них, не выходя за рамки сущности и объема настоящего изобретения, как определено прилагаемой формулой изобретения и ее эквивалентами.

Изобретение относится к способу управления экранным дисплеем. Технический результат заключается в расширении арсенала средств. Способ управления экранным дисплеем (550) электронного устройства (500) включает в себя этапы, на которых определяют (110) посредством электронного устройства разрешение камеры (720) путем выбора одного из высокого разрешения и низкого разрешения, распознают лицо пользователя с использованием камеры, работающей с определенным разрешением (120), и управляют экранным дисплеем посредством распознавания лица. При этом, когда камера работает с низким разрешением, распознают позицию лица пользователя, а когда камера работает с высоким разрешением, получают позицию взгляда пользователя, и при этом определение разрешения содержит этапы, на которых определяют состояние питания электронного устройства; и выбирают одно из высокого разрешения или низкого разрешения в зависимости от состояния питания электронного устройства. 2 н. и 16 з.п. ф-лы, 12 ил.

1. Способ управления экранным дисплеем (550) электронного устройства (500), причем способ включает в себя этапы, на которых

определяют (110) посредством электронного устройства разрешение камеры (720) путем выбора одного из высокого разрешения и низкого разрешения,

распознают посредством электронного устройства лицо пользователя с использованием камеры, работающей с определенным разрешением (120), и

управляют экранным дисплеем электронного устройства посредством распознавания лица, и

при этом распознавание лица пользователя содержит этапы, на которых:

когда камера работает с низким разрешением, распознают позицию лица пользователя; и

когда камера работает с высоким разрешением, получают позицию взгляда пользователя,

при этом определение разрешения содержит этапы, на которых:

определяют состояние питания электронного устройства; и

выбирают одно из высокого разрешения или низкого разрешения в зависимости от состояния питания электронного устройства.

2. Способ по п.1, в котором этап, на котором определяют состояние питания, содержит этапы, на которых:

определяют, когда состояние питания электронного устройства больше или равно порогу, или электронное устройство соединяется с внешним устройством, состояние питания как состояние высокого питания; и

определяют, когда состояние питания электронного устройства меньше, чем порог, или электронное устройство не соединяется с внешним устройством, состояние питания как состояние низкого питания.

3. Способ по п.2, в котором этап, на котором определяют разрешение, содержит этап, на котором устанавливают разрешение камеры в высокое для состояния высокого питания и в низкое для состояния низкого питания.

4. Способ по п.1, в котором этап, на котором управляют экранным дисплеем, содержит этапы, на которых:

получают информацию координат с помощью отображения позиции взгляда в дисплей электронного устройства (500), когда камера (720) работает с высоким разрешением; и

управляют экранным дисплеем (550) на основе информации координат.

5. Способ по п.4, в котором этап, на котором управляют экранным дисплеем, содержит этапы, на которых:

определяют по меньшей мере одну из информации направления или информации скорости на основе изменения информации координат во времени; и

управляют экранным дисплеем на основе информации направления или информации скорости.

6. Способ по п.1, в котором этап, на котором распознают лицо, содержит этапы, на которых:

определяют, присутствует ли пользователь, с использованием камеры (720), работающей с низким разрешением;

изменяют, когда пользователь присутствует, значения конфигурации камеры.

7. Способ по п.6, в котором этап, на котором управляют экранным дисплеем (550), содержит этапы, на которых:

получают данные датчика с использованием по меньшей мере одного датчика;

получают информацию координат посредством отображения в дисплей электронного устройства (500) на основе данных датчика и позиции лица;

определяют по меньшей мере одну из информации направления и информации скорости на основе изменения информации координат; и

управляют экранным дисплеем на основе по меньшей мере одной из информации направления и информации скорости.

8. Способ по п.1, в котором этап, на котором управляют экранным дисплеем (550), содержит этапы, на которых:

определяют, присутствует ли пользователь, с использованием камеры (720), работающей с низким разрешением;

управляют, когда пользователь присутствует, по меньшей мере одним датчиком;

получают данные датчика по меньшей мере из одного датчика; и

управляют экранным дисплеем на основе данных датчика.

9. Способ по п.8, в котором этап, на котором распознают лицо, содержит этапы, на которых:

определяют, может ли камера (720) предоставлять изображение, на основе данных датчика; и

изменяют, когда камера может предоставлять изображение, значение конфигурации камеры на основе данных датчика, чтобы распознавать позицию лица пользователя.

10. Способ по п.9, в котором этап, на котором управляют экранным дисплеем (550), содержит этапы, на которых:

останавливают, когда камера не может предоставлять изображение, работу камеры; и

управляют экранным дисплеем на основе данных датчика.

11. Способ по п.1, в котором этап, на котором управляют экранным дисплеем (550), содержит этапы, на которых:

получают данные датчика из датчика,

назначают приоритеты информации изображения, предоставленной камерой (720), и данным датчика; и

управляют экранным дисплеем (550) с использованием информации, отсортированной в убывающей последовательности приоритетов.

12. Способ по п.1, в котором этап, на котором управляют экранным дисплеем (550), содержит этап, на котором управляют по меньшей мере одной из операций прокрутки, воспроизведения, паузы, уменьшения масштаба, увеличения масштаба и управления реакцией совместно с экранным дисплеем.

13. Электронное устройство (500) для управления экраном дисплея, содержащее:

устройство управления (710), сконфигурированное с возможностью определения разрешения путем выбора одного из высокого разрешения и низкого разрешения;

камеру (720), сконфигурированную с возможностью работы с разрешением, определенным устройством управления, чтобы распознавать лицо пользователя, и

устройство (730) дисплея, сконфигурированное с возможностью отображения экрана устройства управления посредством распознавания лица,

при этом устройство (710) управления сконфигурировано с возможностью распознавания лица пользователя при работе камеры так, чтобы:

когда камера работает с низким разрешением, распознавать позицию лица пользователя; и

когда камера работает с высоким разрешением, получать позицию взгляда пользователя; и

при этом устройство (710) управления сконфигурировано с возможностью определять состояние питания электронного устройства и выбирать разрешение камеры как высокое разрешение или низкое разрешение в зависимости от состояния питания электронного устройства.

14. Электронное устройство по п.13, в котором устройство управления сконфигурировано с возможностью получения информации о координатах с помощью отображения позиции взгляда в устройство дисплея электронного устройства и управления экранным дисплеем на основе информации о координатах.

15. Электронное устройство по п.13, в котором устройство управления сконфигурировано с возможностью управления камерой с низким разрешением, чтобы определять, присутствует ли пользователь, и изменения, когда пользователь присутствует, значения конфигурации камеры, чтобы распознавать позицию лица пользователя.

16. Электронное устройство по п.15, содержащее также по меньшей мере один датчик, сконфигурированный с возможностью предоставления данных датчика,

причем устройство управления сконфигурировано с возможностью получения информации о координатах посредством отображения в устройство дисплея электронного устройства на основе данных датчика и позиции лица, определения по меньшей мере одной из информации направления или информации скорости на основе изменения информации о координатах и управления экранным дисплеем на основе по меньшей мере одной из информации направления или информации скорости.

17. Электронное устройство по п.13, содержащее также по меньшей мере один датчик, сконфигурированный с возможностью предоставления данных датчика,

причем устройство управления сконфигурировано с возможностью назначения приоритетов информации изображения, предоставленной камерой, и данным датчика, и управления экранным дисплеем с использованием информации, отсортированной в убывающей последовательности приоритетов.

18. Электронное устройство по п.13, в котором устройство управления сконфигурировано с возможностью управления по меньшей мере одной из операций прокрутки, воспроизведения, паузы, уменьшения масштаба, увеличения масштаба и управления ответом, совместно с экранным дисплеем.