УСТРОЙСТВО И СПОСОБ УПРАВЛЕНИЯ ОБЪЕКТОМ ПОЛЬЗОВАТЕЛЬСКОГО ПРИБОРА Российский патент 2018 года по МПК G06K9/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится, в общем, к устройству и способу управления объектом пользовательского прибора и, в частности, к устройству и способу управления объектом пользовательского прибора с использованием жестов наведения.

УРОВЕНЬ ТЕХНИКИ

По мере расширения применения таких мобильных устройств, как смартфоны, планшетные персональные компьютеры (ПК) и переносные ПК, непрерывно разрабатываются пользовательские устройства с поддержкой воспринимающего касание экрана. Устройство с поддержкой воспринимающего касание экрана позволяет пользователю управлять функциями при помощи устройства отображения и вводить информацию путем различных взаимодействий, например, жестов касанием, речи и движения.

Поскольку функциональность мобильного устройства усложняется, для исполнения некоторой функции требуются различные взаимодействия пользователя. Обычно, с помощью пользовательского интерфейса (Ul), обеспечиваемого на экране пользовательского устройства, пользователь должен выполнить ряд действий согласно принципам разработки устройства, чтобы выполнить некоторую функцию. Например, чтобы переслать некоторый контент в другое устройство, необходимо произвести последовательно ввод для установления соединения между устройствами, ввод для выбора контента, ввод для входа в меню пересылки и ввод для запроса на передачу. Приведенные действия пользователя лишены интуитивного понимания и, следовательно, функцией устройства трудно управлять, особенно, тем, кто не знаком с устройством. Соответственно, в настоящее время проводят многочисленные исследования по манипулированию пользователем с пользовательским устройством посредством интуитивных жестов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение создано с целью устранения, по меньшей мере, вышеописанных проблем и недостатков и обеспечения, по меньшей мере, нижеописанных преимуществ.

Соответственно, один аспект настоящего изобретения заключается в создании устройства и способа управления объектом пользовательского устройства, которые допускают манипулирование функциями пользовательского устройства посредством интуитивно-понятных жестов.

Другой аспект настоящего изобретения заключается в создании устройства и способа управления объектом пользовательского устройства, которые допускают выполнение некоторой функции пользовательского устройства, например, функций пересылки файлов и удаления файлов, посредством интуитивно-понятных жестов.

В соответствии с аспектом настоящего раскрытия предлагается способ управления объектом терминала. Способ содержит отображение по меньшей мере одного объекта на экране отображения; обнаружение многопальцевого жеста наведения для выбора объекта на экране отображения; активизации камеры после обнаружения многопальцевого жеста наведения; распознавание руки на картине, вводимой камерой, и вход, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.

В соответствии с другим аспектом настоящего раскрытия предлагается терминал. Терминал содержит блок радиосвязи, который передает и принимает радиосигналы, блок отображения, который отображает по меньшей мере один объект; воспринимающий блок, который воспринимает жест пользователя по отношению к объекту; блок камеры, который получает изображение жеста пользователя; и блок управления, который управляет воспринимающим блоком для обнаружения многопальцевого жеста наведения для выбора объекта на экране отображения, активизирует камеру после обнаружения многопальцевого жеста наведения, распознает руку в изображении, вводимом через блок камеры, и управляет терминалом для входа, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеприведенные и другие аспекты, признаки и преимущества некоторых вариантов осуществления настоящего изобретения будут понятны из нижеследующего подробного описания в связи с прилагаемыми чертежами, на которых:

Фиг. 1 - блок-схема, представляющая конфигурацию мобильного терминала согласно варианту осуществления настоящего изобретения;

Фиг. 2 - блок-схема последовательности операций, представляющая способ управления объектом терминала согласно варианту осуществления настоящего изобретения;

Фиг. 3 - представляет взаимодействие пользователя для пересылки объекта по способу управления объектом согласно варианту осуществления настоящего изобретения;

Фиг. 4 представляет взаимодействие пользователя для удаления объекта по способу управления объектом согласно варианту осуществления настоящего изобретения;

Фиг. 5 представляет эффект визуальной обратной связи в соответствии с жестом захвата по способу управления объектом согласно варианту осуществления настоящего изобретения;

Фиг. 6 - схема потока сигналов, представляющая процедуру пересылки файла способа управления объектом согласно варианту осуществления настоящего изобретения;

Фиг. 7 представляет процедуру пересылки объекта в способе управления объектом согласно варианту осуществления настоящего изобретения;

Фиг. 8 представляет визуальную обратную связь при приеме файла в способе управления объектом согласно варианту осуществления настоящего изобретения; и

Фиг. 9 представляет процедуру пересылки файла кинокартины в способе управления объектом согласно варианту осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Различные варианты осуществления настоящего изобретения подробно описаны со ссылкой на прилагаемые чертежи. Термины и формулировки, используемые в настоящем описании и прилагаемой формуле изобретения, не подлежат интерпретации в общем или лексикографическом смысле, а следует интерпретировать в смысле и по характеру соответственно технической идее настоящего изобретения. Таким образом, следует понимать, что могут существовать различные эквиваленты и видоизмененные примеры, которые могут заменить варианты осуществления, представленные в настоящем описании, и конфигурацию, показанную на чертежах, во время подачи настоящей заявки. На чертежах, некоторые элементы могут быть излишне увеличенными или пропущенными, или изображенными схематически для лучшего понимания изобретения, и фактические размеры элементов не показаны. Таким образом, настоящее изобретение не ограничено по относительным размерам элементам и расстояниям между ними.

В нижеследующем описании, пользовательское устройство способно обнаруживать жест пользовательского ввода, например, касание и наведение, который определяется на основании расстояния между воспринимающим касание (сенсорным) экраном и средством ввода касанием. Пользовательское устройство способно также обнаруживать единый ввод, содержащий один показатель ввода и множественные вводы, содержащие по меньшей мере два показателя ввода.

В последующем описании, термин «наведение» означает жест ввода, совершенный с помощью средства ввода касанием в пределах предварительно определенного диапазона расстояний от воспринимающего касание экрана. Например, жест наведения может быть совершен с помощью средства ввода касанием в диапазоне, в котором пользовательское устройство способно распознавать средство сенсорного ввода, чтобы генерировать входной сигнал.

В последующем описании, термин «жест» означает действие пользователя для выполнения ввода, и жест можно классифицировать как один из жеста мультинаведения и жеста рукой. В данном случае, жест мультинаведения означает действие пользователя, распознанное как наведение и переданное воспринимающему касание экрану, и может соответствовать основанному на наведении жесту пальцами. Жест рукой означает движение рукой, распознанное как ввод изображения посредством камеры, и может соответствовать поддерживаемому камерой жесту.

Устройство и способ управления объектом в соответствии с настоящим изобретением можно применить к мобильному терминалу. Мобильный терминал может представлять собой любое оборудование из мобильного телефона, смартфона, планшетного ПК, карманного ПК, портативного мультимедийного плейера (PMP), персонального цифрового секретаря (PDA) и т.п. Дальнейшее описание относится к устройству и способу управления объектом в соответствии с настоящим изобретением, примененным к мобильному терминалу.

На фиг. 1 представлена блок-схема, представляющая конфигурацию мобильного терминала согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 1, терминал 100 согласно варианту осуществления настоящего изобретения содержит блок 110 отображения, блок 120 ввода, блок 130 радиосвязи, блок 140 обработки аудио, блок 150 камеры, воспринимающий блок 160, блок 170 приема системы глобального позиционирования (GPS), блок 180 хранения и блок 190 управления.

Блок 110 отображения отображает различные экраны, связанные с функциями терминала 100. Блок 110 отображения преобразует видеоданные, введенные из блока 190 управления, в аналоговый сигнал для отображения на экране под управлением блока 190 управления. Блок 110 отображения может отображать экраны, связанные с работой терминала, например, экран блокировки, начальный экран, экран выполнения приложения (или app), экран меню, экранную клавиатуру, экран создания сообщений и экран сети Internet.

Блок 110 отображения обрабатывает объект, представленный на экране различимой графикой, в соответствии с жестом мультинаведения пользователя. Например, если обнаруживается основанный на мультинаведении жест захвата, то блок отображения может отобразить экран или объект с графическим эффектом, в котором размер экрана или объекта уменьшается. В данном случае, графический эффект может выражать уменьшение или увеличение размера отображения объекта согласно расстоянию между рукой пользователя и экраном. Если обнаруживается основанный на мультинаведении жест отпускания, то графический эффект приводит к увеличению размера объекта на экране блока 110 отображения. В данном случае, объект, отображенный на экране блока 110 отображения, может быть файлом-объектом, принятым из другого терминала. Блок 110 отображения может также обеспечивать графический эффект, увеличивающий размер экрана постепенно согласно количеству данных, принятых из другого терминала.

Блок 110 отображения может быть реализован с помощью одной из технологий жидкокристаллического устройства отображения (ЖКД), органических светоизлучающих диодов (ОСИД), активной матрицы на ОСИД (АМОСИД), гибкого устройства отображения и прозрачного устройства отображения.

Блок 110 отображения может содержать панель отображения для отображения различных экранов, связанных с операциями терминала и воспринимающую касание панель, покрывающую поверхность панели отображения для обнаружения жеста касанием и генерации соответствующего входного сигнала. Например, воспринимающую касание панель размещают на панели отображения. Воспринимающая касание панель может быть реализована в виде панели накладного типа, реализованной на передней поверхности блока 110 отображения, или типа on-cell или типа in-cell, реализуемого в блоке 110 отображения. Воспринимающая касание панель может быть одной из панелей резистивного типа, емкостного типа и индукционного типа. Блок 110 отображения может динамически отображать информацию выполнения приложения согласно повороту (или ориентации) терминала 100 и поддерживать переключение между альбомным режимом и портретным режимом согласно изменению ориентации.

Блок 120 ввода генерирует различные входные сигналы в ответ на пользовательский ввод. Блок 120 ввода может принимать ввод числовой или буквенной информации и включать в себя множество буквенно-цифровых клавиш и функциональных клавиш, например, боковые клавиши, клавиши быстрого вызова и клавишу ”Домой”. Блок 120 ввода может генерировать сигнал клавиши, связанный с управлением функцией и пользовательской настройкой, для блока 190 управления. Когда воспринимающая касание панель реализована как полный воспринимающий касание экран, блок 120 ввода может быть обеспечен как виртуальный воспринимающий касание планшет.

Когда воспринимающая касание панель включена в состав, блок 110 отображения может работать как часть блока 120 ввода. В данном случае, входной сигнал для управления терминалом может генерироваться воспринимающей касание панелью. Воспринимающая касание панель может обнаруживать жест касанием, совершенный средством ввода касанием (например, рукой пользователя и стилусом), и генерирует соответствующий входной сигнал. В частности, применена воспринимающая касание панель емкостного типа, воспринимающая касание панель может обнаруживать емкость согласно расстоянию между средством ввода касанием и экраном и идентифицировать жест пользователя согласно значению емкости. Расстояние между средством ввода касанием и экраном может измеряться датчиком измерения расстояния, например, инфракрасным датчиком. Блок 120 ввода может генерировать входной сигнал в ответ на жест пользовательского ввода, например, касание, множественное касание (“мультитач”), сигнальное наведение и жест мультинаведения.

Блок 130 радиосвязи обеспечен для функций связи терминала. Блок 130 радиосвязи устанавливает канал связи с сетью мобильной связи для связи, например, речевой связи, видеоконференции и передачи данных. Блок 130 радиосвязи может содержать радиочастотный (РЧ) приемник для усиления с малым уровнем шума принятого сигнала и его преобразования с понижением частоты. Блок 130 радиосвязи может содержать модуль сотовой связи (например, модуль сотовой связи 3-го поколения, модуль сотовой связи поколения 3,5 и модуль сотовой связи 4-го поколения), модуль цифрового вещания (например, модуль DMB) и модуль связи ближнего действия. В данном случае, модуль связи ближнего действия может содержать по меньшей мере один из модуля Wi-Fi, модуля Bluetooth и модуля, использующего технологию Wi-Fi Direct. Модуль связи ближнего действия может устанавливать канал связи с другим терминалом для обмена некоторыми файлами или данными под управлением блока 190 управления.

Терминал 100 может поддерживать режим точки доступа (AP). В режиме точки доступа (AP), терминал 100 может обмениваться данными с устройством, которое подсоединяется к терминалу 100 в качестве точки доступа (AP). Когда терминал 100 подключается к некоторой точке доступа (AP) для связи с другим терминалом, подключенным к точке доступа (AP), обмен файлами возможен через точку доступа (AP).

Блок 140 обработки аудио может содержать громкоговоритель (SPK) для выдачи аудиосигнала, сгенерированного или декодированного в терминале 100, и микрофон (MIC) для приема аудиосигнала для поддержки речевой связи и видеоконференции и функции записи. Блок 140 обработки аудио выполняет цифроаналоговое (DA) преобразование в отношении аудиоданных, содержащих речь, для генерирования аналогового сигнала для громкоговорителя (SPK) и выполняет аналого-цифровое (AD) преобразование в отношении аудиоданных, содержащих речевой ввод посредством микрофона (MIC), для генерирования цифрового сигнала для блока 160 управления. Блок 140 обработки аудио может быть снабжен кодеком (кодером/декодером), который может содержать кодек данных для обработки пакетных данных, и аудиокодек для обработки аудиосигналов, содержащих речь. Блок 140 обработки аудио преобразует аналоговый аудиосигнал вводимый из микрофона в цифровой аудиосигнал, с использованием аудиокодека, и цифровой аудиосигнал пересылается в блок 190 управления.

Блок 150 камеры обеспечен для съемки картин. Блок 150 камеры содержит датчик камеры для преобразования света в электрические сигналы, процессор сигналов изображения для преобразования аналогового сигнала обзора, полученного датчиком камеры, в цифровые данные и цифровой сигнальный процессор (DSP) для обработки цифровых данных, выводимых процессором сигналов изображения, (например, масштабирования, подавления шумов, преобразования сигнала RCG и т.п.), чтобы сгенерировать видеосигнал, подходящий для воспринимающего касание экрана. В данном случае, датчик камеры может быть любым из прибора с зарядовой связью (CCD) и датчика на комплементарной структуре металл-оксид-полупроводник (КМОП-структуре).

Блок 150 камеры может быть снабжен функцией датчика для распознавания жеста пользователя. Блок 150 камеры может выполнять множественные функции под управлением блока 190 управления. Например, блок 150 камеры может переносить изображение, вводимое объективом, в блок 190 управления, когда предварительно определенное приложение выполняется под управлением блока 190 управления.

Воспринимающий блок 160 обнаруживает жест пользовательского ввода и изменение окружающей среды вокруг пользовательского устройства 100 и генерирует соответствующую информацию, которая будет отправлена в блок 190 управления. Воспринимающий блок 160 может содержать по меньшей мере один из датчика касания, способного обнаруживать жест касанием, датчика близости для обнаружения приближения средства ввода касанием, датчика измерения расстояния для измерения расстояния между средством ввода касанием и устройством, датчика изображения для сбора видеоизображения, датчика распознавания движения для распознавания движения и действия в 3-мерном пространстве, датчика ориентации для обнаружения ориентации и датчика ускорения для обнаружения скорости перемещения.

Блок 170 GPS принимает сигналы GPS от спутников GPS под управлением блока 190 управления. Блок 170 GPS подключается к спутнику GPS для приема сигналов GPS. Блок 170 GPS передает принятый сигнал GPS в блок 190 управления. Блок 190 управления вычисляет текущее местоположение мобильного терминала на основании сигналов GPS.

Блок 170 GPS можно использовать для установления соединения с другим терминалом. Например, если обнаруживается жест мультинаведения, то блок 190 управления может отправлять информацию GPS из пользовательского устройства в сервер GPS через блок 170 GPS. Если, в течение предварительно определенного времени, из сервера GPS принимается информация о координатах GPS другого терминала, то блок 190 управления может принять файл из соответствующего сервера.

Блок 180 хранения хранит операционную систему (OS) терминала 100 и различные приложения (или apps) и данные, сгенерированные в терминале 100. Данные могут содержать все типы данных, например, данные приложения, связанные с работой приложения, и данные, принимаемые извне (например, из внешнего сервера, другого мобильного терминала и персонального компьютера). Блок 180 хранения может хранить пользовательские интерфейсы, обеспечиваемые терминалом и различные установки, связанные с функциями терминала 100.

Блок 180 хранения может хранить программу распознавания жестов для распознавания жестов, совершаемых пользователем. Программа распознавания жестов распознает основанный на наведении жест мультинаведения и поддерживаемый камерой жест. Программа распознавания жестов способна выделять зону руки из картины, введенной блоком 150 камеры, и распознавать форму руки. Если рука пользователя изменяется по форме, и ее действие на картине изменяется, то программа распознавания жестов различает действие и жест, соответствующий действию.

Блок 180 хранения может хранить информацию о различных жестах рукой, которые могут совершаться рукой, например, схемах расположения пальцев, позициях пальцев, поведении руки и форме руки. Блок 180 хранения может также хранить предварительно определенные команды, соответствующие жестам пользователя. Команды, соответствующие жестам пользователя, могут быть установлены во время изготовления и переустановлены пользователем.

Блок 190 управления управляет общими операциями терминала и потоками сигналов между внутренними компонентами терминала и обрабатывает данные. Блок 190 управления управляет подачей питания от батареи во внутренние компоненты. Если включается питание терминала, то блок 190 управления управляет процессом загрузки терминала и выполняет прикладные программы терминала в соответствии с пользовательской конфигурацией.

Блок 190 управления принимает входной сигнал из воспринимающего касание экрана и распознает жест пользователя на основании входного сигнала. Блок 190 управления обнаруживает приближение ввода касанием и вычисляет расстояние между средством ввода касанием и воспринимающим касание экраном. В данном случае, средство ввода касанием может быть стилусом или рукой пользователя, и, в последующем описании предполагается, что средство ввода касанием является рукой пользователя.

Если расстояние между средством ввода касанием и воспринимающим касание экраном находится в пределах предварительно определенного диапазона, то блок 190 управления обнаруживает жест наведения. Блок 190 управления может различать между жестом единого наведения и жестом мультинаведения. Жест единого наведения содержит показатель единого наведения, совершенный средством ввода касанием. Жест мультинаведения содержит по меньшей мере два показателя наведения, совершенных вводом касанием.

Блок 190 управления вычисляет изменение зоны наведения на основании информации местоположения зон мультинаведения и определяет жест мультинаведения пользователя на основании изменения зоны наведения. В данном случае, информация местоположения может содержать координаты зон наведения. Например, блок 190 управления может вычислять центральные точки первоначальных зон наведения жеста мультинаведения и, если расстояние между центральными точками уменьшается, определять, что выполняется основанный на наведении жест захвата. В противном случае, если расстояние между центральными точками увеличивается, то блок 190 управления определяет, что выполняется основанный на наведении жест отпускания. Блок 190 управления может также выделять зону руки из картины, введенной блоком 150 камеры, с использованием программы распознавания жестов и вычислять форму руки на основании зоны руки. Если форма руки изменяется, то блок 190 управления может выполнять процесс сопоставления образов для определения поддерживаемого камерой жеста.

Если жест пользователя, например, жест мультинаведения или жест рукой, обнаруживается, то блок 190 управления выполняет функцию, соответствующую жесту, или предварительно определенную команду, соответствующую жесту, и отображает экран исполнения на блоке 110 отображения.

На фиг. 2 представлена блок-схема последовательности операций, представляющая способ управления объектом терминала согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 2, терминал 100 отображает по меньшей мере один объект на экране блока отображения в соответствии с пользовательским вводом или предварительно заданным графиком на этапе 210. В данном случае, термин объект означает объект, представленный на экране для представления оцифрованной информации, обеспечиваемой терминалом. Объект может быть любым из пиктограмм и изображений-миниатюр, представляемых на экране блока 110 отображения. Объект представляет файл данных, например, текстовый файл, речевой файл, видеофайл, файл картин и файл информации URL.

В данном случае, терминал 100 может работать в режиме распознавания наведения. Режим распознавания наведения может быть активирован, когда выполняется некоторое приложение, поддерживающее функцию распознавания наведения, или исполняется функция наведения. Функция распознавания наведения способна распознавать жест наведения, осуществляемый, когда в полноэкранном режиме отображается некоторый контент, или пользователем выбирается множество объектов, но не ограничена данными примерами.

Терминал 100 обнаруживает жест мультинаведения в предварительно определенном диапазоне расстояний на этапе 220. Например, терминал 100 измеряет емкость, изменяющуюся согласно приближению части тела человека, например, руки пользователя. Терминал 100 может обнаруживать изменение емкости в двух или более зонах. Терминал 100 вычисляет расстояние между рукой пользователя и экраном на основании изменения емкости. Если расстояние между рукой пользователя и экраном уменьшается до попадания в предварительно определенный диапазон (например, 3 см), терминал 100 определяет возникновение жеста наведения. Если обнаружен жест наведения, то терминал 100 может проверить позицию жеста наведения.

Если жест наведения обнаружен в по меньшей мере двух зонах, то терминал 100 определяет, что жест наведения является жестом мультинаведения. То есть, если множество средств ввода (например, несколько пальцев) обнаруживаются в пределах предварительно определенного диапазона расстояний в соответствующих позициях, то терминал 100 может распознавать показатели наведения, обнаруженные в двух или более зонах, в качестве достоверных данных.

Терминал 100 определяет, является ли жест мультинаведения, совершаемый в предварительно определенное время, жестом захвата, на этапе 230. Терминал 100 определяет направление, расстояние и скорость наведения жеста пользователя на сновании соответствующих первоначальных зон наведения.

В более подробном изложении, терминал 100 вычисляет вектор положения с использованием направления перемещения и расстояния мультинаведения и определяет, возник ли жест захвата, на основании вычисленного вектора положения. Терминал 100 определяет центральные точки зон наведения и, если расстояние между центральными точками уменьшается, определяет, что произведен жест захвата. Блок 190 управления может также определять контур, включающий в себя две или более зоны наведения, и, если оконтуренная зона уменьшается в размере, определяет, что произведен жест захвата.

Если обнаруживается основанный на наведении жест захвата, то терминал 100 определяет объект, отображаемый на экране, в качестве выбранного объекта для исполнения конкретной функции на этапе 240. Хотя терминал 100 может определять один объект, отображаемый на блоке 110 отображения, существует возможность сохранения выбранного состояния объектов, уже выбранных пользовательским вводом.

Терминал 100 может выводить эффект визуальной обратной связи для объекта, выбранного жестом захвата. Например, терминал 100 может обеспечивать такой визуальный эффект, словно пользователь захватывает и поднимает физический объект в соответствии с жестом захвата.

Если объект выбран, то терминал 100 активизирует блок 150 камеры на этапе 250. В данном случае, блок 150 камеры может быть фронтальной камерой, смонтированной на передней стороне терминала 100. Камера 150 работает как датчик для распознавания руки пользователя и работает в фоновом режиме.

Терминал 100 распознает руку пользователя в изображении, вводимом через блок 150 камеры, на этапе 260. Например, терминал 100 проверяет фон на основании цветовой информации в изображении, вводимом через блок 150 камеры, для выделения зоны руки. Терминал 100 выделяет характерные точки руки из зоны руки и вычисляет контур руки. Терминал может распознавать форму и действие руки с использованием контура руки. Терминал 100 выполняет сопоставление образов на основании формы и действия руки, чтобы обнаружить жест рукой.

Терминал 100 определяет, исчезла ли рука пользователя из угла обзора блока 150 камеры, на этапе 270. Если зону руки невозможно выделить из изображения на основании цветовой информации, то терминал 100 определяет, что рука пользователя исчезла из угла обзора блока 150 камеры.

Если определено, что рука пользователя исчезла из угла обзора блока 150 камеры, то, на этапе 275, терминал 100 управляет выбранным объектом так, чтобы ввести состояние ожидания пересылки файла. Терминал 100 устанавливает канал связи с другим терминалом, чтобы отправить сигнал ожидания пересылки, и, если канал связи установлен, отправляет по нему сигнал ожидания пересылки. Подробное описание состояния ожидания пересылки файла приведено со ссылкой на фиг. 6.

Терминал 100 определяет, принят ли сигнал запроса пересылки из второго терминала, на этапе 290. Сигнал запроса пересылки может быть ответным сигналом, переданным вторым терминалом. Если сигнал запроса пересылки принят, то терминал 100 пересылает файл или данные, представляемые выбранным объектом, во второй терминал, который передал сигнал запроса пересылки, на этапе 295.

Если определено, что рука пользователя не исчезла из угла обзора блока 150 камеры, то, на этапе 280, терминал 100 может обнаруживать поддерживаемый камерой жест рукой. Например, пользователь может совершить жест протягивания, когда конкретный объект уже выбран в пределах угла обзора блока 150 камеры. Терминал 100 может проверить контур руки пользователя из изображения, вводимого через блок 150 камеры, и определить действие протягивание, производимое рукой пользователя, посредством алгоритма сопоставления образов.

Если обнаружен жест рукой, то терминал 100 выполняет функцию, соответствующую жесту рукой в связи с выбранным объектом, на этапе 285. Например, если в связи с действием протягивания задается команда удаления объекта, то терминал 100 выполняет команду удаления объекта в ответ на жест протягивания.

На фиг. 3 изображено взаимодействие пользователя для пересылки объекта по способу управления объектом согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 3, блок 110 отображения может отображать по меньшей мере один объект на экране в соответствии с запросом пользователя или предварительно определенным графиком. Блок 110 отображения может отображать некоторый объект в полноэкранном режиме или множество объектов на экране.

Например, пользователь может выполнить функцию галереи, обеспечиваемую терминалом. Терминал может отобразить некоторую картину 310 в полноэкранном режиме, как показано на фиг. 3(a). Терминал может отобразить также список картин и представить картину, выбранную из списка на экране.

Пользователь может приблизить руку 320 к экрану, чтобы совершить жест для выполнения функции в отношении конкретной картины, отображенной на экране. В данном случае, терминал 100 может сконфигурировать предварительно определенное расстояние между экраном и средством ввода касанием для различения между жестами касанием и наведения. Предварительно определенное расстояние может быть порогом для обнаружения позиции средства ввода касанием.

Если рука 320 пользователя приближается к экрану до предварительно определенного диапазона расстояний, то терминал 100 может обнаруживать две или более зон 330 наведения, соответствующих пальцам. Терминал 100 может обнаруживать приближение пальцев и выделить четыре зоны 330 наведения, как показано на фиг. 3(a). В данном случае, хотя к экрану приближается пять пальцев до предварительно определенного диапазона расстояний, терминал может не обнаруживать все из пяти пальцев вследствие разных длин пальцев.

Пользователь может выполнить жест, подобный захвату некоторого физического объекта. Затем терминал 100 проверяет перемещение зон наведения до центральной точки и обнаруживает основанный на наведении жест захвата. Терминал выбирает объект, т.е. картину, отображаемую на экране, в ответ на жест захвата.

Терминал активизирует блок 150 камеры для съемки картины, как показано на фиг. 3(b). Терминал 100 получает картину, введенную блоком 150 камеры, выделяет зону руки из картины и распознает форму и контур руки. Терминал может определить исчезновение руки пользователя из угла обзора камеры 150, в зависимости от того, выделяется ли или нет зона руки из картины, введенной через блок 150 камеры.

Пользователь может вывести руку 320 из угла обзора блока 150 камеры, как показано на фиг. 3(c). Затем, блок управления определяет исчезновение руки 320 пользователя из угла обзора блока 150 камеры и входит в состояние ожидания пересылки файлов, подготавливающее пересылку выбранной картины. В данном случае, терминал может иметь канал связи, уже установленный со вторым терминалом. В состоянии ожидания пересылки файлов, терминал может отправлять сигнал ожидания пересылки файла во второй терминал.

На фиг. 4 поясняется взаимодействие пользователя для удаления объекта по способу управления объектом согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 4, пользователь может выполнить функцию галереи, обеспечиваемую терминалом, и отобразить некоторую картину 410 в полноэкранном режиме. Если обнаруживается жест мультинаведения, например, жест захвата, для выбора картины 410, то терминал активизирует блок 150 камеры.

Пользователь может совершить жест рукой 420 в пределах угла обзора камеры 150, например, жест сброса, показанный на фиг. 4(a). Терминал выделяет зону руки из картины, введенной блоком 150 камеры и распознает движение и форму руки.

Если в процессе сопоставления образов определяется, что движение руки пользователя является движением сброса, то терминал может удалить картину, выбранную жестом захвата, как показано на фиг. 4(b).

На фиг. 5 изображен эффект визуальной обратной связи в соответствии с жестом захвата по способу управления объектом согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 5, для выбора некоторого контента пользователь может совершить жест, подобный захвату физического объекта пальцами на терминале. Затем терминал обнаруживает жест пользователя в качестве основанного на наведении жеста захвата и выбирает контент 510, отображаемый на экране блока отображения.

Терминал может снабжать пользователя визуальной обратной связью, соответствующей выбору объекта. Терминал может уменьшать размер отображаемого контента 510. Если расстояние между рукой 520 пользователя и экраном изменяется, то терминал может увеличивать или уменьшать размер контента 510, графически обрабатываемого согласно изменению расстояния. Например, терминал может обеспечивать эффект визуальной обратной связи, как если бы пользователь захватывал и поднимал физический объект на воспринимающем касание экране. Соответственно, пользователь может воспринимать визуальный такой эффект, как если бы контент захватывался и приподнимался в реальном мире, подобно физическому объекту.

Если пользователь перемещает руку в вышеописанном состоянии, то терминал графически перемещает обрабатываемый контент 510 в направлении перемещения руки 520 пользователя, как показано на фиг. 5(b).

На фиг. 6 представлена схема потока сигналов, представляющая процедуру пересылки файла по способу управления объектом согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 6, описание процедуры пересылки файлов дано, по отдельности, с точек зрения терминала-отправителя A и терминала-получателя B. Терминал может работать как терминал-отправитель A, так и как терминал-получатель B. Предполагается, что терминал-отправитель A и терминал-получатель В соединены каналом связи, например, спаренным каналом, каналом с использованием технологии Wi-Fi Direct channel и каналом Bluetooth.

Если на терминале-отправителе A выбран конкретный контент, и затем рука пользователя исчезает из угла обзора камеры, терминал-отправитель A входит в состояние ожидания пересылки файла для пересылки выбранного контента на этапе 610. Терминал-отправитель A определяет, существует ли какой-либо терминал, с которым был установлен канал связи, и, если существует, отправляет сигнал ожидания пересылки файла терминалу-получателю В на этапе 620. Терминал-получатель В может вывести информацию сигнализации ожидания пересылки файла (например, сообщение ожидания пересылки) на блоке отображения после приема сигнала ожидания пересылки, но без ограничения упомянутым выводом.

Затем терминал-получатель В принимает запрос ожидания пересылки файла из терминала-отправителя A, обнаруживает мультинаведение на этапе 630 и определяет жест отпускания на основании движения мультинаведения на этапе 640. В более подробном изложении, если расстояние двух зон наведения увеличивается, то терминал-получатель В определяет, что совершен жест отпускания. Терминал-получатель В также может определять внешнюю линию, содержащую упомянутые две или более зон наведения, и, если зоны наведения перемещаются за внешнюю линию, определяет, что совершен жест отпускания.

Если обнаруживается жест отпускания, то терминал-получатель В отправляет ответный сигнал в терминал-отправитель A в ответ на сигнал ожидания пересылки файла на этапе 650. После приема ответного сигнала, терминал-отправитель A начинает передачу файла выбранного объекта в терминал-получатель В на этапе 660. Терминал-получатель В может принять информацию объекта, передаваемую терминалом-отправителем A на этапе 670.

На фиг. 7 изображена процедура пересылки объекта в способе управления объектом согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 7, после того, как был установлен канал связи между терминалом-отправителем A и терминалом-получателем B, пользователь может осуществлять взаимодействие для пересылки файла посредством совершения жеста захвата рукой в состоянии наведения, как показано на фиг. 3, и затем вывести руку из угла обзора камеры на терминале-отправителе A.

Затем терминал-отправитель A выбирает картину 710, отображаемую на блоке отображения в качестве объекта, подлежащего пересылке, и входит в режим ожидания пересылки файла. При этом, терминал-отправитель A отправляет во второй терминал, т.е. терминал-получатель B, сигнал ожидания пересылки файла, чтобы уведомить о существовании контента, который должен быть передан. В данном случае, терминалу-получателю В становится известно о существовании контента, который должен быть принят, на основании сигнала ожидания пересылки файла.

Пользователь может совершить жест, подобный отпусканию объекта, на расстоянии в пределах предварительно определенного диапазона на терминале-получателе В, без касания. Терминал-получатель В обнаруживает приближение пальцев и обнаруживает две или более зоны наведения, и, если зоны наведения отодвигаются друг от друга, определяет, что совершен жест отпускания.

Если обнаруживается жест отпускания, то терминал-получатель В отправляет ответный сигнал в терминал-отправитель A в ответ на сигнал ожидания пересылки файла. Затем терминал-отправитель A передает выбранную картину в терминал-получатель B. Терминал-получатель В может отобразить картину 730 после приема картины 730, как показано на фиг. 7(b).

Пересылка файла между терминалами может выполняться посредством одного из связи Bluetooth, связи Wi-Fi Direct, связи сервера и GPS UNIT и основанной на AP связи.

На фиг. 8 представлена визуальная обратная связь при приеме файла в способе управления объектом согласно варианту осуществления настоящего изобретения.

Как показано на фиг. 8, терминал может принять файл или данные, соответствующие конкретному контенту, из другого терминала по каналу связи. Если файл или данные принимаются, то терминал обеспечивает эффект визуальной обратной связи, отражающий состояние пересылки объекта. Например, терминал может представлять графический эффект, при котором размер принимаемого объекта увеличивается на экране согласно принимаемым данным объекта. Пользователь может проверять ход выполнения или завершения пересылки файла согласно размеру объекта, отображаемого на экране блока отображения.

На фиг. 9 представлена процедура пересылки файла кинокартины в способе управления объектом согласно варианту осуществления настоящего изобретения.

Как видно на фиг. 9, предполагается, что терминал-отправитель A воспроизводит кинокартину. Если в режиме воспроизведения кинокартины обнаруживается основанный на наведении жест захвата, то терминал-отправитель A входит в состояние ожидания пересылки кинокартины и отправляет сигнал ожидания пересылки в терминал-получатель B.

Впоследствии, если на терминале-получателе B обнаруживается основанный на наведении жест отпускания, то терминал-получатель В отправляет ответный сигнал в терминал-отправитель A в ответ на сигнал ожидания пересылки. После приема ответного сигнала, терминал-отправитель A передает кинокартину, воспроизводимую в данный момент, в терминал-получатель B. Терминал-отправитель A может передавать информацию воспроизведения, а также контент кинокартины.

Например, когда терминал-отправитель A передает контент кинокартины, воспроизводимой в данный момент, в терминал-получатель B, терминал-получатель В может воспроизводить кинокартину с момента, когда воспроизведение приостановилось на терминале-отправителе A.

Устройство и способ управления объектом терминала в соответствии с настоящим изобретением способны предоставлять пользователю возможность интуитивно-понятной манипуляции контентом, отображаемым на экране. Устройство и способ управления объектом в соответствии с настоящим изобретением способны предоставлять пользователю возможность пересылать контент в другой терминал или удалять контент такими же жестами, которые используют в реальных условиях. Устройство и способ управления объектом в соответствии с настоящим изобретением способны обеспечивать восприятие пользователем (UX) оперативных команд исполнения для исполнения некоторой функции терминала, без использования структуры иерархического меню.

Хотя способ управления объектом терминала и устройство в соответствии с настоящим изобретением описаны выше с применением специальных терминов, описание и чертежи следует считать иллюстративными, а не ограничивающими, предназначенными для более понятного изложения настоящего изобретения. Специалистам в данной области техники очевидно, что настоящее изобретение допускает создание различных модификаций и изменений, не выходящих за пределы сущности и объема изобретения.

Изобретение относится к средствам управления с использованием жестов наведения. Технический результат заключается в расширении арсенала средств того же назначения. Способ управления объектом включает отображение по меньшей мере одного объекта на экране отображения, обнаружение многопальцевого жеста наведения для выбора объекта на экране отображения, активизацию камеры после обнаружения многопальцевого жеста наведения, распознавание руки на картине, вводимой через камеру, и вход, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта. 2 н. и 23 з.п. ф-лы, 9 ил.

1. Способ управления объектом терминала, при этом способ содержит:

отображение по меньшей мере одного объекта на экране отображения;

определение многопальцевого жеста наведения для выбора объекта на экране отображения;

активизацию камеры после обнаружения многопальцевого жеста наведения;

распознавание руки на картинке, вводимой камерой; и

вход, когда рука исчезает из угла обзора камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.

2. Способ по п. 1, дополнительно содержащий выполнение, когда рука совершает движение в пределах угла обзора камеры, предварительно определенной функции в связи с выбранным объектом согласно движению.

3. Способ по п. 1, в котором обнаружение многопальцевого жеста наведения содержит:

обнаружение по меньшей мере двух зон наведения на экране отображения; и

определение, когда расстояние между двумя зонами наведения уменьшается, что выполняется многопальцевый жест наведения.

4. Способ по п. 1, в котором выбранный объект изменяется в размере.

5. Способ по п. 4, в котором выбранный объект уменьшается или увеличивается в размере согласно расстоянию между экраном отображения и рукой.

6. Способ по п. 1, в котором отображение упомянутого по меньшей мере одного объекта содержит отображение выбранного объекта в полноэкранном режиме или множества объектов, выбранных согласно пользовательскому вводу.

7. Способ по п. 1, дополнительно содержащий:

распознавание руки пользователя;

получение изображения руки, вводимого камерой;

выделение зоны руки из зоны фона на основании цветовой информации изображения;

распознавание контура руки по зоне руки; и

распознавание движения и формы руки посредством выполнения сопоставления образов в отношении контура руки.

8. Способ по п. 1, в котором вход в состояние ожидания пересылки файла содержит перевод режима работы терминала в режим ожидания пересылки.

9. Способ по п. 8, в котором вход в состояние ожидания пересылки файла содержит:

определение, подсоединен ли второй терминал;

передачу, когда второй терминал подсоединен, сигнала ожидания пересылки; и

установление, когда второй терминал не подсоединен, канала связи со вторым терминалом для передачи сигнала ожидания пересылки.

10. Способ по п. 9, дополнительно содержащий:

прием, после передачи сигнала ожидания пересылки, ответного сигнала из второго терминала; и

передачу выбранного объекта во второй терминал после приема ответного сигнала.

11. Способ по п. 1, дополнительно содержащий:

обнаружение жеста мультинаведения при соединении со вторым терминалом в ответ на запрос пересылки файла;

передачу ответного сигнала во второй терминал в ответ на жест мультинаведения;

прием объекта, передаваемого вторым терминалом; и

отображение принятого объекта на экране отображения.

12. Способ по п. 11, в котором обнаружение жеста мультинаведения содержит:

обнаружение по меньшей мере двух зон наведения на экране отображения; и

определение, когда расстояние между упомянутыми по меньшей мере двумя зонами наведения увеличивается, что выполняется многопальцевый жест наведения в ответ на запрос пересылки файла.

13. Способ по п. 11, в котором отображение принятого объекта содержит отображение визуальной обратной связи об увеличении объекта в размере согласно принятым данным объекта.

14. Терминал, содержащий:

блок радиосвязи, сконфигурированный с возможностью передачи и приема радиосигналов;

блок отображения, сконфигурированный с возможностью отображения по меньшей мере одного объекта;

воспринимающий блок, сконфигурированный с возможностью восприятия жеста пользователя по отношению к объекту;

блок камеры, сконфигурированный с возможностью получения изображения жеста пользователя; и

блок управления, сконфигурированный с возможностью управления воспринимающим блоком, чтобы обнаруживать многопальцевый жест наведения для выбора объекта на экране отображения, активизации блока камеры после обнаружения многопальцевого жеста наведения, распознавания руки в изображении, вводимом через блок камеры, и управления терминалом, чтобы входить, когда рука исчезает из угла обзора блока камеры, в состояние ожидания пересылки файла для передачи выбранного объекта.

15. Терминал по п. 14, в котором блок управления управляет выполнением, когда рука совершает движение в пределах угла обзора блока камеры, предварительно определенной функции в связи с выбранным объектом согласно движению.

16. Терминал по п. 14, в котором воспринимающий блок генерирует информацию о по меньшей мере двух зонах наведения, обнаруженных на экране отображения, и отправляет ее в блок управления, и при этом блок управления определяет, когда расстояние между двумя зонами наведения уменьшается, что выполняется многопальцевый жест наведения.

17. Терминал по п. 14, в котором блок отображения изменяет размер выбранного объекта, выбранного многопальцевым жестом наведения.

18. Терминал по п. 14, в котором блок отображения уменьшает или увеличивает размер объекта согласно расстоянию между экраном отображения и рукой.

19. Терминал по п. 14, в котором блок отображения отображает выбранный объект в полноэкранном режиме или множество объектов, выбранных согласно пользовательскому вводу.

20. Терминал по п. 14, в котором блок управления получает изображение, вводимое блоком камеры, выделяет зону руки из зоны фона на основании цветовой информации изображения, распознает контур руки по зоне руки и распознает движение и форму руки посредством выполнения сопоставления образов по контуру руки.

21. Терминал по п. 14, в котором блок управления определяет, подсоединен ли второй терминал, передает, когда второй терминал подсоединен, сигнал ожидания пересылки и устанавливает, когда второй терминал не подсоединен, канал связи со вторым терминалом для передачи сигнала ожидания пересылки.

22. Терминал по п. 21, в котором блок управления управляет приемом, после передачи сигнала ожидания пересылки, ответного сигнала из второго терминала и передачей выбранного объекта во второй терминал после приема ответного сигнала.

23. Терминал по п. 14, в котором блок управления управляет передачей, когда обнаружен жест мультинаведения, при соединении со вторым терминалом в ответ на запрос пересылки файла, ответного сигнала во второй терминал в ответ на жест мультинаведения, приемом объекта, передаваемого вторым терминалом, и отображением принятого объекта на экране отображения.

24. Терминал по п. 23, в котором блок управления определяет, когда расстояние между по меньшей мере двумя зонами наведения, обнаруженными на экране отображения, увеличивается, что выполняется многопальцевый жест наведения в ответ на запрос пересылки файла.

25. Терминал по п. 23, в котором блок отображения отображает визуальную обратную связь об увеличении размера объекта согласно принятым данным объекта.