УСТРОЙСТВО И СПОСОБ ПОЛЬЗОВАТЕЛЬСКОГО ВВОДА ДЛЯ УПРАВЛЕНИЯ ОТОБРАЖАЕМОЙ ИНФОРМАЦИЕЙ Российский патент 2015 года по МПК G06F3/01 G06F3/48 G06F3/488 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству и способу пользовательского ввода для управления отображаемой информацией.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Сенсорные экраны широко распространенны среди многих портативных электронных устройств, например, таких как карманные компьютеры (PDA - Personal Digital Assistant), планшеты, сенсорные поверхности и мобильные устройства. Сенсорные экраны управляются посредством указательного устройства (или стилуса) и/или пальцем. Как правило, устройства также имеют традиционные кнопки для выполнения некоторых операций.

3D-экраны, которые могут показывать стереоскопические изображения, также были разработаны для портативных и мобильных устройств. Стереоскопические экраны могут использоваться для отображения элементов UI (пользовательского интерфейса - user interface), воспринимаемых пользователем как трехмерные (3D - three-dimensional) изображения. Появление 3D-экранов также поставило ряд новых задач и возможностей для разработки взаимодействия пользователя и электронного устройства.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Различные аспекты примеров изобретения изложены в формуле изобретения.

В соответствии с одним аспектом, предлагается устройство, включающее по меньшей мере один процессор и по меньшей мере одну память, включающую код компьютерной программы. По меньшей мере одна память и код компьютерной программы конфигурированы побуждать устройство с помощью по меньшей мере одного процессора по меньшей мере выполнять следующее: обнаруживать присутствие объекта в непосредственной близости от поверхности ввода, определять отображаемый виртуальный слой, связанный на данный момент с объектом, на основании расстояния между объектом и поверхностью ввода, обнаруживать ввод данных объектом при его зависании и вызывать операцию отображения перемещения по меньшей мере части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта.

В соответствии с аспектом изобретения, предлагается способ, включающий: обнаружение присутствия объекта в непосредственной близости от поверхности ввода, определение отображаемого виртуального слоя, связанного на данный момент с объектом, на основании расстояния между объектом и поверхностью ввода, обнаружение ввода данных объектом при его зависании и вызов операции отображения перемещения по меньшей мере части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта.

В соответствии с примером осуществления, расстояние между поверхностью ввода и по меньшей мере частью слоя адаптируется в соответствии с вводом данных при зависании объекта.

В соответствии с другим примером осуществления, смена режима отображения между двумерным и трехмерным режимами обнаруживается на основании обнаружения ввода данных при зависании объекта, и отображением двумерного и трехмерного видов управляют в соответствии с обнаруженным изменением режима отображения.

Изобретение и различные варианты осуществления изобретения предоставляют ряд преимуществ, которые станут очевидны из представленного ниже подробного описания.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Для более полного понимания примеров осуществления настоящего изобретения далее приводится описание совместно с прилагаемыми чертежами, на которых:

Фиг.1a и 1b иллюстрируют управление виртуальными слоями в соответствии с примером осуществления;

Фиг.2 является упрощенной структурной схемой вида сбоку устройства в соответствии с примером осуществления изобретения;

Фиг.3 и 4 иллюстрируют способы в соответствии с примерами осуществления изобретения;

Фиг.5 и 6 иллюстрируют вид сбоку изменяющейся формы виртуальных слоев на основании ввода данных при зависании объекта в соответствии с примерами осуществления изобретения; и

Фиг.7a и 7b иллюстрируют вид сверху изменяющейся формы виртуальных слоев в соответствии с примером осуществления;

Фиг.8 иллюстрирует способ в соответствии с примером осуществления;

Фиг.9, 10, 11a, 11b, 12 и 13 иллюстрируют вид сбоку изменяющейся формы виртуальных слоев на основании ввода данных при зависании объекта в соответствии с некоторыми примерами осуществления;

Фиг.14 иллюстрирует способ в соответствии с примером осуществления; и

Фиг.15 иллюстрирует электронное устройство в соответствии с примером осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

Фиг.1a иллюстрирует расположение виртуальных слоев 2a, 2b, 2 с виртуального трехмерного пространства. Виртуальные слои 2a-2с могут отображаться стереоскопическим экраном как располагаемые на поверхности 3 экрана. Под виртуальным слоем, как правило, понимают уровень или отображение из некоторого набора расположенных послойно 3D-уровней или отображений, которые могут частично перекрывать друг друга. Также виртуальный слой может называться 3D-слоем и рассматриваться как составная часть получающейся в 3D-пространстве иллюзии. Виртуальный слой может покрывать лишь часть области экрана, а отдельные виртуальные слои могут использоваться для одновременного покрытия различных областей экрана. Виртуальный слой может отображать множество 2D- и/или 3D- элементов графического пользовательского интерфейса (GUI - graphical user interface), которые могут быть по меньшей мере частично прозрачными. Необходимо понимать, что виртуальные слои могут иметь различную форму, а в некоторых вариантах осуществления их форма может быть изменена пользователем.

В примерах осуществления "зависание" объекта используется для управления отображением и/или расположением одного или более виртуальных слоев 2a-2с. Под зависанием (hovering) как правило понимают расположение объекта 1 ввода, такого как, например, палец или стилус, в непосредственной близости от поверхности 3 ввода, такой как, например, поверхность ввода сенсорного экрана, однако без непосредственного контакта с нею. Среди отображаемых виртуальных слоев 2a-с 3D-отображения слой 2a, связанный в данный момент с объектом, может быть определен на основании расстояния 4 между объектом 1 и поверхностью 3 ввода. Данное понятие необходимо понимать широко, так как оно может включать определение, основанное, например, на специально заданном значении расстояния или на значении сигнала, которое зависит от расстояния до объекта.

Операция экрана по отображению перемещения по меньшей мере части связанного виртуального слоя может управляться в соответствии с обнаруженным вводом данных при зависании объекта. Ввод данных при зависании объекта, связанный с виртуальным слоем 2a, может быть обнаружен путем простого обнаружения зависания объекта 1 ввода, связанного с виртуальным слоем, или же, например, может требоваться какой-либо определенный жест, выполненный объектом ввода. Данные свойства обеспечивают множество интуитивно понятных возможностей воздействия для управления отображением 3D-экрана посредством использования пространства, расположенного над поверхностью 3 ввода. Виртуальные слои могут визуализироваться при их взаимодействии с реальными объектами, такими как, например, пальцы пользователя, позволяя усиливать 3D-восприятие пользователя.

Как показано в примере фиг.1b, связанный слой 2a может управляться на основании дальнейшего движения пальца, определяемого как ввод данных при зависании объекта, посредством изменения расположения связанного слоя 2a и перемещения слоя ближе к другому слою, например, к слою 2b.

Фиг.2 иллюстрирует пример устройства 100, в котором может быть обеспечено управление виртуальными слоями на основе зависания. Устройство 100 может быть периферийным устройством или же оно может быть встроено в электронное устройство. Примеры электронных устройств включают потребительские электронные устройства, такие как, например, компьютеры, медиа-проигрыватели, устройства доступа к беспроводной связи и т.д.

Устройство 100 включает систему или модуль 120 обнаружения приближения объекта, конфигурированный на обнаружение объекта 1 ввода в непосредственной близости, но без осуществления контакта, с поверхностью 112 ввода. Поверхность 112 ввода может быть поверхностью сенсорного экрана или другим устройством ввода, способным обнаруживать пользовательский ввод.

Область 140 воздействия, которая также может называться областью обнаружения зависания, может являться ближайшей областью и/или расстоянием, на котором обнаруживается объект 1 ввода или ввод данных при зависании объекта. Пользовательский ввод, такой как, например, определенный обнаруживаемый жест, обнаруживаемый в области 140 обнаружения зависания по меньшей мере частично на основе объекта 1 ввода, без его касания поверхности 112 ввода, может называться вводом данных при зависании объекта. Такой ввод данных при зависании объекта связан по меньшей мере с одной функцией, например, с выбором UI-элемента, выбором виртуального слоя, увеличением области экрана, активацией всплывающего меню, изменением UI-элемента или виртуального слоя или с перемещением виртуального слоя. Объект 1 ввода данных при зависании или ввод данных при зависании могут быть обнаружены на основании сенсорного сигнала или расстояния 150 между объектом 1 ввода и поверхностью 112 ввода, который удовлетворяет заранее заданному пороговому значению. В некоторых вариантах осуществления область 140 обнаружения зависания позволяют осуществлять ввод и/или получение доступа к данным в устройстве 100 даже без непосредственного касания поверхности 112 ввода.

В некоторых вариантах осуществления система 120 обнаружения создает поле воздействия посредством одного или более датчиков 122 приближения. В одном примере осуществления применяется емкостная система обнаружения приближения, в которой датчики 122 являются емкостными сенсорными узлами. Возмущения, вызванные одним или более объектами 100 ввода в поле воздействия, отслеживаются, и присутствие одного или более объектов обнаруживается на основании обнаруженных возмущений. Емкостная схема 120 обнаружения обнаруживает изменения емкости в области над поверхностью сенсорного экрана 110.

Однако необходимо понимать, что данные признаки не ограничиваются лишь применением какого-либо конкретного типа обнаружения приближения. Система 120 обнаружения приближения может основываться на инфракрасном обнаружении приближения, оптическом обнаружении тени, обнаружении излучения звука, ультразвуковом обнаружении или на другой подходящей технологии обнаружения приближения. Например, для случая системы 120 обнаружения приближения, основанной на инфракрасном обнаружении, система будет включать один или более излучателей, испускающих импульсы инфракрасного излучения. Также будет иметься один или более детекторов для обнаружения отражений данного излучения от ближайших объектов 100. Если система обнаружит отраженный луч, то будет считаться, что объект ввода найден.

Система 120 обнаружения может быть выполнена таким образом, чтобы устанавливать (или обеспечивать сигнал, позволяющий установить) расстояние от объекта 1 ввода до поверхности 112 ввода, что позволяет получить данные о z-координате местоположения объекта 1 относительно поверхности 112 ввода. Система 120 обнаружения приближения может быть также выполнена таким образом, чтобы генерировать информацию о x- и y-позициях объекта 1 с целью определения целевого UI-элемента или области ввода данных при зависании. Как правило, направления x и y располагаются параллельно поверхности 112 ввода, а направление z в основном располагается перпендикулярно ей. В зависимости от применяемой технологии обнаружения приближения, размера устройства 100 и поверхности 112 ввода, а также в зависимости от желаемого пользовательского воздействия область 140 обнаружения зависания может быть выполнена таким образом, чтобы иметь протяженность от поверхности 112 ввода, например, от нескольких миллиметров вплоть до нескольких десятков сантиметров. Система 120 обнаружения приближения может позволять обнаруживать также и другие части руки пользователя, и система может быть выполнена таким образом, чтобы обнаруживать ложный ввод данных и избегать соответствующей реакции на него.

Виртуальные слои могут отображаться дисплеем 110 в области 140 обнаружения зависания. В некоторых вариантах осуществления система 120 обнаружения приближения представлена в устройстве, включающем сенсорный экран. Таким образом, экран 110 может быть сенсорным экраном, включающим множество сенсорных датчиков 114 для обнаружения ввода данных посредством касания поверхности ввода сенсорного экрана.

Устройство 100 может включать стереоскопический экран, способный отображать стереоскопические изображения. Стереоскопический экран может быть выполнен таким образом, чтобы генерировать 3D-изображение(я) одного или более виртуальных слоев, таких как, например, виртуальные слои 2a-2c, показанные на фиг.1a и 1b. Стереоскопический экран может направлять информацию от нескольких субпикселей изображения в различные направления так, что наблюдатель каждым глазом видит различные картинки. Если картинки достаточно схожи, то человеческий мозг полагает, что наблюдатель смотрит на единственный объект, и объединяет совпадающие точки двух картинок для создания восприятия единого объекта. Данные о 3D-изображении могут быть получены, например, посредством взятия множества двумерных изображений и комбинирования пикселей изображений в субпиксели одного изображения для его последующего представления на стереоскопическом экране. В одном варианте две камеры с целью захвата двумерных изображений для 3D-представления располагаются на небольшом заранее заданном расстоянии друг относительно друга. Каждая камера может включать цепь обработки изображения, осуществляющую обработку захваченных изображений. Система стереоскопического экрана может также включать пользовательскую систему захвата изображения и функцию слежения за движением глаз. Экран 110 может иметь отдельные 2D- и 3D- режимы, а система может иметь возможность переключаться между этими режимами. В зависимости от желаемой реализации и применяемой технологии стереоскопического экрана экран 110, который в некоторых вариантах осуществления является сенсорным экраном, может быть выполнен таким образом, чтобы обеспечивать возможности стереоскопического экрана, или же элементы стереоскопического экрана могут по меньшей мере частично находиться отдельно от сенсорного экрана 110 (не показано на фиг.2). В одном варианте осуществления стереоскопический экран является автостереоскопическим экраном, а виртуальные слои являются автостереоскопическими отображениями, что подразумевает такое стереоскопическое представление UI-элемента, которое не требует от пользователя наличия специальных очков. Могут использоваться различные автостереоскопические экраны, например, автостереоскопические экраны, основанные на границах параллакса, и/или с использованием двояковыпуклых линз или за счет применения голографии и/или системы слежения за движением глаз.

Система 120 обнаружения приближения подключается к контроллеру 130. Система 120 обнаружения приближения конфигурирована отправлять в контроллер 130 сигналы, когда происходит обнаружения объекта 1 ввода в области 140 обнаружения зависания. Основываясь на этих сигналах о вводе данных, могут генерироваться команды, процедуры выбора и другие виды действий, как правило, создающие для пользователя видео-, аудио- и/или тактильный отклик. Информация о вводе данных посредством касания сенсорных датчиков 114 может передаваться на контроллер 130 или на другой контроллер посредством управляющей схемы.

Контролер 130 может также подключаться к одному или более устройствам вывода данных, таким как, например, сенсорный экран с возможности 3D-отображения и/или отдельный модуль 3D-отображения. Контроллер 130 может быть конфигурирован управлять различными отображениями приложения на экране 110. Контроллер 130 может обнаруживать ввод данных посредством касания и при зависании на основании сигналов, поступающих от системы 120 обнаружения приближения и сенсорных датчиков 114. В этом случае контроллер 130 может управлять функцией отображения, связанной с обнаруженным вводом данных посредством касания или зависания. Кроме того, контроллер 130 может быть выполнен таким образом, чтобы обнаруживать виртуальный слой, который связан на данный момент с зависающим объектом 1, и побуждать экран осуществлять перемещение по меньшей мере части связанного слоя в соответствии с обнаруженным вводом данных при зависании объекта. Некоторые примеры других свойств, которые могут частично выполняться контроллером 130, проиллюстрированы ниже. Необходимо понимать, что функции контроллера 130 могут быть реализованы в едином управляющем элементе или же во множестве управляющих элементов.

Необходимо понимать, что устройство 100 может включать различные элементы, которые здесь детально не описаны. Хотя устройство 100 и контроллер 130 представлены как отдельные модули, различные свойства могут быть реализованы в одном или более физическом или логическом модулях. Например, может быть представлено устройство на основе микросхем, конфигурированное выполнять функции управления контроллера 130. Кроме того, могут иметься другие специальные функциональные модули (или один модуль), например, для выполнения одного или более шагов, описанных касательно фиг.3, 4, 8 и 14. В одном примере осуществления система 120 обнаружения приближения и поверхность 112 ввода располагаются отдельно от экрана 110, например, сбоку или же сзади (относительно расположения экрана) карманного электронного устройства.

На фиг.3 показан способ управления виртуальными слоями, основанный на зависании объекта, в соответствии с примерами осуществления. Способ, например, может использоваться как алгоритм управления для контроллера 130.

Присутствие объекта в непосредственной близости от поверхности ввода обнаруживается на шаге 300. На шаге 310 на основании расстояния от объекта до поверхности ввода из по меньшей мере двух виртуальных слоев стереоскопического экрана определяется слой, связанный на данный момент с объектом.

Ввод данных при зависании объекта обнаруживается на шаге 320. Необходимо понимать, что обнаружение ввода данных при зависании объекта и определение связанного на данный момент слоя могут осуществляться в один и тот же момент времени, или же пользователь может осуществлять ввод данных при зависании объекта лишь спустя некоторое время после выполнения шага 310. Кроме того, в одном варианте осуществления фиг.3 связанный слой определяется после обнаружения (320) ввода данных при зависании объекта.

Операция по отображению перемещения по меньшей мере части связанного слоя выполняется на шаге 330 в соответствии с обнаруженным вводом данных при зависании объекта. Обратимся также к примеру, представленному на фиг.1, где устройство 100 может также быть выполнено таким образом, чтобы побуждать экран отображать выбранный слой 2a как перемещающийся в одном или более направлениях x, y, z. Например, относительное расстояние между по меньшей мере частью слоя 2a и поверхностью ввода адаптируется в соответствии с вводом данных при зависании. Таким образом, виртуальные слои могут быть выполнены так, чтобы реагировать на движения пальцами, и пользователю может казаться, что он осуществляет пальцем перемещение слоя. С движением объекта 1 в одном или более направлениях x, y, z могут быть связаны различные действия над выбранным слоем. Некоторые из примеров представлены ниже.

Устройство 100 может быть конфигурировано обнаруживать жест(ы) зависания. В одном примере осуществления на шаге 320 устройство конфигурировано обнаруживать жест зависания, связанный с по меньшей мере одним виртуальным слоем 1a. Выбор и/или отображение перемещения по меньшей мере части слоя может управляться (шаг 330) в соответствии с жестом зависания. Например, устройство 100 может быть выполнено таким образом, чтобы определять движения вращения или двойного нажатия, связанные с виртуальным слоем.

Как показано на фиг.4, в некоторых примерах осуществления устройство 100 конфигурировано определять (шаг 400) поперечное расположение объекта 1 в направлениях x и y параллельно поверхности 3 ввода. Движение по меньшей мере части слоя может управляться (шаг 410) в соответствии с определенным поперечным расположением: Фиг.1a, 1b, 5, 6, 7a и 7b иллюстрируют некоторые примеры, в которых позиции x и y объекта влияют на отображаемое движение связанного виртуального слоя.

Например, см. фиг.5, когда в центральной позиции 500 слоя 2 обнаруживается движение зависания, осуществляется выбор всего слоя, а операция отображения управляется так, чтобы отобразить движение 510 всего слоя 2 к поверхности ввода. В одном примере осуществления слой 2a может перемещаться относительно другого слоя 2b за счет зависания объекта, выбирающего весь слой, и слои, таким образом, будут расположены на одном уровне. Устройство 100 может быть также выполнено таким образом, чтобы изображать разделение 3D-отображений различных уровней путем обратного ввода при зависании объекта.

В одном примере осуществления, как показано на фиг.6, 7a и 7b, устройство 100 конфигурировано побуждать часть слоя 2 приближаться (610, 620) к поверхности ввода. Кроме того, для слоя 2 в случае поперечного расположения 600 объекта может предусматриваться операция 700 наклона. Например, слой 2 может представлять собой 3D-вид карты города. В ответ на зависание пальца над поверхностью ввода с одной стороны слоя 2, вид карты может «наклоняться» в одну сторону, а карта может просматриваться в горизонтальной плоскости, позволяя, таким образом, пользователю достаточно просто изменить ориентацию вида карты, а также увидеть большую ее часть, так как наклон карты открывает большую область карты.

Необходимо понимать, что для упрощения восприятия того, что слой следует за удаляющимся объектом, часть слоя 2 может быть выбрана и отображена как перемещающаяся в направлении от поверхности ввода 3, 112.

В другом примере осуществления, как показано на фиг.8, устройство 100 конфигурировано обнаруживать (800) объект, осуществляющий виртуальное касание части виртуального слоя. В ответ на обнаружение нажатия после зависания, например, когда объект приблизился (810) к поверхности ввода после того, как было обнаружено виртуальное касание, устройство может быть конфигурировано реагировать (820) посредством изменения по меньшей мере части слоя. Изменение слоя (или его части) может представлять собой имитацию ответа на нажатие на по меньшей мере часть слоя. Таким образом, может отображаться прогиб на слое или же перемещение слоя от поверхности ввода, например так, как показано на фиг.10.

С перемещением всего или же части виртуального слоя 2 могут ассоциироваться различные действия. В качестве примеров можно назвать операции увеличения, вращения, растягивания, выполняющиеся в ответ на зависание пользовательского объекта над виртуальным слоем. В еще одном примере виртуальные слои 2a-2c могут изменять порядок своего расположения посредством того, что пользователь выбирает целый слой и перемещает его по отношению к другому(-им) слою(-ям).

В некоторых примерах осуществления устройство 100 конфигурировано управлять (330) операциями отображения в виртуальном слое на основании других свойств, связанных с зависанием объекта 1 ввода в области 140 обнаружения зависания.

В еще одном примере осуществления устройство 100 конфигурировано определять скорость движения объекта 1 и осуществлять выбор операции отображения для подстройки (330) внешнего вида слоя в соответствии с определенной скоростью. Для этого могут существовать одно или более пороговых значений для выполнения выбора операции отображения в зависимости от скорости движения объекта. Например, на фиг.9 палец 1 может быть приближен к поверхности ввода на небольшой скорости, в результате чего экран обновляется посредством отображения движения всего слоя 2 целиком. На фиг.10 палец может быть приближен к поверхности ввода с большей скоростью (например, сверх некоторого заданного порогового значения скорости), и на слое 2 может быть отображен прогиб (1000) в ответ на более быстрое выполнение операции зависания объекта.

В некоторых примерах осуществления поверхность 3 ввода и дисплей, отображающий виртуальные слои, размещаются на противоположных сторонах карманного электронного устройства. Например, поверхность ввода может быть размещена на задней стороне карманного электронного устройства. Система обнаружения приближения может быть выполнена таким образом, чтобы обнаруживать ввод данных пользователем при зависании объекта над задней стороной, и пользователь может управлять виртуальными слоями при зависании объекта без непосредственного воздействия пальцами на их 3D-отображение. В другом примере устройство 100 может быть выполнено таким образом, чтобы поддерживать ввод данных при зависании объекта над обеими сторонами устройства, и даже при одновременном зависании над обеими сторонами. Таким образом, например, пользователь может наводить пальцы на обе стороны устройства одновременно для управления виртуальными слоями, отображаемыми на передней стороне экрана, а также на его задней стороне.

В одном примере осуществления виртуальный слой может быть визуально расширен или полностью расположен на задней стороне электронного устройства (для случая, когда экран расположен на лицевой стороне устройства). Как показано в примере на фиг.11a, виртуальный слой 2 может быть визуально расположен на задней стороне устройства. Система обнаружения зависания может быть выполнена таким образом, чтобы обнаруживать объекты на задней стороне устройства и приближать виртуальный слой к объекту 1100, расположенному на поверхности 1110. Как показано в примере на фиг.11b, в ответ на дальнейшее приближение поверхности по меньшей мере часть виртуального слоя перемещается, и, таким образом, внешний вид виртуального слоя реагирует на объект 1100, виртуально касающийся виртуального слоя. Например, может быть обнаружено расположение объекта 1100, а на связанной области виртуального слоя 2 может быть отображен прогиб.

В некоторых примерах осуществления перемещение и/или внешний вид по меньшей мере части слоя 2а-2c управляется в соответствии с одним или несколькими физическими свойствами, связанными со слоем или с одним или более элементами графического пользовательского интерфейса данного слоя. В одном варианте осуществления различные слои 2a-2c могут быть связаны с различной толщиной, и отображаемая реакция на ввод данных при зависании объекта может зависеть от этой толщины. Например, обращаясь к фиг.12, ввод данных при зависании объекта и нажатия на слой 2b, связанный с большим значением толщины, приводит к визуальному перемещению слоя без изменения его формы. Однако в примере на фиг.13, в ответ на аналогичный ввод данных при зависании объекта над слоем 2c, обладающим меньшим значением толщины, слой 2c визуально прогибается (1300).

В другом примере осуществления виртуальный слой 2a-c может быть связан с определенным материалом, с одним или несколькими свойствами, связанными с данным материалом. Поэтому виртуальные слои могут быть связаны с различными свойствами веса, гибкости и/или растяжимости и т.д.

Операции отображения на шаге 330 фиг.3 могут быть выбраны на основании данных свойств слоя.

В некоторых примерах осуществления смена режима отображения с 2D-режима на 3D-режим и обратно обнаруживается на основании ввода данных при зависании, связанного с одним или более слоями 2a-c. Устройство 100 может быть конфигурировано управлять изменением отображением 2D- или 3D- вида в соответствии с обнаруженным вводом данных при зависании.

Как показано на фиг.14, в одном примере осуществления, устройство 100 конфигурировано обнаруживать (шаг 1400) выбор всего слоя, например, в ответ на обнаружение виртуального касания объектом центральной части слоя. В ответ на обнаружение (1410) зависания объекта над поверхностью ввода, например, над сенсорным экраном, (и в одном примере осуществления с последующим его касанием) осуществляется управление изменением режима отображения с 3D-режима на 2D-режим. Далее пользователь может осуществлять ввод данных лишь посредством касания экрана. Таким образом, пользователю обеспечивается интуитивно понятный способ включения/выключения 3D-режима. Переключение с режима 2D на режим 3D может быть также осуществляться по меньшей мере частично на основании ввода данных при зависании объекта. Например, когда пользователь поднимает свой палец с поверхности экрана, происходит отображение виртуальных слоев. Аналогичные операции отображения могут быть выполнены для случая, когда устройство 100 лежит на поверхности (виртуальные слои «разглаживаются»), а затем устройство поднимается с данной поверхности.

В некоторых примерах осуществления свойства объекта(-ов) 1 ввода связаны с обнаруживаемым вводом данных при зависании и могут применяться для управления операциями отображения на шаге 330. Например, устройство 100 может быть выполнено таким образом, чтобы обнаруживать поднесение ладони руки к области обнаружения зависания; и может осуществляться управление операцией отображения, отличной от той, которая связана с пальцем. В другом примере виртуальные слои могут удаляться (а режим отображения может изменяться на 20-режим), только когда обнаружено приближение ладони к поверхности ввода. Таким образом, для адаптации внешнего вида виртуального слоя в ответ на зависание объекта может быть использован размер объекта.

Система 120 обнаружения приближения может быть выполнена таким образом, чтобы обнаруживать одновременное или комбинированное использование двух и более объектов 1. В одном примере осуществления связанный слой и/или ввод данных при зависании обнаруживается в ответ на зависание двух или более пальцев над поверхностью ввода. В другом примере внешний вид виртуального слоя 2a-2c может изменяться посредством одновременного использования двух или более пальцев.

В одном примере осуществления различные функции зависания могут назначаться различным (по меньшей мере двум) пальцам. В этом случае устройство 100 может быть выполнено таким образом, чтоб поддерживать распознавание пальцев, например, на основании информации, получаемой от системы обнаружения приближения и/или от другого(-их) датчика(-ов). Например, два зависающих пальца могут побуждать виртуальный слой 2 прогибаться на большую величину, чем при аналогичном движении, выполняемом одним пальцем. Устройство 100 может быть выполнено таким образом, чтобы на основании обнаруженного движения пальцев в области 140 обнаружения зависания вычислять (виртуальную) силу, прилагаемую каждым пальцем, суммировать вычисленную силу и, например, осуществлять прогиб виртуального слоя на основании полученной общей силы. Свойства, представленные выше, например, свойства касательно фиг.3, 4 и 8, могут использоваться отдельно для каждого обнаруженного пальца или для комбинации пальцев.

В качестве еще одного примера размер области обнаружения зависания может влиять на управление 330 операциями отображения. В еще одном примере устройство 100 выполнено таким образом, чтобы обнаруживать направление движения объекта 1 в области 140 обнаружения зависания, то есть направление зависания. Направление зависания может влиять на управление 330 операциями отображения для связанного(-ых) виртуального(-ых) слоя(-ев). Необходимо понимать, что два или более из представленных выше примеров свойств могут использоваться для воздействия на операции отображения. Например, на шаге 330 могут одновременно рассматриваться скорость движения и число пальцев.

В дополнение к уже проиллюстрированным вариантам осуществления на выбор доступен широкий набор других функций для их связывания с вводом данных, обнаруживаемым сенсорной системой обнаружения и/или системой 120 обнаружения приближения. Контроллер 130 может быть конфигурирован использовать данные связи в соответствии, например, с текущим рабочим состоянием устройства 100, пользовательским вводом данных или выполняемым в устройстве 100 приложением. Например, связи могут зависеть от приложения, текущего меню, конкретного вида и/или зависеть от контекста (что может быть определено на основании информации, полученной от текущего окружения или используемого устройства 100).

На фиг.15 показана структурная схема электронного устройства 1500 в соответствии с примером осуществления. Электронное устройство может включать устройство 100. Хотя один из примеров осуществления электронного устройства 1500 проиллюстрирован и далее будет описываться для иллюстрации, данные варианты осуществления могут использоваться и с другими электронными устройствами, такими как, например (но не ограничиваясь лишь перечисленным), PDA, пейджеры, мобильные компьютеры, настольные компьютеры, ноутбуки, планшеты, медиа-проигрыватели, телевизоры, игровые приставки, камеры, видеокамеры, устройства позиционирования, электронные книжки, носимые устройства, проекторы, сенсорные поверхности, сенсорные стены и другие типы электронных систем.

Кроме того, устройство в примере осуществления не обязательно должно быть целым электронным устройством, а может представлять собой, в других примерах осуществления, часть или группу частей электронного устройства. Например, устройство может быть выполнено в форме чипсета или какого-либо другого вида аппаратного модуля для управления выполнением по меньшей мера некоторых из описанных выше функций, таких как, например, функции контроллера 130 на фиг.2. Процессор 1502 конфигурирован выполнять инструкции и операции, связанные с электронным устройством 1500. Процессор 1502 может включать средства, такие как, например, устройство цифровой обработки сигналов, микропроцессорное устройство и другие микросхемы, для выполнения различных функций, включающих, например, одну или более функций, описанных касательно фиг.1-14. Процессор 1502 может управлять приемом и обработкой входных и выходных данных, передаваемых между компонентами электронного устройства 1500 посредством использования функций, извлекаемых из памяти. Процессор 1502 может быть реализован на одном кристалле, на множестве кристаллов или в множестве электронных компонентов. Некоторые примеры архитектуры, которая может использоваться для процессора 1502, включают отдельный или встроенный процессор и ASIC (проблемно-ориентированная интегральная микросхема - Application-Specific Integrated Circuit). Для простоты на фиг.15 процессор 1502 показан в виде одного блока, однако необходимо понимать, что электронное устройство 1500 может включать множество подсистем управления, таких как, например, одна или более подсистем ввода/вывода данных, подсистема обработки приложения и подсистема обработки протокола связи, каждая из которых может включать один или более контроллеров.

Процессор 1502 может включать возможность выполнения одной или более компьютерных программ. Код компьютерной программы может храниться в памяти 1504. По меньшей мере одна память и код компьютерной программы могут быть конфигурированы побуждать устройство при помощи по меньшей мере одного процессора выполнять по меньшей мере один вариант осуществления, включая, например, управление одной или более функцией, описанных касательно фиг.1-14. Например, процессор 1502 может быть выполнен таким образом, чтобы выполнять по меньшей мере часть функций контроллера 130 из фиг.2. Как правило, процессор 1502 работает совместно с операционной системой для выполнения компьютерного кода и создания и использования данных.

Примером памяти 1504 может быть постоянная память, такая как, например, EEPROM (электрически стираемое программируемое постоянное запоминающее устройство - Electrically Erasable Programmable Read-Only Memory), флеш-память и тому подобное, и непостоянная память, такая как, например, оперативная память (RAM - random access memory), включающая кеш-область для временного хранения данных. Информация для управления функциональностью процессора 802 может также размещаться на съемном носителе информации и загружаться или инсталлироваться при необходимости на электронное устройство 1500.

Электронное устройство 1500 может включать антенну (или множество антенн), подключенную к модулю приемопередатчика 1506, включающего передатчик и приемник. Электронное устройство 1500 может работать, используя один или более стандартов радиоинтерфейса и протоколов связи. В качестве примера электронное устройство 1500 может работать в соответствии с любым числом протоколов связи первого, второго, третьего и/или четвертого поколения и тому подобными. Например, электронное устройство 1500 может работать в соответствии с протоколами проводной связи, такими как, например, Ethernet и протокол цифровой абонентской линии (DSL - digital subscriber line), с протоколами беспроводной связи второго поколения (2G - second generation), такими как, например, протокол глобальной системы связи с подвижными объектами (GSM - Global System for Mobile communications), с протоколами беспроводной связи третьего поколения (3G - third generation), такими как, например, протокол проекта сотрудничества по сетям третьего поколения (3GPP - Third Generation Partnership Project), CDMA2000, широкополосный CDMA (WCDMA - wideband CDMA) и протокол синхронного CDMA с временным разделением (TD-SCDMA - time division-synchronous CDMA), с протоколами беспроводной связи четвертого поколения (4G - fourth generation), такими как, например, протокол долгосрочного развития 3GPP (LTE - Long Term Evolution), с протоколами беспроводной локальной сети, такими как, например, 802.11, с протоколами беспроводной связи малого радиуса действия, таким как, например, Bluetooth и/или тому подобное.

Пользовательский интерфейс электронного устройства 1500 может включать устройство 1508 вывода данных, такое как динамик, одно или более устройств 1510 ввода данных, таких как микрофон, клавиатура или одна или более клавиш или переключателей, и дисплейное устройство 1512, подходящее для обсуждаемого электронного устройства 1500.

Устройство 1510 ввода данных может включать сенсорное устройство, конфигурированное принимать входные данные от пользовательских касаний и отправлять данную информацию на процессор 1502. Такое сенсорное устройство может также быть конфигурировано распознавать позицию и силу нажатий на сенсорную поверхность. Сенсорное устройство может быть основано на сенсорных технологиях, включающих, но не ограниченных перечисленным, емкостное сенсорное восприятие, резистивное сенсорное восприятие, сенсорное восприятие на основе поверхностной звуковой волны, сенсорное восприятие на основе давления, индуктивное сенсорное восприятие, оптическое сенсорное восприятие. Кроме того, сенсорное устройство может основываться на одиночных касаниях или множественных касаниях. В одном варианте осуществления устройство ввода данных является сенсорным экраном, который располагается на передней части экрана 1512.

Электронное устройство 1500 также включает систему 1514 обнаружения приближения с датчиком(-ами) приближения, такую как система 120, описанная ранее, подключенную к процессору 1502. Система 1514 обнаружения приближения конфигурирована обнаруживать, когда палец, стилус или другое указательное устройство находится в непосредственной близости от, однако не касаясь, некоторых из компонентов компьютерной системы, включая, например, корпус или устройства ввода/вывода, такие как, например, сенсорный экран.

Кроме того, электронное устройство 1500 может также включать блоки и элементы, не показанные на фиг.15, такие как, например, другие интерфейсные устройства, другие датчики (например, датчик ускорения), батарея, элементы захвата медиаданных, такие как, например, камера, видео- и/или аудио- модуль, блок позиционирования и блок идентификации пользователя.

В некоторых вариантах осуществления устройство 100 на основании, например, обнаруженного ввода данных при зависании объекта, может производить иные выходные сигналы, такие как, например, аудио- и/или тактильные выходные сигналы. Например, процессор 1502 может быть выполнен таким образом, чтобы управлять в электронном устройстве 1500 динамиком и/или выходным тактильным переключателем, таким как, например, вибромотор, для обеспечения подобных выходных сигналов.

Варианты осуществления настоящего изобретения могут быть реализованы в программном обеспечении, аппаратном обеспечении, программной логике или в комбинации программного обеспечения, аппаратного обеспечения и программной логики. В примере осуществления программная логика, программное обеспечение или инструкции находятся на любом из традиционных машиночитаемых носителей данных. В контексте данного документа «машиночитаемым носителем данных» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования (возможно, совместного) системой выполнения инструкций или устройством, таким как, например, компьютер, один из примеров которого описан и изображен на фиг.15. Машиночитаемый носитель данных может включать вещественное и постоянное машиночитаемое хранилище данных, которое может быть любой средой или средством, содержащим и хранящим инструкции для их использования (возможно, совместного) системой выполнения инструкций или устройством, таким как, например, компьютер.

В одном примере осуществления может предлагаться схема или схема пользовательского интерфейса, конфигурированная предоставлять по меньшей мере некоторые из управляющих функций, описанных выше. Под термином «схема», используемым в данной заявке, понимается все из следующего: (a) только аппаратные реализации схемы (такие как, например, реализации только в аналоговых и/или цифровых схемах) и (b) комбинации схем и программного обеспечения (и/или встроенной программы), такие как (если данное применимо): (i) комбинация процессора(-ов) или (ii) часть процессора(-ов) / программного обеспечения (включая, процессор(-ы) цифровой обработки сигналов), программное обеспечение и память, которые, работая совместно, побуждают устройство, такое как, например, мобильный телефон или сервер, выполнять различные функции; и (c) схемы, такие как микропроцессор(-ы) или часть микропроцессора(-ов), которым для работы необходимо программное обеспечение или встроенная программа, даже в случае, когда программное обеспечение или встроенная программа физически не представлены. Данное определение«схем» относится ко всем использованиям данного термина в данной заявке, включая все пункты формулы изобретения. В качестве еще одного примера, под термином «схема» в данном приложении понимается реализация обычного процессора (или множества процессоров) или части процессора и сопутствующего ему (или им) программного обеспечения и/или встроенной программы.

При желании по меньшей мере некоторые функции, описанные здесь, могут быть выполнены в отличном от указанного порядке и/или одновременно друг с другом. Кроме того, при желании одна или более из описанных выше функций могут быть не обязательными или могут комбинироваться друг с другом.

Хотя различные аспекты изобретения определены в независимых пунктах формулы изобретения, другие аспекты изобретения включают другие комбинации свойств из описанных вариантов осуществления и/или зависимых пунктов формулы изобретения и свойств независимых пунктов формулы изобретения, не обязательно явно указанных в формуле изобретения.

Также здесь необходимо отметить, что хотя выше описываются примеры осуществления изобретения, данное описание не должно рассматриваться как ограничивающее. Более того, существуют различные изменения и модификации, которые могут быть выполнены без выхода за рамки настоящего изобретения, определенного в прилагаемой формуле изобретения.

Изобретение относится к компьютерной технике, а именно к системам пользовательского ввода для управления отображаемой информацией. Техническим результатом является обеспечение управления отображением перемещения виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта. Предложено устройство для управления виртуальными слоями. Устройство содержит процессор, память, код компьютерной программы. Устройство выполнено с возможностью обнаруживать присутствие объекта в непосредственной близости от поверхности ввода. А также устройство выполнено с возможностью связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода. Кроме того, устройство выполнено с возможностью обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода. 6 н. и 20 з.п. ф-лы, 18 ил.

1. Устройство для управления виртуальными слоями, включающее:
по меньшей мере, один процессор; и
по меньшей мере, одну память, включающую код компьютерной программы,
при этом, по меньшей мере, одна память и код компьютерной программы конфигурированы побуждать устройство выполнять, с помощью по меньшей мере одного процессора, по меньшей мере следующее:
обнаруживать присутствие объекта в непосредственной близости от поверхности ввода,
связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
выполнять операцию отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.

2. Устройство для управления виртуальными слоями, включающее:
систему обнаружения приближения с, по меньшей мере, одним датчиком приближения для обнаружения присутствия объекта ввода в непосредственной близости от поверхности ввода, и
контроллер, подключенный к системе обнаружения приближения, при этом контроллер конфигурирован так, чтобы:
обнаруживать присутствие объекта в непосредственной близости от поверхности ввода,
связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
вызывать операцию отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.

3. Устройство для управления виртуальными слоями, включающее:
средства для обнаружения присутствия объекта в непосредственной близости от поверхности ввода,
средства для связывания виртуального слоя, отображаемого в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
средства для обнаружения ввода данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
средства для вызова операции отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной по меньшей мере частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.

4. Устройство по любому из предыдущих пунктов, которое конфигурировано адаптировать расстояние между, по меньшей мере, частью слоя и поверхностью ввода в соответствии с вводом данных при зависании объекта.

5. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать смену режима отображения между двумерным и трехмерным режимами и обратно на основании обнаруженного ввода данных при зависании объекта, и
конфигурировано управлять отображением двумерного или трехмерного отображения в соответствии с обнаруженной сменой режима отображения.

6. Устройство по п. 5, которое конфигурировано обнаруживать смену режима отображения с трехмерного режима на двумерный режим на основании обнаружения выбора, при зависании объекта, виртуального слоя целиком и обнаружения касания поверхности ввода после выбора виртуального слоя.

7. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать поперечное расположение объекта в направлениях x, y, параллельных поверхности ввода, и
конфигурировано управлять перемещением, по меньшей мере, части виртуального слоя в соответствии с обнаруженным поперечным расположением.

8. Устройство по п. 7, которое конфигурировано вызывать операцию наклона виртуального слоя на основании обнаруженного поперечного расположения объекта.

9. Устройство по любому из пп. 1-3, которое конфигурировано определять скорость объекта и выбирать операцию отображения виртуального слоя в соответствии с определенной скоростью.

10. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать связанный виртуальный слой и/или ввод данных при зависании в ответ на обнаружение двух и более пальцев, зависающих над поверхностью ввода.

11. Устройство по любому из пп. 1-3, которое конфигурировано обнаруживать объект, осуществляющий виртуальное касание части виртуального слоя, и
в котором, в ответ на обнаружение того, что объект после обнаружения виртуального касания продолжает приближение к поверхности ввода, устройство конфигурировано адаптировать форму части виртуального слоя для имитирования реакции на объект, осуществляющий нажатие.

12. Устройство по любому из пп. 1-3, которое конфигурировано управлять перемещением и/или внешним видом, по меньшей мере, части виртуального слоя в соответствии с одним или более физическими свойствами, связанными с виртуальным слоем, или с одним или более элементом графического интерфейса пользователя виртуального слоя.

13. Устройство по любому из пп. 1-3, в котором поверхность ввода и экран, отображающий виртуальные слои, расположены на противоположных сторонах карманного электронного устройства.

14. Устройство по любому из пп. 1-3, которое является устройством мобильной связи, включающим сенсорный экран.

15. Способ управления виртуальными слоями, включающий:
обнаружение присутствия объекта в непосредственной близости от поверхности ввода,
связывание виртуального слоя, отображаемого в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаружение ввода данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
вызов операции отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.

16. Способ по п. 15, в котором расстояние от, по меньшей мере, части слоя до поверхности ввода адаптируют в соответствии с вводом данных при зависании объекта.

17. Способ по п. 15 или 16, в котором изменение режима отображения между двумерным и трехмерным режимами обнаруживают на основании обнаруженного ввода данных при зависании объекта, и
отображением двумерного или трехмерного вида управляют в соответствии с обнаруженным изменением режима отображения.

18. Способ по п. 15 или 16, в котором изменение режима отображения с трехмерного режима на двумерный режим обнаруживают на основании обнаружения зависающего объекта, который выбирает весь виртуальный слой, и обнаружения касания объектом поверхности ввода после выбора виртуального слоя.

19. Способ по п. 15 или 16, в котором определяют поперечное расположение объекта в направлениях x, y параллельно поверхности ввода, и
перемещением, по меньшей мере, части виртуального слоя управляют в соответствии с поперечным расположением, которое было определено.

20. Способ по п. 15 или 16, в котором операцию наклона виртуального слоя выполняют на основании поперечного расположения объекта, которое было определено.

21. Способ по п. 15 или 16, в котором определяются скорость перемещения объекта, и
операцию отображения виртуального слоя выбирают в соответствии с этой скоростью.

22. Способ по п. 15 или 16, в котором обнаруживают связанный виртуальный слой и/или ввод данных при зависании объекта в ответ на обнаружение двух или более пальцев, зависающих над поверхностью ввода.

23. Способ по п. 15 или 16, в котором в котором обнаруживают объект, осуществляющий виртуальное касание части виртуального слоя, и
в ответ на обнаружение объекта, продолжающего после обнаружения виртуального касания дальнейшее приближение к поверхности ввода, адаптируют форму части виртуального слоя для имитирования реакции на объект, осуществляющий нажатие.

24. Способ по п. 15 или 16, в котором перемещением и/или внешним видом, по меньшей мере, части виртуального слоя управляют в соответствии с одним или более физическими свойствами, связанными с виртуальным слоем, или с одним или более элементом графического интерфейса пользователя виртуального слоя.

25. Пользовательский интерфейс электронного устройства, включающего систему обнаружения приближения для обнаружения присутствия объекта ввода в непосредственной близости от поверхности ввода, при этом пользовательский интерфейс конфигурирован:
связывать виртуальный слой, отображаемый в трехмерном режиме, с объектом на основании расстояния между объектом и поверхностью ввода,
обнаруживать ввод данных объектом при его зависании, при этом указанный ввод данных объектом включает изменение расстояния между объектом и поверхностью ввода, и
вызывать операцию отображения перемещения, по меньшей мере, части связанного виртуального слоя в соответствии с обнаруженным вводом данных при зависании объекта, при этом указанная, по меньшей мере, часть связанного виртуального слоя кажется перемещающейся с указанным объектом так, что расстояние между указанной, по меньшей мере, частью связанного виртуального слоя и поверхностью ввода изменяется в соответствии с изменением расстояния между объектом и поверхностью ввода.

26. Машиночитаемый носитель данных, содержащий код компьютерной программы для использования компьютером, при этом код компьютерной программы включает код для побуждения компьютера выполнять способ по любому из пп. 15-24.