ВИРТУАЛЬНАЯ ТАКТИЛЬНАЯ ПАНЕЛЬ Российский патент 2014 года по МПК G06F3/488 

Предшествующий уровень техники

Мышь является повсеместным инструментом ввода, который является наиболее понятным многим людям, использующим современные вычислительные устройства. Десятилетиями мышь оставалась одним из наиболее распространенных механизмов ввода для компьютеров. Люди быстро распознают курсоры мыши на экранах вычислительных устройств и, как правило, знают, как их использовать. Независимо от того, является ли устройство мобильным телефоном, лэптопом, персональным компьютером, планшетом ввода данных, курсор мыши является чрезвычайно популярным для взаимодействия с графическими пользовательскими интерфейсами (GUI).

Во многих ситуациях, привычная мышь является громоздкой. В целом, требуется отдельное устройство, удобное для руки, которому для скольжения требуется плоская поверхность. Поскольку лэптопы становятся все более и более популярными, тактильные панели перемещаются непосредственно на вычислительное устройство. Это освобождает пользователя от необходимости использования отдельного устройства ввода для взаимодействия с вычислительным устройством, но тактильная панель требует пространства на вычислительном устройстве и является ограниченной конкретными размером и областью. Современные тактильные панели обеспечивают для пользователя лишь малое пространство для перемещения пальца или использования стилуса, несколько затрудняя для пользователя управление курсором мыши на устройствах отображения намного бόльших размеров.

Сущность изобретения

В разделе «сущность изобретения» вводится перечень понятий в упрощенной форме, которые дополнительно описываются ниже в подробном описании изобретения. Он не предназначается для определения ключевых особенностей или существенных особенностей заявленного объекта изобретения, и при этом он не предназначается для использования в качестве помощи в определении объема заявленного объекта изобретения.

Один аспект изобретения направлен на одновременное представление виртуальной тактильной (сенсорной) панели и графического пользовательского интерфейса (GUI) операционной системы ОС на одном и том же устройстве отображения. Пользователь может взаимодействовать с ОС с использованием виртуальной тактильной панели, реализованной в пределах части тактильного экрана устройства отображения. Касания пользователя считываются посредством части тактильного экрана и оцифровываются посредством цифрового преобразователя. Программные средства тактильного ввода преобразуют пакеты касаний из касаний пользователя в пакеты данных, имеющие отношение к разрешению экрана или устройства отображения или части этого устройства отображения, представляющего ОС. В программных средствах распознавания жеста к преобразованным пакетам применяются правила для определения того, какие действия подразумевались пользователем посредством касаний. В конечном счете, приложение, управляющее курсором мыши, манипулирует курсором мыши в соответствии с действиями мыши.

Другой аспект изобретения ориентирован на GUI в одиночном устройстве отображения, которое одновременно представляет виртуальное устройство ввода и представление ОС. Пользователь может взаимодействовать с ОС с использованием виртуального устройства ввода.

Краткое описание чертежей

Более подробно настоящее изобретение описано ниже со ссылками на прилагаемые чертежи, на которых:

Фиг.1 изображает блок-схему иллюстративной операционной среды, используемой в реализации варианта осуществления настоящего изобретения;

Фиг.2 изображает схему иллюстративного GUI на устройстве с тактильным экраном в соответствии с вариантом осуществления изобретения;

Фиг.3 изображает принципиальную схему устройства с тактильным экраном, сконфигурированного для представления виртуальной тактильной панели, в соответствии с вариантом осуществления изобретения; и

Фиг.4 изображает схему последовательности операций алгоритма, иллюстрирующей этапы, на которых представляют и управляют виртуальной тактильной панелью, в соответствии с вариантом осуществления изобретения.

Подробное описание осуществления изобретения

Описанный в настоящем документе объект изобретения представляется с особенностями, чтобы отвечать предусмотренным законом требованиям. Однако, в настоящем документе, описание не предназначается для ограничения объема данного изобретения. Скорее имеется в виду, что заявленный объект изобретения также может быть осуществлен и другими способами для включения различных этапов или комбинаций этапов, подобных описанным в данном документе, в соединении с другими существующими технологиями или технологиями будущего. Кроме того, хотя в настоящем документе термин "блок" может использоваться для обозначения различных элементов используемых способов, термин не должен интерпретироваться как подразумевающий какой-либо конкретный порядок среди различных этапов, раскрытых в настоящем документе, или между ними.

Описанные в настоящем документе варианты осуществления ориентированы на виртуальную тактильную (сенсорную) панель, представленную на тактильном (сенсорном) экране. С использованием виртуальной тактильной панели, пользователь может управлять курсором мыши на экране вычислительного устройства. Взаимодействие с виртуальной тактильной панелью производит сигналы ввода тактильного экрана, которые захватываются и переводятся в действия мыши посредством программных средств распознавания движений. ОС интерпретирует сигналы мыши таким образом, как будто они были приняты от обычной мыши или тактильной панели, таким образом, обеспечивая функциональные возможности тактильной панели через виртуальное представление тактильной панели.

Несмотря на то, что в настоящем документе описывается виртуальная тактильная панель, варианты осуществления ее не ограничиваются. Вместо этого, в вариантах осуществления полностью рассматриваются виртуальные исполнения других устройств ввода. Например, могут быть представлены виртуальный шар прокрутки, виртуальное колесо прокрутки, виртуальный джойстик мыши или другое виртуальное исполнение устройства в некоторых вариантах осуществления. Для ясности, ниже описываются исключительно виртуальные тактильные панели.

Даже, несмотря на то, что описанные в настоящем документе варианты осуществления относятся к управлению курсором мыши посредством виртуальной тактильной панели, варианты осуществления также могут быть объединены с другими возможностями тактильного экрана. В частности, виртуальная тактильная панель может быть отображена, а также она может предоставлять инструмент для управления курсором мыши, в то время как остальная часть вычислительного экрана также может быть чувствительной к касаниям. Например, пользователи могут как использовать виртуальную тактильную панель в частях тактильного экрана устройства отображения (описано ниже) для управления курсором мыши, так и управлять курсором мыши посредством непосредственного прикосновения к курсору, представленному в системной части устройства отображения (также описано ниже).

После краткого описания общего краткого обзора описанных в настоящем документе вариантов осуществления, ниже описывается иллюстративное вычислительное устройство. В частности, сначала обращаясь к Фиг.1, иллюстративная операционная среда для реализации настоящего изобретения показана и обозначена, в целом, как вычислительное устройство 100. Вычислительное устройство 100 является всего лишь одним примером подходящей вычислительной среды, и оно не предназначено для предложения любого ограничения объема применения или функциональных возможностей изобретения. Вычислительное устройство 100 не должно интерпретироваться как имеющее какую-либо зависимость или требования, относящиеся к любому из изображенных компонентов или их сочетанию. В одном варианте осуществления, вычислительное устройство 100 является обычным компьютером (например, персональным компьютером или лэптопом).

Один вариант осуществления изобретения может описываться в общем контексте машинного кода или используемых машиной команд, включающих в себя такие выполняемые компьютером команды, как программные модули, выполняемые посредством компьютера или другой машины. В целом, программные модули, включающие в себя стандартные подпрограммы, программы, объекты, компоненты, структуры данных, и т.п., относятся к коду, выполняющему конкретные задачи или реализующему отдельные абстрактные типы данных. Описанные в настоящем документе варианты осуществления могут быть осуществлены на практике во множестве конфигураций системы, включающих в себя портативные устройства, бытовую электронику, компьютеры общего назначения, более специализированные вычислительные устройства, и т.д. Описанные в настоящем документе варианты осуществления также могут быть осуществлены на практике в распределенных вычислительных средах, в которых задачи выполняются посредством устройств удаленной обработки, связанных через сеть связи.

Далее, на Фиг.1 вычислительное устройство 100 включает в себя шину 110, которая прямо или косвенно соединяет следующие устройства: запоминающее устройство 112, один или более процессоров 114, один или более компонентов 116 представления, порты 118 ввода/вывода, компоненты 120 ввода/вывода и иллюстративный источник 122 питания. Шина 110 представляет то, что может существовать одна или более шин (таких, как адресная шина, шина данных, или их сочетание). Несмотря на то, что различные блоки Фиг.1 изображаются для ясности линиями, на самом деле, очерчивание различных компонентов не так ясно, и метафорически, более точно линии должны считаться серыми и нечеткими. Например, можно считать компонент представления, такой как устройство отображения, компонентом ввода/вывода. Кроме того, процессор имеет запоминающее устройство. Специалисту в данной области техники будет понятно, что в этом заключается содержание данной области техники и, как упоминается выше, диаграмма на Фиг.1 является лишь изображением иллюстративного вычислительного устройства, которое может быть использовано в соединении с одним или более вариантами осуществления настоящего изобретения. Между такими категориями, как "автоматизированная рабочая станция", "сервер", "лэптоп", "портативное устройство", и т.д., различий не делается, поскольку все они рассматриваются в пределах объема Фиг.1 и со ссылкой на "вычислительное устройство".

Как правило, вычислительное устройство 100 включает в себя множество машиночитаемых носителей. Для примера, но не ограничения, машиночитаемый носитель может содержать RAM, ROM, EEPROM, флэш-память или другие технологии памяти, CD-ROM, DVD или другие оптические или голографические носители, магнитные кассеты, магнитную ленту, магнитное дисковое устройство хранения или другие магнитные устройства хранения, либо подобные материальные носители, выполненные с возможностью хранения данных и/или команд, имеющих отношение к описанным в настоящем документе вариантам осуществления.

Запоминающее устройство 112 включает в себя компьютерный носитель данных в форме энергозависимого и/или энергонезависимого запоминающего устройства. Запоминающее устройство может быть съемным, несъемным, или их сочетанием. Иллюстративные устройства аппаратных средств включают в себя твердотельную память, накопители на жестких дисках, кэш-память, оптические дисководы, и т.д. Вычислительное устройство 100 включает в себя один или более процессоров, считывающих данные с таких различных образований, как запоминающее устройство 112 или компоненты 120 ввода/вывода. Компонент(ы) 116 представления представляют пользователю или другому устройству изображения данных. Иллюстративные компоненты представления включают в себя устройство отображения, громкоговоритель, компонент печати, компонент вибрации, и т.д.

Порты 118 ввода/вывода позволяют логически соединять вычислительное устройство 100 с другими устройствами, включающими в себя компоненты 120 ввода/вывода, некоторые из которых могут являться встроенными. Наглядные компоненты включают в себя микрофон, джойстик, игровой планшет, спутниковую антенну, сканер, принтер, беспроводное устройство, и т.д.

Описанные выше компоненты, относящиеся к вычислительному устройству 100, также могут включаться в состав мобильного устройства. Как описано в настоящем документе, мобильное устройство относится к любому типу мобильного телефона, портативного устройства, персонального цифрового секретаря (PDA), смартфона BlackBerry®, цифровой камеры, или других мобильных устройств (за исключением лэптопа), допускающих беспроводное взаимодействие. Специалисту в данной области техники также стоит принимать во внимание, что мобильные устройства также будут включать в себя процессор и компьютерные носители данных для выполнения различных функций. В вариантах осуществления, описанных в настоящем документе, упоминается как вычислительное устройство, так и мобильное устройство. В вариантах осуществления, вычислительные устройства относятся к устройствам, которые просто запускают приложения, из которых изображения захватываются посредством камеры в мобильном устройстве.

Вычислительное устройство 100 включает в себя тактильный экран, который будет приниматься во внимание специалистом в данной области техники как устройство отображения, которое может обнаруживать местоположение касаний в пределах области отображения. Некоторые варианты осуществления будут включать в себя одиночное устройство отображения с частями устройства отображения, предназначенными для принятия вводов (называемых в настоящем документе «касаниями») тактильного экрана. В других вариантах осуществления, вся область отображения выполнена с возможностью приема таких касаний пользователя, как от пальца или стилуса. Сенсорные экраны могут быть осуществлены посредством добавления резистивных, емкостных, инфракрасных, или подобных панелей к обычному экрану вычислительного устройства, например, к жидкокристаллическому дисплею (LCD), светодиодному (LED), органическому светодиодному (OLED), и т.д. Альтернативно, тактильные экраны могут содержать конфигурации измерителей деформации или технологию оптического отображения, дисперсионного сигнала, поверхностной акустической волны, или другие технологии для захвата касаний. Вышеупомянутые списки не являются исчерпывающими, и, как будет понятно специалисту в данной области техники, может применяться множество других панелей и технологий для захвата касаний.

Фиг.2 является схемой, изображающей иллюстративный GUI 200 на устройстве с тактильным экраном, в соответствии с вариантом осуществления изобретения. GUI 200 содержит две части устройства отображения: системную часть 202 и часть 204 тактильного экрана. В частности, системная часть 202 представляет GUI такой ОС, как Microsoft Windows®. Касания в части 204 тактильного экрана переводятся в действия курсора 206 мыши в пределах системной части 202. В одном варианте осуществления, весь экран, включающий в себя как системную часть 202, так и часть 204 тактильного экрана, может быть включен в состав тактильного экрана, сконфигурированного таким образом, чтобы игнорировать касания в системной части 202 и обрабатывать касания в части 204 тактильного экрана.

В альтернативном варианте осуществления касания в системной части 202 не игнорируются; скорее прикосновения обрабатываются, позволяя пользователю непосредственно манипулировать курсором мыши. Например, пользователь может прикасаться к курсору мыши в системной части и сдвигать палец, касающийся курсора мыши в любое место системной части 202. Это приведет к следованию мыши за пальцем до тех пор, пока палец не поднят. Следовательно, данный вариант осуществления обрабатывал бы прикосновения непосредственно в системной части 202 в дополнение к прикосновениям в части 204 тактильного экрана.

Программные средства системной части 202 устройств отображения могут взаимодействовать с использованием мыши или другого устройства ввода. В одном варианте осуществления, системная часть 202 представляет GUI такой ОС, как Windows®, Windows Mobile®, MacOS, Linux, или подобной. С использованием мыши, пользователь может взаимодействовать с такими приложениями программных средств, как веб-браузер 214.

Часть 204 тактильного экрана включает в себя сенсорную площадку 208, левую клавишу 210, и правую клавишу 212. Сенсорная площадка 208 представляет собой часть нормальной сенсорной площадки тактильной панели и позволяет пользователю обращаться с сенсорной площадкой 208 таким же образом. С использованием сенсорной площадки 208, пользователь может перемещать курсор мыши в любом конкретном направлении 206 посредством передвижения пальца или стилуса в этом направлении. Более сложные касания (например, перемещение, отпускание, наведение, многократное прикосновение, и т.д.) также могут регистрироваться посредством касания к сенсорной площадке и/или, в частности, клавиш. Например, пользователь может сдвигать палец вниз в крайнюю левую часть сенсорной площадки 208 для указания прокрутки вниз. Или пользователь может легко стукнуть дважды по сенсорной панели 208 для указания щелчка левой клавиши мыши. Кроме того, касания левой клавиши 210 и правой клавиши 212 определяют щелчки левой и правой клавиши мыши соответственно. Также возможны и другие касания, что будет очевидно специалистам в данной области техники. Кроме того, другие устройства (например, шаровой манипулятор, колесо прокрутки, и т.д.) ввода могут альтернативно использовать различные действия, которые могут быть легко обработаны посредством программных средств распознавания движений, описанных в настоящем документе.

Варианты осуществления не ограничиваются конфигурацией, обрисованной на Фиг.2. Например, могут быть отображены дополнительные клавиши, или часть тактильного экрана может быть расположена в другой части GUI 200. Кроме того, часть 204 тактильного экрана может подразделяться на неодинаковые секции, и различные секции могут занимать отдельные части GUI 200.

В некоторых вариантах осуществления, линия между тактильной частью 204 экрана и системной частью 202 может быть устранена в зависимости от взаимодействия пользователя с системой. В варианте осуществления, альтернативном вышеописанному, касания, возникающие в части 204 тактильного экрана и переносимые в системную часть 202, обрабатываются полностью. Например, данный вариант осуществления продолжает отслеживание перемещения пальца из части 204 тактильного экрана в системную часть 202. Вместо того, чтобы останавливать смещение курсора 206, когда палец выходит за пределы внешней границы части 204 тактильного экрана, курсор 206 продолжает смещение по направлению перемещения пальца до заданного события, например, остановки перемещения пользователем. Другими словами, такой вариант осуществления не ограничивает касания к части 204 тактильного экрана, если касание переносится в системную часть. Кроме того, в одном варианте осуществления, любое касание, начинающееся в пределах части 204 тактильного экрана и продолжающееся за его пределами, приводит к касанию, с которым обращаются так же, как и в пределах части 204 тактильного экрана.

Фиг.3 является принципиальной схемой устройства 100 с тактильным экраном, сконфигурированного для представления виртуальной тактильной панели, в соответствии с вариантом осуществления изобретения. Нужно отметить, что Фиг.3 лишь иллюстрирует один вариант осуществления. Кроме того, для ясности, многочисленные компоненты вычислительного устройства 100 не изображены. Действительно, вычислительное устройство 100 включает в себя процессор и компьютерные носители данных для поддержки программных средств, упоминаемых в настоящем документе. Фактически, в некоторых вариантах осуществления, пакеты 318 касаний, сообщения 320 мыши, или действия 22 мыши могут быть кэшированы для быстрого поиска.

Устройство 300 с тактильным экраном является вычислительным устройством, которое может содержать любое из аппаратных и программных средств, описанных в настоящем документе. Устройство 300 с тактильным экраном включает в себя устройство 302 отображения, цифровой преобразователь 308, программные средства 310 ввода касаний, программные средства 312 распознавания движений и приложение 314 управления GUI. В одном варианте осуществления, часть 306 тактильного экрана отображается на усмотрение пользователя. Пользователь может выбирать кнопку с постоянными функциями или с изменяемыми функциями для отображения части 306 тактильного экрана. В случае если она не показана, область отображения конфигурируется исключительно как системная часть 304. В других вариантах осуществления могут содержаться дополнительные программные средства и аппаратные средства, не изображенные на Фиг.3.

Устройство 302 отображения является одиночным экраном представления с возможностями тактильного экрана. В одном варианте осуществления, программные средства в вычислительном устройстве 100 одновременно представляют на устройстве 302 отображения две различных части GUI. Эти части изображены на Фиг.2 и упоминаются выше как системная 304 часть и часть 306 тактильного экрана. Системная часть 304 отображает интерактивное представление операционной системы (ОС), таким образом предоставляя доступ к приложениям программных средств. В качестве примера, системная часть 304 может быть задумана как часть устройства 302 отображения, отображающая версию Microsoft Windows®, Windows Mobile®, Linux, MacOS, или подобной. В пределах системной части 304, пользователь может взаимодействовать с приложениями программных средств посредством манипулирования курсором мыши. Кроме того, тактильная часть 306 экрана отображает виртуальную тактильную панель, которая может использоваться пользователем для управления курсором мыши. Виртуальная тактильная панель принимает касания 316 от пользователя (например, посредством пальца или стилуса), и переводит касания 316 в команды для перемещения курсора мыши в системную часть 304. Если вкратце, то пользователь касается тактильной панели в части 306 тактильного экрана для управления курсором мыши в системной части 304.

Пользователь может вводить различные касания 316 в часть 306 тактильного экрана. Например, пользователь может перемещать палец через часть 306 тактильного экрана в одном направлении для указания курсору перемещаться в данном направлении. Можно легко стукнуть пальцем или стилусом по правой, левой, средней или другим клавишам, обозначая нажатие одной из клавиш. Данные клавиши также могут иметь особенность "залипания", при помощи чего действие (например, за командой нажатия клавиши быстро следует перемещение вниз) приводит к удерживанию клавиш в нажатом положении, до тех пор, пока не зарегистрировано действие отпускания (например, одиночного легкого стука по нажатой клавише). Конечно, посредством части 306 тактильного экрана могут приниматься и другие различные касания 316.

Касания 316, принимаемые посредством части 306 тактильного экрана, проходят через цифровой преобразователь 308. В одном варианте осуществления, цифровой преобразователь 308 включает в себя устройство управления тактильным экраном, которое обнаруживает касания 316, принимаемые посредством части 306 тактильного экрана и преобразует касания 316 в их цифровые эквиваленты. В качестве примера, но не ограничения, цифровой преобразователь 308 может быть сконфигурирован для обнаружения изменений тока, напряжения, сопротивления, емкости, или инфракрасного света, являющихся следствиями касаний 316. Цифровой преобразователь 308 преобразует изменения в пакеты 318 касаний.

Пакеты 318 касаний (обычно называемые "пакетами ручки и касания") включают в себя различную информацию, имеющую отношение к касаниям 316, такую как: координаты x/y, давление, размер, направление, или подобные. Кроме того, пакеты также могут включать в себя информацию, связанную с возможностями тактильного экрана устройства 302 отображения, такими как размеры части 306 (например, два дюйма на два дюйма, 200 пикселей, и т.д.) тактильного экрана.

Программные средства 310 ввода касаний преобразуют пакеты 318 касаний, чтобы подходить части 304 экрана. Для этого, программные средства 310 ввода касаний переводят информацию, предоставленную в пакетах 318 касаний, в их эквиваленты на системной части 304. Программные средства 310 ввода касаний могут включать в себя любой тип программной оболочки, такой как WISPTIS в Microsoft Windows®. В действии, программные средства 310 ввода касаний берут информацию в пакетах 318 касаний и преобразовывают их, чтобы подходить к размеру экрана, разрешению, или количеству пикселей устройства 302 отображения.

В действии, программные средства 310 ввода касаний преобразуют информацию в пакетах 318 касания размера устройства отображения или разрешения части 306 тактильного экрана в размер экрана и разрешение, связанное с основным экраном устройства 302 отображения. Например, часть 306 тактильного экрана может быть два дюйма в ширину на два дюйма в длину, а устройство 302 отображения может быть десять дюймов в ширину на десять дюймов в длину. В одном варианте осуществления, для преобразования пакетов 318 касаний, программные средства 310 ввода касаний умножают расстояние, на которое переместился палец в тактильной части 306 экрана, на коэффициент пять. Кроме того, скорость касания также может быть переведена для указания скорости, с которой перемещать курсор мыши.

Возможности тактильного экрана устройства 302 отображения могут быть более точными, чем разрешение устройства 302 отображения. Например, устройство 302 отображения может включать в себя экран компьютера, выполненный с возможностью освещения 200 линий пикселей, и слой (например, емкостной, резистивный, инфракрасный) тактильного экрана с более чем 10,000 линий определяемых интервалов. В данном примере, обнаружения посредством цифрового преобразователя 308 могут переводиться в их эквиваленты устройства отображения в системной части 304, таким образом позволяя касаниям 316 воспроизводиться в системной части 304.

Как только пакеты 318 касаний преобразованы посредством программных средств 310 ввода касаний для представления на устройстве отображения или в пределах области отображения системной части 304, преобразованные пакеты 320 передаются через программные средства 312 распознавания движений для определения того, какие действия были заданы посредством касаний 316. В одном варианте осуществления, программные средства 312 распознавания движений реализуют машину состояний, в которой действия 322 мыши определяются на основе различных правил. Правила, реализованные посредством программных средств 312 распознавания движений, могут включать в себя любое условие, связанное с действием мыши. Например, если преобразованные пакеты 320 указывают на обнаруженное движение в конкретном направлении на конкретной скорости, то программные средства 312 движений определяют, что предполагается движение мыши в определенном направлении на определенной скорости и, соответственно, создается пакет 322 мыши. Правила могут быть настроены почти для любого типа действий мыши, таких как наведение, перемещение, множественное касание, и т.п.

Действия 322 мыши могут являться линейными или нелинейными преобразованиями касаний 316. Линейные преобразования являются прямыми преобразованиями касаний 316 в системной части 304, учитывающими различия в размерах экрана части 306 тактильного экрана по сравнению с областью отображения части 306 тактильного экрана или устройства 302 отображения. Другими словами, скорость касания 316 переводится в его эквивалент в системной части 304. Нелинейное преобразование имеет отношение к касанию, которое переводится в системную часть не прямо; скорее, касание усиливается или манипулируется иным способом на основе правила. Например, скорость, с которой палец проводится через часть 306 тактильного экрана, может быть увеличена, если он перемещается непрерывно в одном и том же направлении за конкретное время. Другими словами, если провести виртуальным джойстиком на конкретной скорости, то можно увеличить скорость перемещения курсора мыши. В программных средствах 312 распознавания движений могут быть заданы правила для учета как линейных, так и нелинейных перемещений.

Правила программных средств 312 распознавания движений могут учитывать движения с множественными касаниями. Например, перемещение предмета может выполняться посредством удержания касаний левой виртуальной клавиши мыши при сдвигании пальца по виртуальной тактильной панели. Для учета такого действия, также как и других действий с множественными касаниями, посредством программных средств 312 распознавания движений, правило может настраиваться и выполняться.

Действия 322 мыши передаются в приложение 314 управления GUI для представления. Приложение 314 управления GUI является программной оболочкой, выполненной с возможностью интерпретировать действия мыши и выполнять действия с курсором мыши. В действии, приложение 314 управления GUI управляет курсором мыши в системной части 304. В одном варианте осуществления, приложение 314 управления GUI является прикладной программой explorer.exe в Windows® ОС. Альтернативные варианты осуществления могут содержать различные прикладные программы для управления курсорами мыши в других ОС.

В одном варианте осуществления, программные средства 312 распознавания движений содержат правила для обработки пакетов 318 касаний в пределах части 306 тактильного экрана, но не пакеты 318 касаний в пределах системной части 304. Таким образом, если пользователь перемещает палец за пределы границы тактильной панели, то пакеты 318 касаний за пределами части 306 тактильного экрана не обрабатываются, что практически останавливает перемещение мыши. Однако, в альтернативном варианте осуществления сообщения мыши, возникающие изнутри части 306 тактильного экрана и распространяющиеся в системную часть 304, обрабатываются полностью. В этом варианте осуществления, прикосновение, начинающееся на виртуальной тактильной панели и перемещающееся на устройство отображения ОС, формирует действия 322 мыши для непрерывного перемещения курсора мыши до тех пор, пока прикосновение не закончится за пределами системной 304 части. Следовательно, с использованием поддерживаемых на всем устройстве 302 отображения свойств тактильного экрана, пользователю не обязательно ограничиваться виртуальной тактильной панелью.

Фиг.4 является схемой последовательности 400 операций, изображающей этапы, на которых представляют и управляют виртуальной тактильной панелью и GUI операционной системы на одном и том же устройстве отображения, в соответствии с вариантом осуществления изобретения. Первоначально, одиночное устройство отображения с тактильным экраном одновременно представляет виртуальную тактильную панель и операционную систему, как указано на этапе 402. В одном варианте осуществления представляется исключительно GUI ОС до тех пор, пока пользователь не выберет клавишу с постоянной функцией или клавишу с изменяемой функцией для просмотра виртуальной тактильной панели. В другом варианте осуществления, виртуальная тактильная панель представляется без какого-либо взаимодействия пользователя с системой.

Пользователь может прикоснуться к виртуальной тактильной панели для взаимодействия с ОС, такого как перемещение курсора мыши, как указано на этапе 404. Касания пользователя считываются посредством цифрового преобразователя, создающего пакеты касаний, как указано на этапе 406. Пакеты касаний являются цифровыми представлениями касаний пользователя. Поскольку тактильный экран может обеспечивать возможность регистрации касаний с определенной точностью, а информацию устройства отображения - с другой, то пакеты касаний преобразуются, чтобы подходить к конфигурациям отображения устройства отображения с тактильным экраном, как указано на этапе 408. Например, пакеты касаний могут быть преобразованы, чтобы подходить к конкретному размеру экрана или к разрешению устройства отображения с тактильным экраном, или чтобы подходить к системной части, отображаемой одновременно с виртуальной тактильной панелью.

Как указано на этапе 410, правила применяются к преобразованным пакетам для определения того, какие действия мыши предполагались посредством касаний, как указано на этапе 410. Эти правила могут охватывать действия, которые пользователь вводит на виртуальный планшет, такие как смещение мыши, нажатие клавиши, отпускание клавиши, перемещение, наведение, множественное касание, или подобные. После определения, действия мыши передаются в прикладную программу (например, explorer.exe в Windows®), которая, затем, соответственно манипулирует GUI ОС.

Несмотря на то, что объект изобретения описывается языком, характерным для структурных отличительных признаков и/или методологических действий, подразумевается, что в приложенной формуле изобретения объект изобретения не обязательно ограничивается описанными выше характерными отличительными признаками или действиями. Скорее, описанные выше характерные отличительные признаки и действия раскрываются в качестве форм примеров реализации формулы изобретения. Например, интервалы выборки и периоды выборки, отличные от описанных в настоящем документе, также могут быть собраны посредством объема формулы изобретения.

Изобретение относится к средствам отображения виртуальной сенсорной панели для управления курсора мыши. Технический результат заключается в обеспечении возможности управления курсором мыши на сенсорном экране с использованием сенсорной панели, встроенной в сенсорный экран. Одновременно представляют системную часть и часть сенсорного экрана на сенсорном экране. Представляют пользовательский интерфейс (UI) операционной системы (ОС) в системной части, при этом курсор мыши представляется как часть ОС. Представляют виртуальную сенсорную панель в упомянутой части сенсорного экрана для управления курсором мыши, при этом виртуальная сенсорная панель включает в себя область для управления движениями курсора мыши. Принимают касания в пределах упомянутой части сенсорного экрана. Используют одно или более правил для перевода касаний в одно или более действий мыши. Используют действия мыши для управления курсором мыши и упомянутые одно или более правил для обработки касаний, которые начинаются от внутренней части упомянутой части сенсорного экрана и, поддерживая контакт с сенсорным экраном, продолжаются в упомянутой системной части. 3 н. и 15 з.п. ф-лы, 4 ил.

1. Один или более машиночитаемых носителей информации, имеющих выполняемые компьютером команды, осуществляемые для выполнения способа одновременного отображения виртуальной сенсорной панели для управления курсором мыши на основе касаний на упомянутой сенсорной панели, содержащий этапы, на которых:
одновременно представляют системную часть и часть сенсорного экрана на сенсорном экране;
представляют пользовательский интерфейс (UI) операционной системы (ОС) в системной части, при этом курсор мыши представляется как часть ОС;
представляют виртуальную сенсорную панель в упомянутой части сенсорного экрана для управления курсором мыши, при этом виртуальная сенсорная панель включает в себя область для управления движениями курсора мыши;
принимают касания в пределах упомянутой части сенсорного экрана;
используют одно или более правил для перевода касаний в одно или более действий мыши;
используют действия мыши для управления курсором мыши, и
используют упомянутые одно или более правил для обработки касаний, которые начинаются от внутренней части упомянутой части сенсорного экрана, и, поддерживая контакт с сенсорным экраном, продолжаются в упомянутой системной части.

2. Носитель информации по п.1, дополнительно содержащий применение цифрового преобразователя к касаниям для преобразования касаний в пакеты касаний.

3. Носитель информации по п.2, в котором пакеты касаний содержат указания по меньшей мере одной из координат х/у, направления и скорости, связанных с касаниями.

4. Носитель информации по п.1, дополнительно содержащий представление одной или более виртуальных клавиш в части сенсорного экрана.

5. Носитель информации по п.1, дополнительно содержащий прием касаний в части упомянутой системной части.

6. Носитель информации по п.1, дополнительно содержащий:
прием второго касания в системной части; и
управление курсором мыши на основе второго касания.

7. Носитель информации по п.1, в котором упомянутые одно или более правил не обрабатывают касания, начинающиеся из-за пределов части сенсорного экрана.

8. Носитель информации по п.1, в котором виртуальная сенсорная панель представляется исключительно тогда, когда пользователь нажимает клавишу.

9. Носитель информации по п.1, в котором сенсорный экран поддерживает множественные касания.

10. Графический пользовательский интерфейс (GUI), выполненный с возможностью осуществления в машиночитаемой среде и выполнения на вычислительном устройстве, причем GUI представлен на одном устройстве отображения с сенсорным экраном и содержит:
системную область отображения, выполненную с возможностью отображения интерактивной операционной системы (ОС) с курсором мыши, в которой пользователь может взаимодействовать с одним или более программными приложениями с использованием устройства ввода, которое управляет движениями курсора мыши; и
область отображения сенсорного экрана, отображаемую в том же самом GUI в качестве упомянутой системной области отображения, выполненную с возможностью отображения виртуальной сенсорной панели для управления упомянутым курсором мыши и приема касаний, позволяющих пользователю взаимодействовать с ОС, при этом касания начинаются от внутренней части упомянутой области отображения сенсорного экрана и, поддерживая контакт с GUI, продолжаются в упомянутой системной области отображения,
причем виртуальная сенсорная панель включает себя область, соответствующую сенсорной панели мыши для приема касаний, которые управляют движениями курсора мыши.

11. Графический пользовательский интерфейс (GUI) по п.10, в котором виртуальная сенсорная панель мыши включает в себя одну или более виртуальных клавиш.

12. Графический пользовательский интерфейс (GUI) по п.10, в котором касание выполняется пальцем пользователя или стилусом.

13. Графический пользовательский интерфейс (GUI) по п.10, в котором касания используются для управления курсором мыши в системной области отображения.

14. Способ представления виртуальной сенсорной панели на устройстве отображения, так чтобы пользователь взаимодействовал с представлением графического пользовательского интерфейса (GUI) операционной системы (ОС), содержащий этапы, на которых:
одновременно представляют системную часть и часть сенсорного экрана на устройстве отображения, при этом системная часть представляет GUI упомянутой ОС, а часть сенсорного экрана представляет виртуальную сенсорную панель в представлении, указывающем виртуализированную сенсорную панель мыши, включающую в себя область для приема касаний для управления движениями курсора мыши;
принимают одно или более касаний на виртуальной сенсорной панели;
принимают одно или более касаний, которые начинаются от внутренней части упомянутой части сенсорного экрана и, поддерживая контакт с устройством отображения, продолжаются в упомянутую системную часть,
переводят одно или более касаний в пакеты касаний, которые указывают направление х/у;
преобразуют пакеты касаний в преобразованные пакеты, учитывающие размер экрана, связанный с системной частью;
определяют одно или более действий мыши на основе преобразованных пакетов; и
манипулируют GUI упомянутой ОС на основе пакетов мыши.

15. Способ по п.14, дополнительно содержащий кэширование преобразованных пакетов.

16. Способ по п.15, в котором касание выполняется пальцем пользователя или стилусом.

17. Способ по п.15, в котором манипулирование GUI упомянутой ОС дополнительно содержит манипулирование курсором мыши.

18. Способ по п.17, в котором курсор мыши управляется посредством прикладной программы.