ВИРТУАЛЬНАЯ КЛАВИАТУРА МОБИЛЬНОГО ОКОНЕЧНОГО УСТРОЙСТВА Российский патент 2013 года по МПК G06F3/02 G06F3/48 

Изобретение относится к способу отображения подвижной клавиатуры или подвижного указателя (курсора) на дисплее мобильного оконечного устройства в соответствии с ограничительной частью п.1 формулы.

Уровень техники

Мобильные оконечные устройства, например мобильный телефон, обладают сегодня все большим числом функций, например функциями фото- и видеосъемки, причем со стороны потребителей существует пожелание, чтобы мобильные телефоны имели как можно меньшие размеры. По этой причине мобильные оконечные устройства по своим размерам становятся все меньше.

Однако при этом возникает проблема пользования, в частности при вводе текстов на становящихся все меньше клавиатурах, чтобы, например, отправить CMC-сообщение.

В настоящее время существует множество различных возможностей ввода текстов, классифицируемых следующим образом:

- ввод текстов с помощью полноценной мини-клавиатуры, например MDA (Mobile Digital Assistant), причем эта функция ввода связана с недостатком слишком маленьких клавиш и приводит к ошибкам при вводе текста;

- ввод текстов с помощью числовой клавиатуры путем многократного нажатия числовых клавиш, например, как у мобильного телефона, причем эта функция ввода связана с недостатками возникновения ошибок при вводе текста и относительно больших затрат времени;

- управление посредством тачскрина (сенсорного дисплея), при котором на дисплее отображается клавиатура. Для этого используется преимущественно маленький стержень (стилус), причем эта функция ввода имеет тот недостаток, что для отображения поля клавиатуры требуется относительно много места;

- управление посредством тачскрина, который имеет код OCR, причем эта функция ввода имеет тот недостаток, что для отображения поля клавиатуры также требуется относительно много места.

Управление с помощью меню современными мобильными оконечными устройствами для ввода текстов основано частично на текстовых или изобразительных знаках (иконках), которые выбираются, например, с помощью колеса прокрутки или многофункциональной клавиши. При этом многофункциональная клавиша обеспечивает, как правило, возможность перемещения указателя меню (курсора) влево, вправо, вверх или вниз и подтверждения выбора путем ее нажатия. Промежуточные зоны из-за используемой механики не предусмотрены.

Кроме того, известны различные применения в области расширенной реальности (Augment Reality).

В качестве примера следует привести наложение фотоснимка, например, на перекрестие для центральной ориентации изображения.

Известны также основанные на этой технологии игры, в которых игрок снимается камерой, а его движения вводятся в виртуальный мир, как, например, в симуляторе игры в гольф.

Существенным недостатком этого применения является потребность в памяти большого объема для хранения видеоданных.

В WO 2006/036069 A описан способ отображения виртуальной клавиатуры на дисплее мобильного оконечного устройства, например мобильного телефона, причем мобильное оконечное устройство содержит камеру для съемки видеоданных, дисплей для их отображения и клавиатуру для выбора функций меню или для ввода, например, текстовых сообщений. Клавиатура отображается на дисплее мобильного оконечного устройства в виде виртуальной клавиатуры, а на ней отображается подвижный указатель (курсор), причем указатель (курсор) аналогично совершенному движению мобильного оконечного устройства движется по полю виртуальной клавиатуры.

Аналогичный способ раскрыт в DE 102005024638 A1.

Задачей изобретения является усовершенствование мобильного оконечного устройства таким образом, чтобы ввод текстов происходил с помощью клавиатуры, размер которой не зависел бы от его размеров.

Для решения этой задачи изобретение охарактеризовано признаками независимого п.1 формулы.

Существенным для изобретения является то, что клавиатура отображается на дисплее мобильного оконечного устройства в виде виртуальной клавиатуры, а отображенный на ней указатель (курсор) выполнен подвижным, причем в соответствии с совершаемыми по пространственным осям движениями мобильного оконечного устройства указатель (курсор) движется по соответствующему полю виртуальной клавиатуры.

В другом варианте, напротив, отображаемая на дисплее мобильного оконечного устройства виртуальная клавиатура отображается в виде подвижной клавиатуры, которая в соответствии с совершаемыми по пространственным осям движениями мобильного оконечного устройства соответственно движется по дисплею, причем указатель неподвижен и расположен преимущественно посередине дисплея.

Это имеет то преимущество, что ввод текстового сообщения или выбор меню может быть реализован в мобильных оконечных устройствах с относительно небольшими размерами корпуса, поскольку ввод текстового сообщения или выбор меню с помощью механической клавиатуры приводит к отнимающему много времени, связанному с ошибками вводу.

Для реализации подвижного курсора или подвижной клавиатуры на дисплее мобильного оконечного устройства применяется известный из уровня техники способ сжатия и восстановления видеоданных.

Такой способ раскрыт в DE 10113880 A1, причем для отображения изображений, например клавиатуры, применяется способ приоритетных пиксельных групп, причем зарегистрированные камерой видеоданные содержат матрицу отдельных элементов изображения (пиксели), имеющих изменяемое по времени пиксельное значение, которое описывает информацию о цвете или яркости элемента изображения. При этом каждому элементу изображения присваивается приоритет, и в соответствии с этим приоритетом элемент изображения откладывается в отсортированном виде в матрице. Элементы изображения и пиксельные значения передаются или запоминаются, причем пиксель имеет высокий приоритет, если расстояние до соседнего пикселя велико. При восстановлении отображаются только текущие пиксельные значения, причем еще не переданные пиксели вычисляются по уже переданным.

Для реализации отображаемой на дисплее мобильного оконечного устройства виртуальной клавиатуры используется камера для съемки необходимых видеоданных, встроенная в настоящее время в большинство мобильных оконечных устройств, например в мобильные телефоны.

Для подтверждения выбранного поля клавиатуры предусмотрена преимущественно клавиша управления, которая, например, путем нажатия подтверждает выбор.

Кроме того, на дисплее отображается курсор, который за счет движений мобильного оконечного устройства (телефона) по пространственным осям движется по дисплею в том же направлении.

Для распознавания движений снятые камерой изображения в соответствии с известным из уровня техники способом используются для сжатия и восстановления видеоданных.

Для экономии мощности на вычисления для обработки учитываются только релевантные области изображения. В соответствии с движением могут распознаваться направления влево, вправо, вверх, вниз, вперед, назад, а также скорость.

По сравнению с обслуживанием механической многофункциональной клавиши в этом случае возможно существенно более тонкое растрирование.

Когда на дисплее отображается клавиатура, а курсор за счет движения мобильного оконечного устройства (телефона) попадает на ее нужное поле, выбор можно подтвердить простым нажатием многофункциональной клавиши.

По сравнению с известными способами это имеет то преимущество, что в этом случае для выбора и подтверждения поля клавиатуры достаточно управления одной рукой и не требуется никакого дополнительного вспомогательного средства, например стилуса, как у тачскрина.

Кроме того, по сравнению с известными способами возникает то преимущество, что, за исключением клавиши управления для собственно выбора, не требуется никаких дополнительных элементов управления.

Таким образом, можно отказаться от клавиатуры в мобильном оконечном устройстве, например телефоне, причем корпуса устройства может быть меньше или дисплей больше.

За счет чисто оптической регистрации возможно к тому же более точное управление, которое, кроме того, также почти не имеет износа.

Ниже изобретение более подробно поясняется с помощью чертежа, на котором изображен только один пример его осуществления. При этом из чертежа и его описания следуют другие, существенные для изобретения признаки и преимущества.

На чертеже изображают:

- фиг.1: блок-схему предложенного способа.

Изображенный на фиг.1 способ отображения виртуальной клавиатуры в мобильном оконечном устройстве 1 направлен на обнаружение изменения положения устройства 1 в направлении одной из трех пространственных осей, в результате чего происходит виртуальное движение отображаемого на виртуальной клавиатуре указателя (курсора).

На первом этапе способа устройство 1 посредством встроенной камеры в ее первом положении 2 регистрирует видеоданные 3.

Эти видеоданные 3 в положении 2 камеры запоминаются на втором этапе в соответствии с созданными приоритетными пиксельными группами 4, как в уровне техники. При этом в соответствии с известным из уровня техники способом пиксельные группы с наивысшим приоритетом автоматически описывают релевантные области изображения.

На третьем этапе значения 9 положения приоритетных пиксельных групп 4 в первом положении 2 камеры запоминаются в устройстве 1.

При движении камеры 2 в одном из трех направлений пространственных осей в ее второе положение 5, соответствующим образом изменяются также значения 9 положения созданных приоритетных пиксельных групп 4.

На четвертом этапе регистрируются видеоданные 7 во втором положении 5 камеры, причем на пятом этапе во втором положении 5 камеры создаются приоритетные пиксельные группы 8 с соответствующими значениями положения.

На шестом этапе значения 10 положения созданных приоритетных пиксельных групп 8 в положении 5 камеры сравниваются со значениями 9 положения созданных приоритетных пиксельных групп 4 в положении 2 камеры.

Эти описанные этапы способа следует пояснить на простом примере.

Пиксельные группы A1, B1, C1 с наивысшим приоритетом в положении 2 камеры определяются в положениях a1, b1, c1 матрицы. При этом пиксельным группам A1, B1, C1 присваивается такой приоритет, что их пиксельные значения дополнительно сильно отличаются.

В случае второго зарегистрированного изображения в положении 5 камеры пиксельные группы A2, B2, C2 с наивысшим приоритетом определяются в положениях a2, b2, c2 матрицы.

Смещение положений a1, b1, c1 в положении 2 камеры к положениям a2, b2, c2 в положении 5 камеры находится в непосредственной связи с движением устройства 1.

По сравнению значений a1-а2, b1-b2 и c1-c2 определяются соответствующие векторы 11 смещения. Если все три определенных вектора 11 смещения указывают в одном направлении, то устройство 1 переместилось в соответствующем направлении.

В соответствии с векторами 11 смещения курсор движется (12) по дисплею устройства 1.

Если на дисплее дополнительно отображается клавиатура, то путем нажатия клавиши управления можно подтвердить выбор поля клавиатуры с соответствующими буквами, на котором в этом момент находится курсор. После выбора буквы клавиатура снова находится в нейтральном положении.

Этот пример иллюстрирует принцип способа.

Разумеется, описанный способ в соответствии с потребностями может применяться также для управления другими функциями оконечного устройства, например общими функциями для управления с помощью меню. Кроме того, способ может быть расширен множеством функций. Вместо трех пиксельных групп может использоваться также их большее число.

Если в первом изображении в положении 2 камеры обнаружены три самые лучшие пиксельные группы 4, то зарегистрированные впоследствии изображения, например в положении 5 камеры, обрабатываются не комплексно, а только вокруг уже обнаруженных пиксельных групп 8. Это позволяет сэкономить длительное время вычислений и, тем самым, исключить разрядку аккумулятора.

В темное время для обнаружения движений устройства 1 используется дополнительный свет камеры.

За счет движения устройства 1 к предмету или от него можно открыть или закрыть дополнительные функции меню, например возможность выбора специальных знаков (@, µ и т.п.).

Для быстрого перемещения курсора по большим участкам дисплея можно осуществлять как линейные, так и нелинейные движения.

Так, например, параллельное перемещение устройства 1 по поверхности приводит к линейному перемещению курсора по дисплею.

Нелинейные перемещения курсора создаются, например, за счет дополнительного вращательного движения устройства 1.

Для упрощения управления используется, например, программное растрирование, чтобы надежно выбрать букву/пункт меню соответствующего поля клавиатуры.

Для другого применения курсор может быть расположен на дисплее также неподвижно, причем выбираемые поля, например поля виртуальной клавиатуры, перемещаются в соответствии с движением устройства 1.

Объект изобретения следует не только из отдельных пунктов формулы, но и из их комбинации.

Все раскрытые в материалах заявки, включая реферат, сведения и признаки, в частности представленное на чертеже изображение способа, заявлены как существенные для изобретения, если они по отдельности или в комбинации являются новыми по сравнению с уровнем техники.

Перечень ссылочных позиций

1 - мобильное оконечное устройство, например мобильный телефон

2 - первое положение камеры

3 - видеоданные в первом положении камеры

4 - создание приоритетных пиксельных групп в первом положении камеры

5 - второе положение камеры

6 - изменение положения камеры

7 - видеоданные во втором положении камеры

8 - видеоданные приоритетных пиксельных групп во втором положении камеры с соответствующими значениями положения

9 - запоминание значений положения приоритетных пиксельных групп в первом положении камеры

10 - сравнение запомненных значений положения в первом положении камеры со значениями положения во втором положении камеры

11 - образование векторов смещения

12 - перемещение курсора или виртуальной клавиатуры по дисплею мобильного оконечного устройства

13 - подтверждение выбранного поля клавиатуры посредством клавишей управления.

Изобретение относится к способу отображения подвижной клавиатуры или подвижного указателя (курсора) на дисплее мобильного оконечного устройства. Техническим результатом является обеспечение сокращения времени вычисления и тем самым исключения разрядки аккумулятора, а также обеспечение более точного управления мобильным оконечным устройством. Способ отображения виртуальной клавиатуры на дисплее мобильного оконечного устройства, например мобильного телефона, причем мобильное оконечное устройство содержит камеру для съемки видеоданных, дисплей для их отображения и клавиатуру для выбора функций меню или ввода, например, текстового сообщения, заключается в том, что клавиатура отображается на дисплее мобильного оконечного устройства в виде виртуальной клавиатуры, а отображенный на ней указатель (курсор) выполнен подвижным, причем в соответствии с совершаемыми по пространственным осям движениями мобильного оконечного устройства указатель (курсор) перемещается по соответствующему полю виртуальной клавиатуры. 4 з.п. ф-лы, 1 ил.

1. Способ отображения виртуальной клавиатуры на дисплее мобильного оконечного устройства, например мобильного телефона, причем мобильное оконечное устройство содержит камеру для съемки видеоданных, дисплей для их отображения и клавиатуру для выбора функций меню или ввода, например, текстового сообщения, причем клавиатуру отображают на дисплее мобильного оконечного устройства (1) в виде виртуальной клавиатуры, а отображенный на ней указатель (курсор) выполняют подвижным, причем в соответствии с совершаемыми по пространственным осям движениями мобильного оконечного устройства указатель (курсор) перемещается по соответствующему полю виртуальной клавиатуры, отличающийся тем, что с помощью камеры в ее первом положении (2) регистрируют видеоданные, которые запоминают в виде изображаемых приоритетных пиксельных групп (4), причем зарегистрированные камерой видеоданные содержат матрицу отдельных элементов изображения в виде пикселей, имеющих изменяемое по времени пиксельное значение, которое описывает информацию о цвете или яркости элемента изображения, причем каждому элементу изображения присваивают приоритет и в соответствии с этим приоритетом элемент изображения откладывают в отсортированном виде в матрице, причем элементы изображения и пиксельные значения запоминают, причем пиксель имеет высокий приоритет, если отличие по цвету или яркости по сравнению с соседним пикселем велико, и причем пиксельные группы (4) с наивысшим приоритетом автоматически соответствуют релевантным областям изображения, дополнительно к изображаемым пиксельным группам (4) запоминают соответствующие значения (9) положения пиксельных групп в первом положении (2) камеры, при движении камеры из первого положения (2) во второе положение (5) регистрируют видеоданные во втором положении (5) камеры и образуют приоритетные пиксельные группы (8) с соответствующими значениями (10) положения, значения (9) положения приоритетных пиксельных групп (4) в первом положении (2) камеры сравнивают со значениями положения приоритетных пиксельных групп (8) во втором положении (5) камеры, при этом из сравнения значений положения первого и второго положений (2, 5) камеры определяют векторы (11) смещения, которые перемещают (12) указатель по дисплею мобильного оконечного устройства (1), когда векторы (11) смещения указывают в одном направлении, причем если в первом изображении в положении (2) камеры обнаружены самые лучшие пиксельные группы (4), то зарегистрированные впоследствии изображения в положении (5) камеры обрабатываются не комплексно, а только вокруг уже обнаруженных пиксельных групп (8).

2. Способ по п.1, отличающийся тем, что отображаемую на дисплее мобильного оконечного устройства виртуальную клавиатуру отображают в виде подвижной клавиатуры, которая в соответствии с совершаемыми по пространственным осям движениями мобильного оконечного устройства (1) соответственно движется по дисплею, причем указатель неподвижен и расположен преимущественно посередине дисплея.

3. Способ по п.1 или 2, отличающийся тем, что при перемещении указателя по отображенной на дисплее мобильного оконечного устройства (1) клавиатуре происходит выбор поля клавиатуры, причем выбор поля клавиатуры подтверждают посредством клавиши управления.

4. Способ по п.1, отличающийся тем, что после выбора и подтверждения поля виртуальной клавиатуры ее перемещают в нейтральное положение.

5. Способ по п.1, отличающийся тем, что осуществляют управление с помощью меню, причем выбор пункта меню осуществляют посредством изменения положения мобильного оконечного устройства (1).