ОБРАБОТКА МУЛЬТИСЕНСОРНОГО ВВОДА ДЛЯ ВЫБОРА ОТОБРАЖАЕМОГО ВАРИАНТА Российский патент 2018 года по МПК G06F3/488 G06F3/489 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение в целом относится к вычислительным устройствам, а точнее - к системам и способам обработки мультисенсорного ввода.

УРОВЕНЬ ТЕХНИКИ

[0002] Различные современные вычислительные устройства, в том числе смартфоны, планшетные компьютеры и другие мобильные или настольные вычислительные устройства могут иметь интерфейсы мультисенсорного ввода (например, сенсорные экраны или тачпады). В этом документе термин «мультисенсорный» означает способность поверхности сенсорного экрана распознавать несколько одновременных (или почти одновременных) тактильных контактов с поверхностью. Способность поддержки нескольких контактов можно использовать для распознавания различных сложных жестов пользовательского интерфейса.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0003] Настоящее изобретение иллюстрируется с помощью примеров, а не методом ограничения, его можно лучше понять при рассмотрении приведенного ниже подробного описания в сочетании с чертежами, на которых:

[0004] На Фиг. 1 изображена блок-схема одного варианта реализации вычислительного устройства, работающего в соответствии с одним или несколькими аспектами настоящего изобретения;

[0005] На Фиг. 2А и Фиг. 2B схематически иллюстрируются примеры пользовательского интерфейса, представленного на сенсорном дисплее вычислительного устройства (100) на Фиг. 1 в соответствии с одним или несколькими аспектами настоящего изобретения;

[0006] На Фиг. 3 показана блок-схема иллюстративного примера способа обработки мультисенсорного ввода для выбора отображаемого варианта в соответствии с одним или несколькими аспектами настоящего изобретения.

[0007] На Фиг. 4 приведена более подробная схема иллюстративного примера вычислительного устройства, в котором реализованы методы настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0008] В настоящем документе описаны способы и системы для обработки мультисенсорного ввода с целью выбора отображаемого варианта, выводимого на экран вычислительного устройства. В этом документе «вычислительное устройство» означает устройство обработки данных, в котором имеются универсальный процессор, память и по меньшей мере один интерфейс связи. Примерами вычислительных устройств, в которых можно использовать методы настоящего изобретения, являются, помимо прочего: смартфоны, планшетные компьютеры, ноутбуки, носимая электроника и различные другие мобильные и стационарные вычислительные устройства.

[0009] В качестве примера: вычислительное устройство с сенсорным экраном может отображать текст, полученный при оптическом распознавании символов (OCR) или интеллектуальном распознавании символов (ICR), причем пользователь может осуществлять ввод, верифицирующий отдельные части текста. В частности, сенсорный экран может отображать текст, используя два или более альтернативных варианта (например, получаемых с помощью программного обеспечения OCR или ICR), соответствующих выделенной части текста. От оператора вычислительного устройства может требоваться выбрать один из отображаемых вариантов. В традиционных системах оператор обычно подтверждает выбор нажатием в области сенсорного экрана, где отображается выбранный вариант. Таким образом, от оператора может потребоваться выполнение различных движений кисти, руки и/или плеча для перемещения своего пальца в область, где будет произведено нажатие. Таким образом при обработке большого объема текста возможна значительная физическая нагрузка на кисть, руку и/или плечо оператора, что может привести к мышечной усталости и снижению производительности. Производительность оператора может дополнительно снизиться из-за высокого числа ошибок позиционирования, присущих различным методам распознавания, в которых используется одноточечный сенсорный ввод. Кроме того, для позиционирования пальца оператора в области экрана для нажатия может потребоваться, чтобы оператор визуально контролировал движения кисти, что может привести к усталости глаз и дальнейшему снижению производительности.

[00010] Настоящее изобретение решает указанные выше и другие проблемы за счет сведения к минимуму движений оператора, необходимых для выбора нужного варианта из нескольких отображаемых. В некоторых вариантах реализации вычислительное устройство, работающее в соответствии с одним или несколькими аспектами настоящего изобретения, может отображать строку символов и несколько альтернативных подстрок (например, полученных с помощью программного обеспечения OCR или ICR), представляющих выделенный фрагмент (например, один или несколько символов) отображаемой строки символов. При этом для каждого варианта может отображаться графическое представление мультисенсорного жеста, необходимое пользователю для выбора соответствующего варианта.

[00011] В некоторых реализациях каждый жест может предполагать мультисенсорный тактильный контакт, при котором количество пальцев оператора равно (отображаемому или неявному) порядковому номеру выбираемого варианта. В качестве иллюстративного примера, чтобы выбрать вариант номер один, может потребоваться контакт с одним касанием в предварительно определенной области ввода сенсорного экрана, чтобы выбрать вариант номер два, может потребоваться контакт двух пальцев в области ввода сенсорного экрана и так далее. Для каждого отображаемого варианта графическое представление мультисенсорного жеста может визуально указывать оператору на количество точек тактильного контакта, необходимых для выбора данного варианта.

[00012] В ответ на получение мультисенсорного жеста оператора вычислительное устройство может сопоставить выделенную подстроку с отображаемым вариантом, имеющим порядковый номер на дисплее относительно позиций других альтернативных вариантов, который соответствует определенному числу сенсорных контактов в составе мультисенсорного жеста, как описано более подробно ниже.

[00013] Следует отметить, что хотя аспекты настоящего изобретения описаны применительно к тексту, настоящее изобретение также применимо к другим типам цифрового контента, таким как изображения, графика и т.д. Различные аспекты упомянутых выше способов и систем подробно описаны ниже в этом документе с помощью примеров, а не способом ограничения.

[00014] На Фиг. 1 показана блок-схема одного иллюстративного примера вычислительного устройства (100), работающего в соответствии с одним или несколькими аспектами настоящего изобретения. В приведенных примерах вычислительное устройство 100 может представлять собой любое из разнообразных вычислительных устройств, включая планшетный компьютер, смартфон, ноутбук или настольный компьютер.

[00015] Вычислительное устройство (100) может содержать процессор (110), подключенный к системной шине (120). К системной шине (120) также могут подключаться другие устройства: память (130), дисплей (135), оснащенный устройством ввода с сенсорным экраном (170), клавиатура (140) и один или несколько интерфейсов связи (165). В данном документе термин «подключенный» относится к устройствам, которые соединены электрически или подключены через один или несколько интерфейсных устройств, адаптеров и т.д.

[00016] Процессор (110) может представлять собой одно или несколько устройств обработки данных, включая универсальные и специализированные процессоры. Память (130) может содержать одно или более энергозависимых устройств памяти (например, микросхемы памяти), одно или несколько энергонезависимых устройств памяти (например, микросхемы постоянного запоминающего устройства, ROM) или электрически стираемой программируемой постоянной памяти (EEPROM) и/или один или несколько накопителей (например, накопителей с оптическими или магнитными дисками).

[00017] Сенсорный экран устройства ввода (170) может быть представлен сенсорной областью ввода и/или какой-либо иной чувствительной поверхностью, наложенной на дисплей (135). В качестве иллюстративного примера сенсорная область ввода может содержать чувствительный к емкости сенсорный слой. В качестве альтернативы сенсорная область ввода может содержать два или более акустических преобразователя, расположенных вдоль горизонтальной и вертикальной осей экрана. Пример вычислительного устройства, реализующего аспекты настоящего изобретения, будет рассмотрен более подробно ниже на примере Фиг. 4.

[00018] В некоторых реализациях вычислительное устройство (100) оснащается таким устройством ввода как сенсорный экран (170), распознающий несколько одновременных (или почти одновременных) тактильных контактов с поверхностью ввода. Вычислительное устройство (100) в ответ на обнаружение одного или нескольких одновременных или почти одновременных контактов с сенсорной поверхностью для внешнего объекта может определить положение контактов, число контактов, изменение положения относительно прежнего положения, и/или тип контактов (например, двигается ли внешний объект при сохранении контакта с сенсорной поверхностью). Внешний объект, используемый для контакта с сенсорным экраном, может быть представлен, например, одним или несколькими пальцами пользователя, стилусом или любым другим подходящим устройством. На основании обнаруженных событий касания/отпускания, определенных положений контакта, изменений положений контакта и/или способа контакта, вычислительное устройство (100) может опознать один или несколько типов ввода пользовательских жестов, включая, например, нажатие, двойное нажатие, нажатие с удержанием, скольжение и/или вращение сенсорного экрана.

[00019] В некоторых вариантах реализации в памяти (130) могут храниться инструкции приложения (190) для обработки мультисенсорного ввода с целью выбора отображаемого параметра. Приложение (190) может обрабатывать мультисенсорный пользовательский ввод для верификации текстов, созданных программным обеспечением OCR или ICR. В качестве иллюстративного примера приложение (190) может представлять на дисплее (135) строку символов, созданную программным обеспечением OCR или ICR, может визуально выделить участок строки символов и может предложить пользователю предоставить ввод для верификации выделенного участка строки символов. Приложение (190) может помочь пользователю осуществить ввод, выводя на дисплей (135) различные подстроки в качестве возможных вариантов подстановки для выделенного участка строки символов. Кроме того, приложение (190) может отображать на дисплее (135) графическое представление нескольких мультисенсорных жестов, причем каждое графическое представление визуально сопоставлено с одной конкретной подстрокой из различных подстрок, представленных на дисплее (135). Каждый мультисенсорный жест может соответствовать определенному числу сенсорных контактов, полученных посредством сенсорного экрана (170). Например, определенным количеством сенсорных контактов может быть количество пальцев, которые пользователь использует при вводе с помощью сенсорного экрана (170). В одном варианте реализации приложение (190) поддерживает структуру данных (например, таблицу), в которой хранятся различные варианты мультисенсорных контактов, и сопоставляет каждый вариант с соответствующей ему позицией на дисплее для представления возможной замены подстроки с выделенным в текущий момент участком обрабатываемой строки символов.

[00020] Когда пользователь при вводе использует определенный мультисенсорный жест, устройство ввода сенсорного экрана (170) может определить количество сенсорных контактов, сопоставленных мультисенсорному жесту пользователя, и передать это число в приложение (190). Исходя из этого числа, приложение (190) может определить (например, используя описанную выше таблицу) подстроку, соответствующую выделенному участку строки символов, и заменить текущий выделенный участок строки соответствующей подстрокой, если они отличаются, либо сохранить выделенный участок строки, если они совпадают. Функциональные возможности приложения (190) и вычислительного устройства (100) будут описаны более подробно ниже на примере Фиг. 2 и Фиг. 3.

[00021] На Фиг. 2А и Фиг. 2B схематически иллюстрируются примеры пользовательского интерфейса, представленного на сенсорном дисплее вычислительного устройства (100) на Фиг. 1 в соответствии с одним или несколькими аспектами настоящего изобретения. Как показано на Фиг. 2А, пользовательский интерфейс, представленный на дисплее (135), может иметь несколько функциональных зон, которые могут быть определены свободно или жестко. Такими функциональными зонами могут быть, например, информационная зона (1000) и зона ввода (1100). Вычислительное устройство (100) может быть запрограммировано на отображение в информационной зоне (1000) строки символов (1200), которую должен верифицировать оператор. Строка символов (1200) может визуально сопровождаться несколькими альтернативными вариантами (1300) представления строки символов (1200) или ее выделенного фрагмента (1500).

[00022] Строка символов (1200) может содержать один или несколько символов и представлять одну или несколько морфем (например, слов) естественного языка. Каждый отображаемый вариант (1300) представления строки символов (1200) или ее выделенного фрагмента (1500) может быть представлен в виде подстроки, содержащей один или несколько символов заранее определенного алфавита (например, алфавита, соответствующего алфавиту естественного языка, к которому принадлежит морфема, представленная строкой символов (1200)).

[00023] Один или несколько символов (1500) строки символов (1200) могут визуально отличаться (например, быть выделенными), чтобы указать фрагмент строки символов (1200), для которого оператору предлагается выбрать представление в виде одного из отображаемых вариантов (1300). В различных иллюстративных примерах выделенный фрагмент (1500) строки символов (1200) может отображаться с помощью типа шрифта, размера шрифта, насыщенности шрифта, наклона шрифта и/или цвета, который отличается от остальных символов в строке символов (1200).

[00024] В некоторых вариантах реализации с помощью приложения OCR или ICR при обработке строки символов (1200) могут быть получены один или несколько альтернативных вариантов (1300) представления строки символов (1200) или ее выделенного фрагмента (1500). Также с помощью других различных приложений или систем (например, системы распознавания речи) могут быть получены один или несколько других вариантов (1300).

[00025] В некоторых вариантах реализации вычислительное устройство (100) может дополнительно отображать в информационной зоне (1000) исходный текст, содержащий строку символов (1200) для того, чтобы предоставить связанный с морфемой контекст, представленный строкой символов (1200) в исходном тексте. Например, информационная зона (1000) может включать в себя область (200) с исходным текстом, содержащим строку символов (1200). При отображении исходного текста в области (200) строка символов (1200) может быть представлена в виде выделенного участка (1600), чтобы показать, какая строка исходного текста обрабатывается в настоящее время. В различных иллюстративных примерах выделенный участок(1600) исходного текста может отображаться с помощью типа шрифта, размера шрифта, насыщенности шрифта, наклона шрифта и/или цвета, который отличается от остальных частей исходного текста, показанного в области (200).

[00026] На Фиг. 2B показан другой пример пользовательского интерфейса, представленного на сенсорном дисплее вычислительного устройства (100) согласно Фиг. 1 в соответствии с одним или несколькими аспектами настоящего изобретения. Как показано на Фиг. 2B, представленный на дисплее (135) пользовательский интерфейс содержит информационную зону (1000), которая, в свою очередь, содержит зону ввода (1100), предназначенную для получения ввода от пользователя. Зона ввода (1100) может занимать заранее заданную часть сенсорного экрана вычислительного устройства (100). Аналогично пользовательскому интерфейсу, описанному выше на примере Фиг. 2А, вычислительное устройство (100) может быть запрограммировано на отображение в информационной зоне (1000) строки символов 1200, которую должен верифицировать оператор. Строка символов (1200) может визуально сопровождаться несколькими альтернативными вариантами (1300) представления строки символов (1200) или ее выделенного фрагмента (1500). Один или несколько символов (1500) строки символов (1200) могут визуально отличаться (например, быть выделенными), чтобы указать фрагмент строки символов (1200), для которого оператору предлагается выбрать представление в виде одного из отображаемых вариантов (1300).

[00027] Как показано на Фиг. 2B, вычислительное устройство (100) может дополнительно отображать в информационной зоне (1000) исходный текст, содержащий строку символов (1200). Например, информационная зона (1000) может включать в себя область (200) с исходным текстом, содержащим строку символов (1200). При отображении исходного текста в области (200) строка символов (1200) может быть представлена в виде выделенного участка (1600), чтобы показать, какая строка исходного текста обрабатывается в настоящее время.

[00028] Как показано на Фиг. 2А и Фиг. 2B, в некоторых вариантах реализации, первый отображаемый вариант (1300) может совпадать с выделенным фрагментом (1500) строки символов (1200), он может представлять собой основной вариант, предложенный приложением или системой, которая обработала строку символов (1200) (например, приложением OCR или ICR). Также могут отображаться несколько вариантов (1300) в произвольном порядке.

[00029] Вычислительное устройство (100) может дополнительно отображать в информационной зоне (1000) графические представления мультисенсорных жестов, соответствующих альтернативным вариантам (1300). Каждому отображаемому альтернативному варианту (1300) может быть визуально сопоставлено графическое представление мультисенсорного жеста, необходимое пользователю для выбора соответствующего варианта.

[00030] В некоторых вариантах реализации каждый жест может быть представлен мультисенсорным контактом с участием некоторого количества пальцев оператора, равным (отображаемому или неявному) порядковому номеру положения на дисплее конкретного отображаемого варианта. В иллюстративных примерах, показанных на Фиг. 2А и 2B, для выбора варианта номер один (буква о) может потребоваться один контакт в предварительно определенной области сенсорного экрана; для выбора варианта номер два (буква о) может потребоваться контакт двух пальцев в предварительно определенной области ввода сенсорного экрана и так далее. Таким образом, для каждого отображаемого варианта визуально сопоставленное графическое представление мультисенсорного жеста может сообщить оператору количество тактильных точек контакта, необходимых для выбора варианта.

[00031] В некоторых вариантах реализации графические представления мультисенсорных жестов могут содержать повторяющийся графический элемент (например, звездочку, символическое изображение отпечатка пальца или круг, как показано в иллюстративном примере на Фиг. 2А и Фиг. 2B), в котором количество повторов графического элемента соответствует числу тактильных контактных точек, необходимых для выбора соответствующего варианта.

[00032] Вычислительное устройство (100) может получать через устройство ввода сенсорного экрана (170) мультисенсорный жест, сделанный оператором в ответ на запрос выбора одного из отображаемых вариантов (1300). В некоторых вариантах оператору может быть предложено и/или поручено сделать мультисенсорный жест в пределах обозначенной области ввода (1100), которая является частью информационной зоны (1000), как схематически показано на Фиг. 2B.

[00033] При альтернативном подходе, который схематически показан на Фиг. 2А, назначенная область ввода (1100) может быть отделена от информационной зоны (1000); она может предназначаться для получения вторичного подтверждения (с помощью специальной кнопки) и ввода навигации, в то время как мультисенсорный жест, указывающий на выбор оператором одного из отображаемых вариантов (1300), может быть сделан оператором в любом месте экрана вычислительного устройства (100).

[00034] Поэтому, для выбора одного из предложенных альтернативных вариантов оператору может потребоваться лишь пошевелить пальцами, при этом рука и плечо остаются неподвижными. Таким образом, физическое напряжение ладони, руки и/или плеча оператора может быть значительно уменьшено по сравнению с обычными приложениями. В результате можно повысить производительность работы оператора.

[00035] В ответ на прием сделанного оператором мультисенсорного жеста вычислительное устройство (100) может определить выбранный оператором вариант в зависимости от количества сенсорных контактов в мультисенсорном жесте. Как уже упоминалось выше, выбираемый оператором вариант может представляться вариантом, имеющим порядковый номер на дисплее относительно положений других отображаемых вариантов.

[00036] В некоторых вариантах реализации вычислительное устройство (100) может в ответ на получение мультисенсорного жеста оператора предложить оператору подтвердить выбор и/или принять, без явной подсказки, ввод сенсорного экрана, указывающий на выбранный вариант. В одном из примеров вычислительное устройство (100) может выделить выбранный оператором вариант и предложить оператору нажать на область ввода второй раз для подтверждения выбора. В другом примере оператор может подтвердить выбор, нажав на изображение предварительно определенного элемента управления пользовательского интерфейса (например, кнопку «Принять» (1700)). В другом примере вычислительное устройство (100) может заменить выделенный фрагмент (1500) строки символов (1200) на выбранную оператором подстроку и предложить оператору подтвердить выбор, нажав на экран в области ввода.

[00037] В некоторых вариантах реализации в ответ на выбор или подтверждение оператора вычислительное устройство (100) может выделить следующий фрагмент строки символов (1200), отобразить новый список вариантов, соответствующий только что выделенному фрагменту, тем самым предлагая оператору выбрать вариант, соответствующий только что выбранному фрагменту строки символов (1200). Этот процесс может продолжаться до тех пор, пока оператор не верифицирует все подстроки строки символов (1200), которые должны быть проверены. В качестве иллюстративного примера вычислительное устройство может представлять оператору для проверки только те подстроки строки символов (1200), которые программное обеспечение OCR, сформировавшее строку символов (1200), назначило оператору для верификации.

[0001] На Фиг. 3 изображена блок-схема одного иллюстративного примера способа (300) обработки мультисенсорного ввода для выбора отображаемого варианта в соответствии с одним или несколькими аспектами настоящего изобретения. Способ (300) и/или каждая из его отдельных функций, процедур, подпрограмм, или операций может выполняться одним или несколькими процессорами вычислительного устройства (например, вычислительным устройством (100) на Фиг. 1), которое реализует этот способ. В некоторых вариантах реализации способ (300) может выполняться в одном потоке обработки. При альтернативном подходе способ (300) может быть реализован с помощью двух или более потоков обработки, при этом каждый поток выполняет одну или несколько отдельных функций, процедур, подпрограмм или операций этого способа. В качестве иллюстративного примера потоки обработки, реализующие способ (300), могут быть синхронизированы (например, с помощью семафоров, критических участков и/или других механизмов синхронизации потоков). При альтернативном подходе потоки обработки, реализующие способ (300), могут выполняться асинхронно по отношению друг к другу.

[00038] В блоке (310) реализующее способ вычислительное устройство может отображать строки символов на дисплее, имеющем поверхность для мультисенсорного ввода.

[00039] В блоке (320) вычислительное устройство может отображать несколько выбираемых оператором вариантов, представленных подстроками (например, создаваемых программным обеспечением OCR или ICR), соответствующими выделенному фрагменту (например, одному или нескольким символам) отображаемой строки символов.

[00040] В блоке (330) вычислительное устройство может отображать графическое представление нескольких мультисенсорных жестов так, что каждому графическому представлению сопоставлена подстрока в множестве подстрок, что описано более подробно в данном документе выше со ссылками на Фиг. 2.

[00041] В блоке (340) вычислительное устройство может получить через мультисенсорную поверхность ввода мультисенсорный жест, включающий в себя один или несколько тактильных контактов с сенсорной поверхностью ввода.

[00042] В блоке (350) вычислительное устройство может идентифицировать подстроку, которая визуально сопоставлена графическому представлению полученного мультисенсорного жеста. В некоторых вариантах реализации подстрока может быть идентифицирована как подстрока, имеющая порядковый номер на дисплее относительно положений других подстрок, который соответствуют числу сенсорных контактов при мультисенсорном жесте. Как уже упоминалось выше, в некоторых вариантах реализации подстроку можно идентифицировать с использованием структуры данных (например, таблицы), в которой хранятся различные варианты мультисенсорного жеста в сочетании с соответствующими порядковыми номерами положений отображения для представления возможных соответствий подстроки.

[00043] В блоке (360) вычислительное устройство может сопоставить выявленную подстроку по меньшей мере с частью исходной строки символов, соответствующей выделенному фрагменту исходной символьной строки.

[00044] В ответ на определение в блоке (370) того, что все подстроки строки символов (1200), которые должны быть верифицированы, уже были подтверждены оператором, способ может завершиться; в противном случае в блоке (380) вычислительное устройство может выделить следующий фрагмент исходной строки символов, которая должна быть верифицирована оператором с возвратом к блоку (320). В качестве иллюстративного примера вычислительное устройство может представлять оператору для верификации только те подстроки исходной строки символов, которые были назначены оператору для верификации программным обеспечением OCR, сформировавшим исходную строку символов.

[00045] Если в предыдущих примерах реализации используются системы и способы обработки мультисенсорного ввода для верификации документов, полученных программным обеспечением OCR или ICR, в других вариантах реализации описанные в этом документе системы и способы могут использоваться для обработки пользовательского ввода для различных других приложений.

[00046] На Фиг. 4 показана более подробная схема примера вычислительного устройства (500) с набором команд, которые могут заставить вычислительное устройство выполнять любой способ или несколько способов, описанных в настоящем документе. Вычислительное устройство (500) может включать в себя те же компоненты, что и вычислительное устройство (100) на Фиг. 1, а также некоторые дополнительные или другие компоненты, некоторые из которых могут быть факультативными и не относиться к аспектам настоящего изобретения. Вычислительное устройство может быть подключено к другому вычислительному устройству по локальной сети, корпоративной сети, сети экстранет или сети Интернет. Вычислительное устройство может играть роль сервера или клиентского вычислительного устройства в сетевой клиент-серверной среде, а также роль однорангового вычислительного устройства в одноранговой (или распределенной) сетевой среде. Вычислительное устройство может быть представлено персональным компьютером (ПК), планшетным ПК, телевизионной приставкой (STB), карманным ПК (PDA), сотовым телефоном или любым вычислительным устройством, способным выполнять набор команд (последовательно или иным образом), определяющих операции которые должны быть выполнены этим вычислительным устройством. Кроме того, несмотря на то, что показано только одно вычислительное устройство, термин «вычислительное устройство» также может означать любой набор компьютерных устройств, которые по отдельности или совместно выполняют множество (или несколько множеств) команд для реализации одного или нескольких методов настоящего изобретения.

[00047] Пример вычислительного устройства (500) включает в себя устройство обработки (процессор) (502), оперативную память (504) (например, постоянное запоминающее устройство (ROM) или динамическое оперативное запоминающее устройство (DRAM)), а также накопитель (518), которые взаимодействуют друг с другом через шину (530).

[00048] Процессор (502) может быть представлен одним или несколькими универсальными устройствами обработки данных, например, микропроцессором, центральным процессором и т.д. В частности, процессор (502) может представлять собой микропроцессор со сложным набором команд (CISC), микропроцессор с сокращенным набором команд (RISC), микропроцессор с командными словами очень большой длины (VLIW) или процессор, в котором реализованы другие наборы команд, либо процессоры, в которых сочетаются различные типы команд. Процессор (502) также может представлять собой одно или несколько устройств обработки специального назначения, например, заказную интегральную микросхему (ASIC), программируемую пользователем вентильную матрицу (FPGA), процессор цифровых сигналов (DSP), сетевой процессор и т.п. Процессор (502) настроен на выполнение команд (526) для осуществления рассмотренных в настоящем документе операций и функций.

[00049] Вычислительное устройство (500) может дополнительно содержать устройство сетевого интерфейса (522), блок видеодисплея (510), устройство буквенно-цифрового ввода (512) (например, клавиатуру) и сенсорный экран (514).

[00050] Устройство хранения данных (518) может содержать машиночитаемый носитель данных (524), в котором хранится один или несколько наборов команд (526), и в котором реализован один или несколько из методов или функций настоящего изобретения. Команды (526) также могут находиться полностью или по меньшей мере частично в основной памяти (504) и/или в процессоре (502) во время выполнения их в вычислительном устройстве (500), при этом оперативная память (504) и процессор (502) также составляют машиночитаемый носитель данных. Команды (526) дополнительно могут передаваться или приниматься по сети (516) через устройство сетевого интерфейса (522).

[00051] В некоторых вариантах реализации команды (526) могут включать в себя команды способа обработки мультисенсорного ввода для выбора отображаемого варианта, который может соответствовать способу (300), причем они могут выполняться приложением (190) согласно Фиг. 1. В то время как машиночитаемый носитель (524) показан в примере на Фиг. 4 как один носитель, термин «машиночитаемый носитель» предполагает один носитель или несколько носителей (например, централизованную или распределенную базу данных и/или соответствующие кэши и серверы), в которых хранится один или несколько наборов команд. Термин «машиночитаемый носитель» также включает в себя любой носитель, способный хранить, кодировать или передавать набор команд для выполнения машиной, который заставляет машину выполнять один метод или несколько методов настоящего изобретения. Соответственно, термин «машиночитаемый носитель» должен включать в себя, помимо прочего, следующие устройства: твердотельную память, оптические носители и магнитные носители.

[00052] Описанные в документе способы, компоненты и функции могут быть реализованы дискретными компонентами оборудования, либо они могут быть интегрированы в функции других аппаратных компонентов, таких как ASICS, FPGA, DSP или подобных устройств. Кроме того, способы, компоненты и функции могут быть реализованы с помощью модулей встроенного программного обеспечения или функциональных схем, находящихся внутри аппаратных устройств. Далее, способы, компоненты и функции могут быть реализованы с помощью любой комбинации аппаратных устройств и программных компонентов, либо исключительно с помощью программного обеспечения.

[00053] В приведенном выше описании изложены многочисленные подробности. При этом любому специалисту в данной области техники, ознакомившемуся с этой раскрытой информацией, очевидно, что настоящее изобретение может быть реализовано и без этих конкретных деталей. В некоторых случаях хорошо известные структуры и устройства показаны в виде блок-схемы, а не детально, чтобы не усложнять описание настоящего изобретения.

[00054] Некоторые части описания предпочтительных вариантов осуществления представлены в виде алгоритмов и символического представления операций с битами данных в памяти компьютера. Такие описания и представления алгоритмов представляют собой средства, используемые специалистами в области обработки данных, чтобы наиболее эффективно передавать сущность своей работы другим специалистам в данной области. В настоящем документе и в общем под алгоритмом понимается непротиворечивая последовательность операций, приводящая к требуемому результату. В операциях требуются физические манипуляции с физическими величинами. Обычно, хотя и не обязательно, эти величины принимают форму электрических или магнитных сигналов, которые можно хранить, передавать, комбинировать, сравнивать и подвергать другим манипуляциям. Оказалось, что прежде всего для обычного использования удобно описывать эти сигналы в виде битов, значений, элементов, символов, членов, цифр и т.д.

[00055] Однако следует иметь в виду, что все эти и подобные термины должны быть связаны с соответствующими физическими величинами, и что они представляют собой просто удобные метки, применяемые к этим величинам. Если иное не оговорено особо, то, как очевидно из нижеследующего, во всем описании такие термины, как «определение», «вычисление», «расчет», «получение», « идентификация», «изменение» и т.д. относятся к действиям и процессам в вычислительном устройстве или схожем с ним электронном устройстве, которое производит манипуляции с данными и преобразует данные, представленные в виде физических (например, электронных) величин в регистрах и памяти вычислительного устройства, в другие данные, аналогично представленные в виде физических величин в памяти или регистрах вычислительного устройства либо других устройствах хранения, передачи или отображения информации.

[00056] Настоящее изобретение также относится к устройству для выполнения операций, описанных в этом документе. Это устройство может быть специально сконструировано для требуемых целей, либо базироваться на обычном компьютере, селективно активированном или перенастроенном с помощью компьютерной программы, сохраненной на этом компьютере. Такая компьютерная программа может храниться на машиночитаемом носителе, например, помимо прочего: на диске любого типа, включая дискеты, оптические диски, оптические диски формата CD-ROM и магнитно-оптические диски, в постоянном запоминающем устройстве (ПЗУ), в оперативном запоминающем устройстве (ОЗУ), перепрограммируемой постоянной памяти (EPROM), электрически стираемой программируемой постоянной памяти (EEPROM), на магнитной или оптической карте, или на носителе любого типа, пригодном для хранения электронных команд.

[00057] Следует иметь в виду, что приведенное выше описание предназначено для иллюстрации, и что оно не носит ограничительный характер. Специалистам в данной области техники после прочтения и осмысления приведенного выше описания будут очевидны прочие возможные варианты его использования. Поэтому объем раскрытия должен определяться со ссылкой на прилагаемую формулу изобретения наряду с полным объемом эквивалентов, на которые такие требования предоставляют право.

Группа изобретений относится к технологиям обработки мультисенсорного ввода. Техническим результатом является обеспечение обработки мультисенсорного ввода для выбора отображаемых вариантов цифрового контента. Предложен способ обработки мультисенсорного ввода для выбора отображаемых вариантов цифрового контента. Согласно способу, осуществляют представление на дисплее вычислительного устройства нескольких альтернативных вариантов, относящихся к цифровому контенту, где каждый вариант имеет порядковый номер положения на дисплее относительно других альтернативных вариантов, где порядковый номер указывает на количество сенсорных контактов в мультисенсорном жесте, необходимых для выбора соответствующего варианта. Далее получают через сенсорную область ввода дисплея мультисенсорный жест, содержащий один или более сенсорных контактов с сенсорной областью ввода. 4 н. и 19 з.п. ф-лы, 5 ил.

1. Способ обработки мультисенсорного ввода для выбора отображаемых вариантов цифрового контента, включающий в себя:

представление на дисплее вычислительного устройства нескольких альтернативных вариантов, относящихся к цифровому контенту, где каждый вариант имеет порядковый номер положения на дисплее относительно других альтернативных вариантов, где порядковый номер указывает на количество сенсорных контактов в мультисенсорном жесте, необходимых для выбора соответствующего варианта;

получение через сенсорную область ввода дисплея мультисенсорного жеста, содержащего один или более сенсорных контактов с сенсорной областью ввода; и

определение варианта, имеющего порядковый номер положения на дисплее относительно положений других альтернативных вариантов, который соответствует числу сенсорных контактов, включенных в полученный мультисенсорный жест.

2. Способ по п. 1, отличающийся тем, что порядковый номер является отображаемым или неявным.

3. Способ по п. 1, отличающийся тем, что цифровой контент содержит текст, а каждый из нескольких альтернативных вариантов представлен подстрокой, относящейся по меньшей мере к части представленной на дисплее строки символов.

4. Способ по п. 3, дополнительно содержащий: сопоставление подстроки, соответствующей определенному варианту, по меньшей мере части строки символов.

5. Способ по п. 3, отличающийся тем, что строка символов представляет собой морфему естественного языка.

6. Способ по п. 5, отличающийся тем, что каждая подстрока содержит один или несколько символов заранее определенного алфавита.

7. Способ по п. 1, отличающийся тем, что мультисенсорный жест содержит два или более одновременных сенсорных контакта в области сенсорного ввода.

8. Вычислительное устройство обработки мультисенсорного ввода для выбора отображаемых вариантов цифрового контента, содержащее:

память;

дисплей; и

процессор, соединенный с памятью для:

представления на дисплее вычислительного устройства нескольких альтернативных вариантов, относящихся к цифровому контенту, где каждый вариант имеет порядковый номер положения на дисплее относительно других альтернативных вариантов, где порядковый номер указывает на количество сенсорных контактов в мультисенсорном жесте, необходимых для выбора соответствующего варианта;

получения через сенсорную область ввода дисплея мультисенсорного жеста, содержащего один или более сенсорных контактов с сенсорной областью ввода; и

определения варианта, имеющего порядковый номер положения на дисплее относительно положений других альтернативных вариантов, который соответствует числу сенсорных контактов, включенных в полученный мультисенсорный жест.

9. Система по п. 8, отличающаяся тем, что порядковый номер является отображаемым или неявным.

10. Система по п. 8, отличающаяся тем, что контент содержит текст, а каждый из нескольких альтернативных вариантов представлен подстрокой, относящейся по меньшей мере к части представленной на дисплее строки символов.

11. Система по п. 10, дополнительно содержащая: сопоставление подстроки, соответствующей определенному варианту, по меньшей мере части строки символов.

12. Система по п. 10, отличающаяся тем, что сенсорная область ввода содержит по меньшей мере часть поверхности дисплея.

13. Реализуемый на компьютере способ обработки мультисенсорного ввода для выбора отображаемых вариантов цифрового контента, включающий:

отображение на дисплее строки символов;

отображение на дисплее нескольких подстрок, относящихся по меньшей мере к части строки символов;

отображение на дисплее графических представлений нескольких мультисенсорных жестов, причем каждое графическое представление визуально сопоставлено соответствующей подстроке из нескольких подстрок и указывает на количество сенсорных контактов в мультисенсорном жесте, необходимых для выбора соответствующей подстроки из несколько подстрок;

получение через сенсорную область ввода дисплея мультисенсорного жеста из нескольких мультисенсорных жестов, при этом данный мультисенсорный жест включает один или более сенсорных контактов с сенсорной областью ввода; и

определение подстроки, которая визуально сопоставлена графическому представлению полученного мультисенсорного жеста.

14. Способ по п. 13, отличающийся тем, графическое представление содержит повторяющийся графический элемент, где количество повторов соответствует числу сенсорных контактов в мультисенсорном жесте.

15. Способ по п. 13, дополнительно содержащий: сопоставление определенной подстроки по меньшей мере с частью строки символов.

16. Способ по п. 13, отличающийся тем, что мультисенсорный жест содержит два или более одновременных сенсорных контактов с сенсорной областью ввода.

17. Постоянный машиночитаемый носитель, содержащий исполняемые команды, направленные на обработку мультисенсорного ввода для выбора отображаемых вариантов цифрового контента, которые при выполнении вычислительным устройством заставляют это вычислительное устройство выполнять операции, включающие:

отображение на дисплее строки символов;

отображение на дисплее нескольких подстрок, относящихся по меньшей мере к части строки символов;

отображение на дисплее графических представлений нескольких мультисенсорных жестов, причем каждое графическое представление визуально сопоставлено соответствующей подстроке из нескольких подстрок и указывает на количество сенсорных контактов в мультисенсорном жесте, необходимых для выбора соответствующей подстроки из несколько подстрок;

получение через сенсорную область ввода дисплея мультисенсорного жеста из нескольких мультисенсорных жестов, при этом данный мультисенсорный жест включает один или более сенсорных контактов с сенсорной областью ввода; и

определение подстроки, которая визуально сопоставлена графическому представлению полученного мультисенсорного жеста.

18. Постоянный машиночитаемый носитель по п. 17, отличающийся тем, что графическое представление содержит повторяющийся графический элемент, где количество повторов соответствует числу сенсорных контактов в мультисенсорном жесте.

19. Постоянный машиночитаемый носитель по п. 17, отличающийся тем, что операции дополнительно содержат: сопоставление определенной подстроки по меньшей мере с частью строки символов.

20. Постоянный машиночитаемый носитель по п. 17, отличающийся тем, что строка символов представляет собой морфему естественного языка.

21. Постоянный машиночитаемый носитель по п. 17, отличающийся тем, что каждая подстрока включает один или несколько символов заранее определенного алфавита.

22. Постоянный машиночитаемый носитель по п. 17, отличающийся тем, что мультисенсорный жест включает два или более одновременных контактов с сенсорной областью ввода.

23. Постоянный машиночитаемый носитель по п. 17, отличающийся тем, что сенсорная область ввода занимает заранее определенную часть дисплея.