СПОСОБ И УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ПРИЛОЖЕНИЕМ ПОСРЕДСТВОМ РАСПОЗНАВАНИЯ НАРИСОВАННОГО ОТ РУКИ ИЗОБРАЖЕНИЯ Российский патент 2018 года по МПК G06F3/488 G06F3/482 G06F3/41 G06K9/20 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и устройству для управления приложением посредством распознавания нарисованного от руки изображения. В частности, настоящее изобретение относится к устройству и способу управления функцией текущего исполняемого приложения посредством распознавания рукописного ввода в электронном устройстве, имеющем сенсорную панель.

УРОВЕНЬ ТЕХНИКИ

Вместе с нынешним ростом количества переносных электронных устройств увеличиваются требования к пользовательским интерфейсам (UI), которые обеспечивают возможность интуитивного ввода/вывода. Например, традиционные пользовательские интерфейсы, в которых информация вводится посредством дополнительного устройства, такого как клавиатура, кнопочная панель, мышь и т.п., развились в интуитивные пользовательские интерфейсы, в которых информация вводится непосредственным прикосновением пальца или электронного пера к экрану или посредством голоса.

Кроме того, технология пользовательского интерфейса разрабатывалась таким образом, чтобы она являлась интуитивной и ориентированной на человека, а также удобной для пользователя. С помощью технологии пользовательского интерфейса пользователь может обращаться к переносному электронному устройству с помощью голоса, чтобы ввести намеченную информацию или получить желаемую информацию.

Как правило, в популярном переносном электронном устройстве, таком как смартфон, установлено много приложений, и из установленных приложений доступны новые функции.

Как правило, множество приложений, установленных в смартфоне, исполняются независимо, не обеспечивая пользователю новые функции или результат совместно друг с другом.

Например, приложение планировщика дает возможность ввода информации только в своем поддерживаемом пользовательском интерфейсе, несмотря на то, что пользовательский терминал поддерживает интуитивный пользовательский интерфейс.

Кроме того, пользователь использует сенсорную панель или пользовательский терминал, поддерживающий функцию заметок через сенсорную панель, только для написания заметок с помощью таких средств ввода, как палец или электронное перо, но не имеется конкретного метода для использования заметок совместно с другими приложениями.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

Таким образом, существует потребность в устройстве и способе обмена информацией с пользователем в пользовательском интерфейсе на основании рукописного ввода в пользовательском терминале.

Приведенная выше информация представлена только как вводная информация для помощи в понимании настоящего раскрытия. Не были сделаны никакие определения и не были сделаны никакие утверждения относительно того, может ли что-либо, упомянутое выше, быть применимо в качестве уровня техники относительно настоящего изобретения.

РЕШЕНИЕ ПРОБЛЕМЫ

Аспекты настоящего изобретения состоят в том, чтобы решить по меньшей мере упомянутые выше проблемы и/или устранить недостатки и обеспечить по меньшей мере описанные ниже преимущества. В соответствии с этим аспект настоящего изобретения состоит в создании устройства и способа обмена информацией с пользователем в пользовательском интерфейсе (UI) на основании рукописного ввода в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства и способа управления функцией текущего исполняемого приложения посредством распознавания рукописного текста в электронном устройстве, имеющем сенсорную панель. В частности, аспект настоящего изобретения состоит в создании устройства и способа управления функцией текущего исполняемого приложения посредством распознавания нарисованного от руки изображения, которое пользователь ввел на сенсорной панели. Пользовательский терминал является электронным устройством, имеющим сенсорную панель. Сенсорная панель используется в различных электронных устройствах для обеспечения пользовательского интерфейса для отображения графики и текста и поддержки взаимодействия между пользователем и электронным устройством.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа исполнения заданной команды посредством функции заметок на основании рукописного ввода в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа обмена вопросами и ответами с пользователем посредством функции заметок на основании рукописного ввода в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа приема команды для обработки выбранной всей или части заметки, которая была написана на экране посредством функции заметок в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа поддержки переключения между режимом заметки и режимом обработки команды в пользовательском терминале, поддерживающем функцию заметок, через электронное перо.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа обеспечения возможности ввода команды для управления текущим активным приложением или другим приложением посредством функции заметок в пользовательском терминале.

Другой аспект настоящего изобретения состоит в создании устройства пользовательского интерфейса и способа анализа структуры заметки пользователя и определения ввода информации посредством функции заметок с учетом проанализированной структуры заметки в пользовательском терминале.

В соответствии с аспектом настоящего изобретения предложен способ для пользовательского интерфейса в пользовательском терминале, поддерживающем функцию заметок на основании рукописного ввода. Способ содержит этапы, на которых во время исполнения заданного текущего приложения отображают слой заметки, позволяющий рукописный ввод, над экраном исполнения заданного приложения по пользовательскому запросу, распознают намерение пользователя на основании заметки, которую пользователь написал в слое заметки, и управляют операцией заданного приложения в соответствии с распознанным намерением пользователя. Слой заметки может принять вид окна заметки. Таким образом, слой заметки и окно заметки являются взаимозаменяемыми в одном и том же значении.

В соответствии с другим аспектом настоящего изобретения предложено устройство пользовательского интерфейса в пользовательском терминале, поддерживающем функцию заметок на основе рукописного ввода. Устройство включает в себя электронное устройство, имеющее сенсорную панель, на которой во время исполнения заданного текущего приложения слой заметки, позволяющий рукописный ввод, отображается над экраном исполнения заданного приложения по пользовательскому запросу, намерение пользователя распознается на основании заметки, которую пользователь написал в слое заметки, и работой заданного приложения управляют в соответствии с распознанным намерением пользователя.

В соответствии с другим аспектом настоящего изобретения предложен способ управления приложением в электронном устройстве, имеющем сенсорную панель. Способ содержит этапы, на которых отображают исполняемое приложение на сенсорной панели, отображают заданный пользовательский ввод, отображают окно заметки, включающее в себя область рукописного ввода и область без рукописного ввода, над приложением в ответ на обнаруженный пользовательский ввод, принимают и распознают нарисованное от руки изображение в области рукописного ввода окна заметки и управляют функцией приложения в соответствии с результатом распознавания.

По меньшей мере одно из текста и изображения, принятых от приложения, может быть отображено в области без рукописного ввода окна заметки.

Когда обнаружено прикосновение к области без рукописного ввода, окно заметки может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и передать текст в приложение.

Приложение может разделить текст, принятый от окна заметки, на команду для управления функцией приложения и данные, относящиеся к команде.

В соответствии с другим аспектом настоящего изобретения предложен способ управления приложением в электронном устройстве, имеющем сенсорную панель. Способ содержит этапы, на которых отображают графический объект, представляющий информацию, относящуюся к исполняемому приложению, и кнопку для управления функцией приложения на сенсорной панели, управляют функцией приложения, соответствующей кнопке, отображают после обнаружения прикосновения к кнопке окно заметки, включающее в себя область рукописного ввода и область без рукописного ввода, над графическим объектом и кнопку на сенсорной панели, принимают и распознают после обнаружения заданного ввода на сенсорной панели нарисованное от руки изображение в области рукописного ввода окна заметки и управляют функцией приложения в соответствии с результатом распознавания.

По меньшей мере одно из текста и изображения, принятых от приложения, может быть отображено в области без рукописного ввода окна заметки.

Когда обнаружено прикосновение к тексту и изображению, окно заметки может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и передать текст в приложение.

Когда окно заметки отображено над кнопкой, кнопка может быть деактивирована.

В соответствии с другим аспектом настоящего изобретения предложен способ управления приложением в электронном устройстве, имеющем сенсорную панель. Способ содержит этапы, на которых после обнаружения ввода прикосновения управляют функцией исполняемого приложения в первом режиме и определяют заданный ввод на сенсорной панели во время исполнения текущего приложения, отображают окно заметки, которое позволяет рукописный ввод, над приложением в соответствии с определенным вводом, распознают ввод нарисованного от руки изображения в окне заметки и управляют функцией исполняемого приложения в соответствии с распознанным нарисованным от руки изображением во втором режиме.

Первый режим может быть деактивирован во втором режиме.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для отображения исполняемого приложения на сенсорной панели для отображения окна заметки, включающего в себя область рукописного ввода и область без рукописного ввода, над приложением в ответ на заданный ввод, обнаруженный от сенсорной панели, для распознавания нарисованного от руки изображения в области рукописного ввода окна заметки и для управления функцией приложения в соответствии с результатом распознавания.

Контроллер может управлять отображением текста и изображения, принятых от приложения, в области без рукописного ввода окна заметки.

После обнаружения прикосновения к тексту и изображению контроллер может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и управлять функцией приложения, соответствующей тексту. Контроллер может разделить текст на команду для управления функцией приложения и данные, относящиеся к команде.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для отображения по меньшей мере одного из графического объекта, представляющего информацию, относящуюся к исполняемому приложению, и кнопки для управления функцией приложения на сенсорной панели, для отображения функции приложения, соответствующей кнопке, после обнаружения прикосновения к кнопке, для отображения окна заметки, включающего в себя область рукописного ввода и область без рукописного ввода, над графическим объектом и кнопкой на сенсорной панели после обнаружения заданного ввода на сенсорной панели, для распознавания ввода нарисованного от руки изображения в области рукописного ввода окна заметки и для управления выполнением функции приложения в соответствии с результатом распознавания.

Контроллер может управлять отображением текста и изображения, принятых от приложения, в области без рукописного ввода окна заметки. После обнаружения прикосновения к тексту и изображению контроллер может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и управлять функцией приложения, соответствующей тексту. Когда окно заметки отображено над кнопкой, контроллер может управлять деактивацией кнопки.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для работы в первом режиме, в котором контроллер управляет функцией исполняемого приложения после обнаружения ввода прикосновения, и работы во втором режиме, в котором контроллер идентифицирует заданный ввод на сенсорной панели во время исполнения текущего приложения, отображает окно заметки, которое позволяет рукописный ввод, над приложением в соответствии с идентифицированным вводом, распознает ввод нарисованного от руки изображения в окне заметки и управляет функцией исполняемого приложения в соответствии с распознанным нарисованным от руки изображением.

В соответствии с другим аспектом настоящего изобретения предложено электронное устройство. Электронное устройство включает в себя сенсорную панель для обнаружения прикосновения и контроллер для отображения по меньшей мере одного из графического объекта, представляющего информацию, относящуюся к исполняемому приложению, и кнопки для управления функцией приложения на сенсорной панели, причем контроллер управляет исполнением функции приложения, соответствующей кнопке, после обнаружения прикосновения к кнопке, отображает окно заметки, позволяющее рукописный ввод, на экране, отображающем графический объект и кнопку на сенсорной панели, после обнаружения заданного ввода на сенсорной панели, распознает ввод нарисованного от руки изображения в окне заметки и управляет исполнением функции приложения в соответствии с результатом распознавания.

Другие аспекты, преимущества и признаки изобретения станут ясны для специалистов в данной области техники из нижеследующего подробного описания, которое совместно с приложенными чертежами раскрывает иллюстративные варианты осуществления изобретения.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Иллюстративные варианты осуществления настоящего изобретения могут повысить удобство пользователя, поддерживая функцию заметок в различных приложениях, и тем самым обеспечить интуитивное управление приложениями.

Иллюстративные варианты осуществления настоящего изобретения отличаются тем, что когда пользователь запускает слой заметки на экране и пишет информацию на слое заметки, пользовательский терминал распознает информацию и выполняет операцию, соответствующую информации. Для этого будет предпочтительно дополнительно определить методику для запуска слоя заметки на экране.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изложенные выше и другие аспекты, признаки и преимущества некоторых иллюстративных вариантов осуществления настоящего изобретения будут более понятны из следующего описания, рассмотренного совместно с прилагаемыми чертежами.

Фиг. 1 - блок-схема пользовательского терминала, поддерживающего взаимодействие на естественном языке (NLI) на основе рукописного ввода в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 2 - блок-схема процессора команд для поддержки технологии NLI на основе рукописного ввода в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 3 - блок-схема, иллюстрирующая операцию управления для поддержки пользовательского интерфейса (UI) с использованием технологии NLI на основе рукописного ввода в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 4 иллюстрирует запрос операции на основе заданного приложения или функции посредством функции заметок в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 5 иллюстрирует фактическую структуру заметки пользователя в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 6 иллюстрирует один символ, интерпретируемый как различные значения, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 7 иллюстрирует входную информацию, включающую в себя комбинацию текста и символа, интерпретируемую как имеющую разные значения в зависимости от символа, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 8 иллюстрирует использование знаков и символов в семиотике в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 9 иллюстрирует использование знаков и символов в механике, электротехнике, вычислительной технике и химии в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 10-17 иллюстрируют сценарии работы на основе приложений, поддерживающих функцию заметок, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 18 иллюстрирует конфигурацию для управления активированным приложением посредством функции заметок в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 19 - блок-схема, иллюстрирующая операцию управления для управления приложением нижнего слоя посредством вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 20a-20c иллюстрируют операции вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 21a-21d иллюстрируют, как пользователь пишет заметку на слое заметки, отображенном на экране в пользовательском терминале, в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 22 иллюстрирует управление текущим исполняемым заданным приложением с использованием слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 23-28 иллюстрируют сценарии вызова приложения, поддерживающего функцию заметок, после активации заданного приложения и исполнения активированного приложения вызванным приложением в соответствии с иллюстративными вариантами осуществления настоящего изобретения;

фиг. 29 и 30 иллюстрируют сценарии, относящиеся к семиотике, в соответствии с иллюстративными вариантами осуществления настоящего изобретения;

фиг. 31 - блок-схема, иллюстрирующая операцию управления для управления приложением нижнего слоя посредством вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения;

фиг. 32a-36b иллюстрируют операционные сценарии управления текущим исполняемым приложением нижнего слоя с использованием окна заметки в электронном устройстве, имеющем сенсорную панель, в соответствии с иллюстративными вариантами осуществления настоящего изобретения; и

фиг. 37a и 37b иллюстрируют программные модули, включенные в приложение нижнего слоя и приложение слоя заметки (окна заметки), в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

На всех чертежах одинаковые номера ссылочных позиций должны пониматься как относящиеся к одинаковым частям, компонентам и структурам.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Нижеследующее описание со ссылкой на прилагаемые чертежи приведено, чтобы помочь всестороннему пониманию иллюстративных вариантов осуществления изобретения, определенных посредством формулы изобретения и ее эквивалентов. Оно включает в себя различные конкретные подробные сведения, чтобы помочь этому пониманию, но они должны рассматриваться лишь как иллюстративные. В соответствии с этим специалисты в данной области техники поймут, что могут быть сделаны различные изменения и модификации вариантов осуществления без отступления от объема и сущности изобретения. Кроме того, описания общеизвестных функций и конструкций опущены для ясности и краткости.

Термины и слова, используемые в нижеследующем описании и формуле изобретения, не ограничены библиографическими значениями, а лишь используются автором изобретения для обеспечения возможности ясного и непротиворечивого понимания изобретения. В соответствии с этим специалистам в данной области техники должно быть очевидно, что нижеследующее описание иллюстративных вариантов осуществления настоящего изобретения приведено только для иллюстрации, а не для ограничения изобретения, определенного приложенной формулой изобретения и ее эквивалентами.

Следует понимать, что формы единственного числа включают в себя и обозначения множественных объектов, если контекст ясно не указывает иначе. Таким образом, например, отсылка к «поверхности компонента» включает в себя отсылку к одной или более таким поверхностям.

Термин «по существу» подразумевает, что упомянутая характеристика, параметр или значение не обязательно должны быть достигнуты точно, и у величин могут возникнуть отклонения или изменения, в том числе, например, допуски, погрешности измерения, ограничения точности измерения и другие известные специалистам в данной области техники факторы, не препятствующие эффекту, который характеристика предназначена обеспечивать.

Иллюстративные варианты осуществления настоящего изобретения будут приведены для достижения описанных выше технических аспектов настоящего изобретения. В иллюстративной реализации определенные объекты могут иметь одинаковые названия, которыми настоящее изобретение не ограничено. Таким образом, иллюстративные варианты осуществления настоящего изобретения могут быть реализованы с такими же готовыми модификациями в системе, имеющей аналогичную техническую основу.

Иллюстративные варианты осуществления настоящего изобретения предназначены для обеспечения возможности диалоговой процедуры с пользователем посредством функции заметок в пользовательском терминале, к которой применена технология пользовательского интерфейса (UI) на основе рукописного ввода через взаимодействие на естественном языке (NLI) (в дальнейшем называемая «технология NLI на основе рукописного ввода»).

Технология NLI обычно включает в себя понимание и создание. С помощью функций понимания и создания компьютер понимает ввод и отображает текст, легко понятный людям. Таким образом, можно сказать, что технология NLI является приложением для понимания естественного языка, которое обеспечивает возможность диалога на естественном языке между человеком и электронным устройством.

Например, пользовательский терминал исполняет команду, принятую от пользователя, или собирает требуемую информацию, чтобы исполнить входную команду от пользователя в диалоговой процедуре через технологию NLI на основе рукописного ввода.

Чтобы применить технологию NLI на основе рукописного ввода к пользовательскому терминалу, предпочтительно, чтобы переключение между режимом заметок и режимом обработки команд через технологию NLI на основе рукописного ввода в иллюстративных вариантах осуществления настоящего изобретения было выполнено органично. В режиме заметок пользователь пишет заметку на экране, отображаемом активированным приложением, с помощью средств ввода, таких как палец или электронное перо, в пользовательском терминале, тогда как в режиме обработки команд заметка, написанная в режиме заметок, обрабатывается вместе с информацией, связанной с текущим активированным приложением.

Например, после нажатия кнопки электронного пера, то есть после формирования сигнала в аппаратных средствах, может произойти переключение между режимом заметок и режимом обработки команд.

Хотя нижеследующее описание дано в контексте электронного пера, используемого в качестве главного средства ввода для поддержания функции заметок, иллюстративные варианты осуществления настоящего изобретения не ограничены пользовательским терминалом, использующим электронное перо в качестве средства ввода. Другими словами, следует понимать, что любое устройство, с помощью которого пользователь может ввести информацию на сенсорной панели, может использоваться в качестве средства ввода в иллюстративных вариантах осуществления настоящего изобретения.

Предпочтительно информация совместно используется пользовательским терминалом и пользователем по предварительному взаимному соглашению таким образом, чтобы пользовательский терминал мог принять намеченную информацию от пользователя посредством обмена вопросами и ответами с пользователем и тем самым мог обеспечить результат обработки принятой информации пользователю через технологию NLI на основе рукописного ввода иллюстративных вариантов осуществления настоящего изобретения. Например, может быть согласовано, что для запроса переключения режима работы используется по меньшей мере одно из символа, структуры, текста и их комбинации, или используется движение посредством функции распознавания жестового ввода. Главным образом, может запрашиваться переключение из режима заметок в режим обработки команд или переключение из режима обработки команд в режим заметок.

В отношении соглашения относительно входной информации, соответствующей символу, структуре, тексту или их комбинации, предпочтительно проанализировать структуру заметки пользователя и рассмотреть результат анализа, чтобы тем самым позволить пользователю интуитивно и удобно ввести намеченную информацию.

Различные сценарии управления различными активированными приложениями посредством функции заметок, основанной на технологии NLI на основе рукописного ввода, и выдачи результатов управления будут описаны как отдельные иллюстративные варианты осуществления настоящего изобретения.

Например, будет дано описание сценария выбора всех или части заметок и обработки выбранного содержания заметки посредством заданной команды, сценария ввода заданной информации на экран заданного активированного приложения посредством функции заметок, сценария обработки заданной команды в диалоговой процедуре с использованием технологию NLI на основе рукописного ввода и т.п.

Обратимся к иллюстративным вариантам осуществления настоящего изобретения в отношении приложенных чертежей. Аналогичные номера ссылочных позиций обозначают одинаковые компоненты на чертежах. Описания общеизвестных функций и структур иллюстративных вариантов осуществления настоящего изобретения будут опускаться, чтобы они не затрудняли понимание предмета настоящего изобретения.

Фиг. 1 является блок-схемой пользовательского терминала, поддерживающего технологию NLI на основе рукописного ввода, в соответствии с иллюстративным вариантом осуществления настоящего изобретения. Хотя на фиг. 1 показаны только компоненты пользовательского терминала, требуемые для поддержки технологии NLI на основе рукописного ввода, понятно, что к пользовательскому терминалу могут быть добавлены компоненты для выполнения других функций. Также возможно сконфигурировать каждый компонент, проиллюстрированный на фиг. 1, в виде программного функционального блока, а также аппаратного функционального блока.

Согласно фиг. 1 блок 110 исполнения приложений устанавливает приложение, принятое через сеть или внешний интерфейс, совместно с запоминающим устройством (не показано) по запросу пользователя. Блок 110 исполнения приложений активирует одно из установленных приложений по запросу пользователя и управляет активированным приложением в соответствии с внешней командой. Внешняя команда относится почти к любой из внешних введенных команд, отличающихся от внутренних сформированных команд.

Например, внешняя команда может представлять собой команду, соответствующую вводу информации через технологию NLI на основе рукописного ввода пользователем, а также команду, соответствующую вводу информации через сеть. В иллюстративной реализации внешняя команда ограничена командой, соответствующей вводу информации через технологию NLI на основе рукописного ввода пользователем, что не должно быть истолковано как ограничение иллюстративных вариантов осуществления настоящего изобретения.

Блок 110 исполнения приложений выдает результат установки или активации заданного приложения пользователю через технологию NLI на основе рукописного ввода. Например, блок 110 исполнения приложений выдает результат установки или активации заданного приложения на дисплее блока 130 сенсорной панели. Блок 130 сенсорной панели может обнаружить прикосновение.

Блок 130 сенсорной панели выполнен с возможностью обрабатывать ввод/вывод информации через технологию NLI на основе рукописного ввода. Блок 130 сенсорной панели выполняет функцию отображения и функцию ввода. Функция отображения в общем относится к функции отображения информации на экране, и функция ввода в общем относится к функции приема информации от пользователя.

Однако очевидно, что пользовательский терминал может включать в себя дополнительную структуру для выполнения функции отображения и функции ввода. Например, пользовательский терминал может дополнительно включать в себя камеру для обнаружения движения.

В иллюстративной реализации блок 130 сенсорной панели будет описан как выполняющий функцию отображения и функцию ввода без какого-либо различения между функцией отображения и функцией ввода относительно операций блока 130 сенсорной панели. Блок 130 сенсорной панели распознает заданную информацию или заданную команду от пользователя и передает распознанную информацию или команду блоку 110 исполнения приложений и/или процессору 120 команд.

Информация может представлять собой информацию о заметке, написанной пользователем, или информацию об ответе в диалоговой процедуре на основе технологии NLI на основе рукописного ввода. Кроме того, информация может представлять собой информацию для выбора целой или части заметки, отображенной на текущем экране.

Команда может являться командой, запрашивающей установку заданного приложения, или командой, запрашивающей активацию заданного приложения среди уже установленных приложений. Команда может являться командой, запрашивающей исполнение заданной операции, функции и т.п., поддерживаемой выбранным приложением.

Информация или команда могут быть введены в виде линии, символа, структуры или их комбинации, а также текста. Такие линия, символ, структура и т.п. могут быть заданы посредством соглашения.

Блок 130 сенсорной панели отображает на экране результат активации заданного приложения или выполнения заданной функции активированного приложения посредством блока 110 исполнения приложений.

Блок 130 сенсорной панели также отображает на экране вопрос или результат в диалоговой процедуре. Например, когда пользователь вводит заданную команду, блок 130 сенсорной панели отображает результат обработки заданной команды, принятый от процессора 120 команд, или отображает запрос для сбора дополнительной информации, необходимой для обработки заданной команды от пользователя. После получения от пользователя дополнительной информации в качестве ответа на вопрос блок 130 сенсорной панели передает принятую дополнительную информацию процессору 120 команд.

Затем блок 130 сенсорной панели отображает дополнительный запрос для сбора другой информации относительно запроса процессора 120 команд или отображает результат обработки заданной команды, отражающий принятую дополнительную информацию.

Процессор 120 команд принимает введенный пользователем текст, символ, изображение, структуру и т.п. от блока 130 сенсорной панели и определяет намеченный пользователем ввод посредством текста, символа, изображения, структуры и т.п.

Например, процессор 120 команд может распознать намеченный пользователем ввод посредством естественно-языковой обработки принятого текста, символа, изображения, структуры и т.п. Для естественно-языковой обработки процессор 120 команд использует технологию NLI на основе рукописного ввода. Намеченный пользователем ввод включает в себя команду, запрашивающую активацию заданного приложения или исполнение заданной функции в текущем активном приложении, или ответ на вопрос.

Когда процессор 120 команд определяет, что намеченный пользователем ввод является командой, запрашивающей некоторую операцию, процессор 120 команд обрабатывает определенную команду. В частности, процессор 120 команд может дать блоку 110 исполнения приложений команду активировать заданное приложение или исполнить заданную функцию текущего активного приложения в соответствии с определенной командой. В этом случае процессор 120 команд принимает результат обработки от блока 110 исполнения приложений и передает результат обработки блоку 130 сенсорной панели.

Блок 110 исполнения приложений может передать результат обработки непосредственно блоку 130 сенсорной панели, а не процессору 120 команд.

Если для обработки определенной команды необходима дополнительная информация, процессор 120 команд создает запрос для сбора дополнительной информации и передает запрос блоку 130 сенсорной панели. После этого процессор 120 команд может принять ответ на запрос от блока 130 сенсорной панели.

Процессор 120 команд может постоянно обмениваться вопросами и ответами с пользователем, то есть может продолжить диалог с пользователем через блок 130 сенсорной панели, пока не получит достаточно информации для обработки определенной команды. Например, процессор 120 команд может повторять диалоговую процедуру через блок 130 сенсорной панели.

Для выполнения описанной выше операции процессор 120 команд применяет технологию NLI на основе рукописного ввода посредством взаимодействия с блоком 130 сенсорной панели. Например, процессор 120 команд обеспечивает возможность вопросов и ответов, то есть диалога между пользователем и электронным устройством посредством функции заметок через естественно-языковой интерфейс на основе рукописного ввода. Пользовательский терминал обрабатывает команду пользователя или обеспечивает пользователю результат обработки команды пользователя в диалоге.

Блок 130 сенсорной панели может обнаруживать прикосновение. Процессор 120 команд и блок 110 исполнения приложений могут быть включены в состав контроллера (не показан), или контроллер может быть выполнен с возможностью выполнять операции процессора 120 команд и блока 110 исполнения приложений. Контроллер может отображать исполняемое приложение на сенсорной панели и может отображать окно заметки над приложением в ответ на заданный жест, обнаруженный с сенсорной панели. Окно заметки разделено на область рукописного ввода и область без рукописного ввода. Ввод прикосновения пользователя может быть обнаружен в области рукописного ввода, тогда как вводом прикосновения пользователя в области без рукописного ввода можно пренебречь. Заданный жест может представлять собой прикосновение и перетаскивание, которое пользователь выполняет на сенсорной панели с помощью своего пальца или электронного пера. Заданный жест может представлять собой рисунок пользователя с заданной формой или структурой на сенсорной панели посредством пальца или электронного пера.

Контроллер может распознать ввод с помощью нарисованного от руки изображения в области рукописного ввода окна заметки и может управлять исполнением функции приложения в соответствии с результатом распознавания.

Когда пользователь пишет заметку в области рукописного ввода окна заметки, контроллер может распознать нарисованное от руки изображение заметки и выдать текст, соответствующий распознанному нарисованному от руки изображению.

Нарисованное от руки изображение может быть сформировано посредством пользовательского действия по написанию заметки на сенсорной панели с помощью электронного пера. Окно заметки имеет свой уникальный заголовок, и заголовок окна заметки меняется в зависимости от исполняемого приложения. Например, текущее исполняемое приложение имеет информацию о заголовке окна заметки, которое будет отображено в окне заметки.

Контроллер может управлять отображением текста и изображений, принятых от приложения, в области без рукописного ввода окна заметки. Текст может являться заголовком окна заметки, а изображение может являться значком.

Когда пользователь касается изображения, окно заметки может исчезнуть. Например, значок эквивалентен кнопке, которой может управлять пользователь.

После обнаружения прикосновения к тексту или изображению контроллер может распознать нарисованное от руки изображение заметки, написанной в области рукописного ввода, преобразовать нарисованное от руки изображение в соответствующий текст и управлять функцией приложения на основе текста. Текст может представлять собой команду или данные, для которых должна быть исполнена команда.

Контроллер может идентифицировать текст как команду для управления функцией приложения или данные, связанные с командой.

В соответствии с иллюстративным вариантом осуществления настоящего изобретения электронное устройство может включать в себя сенсорную панель для обнаружения прикосновения и контроллер. Контроллер может управлять отображением графического объекта, представляющего информацию, связанную с исполняемым приложением, и кнопкой для управления функцией приложения на сенсорной панели. После исполнения приложения графический объект, включающий в себя текст или изображение, может быть отображен на сенсорной панели. Кроме того, на сенсорной панели может быть отображена кнопка для приема команды от пользователя для управления функцией приложения. Когда пользователь касается кнопки, команда, присвоенная кнопке, передается приложению.

После обнаружения прикосновения к кнопке контроллер может управлять функцией приложения. Кроме того, после обнаружения заданного жеста на сенсорной панели контроллер может отобразить на сенсорной панели окно заметки, перекрытое графическим объектом и кнопкой. Например, когда пользователь выполняет перетаскивание на сенсорной панели, может быть отображено окно заметки.

Окно заметки может быть разделено на область рукописного ввода и область без рукописного ввода. Контроллер может распознавать ввод нарисованного от руки изображения в области рукописного ввода и может управлять выполнением функции приложения в соответствии с результатом распознавания.

Контроллер может управлять отображением текста и изображения, принятых от приложения, в области без рукописного ввода окна заметки.

После обнаружения прикосновения к тексту или изображению в окне заметки контроллер может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать нарисованное от руки изображение в соответствующий первый текст и управлять функцией приложения в соответствии с первым текстом. Первый текст получен из результата распознавания нарисованного от руки изображения.

Контроллер также может отобразить второй текст, указывающий функцию кнопки, на кнопке. Если первый текст полностью или частично соответствует второму тексту на кнопке, контроллер может исполнить функцию приложения, соответствующую кнопке. Первый текст может точно соответствовать второму тексту. В качестве альтернативы первый текст может частично соответствовать второму тексту. Например, если первый текст, полученный в результате распознавания нарисованного от руки изображения пользовательского ввода, представляет собой «удалить», и второй текст, которым помечена кнопка, представляет собой «удалить элемент», первый текст частично соответствует второму тексту. В этом случае контроллер может управлять выполнением команды «удалить», соответствующей первому тексту, среди функций приложения.

Когда окно заметки отображается над кнопкой с перекрытием, контроллер может управлять деактивацией кнопки. Окно заметки может быть воспроизведено как полупрозрачное. Поскольку окно заметки находится над кнопкой, контроллер деактивирует кнопку. Вводом прикосновения, обнаруженным в позиции кнопки, можно пренебречь.

В иллюстративном варианте осуществления настоящего изобретения электронное устройство может отображать сенсорную панель и отображать на сенсорной панели графический объект, представляющий информацию об исполняемом приложении, и кнопку для управления функцией приложения. Когда к кнопке прикасаются, электронное устройство может управлять исполнением функции приложения, соответствующей кнопке. После ввода заданного жеста на сенсорной панели электронное устройство может отобразить окно заметки, позволяющее рукописный ввод, над экраном, который отображает графический объект и кнопку, распознать входное нарисованное от руки изображение в окне заметки и управлять исполнением функции приложения в соответствии с результатом распознавания.

Фиг. 2 является блок-схемой процессора команд для поддержки технологии NLI на основе рукописного ввода в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

В соответствии с фиг. 2 процессор 120 команд, поддерживающий технологию NLI на основе рукописного ввода, включает в себя механизм 210 распознавания и механизм 220 технологии NLI.

Механизм 210 распознавания включает в себя модуль 212 управления распознаванием, удаленный клиентский модуль 214 распознавания и локальный модуль 216 распознавания. Локальный модуль 216 распознавания включает в себя блок 215-1 распознавания рукописного текста, блок 215-2 оптического распознавания символов и блок 215-3 распознавание объектов.

Механизм 220 технологии NLI включает в себя диалоговый модуль 222 и интеллектуальный модуль 224. Диалоговый модуль 222 включает в себя блок управления диалогом для управления диалоговым потоком и блок понимания естественного языка (NLU) для распознавания намерения пользователя. Интеллектуальный модуль 224 включает в себя блок моделирования пользователя для отражения пользовательских предпочтений, блок рассуждений на уровне практического смысла для отражения практического смысла и блок управления контекстом для отражения ситуации пользователя.

Механизм 210 распознавания может принимать информацию от механизма рисования, соответствующего средствам ввода, таким как электронное перо, и платформы интеллектуального ввода, такой как камера. Платформа интеллектуального ввода (не показана) может представлять собой устройство оптического распознавания символов, такое как устройство оптического ввода (OCR). Платформа интеллектуального ввода может считывать информацию, принимающую форму печатного или рукописного текста, чисел или символов, и передать считанную информацию механизму 210 распознавания. Механизм рисования представляет собой компонент для приема ввода от средств ввода, таких как палец, объект, перо и т.п. Механизм рисования может обнаруживать входную информацию, принятую от средств ввода, и передать обнаруженную входную информацию механизму 210 распознавания. Таким образом, механизм 210 распознавания может распознавать информацию, принятую от платформы интеллектуального ввода и блока 130 сенсорной панели.

Случай, в котором блок 130 сенсорной панели принимает ввод от средств ввода и передает информацию распознавания ввода прикосновения и информацию распознавания ввода пера механизму 210 распознавания, будет описан в иллюстративном варианте осуществления настоящего изобретения в качестве примера.

В соответствии с иллюстративным вариантом осуществления настоящего изобретения механизм 210 распознавания распознает всю текущую отображаемую заметку или ее часть, выбранную пользователем, или выбранную пользователем команду из текста, линии, символа, структуры, изображения или их комбинации, принятых в качестве информации. Выбранная пользователем команда является заданным вводом. Выбранная пользователем команда может соответствовать по меньшей мере одному из заданного символа, структуры, текста или их комбинации, или по меньшей мере одному жесту, заданному функцией распознавания жестов.

Механизм 210 распознавания выдает результат распознавания, полученный в описанной выше операции.

С этой целью механизм 210 распознавания включает в себя модуль 212 управления распознаванием для обеспечения общего управления для вывода результата распознавания входной информации, удаленный клиентский модуль 214 распознавания и локальный модуль 216 распознавания для распознавания входной информации. Локальный модуль 216 распознавания включает в себя по меньшей мере блок 215-1 распознавания рукописного текста для распознавания рукописной входной информации, блок 215-2 оптического распознавания символов для распознавания информации из входного оптического сигнала и блок 215-3 распознавание объектов для распознавания информации из входного жеста.

Блок 215-1 распознавания рукописного текста распознает рукописную входную информацию. Например, блок 215-1 распознавания рукописного текста распознает заметку, которую пользователь написал на экране заметки с помощью сенсорного пера 20. В частности, блок 215-1 распознавания рукописного текста принимает координаты точек, к которым прикоснулись на экране заметок, от блока 130 сенсорной панели, сохраняет координаты затронутых точек как движения и формирует массив движений с использованием движений. Блок 215-1 распознавания рукописного текста распознает содержание рукописной заметки с использованием заранее сохраненной библиотеки рукописного текста и списка массивов движений, включающего в себя сформированный массив движений. Блок 215-1 распознавания рукописного текста выдает полученные результаты распознавания, соответствующие содержанию заметки, и команду в распознанном содержании.

Блок 215-2 оптического распознавания символов принимает оптический сигнал, обнаруженный модулем оптического обнаружения, и выдает результат оптического распознавания символов. Блок 215-3 распознавания объектов принимает сигнал обнаружения жеста, обнаруженный модулем обнаружения движения, распознает жест и выдает результат распознавания жеста.

Результаты распознавания, выданные из блока 215-1 распознавания рукописного текста, блока 215-2 оптического распознавания символов и блока 215-3 распознавания объектов, передаются механизму 220 технологии NLI или блоку 110 исполнения приложений.

Механизм 220 технологии NLI определяет намерение пользователя, посредством обработки, например, анализа результата распознавания, принятых от механизма 210 распознавания. Например, механизм 220 технологии NLI определяет информацию намеченного пользователем ввода из результатов распознавания, принятых от механизма 210 распознавания. В частности, механизм 220 технологии NLI собирает достаточную информацию посредством обмена вопросами и ответами с пользователем на основе технологии NLI на основе рукописного ввода и определяет намерение пользователя на основе собранной информации.

Для этой операции диалоговый модуль 222 механизма 220 технологии NLI создает вопрос для создания диалогового окна с пользователем и выдает вопрос пользователю, тем самым управляя диалоговым потоком для приема ответа от пользователя. Диалоговый модуль 222 управляет информацией, извлеченной из вопросов и ответов (блок управления диалогом). Диалоговый модуль 222 также понимает намерение пользователя посредством выполнения естественно-языковой обработки первоначально принятой команды с учетом управляемой информации (блок NLU).

Интеллектуальный модуль 224 механизма 220 технологии NLI формирует опорную информацию для понимания намерения пользователя через естественно-языковую обработку и передает опорную информацию диалоговому модулю 222. Например, интеллектуальный модуль 224 моделирует информацию, отражающую пользовательское предпочтение, посредством анализа привычки пользователя делать заметки (блок моделирования пользователя), порождает информацию для отражения практического смысла (блок рассуждений на уровне практического смысла) или управляет информацией, представляющей текущую ситуацию пользователя (блок управления контекстом).

Таким образом, диалоговый модуль 222 может управлять диалоговым потоком в диалоговой процедуре с пользователем с помощью информации, принятой от интеллектуального модуля 224.

Между тем, блок 110 исполнения приложений принимает результат распознавания, соответствующий команде, от механизма 210 распознавания, ищет команду в заранее сохраненной таблице синонимов и считывает идентификатор (ID), соответствующий синониму, совпадающему с командой, при наличии синонима, совпадающего с командой, в таблице синонимов. Блок 110 исполнения приложений исполняет способ, соответствующий идентификатору, перечисленному в заранее сохраненной таблице способов. В соответствии с этим способ исполняет приложение, соответствующее команде, и содержание заметки передается в приложение. Блок 110 исполнения приложений исполняет связанную функцию приложения с использованием содержания заметки.

Фиг. 3 является блок-схемой, иллюстрирующей операцию управления для поддержки пользовательского интерфейса с использованием технологии NLI на основе рукописного ввода в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 3 пользовательский терминал активирует заданное приложение и обеспечивает функцию активированного приложения на этапе 310. Заданное приложение является приложением, активацию которого запросил пользователь, среди приложений, установленных в пользовательском терминале, по пользовательскому запросу.

Например, пользователь может активировать заданное приложение посредством функции заметок пользовательского терминала. Например, пользовательский терминал запускает слой заметки на экране по пользовательскому запросу. После этого, после приема идентификационной информации заданного приложения и информации, соответствующей команде исполнения, пользовательский терминал ищет заданное приложение и активирует обнаруженное приложение. Этот способ полезен при быстром исполнении намеченного приложения среди большого количества приложений, установленных в пользовательском терминале.

Идентификационной информацией заданного приложения может являться, например, имя приложения. Информацией, соответствующей команде выполнения, может являться изображение, символ, структура, текст и т.п., заданные для управления активацией приложения.

Фиг. 4 иллюстрирует запрос операции на основе заданного приложения или функции посредством функции заметок в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 4 часть заметки, написанной посредством функции заметок, выбирается с использованием линии, замкнутой петли, изображения и т.п., и выбранное содержание заметки обрабатывается с использованием другого приложения. Например, содержание заметки «Galaxy Note Premium Suite» выбрано с использованием линии, и дана команда отправить выбранное содержание заметки с использованием приложения отправки текста.

Если в пользовательском терминале нет приложения, соответствующего пользовательскому вводу, пользователю может быть предоставлен потенциальный набор аналогичных приложений, чтобы пользователь мог выбрать намеченное приложение среди потенциальных приложений.

В другом примере функция, поддерживаемая пользовательским терминалом, может быть исполнена посредством функции заметок. С этой целью пользовательский терминал вызывает слой заметки по пользовательскому запросу и ищет установленное приложение в соответствии с информацией пользовательского ввода.

Например, ключевое слово поиска вводится на экране заметки, отображенном для функции заметок, чтобы выполнить поиск заданного приложения среди приложений, установленных в пользовательском терминале. После этого пользовательский терминал ищет приложение, соответствующее введенному ключевому слову. Например, если пользователь пишет «автомобильная игра» на экране посредством функции заметок, пользовательский терминал ищет приложения, относящиеся к «автомобильной игре», среди установленных приложений и выдает результаты поиска на экран.

В другом примере пользователь может ввести время установки, например, февраль 2011 года на экране посредством функции заметок. После этого пользовательский терминал ищет приложения, установленные в феврале 2011 года. Например, когда пользователь пишет «февраль 2011» на экране посредством функции заметок, пользовательский терминал ищет приложения, установленные в феврале 2011 года среди установленных приложений, и выдает результаты поиска на экран.

Как описано выше, активация или поиск заданного приложения на основе заметки пользователя являются полезными в случае, когда в пользовательском терминале установлено большое количество приложений.

Для более эффективного поиска приложений установленные приложения предпочтительно индексированы. Индексированные приложения могут быть классифицированы по категориям, такими как признак, область применения, функция и т.п.

После пользовательского ввода заданного ключа или жеста может быть вызван слой заметки, чтобы позволить пользователю ввести идентификационную информацию приложения, которое будет активировано, или ввести информацию индекса для поиска заданного приложения.

Заданные приложения, активация или поиск которых выполняются описанным выше методом, включают в себя приложение заметок, приложение планировщика, приложение карт, музыкальное приложение и приложение метрополитена.

Согласно фиг. 3 после активации заданного приложения пользовательский терминал отслеживает ввод рукописной информации на этапе 312. Входная информация может принимать вид линии, символа, структуры или их комбинации, а также текста. Пользовательский терминал может отслеживать ввод информации, указывающей область, которая выбирает всю заметку или часть заметки, написанной на текущем экране.

Если заметка частично или полностью выбрана, пользовательский терминал непрерывно отслеживает дополнительный ввод информации, соответствующей команде, чтобы обработать выбранное содержание заметки, на этапе 312.

После обнаружения ввода рукописной информации пользовательский терминал выполняет операцию для распознавания обнаруженной входной информации на этапе 314. Например, распознается текстовая информация выбранного содержания всей или части заметки или распознается входная информация, принимающая вид линии, символа, структуры или их комбинации, в дополнение к тексту. Механизм 210 распознавания, проиллюстрированный на фиг. 2, отвечает за распознавание входной информации.

Когда пользовательский терминал распознает обнаруженную входную информацию, пользовательский терминал выполняет естественно-языковую обработку информации распознанного текста, чтобы понять содержание информации распознанного текста. Механизм 220 технологии NLI отвечает за естественно-языковую обработку информации распознанного текста.

Если определено, что входная информация является комбинацией текста и символа, пользовательский терминал также обрабатывает символ наряду с естественно-языковой обработкой.

При обработке символа пользовательский терминал анализирует фактическую структуру заметки пользователя и обнаруживает главный символ, который пользователь часто использует, посредством анализа структуры заметки. После этого пользовательский терминал анализирует намерение использования обнаруженного главного символа и определяет значение главного символа на основе результата анализа.

Значение, которое пользователь подразумевает для каждого главного символа, встраивается в базу данных для более позднего использования при интерпретации вводимого позже символа. Например, подготовленная база данных может использоваться для обработки символа.

Фиг. 5 иллюстрирует фактическую структуру заметки пользователя в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 5 пользователь часто использует символы →, (), _, -, + и ?. Например, символ → используется для разделения дополнительного описания или разделения абзацев, и символ () указывает, что содержание внутри () являются определением термина или описанием.

Один и тот же символ может быть интерпретирован как имеющий разные значения. Например, символ → может обозначать «течение времени», «причинную связь», «позицию», «описание отношений между атрибутами», «опорную точку для кластеризации», «изменение» и т.п.

Фиг. 6 иллюстрирует один символ, интерпретируемый как различные значения, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 6 символ → может использоваться в значениях течения времени, причинной связи, позиции и т.п.

Фиг. 7 иллюстрирует входную информацию, включающую в себя комбинацию текста и символа, интерпретируемую как имеющую разные значения в зависимости от символа, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 7 информация пользовательского ввода «Seoul→Busan» может быть интерпретирована как «Seoul» заменен на «Busan», а также «из Seoul в Busan». Символ, который позволяет множество значений, может быть интерпретирован с учетом дополнительной информации или отношения с предыдущей или последующей информацией. Однако эта интерпретация может привести к неточной оценке намерения пользователя.

Чтобы решить эту проблему, требуются обширные исследования и усилия по распознаванию/пониманию символов. Например, отношения между распознаванием и пониманием символов являются объектом исследования в семиотике в области гуманитарных наук, и исследования используются в рекламе, литературе, кино, дорожных знаках и т.п. Семиотика в широком смысле представляет собой теорию и исследование функций, анализа, интерпретации, значений и представлений знаков и символов и различные системы, относящиеся к коммуникации.

Знаки и символы также изучаются с точки зрения технических наук. Например, проводятся исследования распознавания символов схемы процесса и плана проекта в области механики, электротехники и вычислительной техники. Исследования используются при распознавании эскиза (нарисованной от руки схемы). Кроме того, в химии изучается распознавание формул сложных химических структур, и эти исследования используются при распознавании нарисованной от руки химической диаграммы.

Фиг. 8 иллюстрирует использование знаков и символов в семиотике в соответствии с иллюстративным вариантом осуществления настоящего изобретения, и фиг. 9 иллюстрирует использование знаков и символов в механике, электротехнике, вычислительной технике и химии в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 3 пользовательский терминал понимает содержание информации пользовательского ввода посредством естественно-языковой обработки результата распознавания и оценивает намерение пользователя относительно входной информации на основе распознанного содержания на этапе 318.

Когда пользовательский терминал определяет намерение пользователя относительно входной информации, пользовательский терминал выполняет операцию, соответствующую намерению пользователя, или выдает ответ, соответствующий намерению пользователя, на этапе 322. После выполнения операции, соответствующей намерению пользователя, пользовательский терминал может выдать результат операции пользователю.

Наоборот, если пользовательскому терминалу не удается оценить намерение пользователя относительно входной информации, пользовательский терминал собирает дополнительную информацию посредством диалоговой процедуры с пользователем, чтобы определить намерение пользователя, на этапе 320. С этой целью пользовательский терминал создает вопрос пользователю и выдает вопрос пользователю. Когда пользователь вводит дополнительную информацию, отвечая на вопрос, пользовательский терминал повторно оценивает намерение пользователя, принимая во внимание новую входную информацию в дополнение к понятому ранее содержанию, посредством естественно-языковой обработки.

Хотя это не показано, пользовательский терминал может дополнительно выполнить этапы 314 и 316, чтобы понять новую входную информацию.

Пока намерение пользователя не будет точно оценено, пользовательский терминал может собирать большую часть требуемой информации, чтобы определить намерение пользователя, посредством обмена вопросами и ответами с пользователем, то есть, выполняя диалог с пользователем на этапе 320.

Когда пользовательский терминал определяет намерение пользователя в диалоговой процедуре, пользовательский терминал выдает результат операции, соответствующий намерению пользователя, или выдает пользователю ответный результат, соответствующий намерению пользователя, на этапе 322.

Конфигурация устройства пользовательского интерфейса в пользовательском терминале и способ пользовательского интерфейса с использованием технологии NLI на основе рукописного ввода в устройстве пользовательского интерфейса могут быть рассмотрены в различных сценариях.

Фиг. 10-17 иллюстрируют операционные сценарии на основе приложений, поддерживающих функцию заметок, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

В частности, фиг. 10-17 иллюстрируют обработку заметки, которую пользователь ввел в приложении, поддерживающем функцию заметок, посредством вызова другого приложения.

Фиг. 10 иллюстрирует сценарий отправки части заметки по почте с использованием функции заметок в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 10 пользователь пишет заметку на экране пользовательского терминала посредством функции заметок и выбирает часть заметки посредством линии, символа, замкнутой петли и т.п. Например, частичная область всей заметки может быть выбрана посредством рисования замкнутой петли, посредством чего выбирается содержание заметки в пределах замкнутой петли.

После этого пользователь вводит команду, запрашивающую обработку выбранного содержания, с использованием заданного или интуитивно-распознаваемого символа и текста. Например, пользователь рисует стрелку, указывающую на выбранную область, и пишет текст, указывающий на человека («Senior, Hwa Kyong-KIM»).

После приема информации пользовательский терминал интерпретирует намерение пользователя как означающее, что содержание заметки выбранной области следует отправить человеку «Senior, Hwa Kyong-KIM». После этого пользовательский терминал извлекает рекомендуемые приложения, способные отправить выбранное содержание заметки, среди установленных приложений и отображает извлеченные рекомендуемые приложения на экране, чтобы пользователь мог запросить выбор или активацию рекомендуемого приложения.

Когда пользователь выбирает одно из рекомендуемых приложений, пользовательский терминал запускает выбранное приложение и отправляет выбранное содержание заметки человеку «Senior, Hwa Kyong-KIM».

Если информация о получателе предварительно не зарегистрирована, пользовательский терминал может спросить у пользователя почтовый адрес человека «Senior, Hwa Kyong-KIM». В этом случае пользовательский терминал может отправить выбранное содержание заметки в ответ на прием почтового адреса от пользователя.

После намеченной пользователем обработки пользовательский терминал отображает обработанный результат на экране, чтобы пользователь мог подтвердить подходящую обработку, соответствующую намерению пользователя. Например, пользовательский терминал спрашивает у пользователя, сохранить ли подробную информацию отправленной почты в списке, отображая сообщение, указывающее завершение отправки почты. Когда пользователь запрашивает сохранить подробную информацию отправленной почты в списке, пользовательский терминал регистрирует подробную информацию отправленной почты в списке.

Описанный выше сценарий может помочь увеличить пропускную способность, позволяя пользовательскому терминалу отправлять необходимое содержание заметки, написанной во время конференции, другой стороне без необходимости перехода от одного приложения к другому и сохранения подробной информации отправленной почты через взаимодействие с пользователем.

Фиг. 11a и 11b иллюстрируют сценарий, в котором пользовательский терминал отправляет целую заметку посредством функции заметок в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 11a и 11b пользователь пишет заметку на экране посредством функции заметок (написание заметки). После этого пользователь выбирает всю заметку с использованием линии, символа, замкнутой петли и т.п. (инициирование). Например, когда пользователь рисует замкнутую петлю вокруг всей заметки, пользовательский терминал может распознать, что выбрано все содержание заметки в пределах замкнутой петли.

Пользователь запрашивает отправку текста выбранного содержания посредством написания заданного или интуитивно-распознаваемого текста, например, «Send text» («Отправить текст») (написание команды).

Механизм технологии NLI, который конфигурирует пользовательский интерфейс на основе информации пользовательского ввода, распознает, что пользователь намеревается отправить содержание выбранной области в тексте. После этого механизм технологии NLI дополнительно собирает необходимую информацию, обмениваясь вопросами и ответами с пользователем, определяя, что информация недостаточна для отправки текста. Например, механизм технологии NLI спрашивает у пользователя, кому отправить текст, например, «To whom?» («Кому?»).

Пользователь вводит информацию о получателе для приема текста посредством функции заметок в качестве ответа на вопрос. Имя или телефонный номер получателя могут быть непосредственно введены как информация о получателе. На фиг. 11b «Hwa Kyong-KIM» и «Ju Yun-BAE» введены как информация о получателе.

Механизм технологии NLI обнаруживает телефонные номера, соответствующие введенным именам «Hwa Kyong-KIM» и «Ju Yun-BAE», в каталоге и отправляет по телефонным номерам текст, имеющий выбранное содержание заметки, в качестве текстовой основной части. Если выбранные содержания заметки являются изображением, пользовательский терминал может дополнительно преобразовать изображение в текст, чтобы другая сторона могла распознать его.

После завершения отправки текста механизм технологии NLI отображает уведомление, указывающее результат обработки, например, сообщение «Text has been sent» («Текст отправлен»). Таким образом, пользователь может подтвердить, что процесс был должным образом завершен, как намечалось.

Фиг. 12a и 12b иллюстрируют сценарий поиска значения части заметки посредством функции заметок в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 12a и 12b пользователь пишет заметку на экране посредством функции заметок (написание заметки). После этого пользователь выбирает часть заметки с использованием линии, символа, замкнутой петли и т.п. (инициирование). Например, пользователь может выбрать одно слово, написанное в частичной области заметки, рисуя замкнутую петлю вокруг слова.

Пользователь запрашивает значение выделенного текста посредством написания заданного или интуитивно-распознаваемого символа, например, «?» (написание команды).

Механизм технологии NLI, который конфигурирует пользовательский интерфейс на основании информации пользовательского ввода, спрашивает у пользователя, какой механизм использовать для поиска значения выбранного слова. С этой целью механизм технологии NLI использует диалоговую процедуру с пользователем. Например, механизм технологии NLI предлагает пользователю ввести информацию для выбора поисковой системы, отображая на экране «Which search engine?» («Какая поисковая система?»).

Пользователь вводит «wikipedia» в качестве ответа посредством функции заметок. Таким образом, механизм технологии NLI распознает, что пользователь намеревается использовать «wikipedia» в качестве поисковой системы, используя пользовательский ввод в качестве ключевого слова. Механизм технологии NLI находит значение выбранного слова «MLS» с использованием «wikipedia» и отображает результаты поиска. Таким образом, пользователь узнает значение слова «MLS» из информации, отображенной на экране.

Фиг. 13a и 13b иллюстрируют сценарий регистрации части заметки, написанной посредством функции заметок, в качестве информации для другого приложения в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 13a и 13b пользователь пишет список задач относительно подготовки к поездке в Китай на экране пользовательского терминала посредством функции заметок (написание заметки). После этого пользователь выбирает часть заметки с использованием линии, символа, замкнутой петли и т.п. (инициирование). Например, пользователь может выбрать «Pay remaining balance of airline ticket» («Заплатить остаток за билет на самолет») в части заметки посредством рисования замкнутой петли вокруг текста.

Пользователь запрашивает регистрацию выбранного содержания заметки в списке задач посредством написания заданного или интуитивно-распознаваемого текста, например, «Register in to-do-list» («Зарегистрировать в списке задач») (написание команды).

Механизм технологии NLI, который конфигурирует пользовательский интерфейс на основе информации пользовательского ввода, распознает, что пользователь намеревается запросить планирование задачи, соответствующей выбранному содержанию заметки. После этого механизм технологии NLI дополнительно извлекает необходимую информацию посредством диалоговой процедуры с пользователем, определяя, что информация недостаточна для планирования. Например, механизм технологии NLI предлагает пользователю ввести информацию, спрашивая расписание, например, «Enter finish date» («Введите дату окончания»).

Пользователь вводит «May 2» («2 мая») в качестве даты, к которой задача должна быть выполнена, посредством функции заметок в качестве ответа. Таким образом, механизм технологии NLI сохраняет выбранное содержание как задачу, которую следует выполнить ко 2 мая.

После обработки запроса пользователя механизм технологии NLI отображает результат обработки, например, сообщение «Saved» («Сохранено»). Таким образом, пользователь узнает, что подходящий процесс был выполнен, как намечалось.

Фиг. 14a и 14b иллюстрируют сценарий сохранения заметки, написанной посредством функции заметок, с использованием функции блокировки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения. Фиг. 14c иллюстрирует сценарий чтения заметки, сохраненной посредством функции блокировки в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 14a и 14b пользователь записывает пользовательские впечатления во время поездки в Осаку с использованием фотографии и заметки на экране пользовательского терминала посредством функции заметок (написание заметки). После этого пользователь выбирает всю заметку или часть заметки с использованием линии, символа, замкнутой петли и т.п. (инициирование). Например, пользователь может выбрать всю заметку, рисуя замкнутую петлю вокруг заметки.

Пользователь запрашивает регистрацию выбранного содержания заметки с помощью функции блокировки посредством написания заданного или интуитивно-распознаваемого текста, например, «Lock» («Блок») (написание команды).

Механизм технологии NLI, который конфигурирует пользовательский интерфейс на основе информации пользовательского ввода, распознает, что пользователь намеревается сохранить содержание заметки посредством функции блокировки. После этого механизм технологии NLI дополнительно извлекает необходимую информацию посредством диалоговой процедуры с пользователем, определяя, что информация недостаточна для установки функции блокировки. Например, технология NLI отображает на экране вопрос, запрашивающий пароль, например, сообщение «Enter password» («Введите пароль»), чтобы установить функцию блокировки.

Пользователь вводит «3295» в качестве пароля посредством функции заметок как ответ, чтобы установить функцию блокировки. Таким образом, механизм технологии NLI сохраняет выбранное содержание заметки с использованием пароля «3295».

После сохранения содержания заметки посредством функции блокировки механизм технологии NLI отображает результат обработки, например, сообщение «Saved» («Сохранено»). Таким образом пользователь узнает, что подходящий процесс был выполнен, как намечалось.

Согласно фиг. 14c пользователь выбирает заметку среди заметок, сохраненных посредством функции блокировки (выбор заметки). После выбора заданной заметки пользователем механизм технологии NLI предлагает пользователю ввести пароль посредством диалоговой процедуры, определяя, что для обеспечения выбранной заметки необходим пароль (написание пароля). Например, механизм технологии NLI отображает окно заметки, в котором пользователь может ввести пароль.

Когда пользователь вводит действительный пароль, механизм технологии NLI отображает выбранную заметку на экране.

Фиг. 15 иллюстрирует сценарий выполнения заданной функции с использованием части заметки, написанной посредством функции заметок в пользовательском терминале, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 15 пользователь пишет заметку на экране пользовательского терминала посредством функции заметок (написание заметки). После этого пользователь выбирает часть заметки с использованием линии, символа, замкнутой петли и т.п. (инициирование). Например, пользователь может выбрать телефонный номер «010-9530-0163» в целой заметке, рисуя замкнутую петлю вокруг телефонного номера.

Пользователь запрашивает набор телефонного номера посредством написания заданного или интуитивно распознаваемого текста, например, «Call» («Вызов») (написание команды).

Механизм технологии NLI, который конфигурирует пользовательский интерфейс на основе информации пользовательского ввода, распознает выбранный телефонный номер посредством его перевода на естественный язык и пытается набрать телефонный номер «010-9530-0163».

Фиг. 16a и 16b иллюстрируют сценарий сокрытия части заметки, написанной посредством функции заметок в пользовательском терминале, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 16a и 16b пользователь пишет идентификатор и пароль для каждого веб-сайта, который пользователь посещает, на экране пользовательского терминала посредством функции заметок (написание заметки). После этого пользователь выбирает всю заметку или часть заметки с использованием линии, символа, замкнутой петли и т.п. (инициирование). Например, пользователь может выбрать пароль «wnse3281» в целой заметке, рисуя замкнутую петлю вокруг пароля.

Пользователь запрашивает сокрытие выбранного содержания посредством написания заданного или интуитивно-распознаваемого текста, например, «Hide» («Скрыть») (написание команды).

Механизм технологии NLI, который конфигурирует пользовательский интерфейс на основе информации пользовательского ввода, распознает, что пользователь намеревается скрыть выбранное содержание заметки. Чтобы использовать функцию сокрытия, механизм технологии NLI дополнительно собирает необходимую информацию от пользователя посредством диалоговой процедуры, определяя, что необходима дополнительная информация. Механизм технологии NLI выдает вопрос, запрашивающий пароль, например, сообщение «Enter the password» («Введите пароль»), чтобы установить функцию сокрытия.

Когда пользователь пишет «3295» в качестве пароля посредством функции заметок как ответ, чтобы установить функцию сокрытия, механизм технологии NLI распознает «3295» посредством его перевода на естественный язык и сохраняет «3295». После этого механизм технологии NLI скрывает выбранное содержание заметки, чтобы пароль не появлялся на экране.

Фиг. 17 иллюстрирует сценарий перевода части заметки, написанной посредством функции заметок в пользовательском терминале, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 17 пользователь пишет заметку на экране пользовательского терминала посредством функции заметок (написание заметки). После этого пользователь выбирает часть заметки с использованием линии, символа, замкнутой петли и т.п. (инициирование). Например, пользователь может выбрать предложение «receive requested document by 11 AM tomorrow» («принять запрашиваемый документ к 11 часам утра завтра») из целой заметки, подчеркнув предложение.

Пользователь запрашивает перевод выбранного содержания посредством написания заданного или интуитивно распознаваемого текста, например, «Translate» («Перевести») (написание команды).

Механизм технологии NLI, который конфигурирует пользовательский интерфейс на основе информации пользовательского ввода, распознает, что пользователь намеревается запросить перевод выбранного содержания заметки. После этого механизм технологии NLI отображает вопрос, спрашивая язык, на который выбранное содержание заметки должно быть переведено, посредством диалоговой процедуры. Например, механизм технологии NLI предлагает пользователю ввести намеченный язык, отображая на экране сообщение «Which language?» («Какой язык?»).

Когда пользователь пишет «Italian» («Итальянский») в качестве языка посредством функции заметок как ответ, механизм технологии NLI распознает, что итальянский является намеченным пользователем языком. После этого механизм технологии NLI переводит распознанное содержание заметки, то есть предложение «receive requested document by 11 AM tomorrow» на итальянский язык и выдает перевод. Таким образом, пользователь читает на экране итальянский перевод требуемого предложения.

Фиг. 18 иллюстрирует конфигурацию для управления активированным приложением посредством функции заметок в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения. Конфигурация, проиллюстрированная на фиг. 18, отображает с наложением слой заметки на экране текущего исполняемого заданного приложения, распознает намерение пользователя из заметки, написанной в отображенном слое заметки, и управляет работой исполняемого приложения в соответствии с намерением пользователя в пользовательском терминале. Исполняемое заданное приложение будет называться «приложением нижнего слоя». Кроме того, наложенное отображение слоя заметки на экране, инициированное посредством исполнения приложения нижнего слоя, подразумевает, что дополнительно исполняется приложение, поддерживающее функцию заметок.

Согласно фиг. 18 механизм 1810 активации приложения нижнего слоя исполняет запрашиваемое пользователями заданное приложение, то есть приложение нижнего слоя, и обеспечивает общее управление исполняемому приложению нижнего слоя посредством распознавания намерения пользователя.

В частности, когда пользователь вызывает слой заметки и выдает команду операции посредством написания заметки в слое заметки, механизм 1810 активации приложения нижнего слоя управляет работой исполняемого приложения нижнего слоя в соответствии с командой операции.

Для этого механизм 1810 активации приложения нижнего слоя может передать заданную информацию механизму 1820 активации приложения слоя заметки, чтобы указать запрошенную информацию для управления работой исполняемого в данный момент приложения нижнего слоя, учитывая меню функций приложения нижнего слоя. Заданная информация включает в себя по меньшей мере одно из типа приложения нижнего слоя и текущего исполняемого меню функций на основе приложения нижнего слоя.

В этом случае механизм активации приложения нижнего слоя 1810 может принять более точную информацию для управления работой текущего исполняемого приложения нижнего слоя.

Механизм 1820 активации приложения слоя заметки постоянно отслеживает прием пользовательского ввода в заданной согласованной форме для запроса выполнения приложения, поддерживающего функцию заметок. Например, заданная форма может представлять собой прикосновение и перетаскивание на экране исполнения приложения нижнего слоя. Прикосновение и перетаскивание могут быть направлены вправо, налево, вверх или вниз на экране. Для выполнения прикосновения и перетаскивания может использоваться любой распознаваемый инструмент. Инструментом может являться, главным образом, палец или электронное перо.

После приема запроса на исполнение приложения, поддерживающего функцию заметок от пользователя, механизм 1820 активации приложения слоя заметки вызывает слой заметки, который позволяет пользователю писать заметку. Вызванный слой заметки накладывается на экран исполнения приложения нижнего слоя.

Предпочтительно слой заметки накладывается на экран исполнения приложения нижнего слоя таким образом, что экран исполнения приложения нижнего слоя показывается через слой заметки. Область, в которой слой заметки накладывается на экран, может быть установлена пользовательским запросом. Например, слой заметки может накладываться на экран полностью или частично в соответствии с установкой. В качестве альтернативы, после того как слой заметки частично наложен на экран, пользователь может изменить размер слоя заметки, выбирая и перетаскивая контур или вершину слоя заметки.

Как описано выше, механизм 1820 активации приложения слоя заметки по пользовательскому запросу управляет всей работой по отображению слоя заметки, чтобы позволить пользователю писать заметку, пока исполняется приложение нижнего слоя.

Если механизм 1810 активации приложения нижнего слоя указывает информацию, требуемую для управления приложением нижнего слоя, механизм 1820 активации приложения слоя заметки дополнительно отображает «сообщение, уведомляющее о том, что пользователь должен выполнить ввод». Например, если в качестве приложения нижнего слоя исполняется приложение воспроизведения музыки, на слое заметки отображается сообщение «Введите название песни» или «Введите имя исполнителя».

После отображения слоя заметки на экране механизм 1820 активации приложения слоя заметки распознает намерение пользователя на основе заметки, написанной пользователем. После этого механизм 1820 активации приложения слоя заметки передает управляющую информацию, относящуюся к активации приложения нижнего слоя, как намечено пользователем, механизму 1810 активации приложения нижнего слоя.

Чтобы распознать завершение написанной от руки заметки, механизм 1820 активации приложения слоя заметки может дополнительно отобразить кнопку меню ввода в отображенном слое заметки. В этом случае, когда пользователь нажимает кнопку меню ввода, механизм 1820 активации приложения слоя заметки начинает выполнять операцию для распознавания намерения пользователя на основе содержания заметки, написанной в слое заметки.

Выше было описано распознавание намерения пользователя на основе заметки, написанной в слое заметки, и управление работой соответствующего приложения согласно распознанному намерению пользователя. Таким образом, описание также применимо в отношении распознавания намерения пользователя и управления работой. Следовательно, здесь не будет приведено повторное описание распознавания намерения пользователя и управления работой.

Фиг. 19 является блок-схемой, иллюстрирующей операцию управления для управления приложением нижнего слоя посредством вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 19 пользовательский терминал активирует заданное приложение, то есть приложение нижнего слоя, по пользовательскому запросу на этапе 1910. После активации приложения нижнего слоя пользовательский терминал управляет всей работой относительно активированного приложения нижнего слоя. Пользовательский терминал отображает рабочее состояние приложения нижнего слоя на экране, чтобы пользователь мог определить рабочее состояние приложения нижнего слоя.

Пока приложение нижнего слоя исполняется, пользовательский терминал постоянно отслеживает, вызвал ли пользователь слой заметки, на этапе 1912. Например, когда пользователь касается экрана исполнения приложения нижнего слоя и перетаскивает прикосновение по экрану, пользовательский терминал вызывает слой заметки. Прикосновение и перетаскивание могут быть направлены вправо, налево, вверх или вниз. Для выполнения прикосновения и перетаскивания может использоваться любой распознаваемый инструмент. Инструментом может являться, главным образом, палец или электронное перо.

Фиг. 20a-20c иллюстрируют операции вызова слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 20a, в качестве примера, когда пользователь касается экрана, в котором активировано меню функции, поддерживающее список воспроизведения, в приложении воспроизведения музыки и перетаскивает прикосновение слева направо (см. фиг. 20a), вызывается слой меню.

В качестве альтернативы, когда пользователь приближается к заданной области экрана, в которой активировано меню функции, поддерживающее список воспроизведения, в приложении воспроизведения музыки (функция нахождения над объектом) и нажимает функциональную клавишу электронного пера (см. фиг. 20c), может быть вызван слой меню.

Согласно фиг. 19 пользовательский терминал отображает слой заметки, вызванный пользовательским запросом, над экраном исполнения приложения нижнего слоя на этапе 1914. Пользовательский терминал может дополнительно отобразить «сообщение, указывающее информацию, которая должна быть введена пользователем» в слое заметки, отображенном на экране.

Согласно фиг. 20b, например, вызванный слой меню накладывается на экран, отображающий активированное меню функций, поддерживающее список воспроизведения в приложении воспроизведения музыки таким образом, что экран показывается через наложенный слой меню. На фиг. 20b в слое заметки отображается сообщение «Enter a song title!» («Введите название песни!»).

Хотя это не показано, пользовательский терминал может установить область, в которой накладывается слой заметки, по пользовательскому запросу. Например, слой заметки может полностью или частично перекрывать экран. Размер слоя заметки может быть изменен посредством выбора и перетаскивания контура или вершины слоя заметки, отображенного на части экрана.

Пользовательский терминал определяет, закончил ли пользователь писать заметку в отображенном слое заметки, на этапе 1916. Например, «кнопка меню ввода» может быть дополнительно отображена в слое заметки, чтобы решение относительно того, закончил ли пользователь писать заметку, было принято посредством определения, была ли нажата кнопка меню ввода.

Согласно фиг. 20b значок, представляющий функцию поиска, отображается в качестве кнопки меню ввода в правом нижнем углу экрана, отображающего слой заметки.

Однако следует ясно понимать, что кнопка меню ввода изменяется в соответствии с информацией, вводимой в слой заметки, и не ограничена значком, представляющим функцию поиска.

Фиг. 21a-21d иллюстрируют, как пользователь пишет заметку на слое заметки, отображенном на экране в пользовательском терминале, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 21a отображается слой заметки, который включает в себя заголовок «Enter an application name» («Введите имя приложения») и кнопку исполнения меню, представляющую исполнение, относящееся к имени приложения. Пользователь пишет «Schedule» («Планировщик») в отображенном слое заметки. Когда пользователь нажимает кнопку исполнения меню, соответствующую запросу исполнения приложений, в слое заметки, пользовательский терминал исполняет приложение планировщика.

Согласно фиг. 21b отображается слой заметки, который включает в себя заголовок «Enter a song» («Введите песню») и кнопку исполнения меню, представляющую исполнение, относящееся к заголовку. Пользователь пишет «Alone» («Один») в отображенном слое заметки. Когда пользователь нажимает кнопку исполнения меню, соответствующую запросу воспроизведения музыки, в слое заметки, пользовательский терминал ищет песню «Alone» и воспроизводит обнаруженную песню.

Согласно фиг. 21c отображается слой заметки, который включает в себя заголовок «Enter an artist name» («Введите имя исполнителя») и кнопку исполнения меню, представляющую исполнение, относящееся к заголовку. Пользователь пишет «Beom Su-KIM» в отображенном слое заметки. Когда пользователь нажимает кнопку исполнения меню, соответствующую поисковому запросу, в слое заметки, пользовательский терминал ищет песни или альбомы, которые поет «Beom Su-KIM», и отображает результаты поиска.

Согласно фиг. 21d отображается слой заметки, который включает в себя заголовок «Enter a called party's name» («Введите имя вызываемого абонента») и кнопку исполнения меню, представляющую исполнение, относящееся к заголовку. Пользователь пишет «Ha Young-KIM» в отображенном слое заметки. Когда пользователь нажимает кнопку исполнения меню, соответствующую запросу набора номера, в слое заметки, пользовательский терминал пытается набрать телефонный номер, указанный для «Ha Young-KIM», в списке контактов, исполняемом как приложение нижнего слоя.

После обнаружения завершения заметки пользовательский терминал распознает намерение пользователя на основе заметки, написанной в слое заметки, отображенном на экране, на этапе 1918. После этого пользовательский терминал управляет работой текущего исполняемого приложения нижнего слоя в соответствии с распознанным намерением пользователя на этапе 1920.

Хотя приведенное выше описание основано на предположении, что экран, инициированный посредством активации приложения нижнего слоя, уже был отображен, в качестве альтернативного иллюстративного варианта осуществления может быть предусмотрено, что слой меню отображается по пользовательскому запросу на домашнем экране без исполняемого на нем приложения, и намеченная пользователем операция выполняется на основе информации, написанной от руки в отображенном слое меню.

Фиг. 22 иллюстрирует управление текущим исполняемым заданным приложением с использованием слоя заметки в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 22, пока приложение воспроизведения музыки исполняется в качестве приложения нижнего слоя, пользовательский терминал отслеживает, вызвал ли пользователь слой заметки (см. (a) на фиг. 22). Когда пользователь вызывает слой заметки, пользовательский терминал активирует на экране слой меню, имеющий установленные в нем заголовок и кнопку ввода. Например, слой меню, имеющий установленные в нем заголовок и кнопку ввода, отображается на экране исполнения приложения воспроизведения музыки (см. (b) на фиг. 22). На фиг. 22b заголовок слоя заметки показан как «Enter a song» («Введите песню»).

Пользовательский терминал отслеживает, написал ли пользователь заметку (например, «Alone») и нажал отображенную кнопку меню ввода. После обнаружения нажатия пользователем кнопки меню ввода пользовательский терминал распознает заметку как «Alone» и передает распознанный текст «Alone» текущему исполняемому приложению воспроизведения музыки (см. (d) на фиг. 22).

Приложение воспроизведения музыки ищет песню, имеющую принятое название «Alone», и воспроизводит обнаруженную песню. Диапазон поиска может быть установлен посредством пользовательской настройки. Например, диапазон поиска может представлять собой песни, сохраненные в пользовательском терминале или веб-сайте, который обеспечивает музыкальную услугу. Чтобы установить веб-сайт в качестве диапазона поиска, пользовательский терминал или ввод пользователя должны управлять информацией, запрашиваемой для аутентификации для доступа к веб-сайту.

Если тексту «Alone» соответствует несколько результатов поиска, множество песен, соответствующих результатам поиска, может быть воспроизведено последовательно, или пользователю предлагается выбрать одну из песен. Например, результаты поиска предпочтительно отображаются в виде списка на экране, чтобы пользователь мог выбрать песню из списка. Фиг. 23-28 показывают иллюстративные сценарии, в которых после активации заданного приложения запускается другое приложение, поддерживающее функцию заметок, и активированное приложение исполняется запущенным приложением.

Фиг. 23 иллюстрирует сценарий исполнения слоя заметки на домашнем экране пользовательского терминала и исполнения заданного приложения на слое заметки в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

В соответствии с фиг. 23 пользовательский терминал запускает слой заметки на домашнем экране посредством исполнения приложения заметок на домашнем экране и исполняет приложение после приема идентификационной информации о приложении (например, имени приложения) «Chaton».

Фиг. 24 иллюстрирует сценарий управления заданной операцией в заданном активном приложении посредством функции заметок в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно с фиг. 24 слой заметки запускается посредством исполнения приложения заметок на экране, на котором уже исполнялось приложение воспроизведения музыки. После этого, когда пользователь пишет заголовок намеченной песни «Yeosu Night Sea» на экране, пользовательский терминал воспроизводит звуковой источник, соответствующий «Yeosu Night Sea», в активном приложении.

Фиг. 25 иллюстрирует сценарии управления заданным активным приложением посредством функции заметок в пользовательском терминале в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 25, если пользователь пишет время «40:22», к которому следует перейти, на слое заметки во время просмотра видео, пользовательский терминал переходит к моменту времени 40 минут 22 секунды для воспроизведения текущего видео. Эта функция может быть выполнена таким же образом во время прослушивания музыки, как и во время просмотра видео.

Когда пользователь запускает слой заметки во время исполнения приложения чтения книг и пишет на слое заметки страницу, на которую следует перейти, например «105», пользовательский терминал переходит к странице 105 книги, которую читает пользователь.

Фиг. 26 иллюстрирует сценарий попытки поиска с использованием функции заметок, пока в пользовательском терминале исполняется веб-браузер, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 26, при чтении заданной веб-страницы с использованием веб-браузера пользователь выбирает часть содержания, отображенного на экране, запускает слой заметки и пишет слово «Search» («Поиск») на слое заметки, тем самым давая команду поиска с использованием выбранного содержания в качестве ключевого слова. Механизм технологии NLI распознает намерение пользователя и понимает выбранное содержание через естественно-языковую обработку. После этого механизм технологии NLI выполняет поиск с использованием установленной поисковой системы и выбранного содержания и отображает результаты поиска на экране.

Как описано выше, можно дополнительно предусмотреть, что пользовательский терминал совместно обрабатывает выбор содержания и ввод информации на основе функции заметок на экране, который обеспечивает заданное приложение.

Фиг. 27 иллюстрирует сценарий сбора намеченной информации в приложении карт посредством функции заметок в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 27 пользователь выбирает определенную область, рисуя замкнутую петлю вокруг области на экране приложения карт, с использованием функции заметок и пишет информацию для поиска, например, «Famous places?» («Известные места?»), тем самым давая команду поиска известных мест в пределах выбранной области.

При распознавании намерения пользователя механизм технологии NLI пользовательского терминала ищет полезную информацию в своей сохраненной базе данных или базе данных сервера и дополнительно отображает обнаруженную информацию на карте, отображенной на текущем экране.

Фиг. 28 иллюстрирует сценарий ввода намеченной информации посредством функции заметок, пока активным является приложение планировщика, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 28, пока активным является приложение планировщика, пользователь исполняет функцию заметок и пишет информацию на экране, как это делается интуитивно в режиме офлайн. Например, пользователь выбирает заданную дату, рисуя замкнутую петлю на экране планировщика, и пишет план для этой даты. Например, пользователь выбирает «August 14, 2012» («14 августа 2012 года») и пишет «TF workshop» («семинар TF») для этой даты. После этого механизм технологии NLI пользовательского терминала запрашивает ввод времени в качестве дополнительной информации. Например, механизм технологии NLI отображает вопрос «Time?» («Время?») на экране, чтобы предложить пользователю написать точное время, например «15:00», посредством функции заметок.

Фиг. 29 и 30 иллюстрируют сценарии, относящиеся к семиотике, в соответствии с иллюстративными вариантами осуществления настоящего изобретения.

Согласно фиг. 29 проиллюстрирован пример интерпретации значения рукописного символа в контексте потока вопросов и ответов, сделанной посредством функции заметок. Например, можно предположить, что написаны две заметки «to Italy on business» («в Италию по работе») и «Incheon→Rome» («Инчхон→Рим»). Поскольку символ → может быть интерпретирован как поездка из одного места в другое, механизм технологии NLI пользовательского терминала выдает пользователю вопрос, спрашивающий о времени, например, «When?» («Когда?»).

Кроме того, механизм технологии NLI может выполнить поиск информации о рейсах, доступных для поездки из Инчхона в Рим в написанную пользователем дату, «April 5» («5 апреля») и выдать результаты поиска пользователю.

Согласно фиг. 30 проиллюстрирован пример интерпретации значения символа, написанного посредством функции заметок вместе с активным приложением.

Например, когда пользователь выбирает пункт отправления и пункт назначения с использованием символа, то есть стрелки интуитивным образом на экране, на котором активировано приложение метрополитена. После этого пользовательский терминал может выдать информацию о времени прибытия поезда, движущегося к пункту назначения, и время, требуемое для достижения пункта назначения, посредством текущего активного приложения.

Фиг. 31 является блок-схемой, иллюстрирующей операцию управления для управления приложением нижнего слоя посредством вызова слоя заметки в пользовательском терминале в соответствии с другим иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 31, когда пользователь запускает приложение нижнего слоя на этапе 3110, контроллер определяет, передало ли приложение нижнего слоя информацию, которая будет отображена в слое заметки, слою заметки. Слой заметки может являться другим приложением. Слой заметки может быть отображен в виде окна на сенсорной панели. Нижеследующее описание будет приведено с пониманием того, что термин «окно заметки» используется взаимозаменяемо с термином «слой заметки».

Контроллер определяет, был ли заданный жест создан на сенсорной панели во время исполнения текущего приложения нижнего слоя. Контроллер может обеспечить общее управление работой электронного устройства. Блок 110 исполнения приложений и процессор 120 команд, проиллюстрированные на фиг. 1, могут совместно сформировать контроллер. Заданный жест может представлять собой прикосновение и перетаскивание на сенсорной панели, сделанное посредством пальца пользователя или электронного пера. В качестве альтернативы, заданный жест может представлять собой рисунок заданной формы или структуры на сенсорной панели с помощью пальца пользователя или электронного пера. После обнаружения заданного жеста во время исполнения текущего приложения нижнего слоя контроллер может вызвать слой заметки.

Когда пользователь касается определенной области сенсорной панели во время исполнения текущего приложения нижнего слоя, контроллер может вызвать слой заметки. Слой заметки может быть активирован другим приложением. Кроме того, слой заметки может являться программным модулем, включенным в приложение нижнего слоя.

Информация, запрашивающая пользовательский ввод, может быть отображена в слое заметки. Приложение нижнего слоя может передать информацию, которая должна быть отображена в слое заметки, слою заметки на этапе 3120.

Когда вызван слой заметки, информация, принятая от приложения нижнего слоя, может быть отображена в слое заметки на этапе 3140. Слой заметки может включать в себя область заголовка, в которой отображается заголовок слоя заметки. Слой заметки может дополнительно включать в себя область рукописного ввода и кнопку, которой может управлять пользователь. Когда пользователь пишет заметку на слое заметки на этапе 3150, контроллер может распознать нарисованное от руки изображение заметки на этапе 3160 и может передать текст, соответствующий распознанному нарисованному от руки изображению, приложению нижнего слоя на этапе 3170. Приложение нижнего слоя сравнивает принятый текст со своими командами управления. Если текст, принятый от окна заметки, полностью или частично соответствует команде управления, приложение нижнего слоя может выполнить операцию, относящуюся к команде, на этапе 3180.

Фиг. 32a-32c иллюстрируют операцию для исполнения слоя заметки во время исполнения текущего приложения нижнего слоя в соответствии с иллюстративным вариантом осуществления настоящего изобретения. Слой заметки может являться отдельным слоем, отображенным над слоем, в котором отображается приложение. Слой заметки может являться окном заметки. В нижеследующем описании слой заметки может упоминаться как окно заметки.

В нижеследующем описании вводом прикосновения называется прикосновение к графическому объекту, отображенному на сенсорной панели, и рукописным вводом называется написание символа с помощью электронного пера или пальца.

Согласно фиг. 32a текущее исполняемое приложение отображается на сенсорной панели в электронном устройстве. Когда приложение исполняется, контроллер может отобразить графический объект, представляющий информацию, относящуюся к исполняемому приложению, и пункт меню для управления функцией приложения на сенсорной панели. Пункт меню может принимать форму кнопки. Пользователь может выполнить функцию приложения, коснувшись пункта меню. После обнаружения прикосновения к пункту меню контроллер может управлять функцией приложения, соответствующей пункту меню.

Например, когда исполняется приложение каталога, на сенсорной панели отображаются графический объект, относящийся к приложению каталога, и пункты 3216, 3218, 3220, 3222, 3224 и 3226 меню для управления функциями приложения каталога. Приложение каталога включает в себя первую область меню, окно 3208 поиска, элементы 3210, 3212 и 3214 каталога и вторую область меню. Первая область меню может включать в себя четыре пункта 3202, 3203, 3204 и 3206 меню. Каждый из пунктов 3202, 3203, 3204 и 3206 меню включает в себя значок, представляющий пункт меню, и название меню. Например, пункт 3202 меню включает в себя значок в виде телефонного аппарата и текст «Call Log» («Журнал вызовов»). Пункт 3203 меню включает в себя значок в виде человека и текст «Contacts» («Контакты»). Когда пользователь касается одного из пунктов 3202, 3203, 3204 и 3206 меню, цвет затронутого пункта меню может быть изменен на другой. Когда пункт меню выбран, содержание элементов каталога может быть изменено. Например, элементы 3210, 3212 и 3214 каталога могут быть изменены. Пункты 3216, 3218, 3220, 3222, 3224 и 3226 меню могут быть отображены во второй области меню. После обнаружения прикосновения к одному из пунктов 3216, 3218, 3220, 3222, 3224 и 3226 меню контроллер может управлять функцией приложения, соответствующей затронутому пункту меню.

Например, пункт 3216 меню может включать в себя значок мусорной корзины и команду «Delete» («Удалить»). После выбора одного из пунктов 3216, 3218, 3220, 3222, 3224 и 3226 меню команда, соответствующая выбранному пункту меню, может быть исполнена для элементов 3210, 3212 и 3214 каталога. Если выбран пункт 3216 меню, элементы 3210, 3212 и 3214 каталога могут быть синхронизированы с другим каталогом. Если выбран пункт 3224 меню, элемент каталога, выбранный среди элементов 3210, 3212 и 3214 каталога, может быть объединен с информацией о том же самом человеке, перечисленном в другом каталоге.

Вторая область меню может быть отображена над элементами 3210, 3212 и 3214 каталога. Шесть элементов каталога первоначально отображены на сенсорной панели. Поскольку вторая область меню отображена на сенсорной панели, три элемента 3210, 3212 и 3214 каталога из шести элементов каталога отображены на сенсорной панели, в то время как другие элементы каталога (не показаны) скрыты за второй областью меню.

Согласно фиг. 32b первые пункты 3252, 3254, 3256 и 3258 меню отображены на сенсорной панели. Область 3230 каталога также может быть отображена на сенсорной панели. Область 3230 каталога может включать в себя множество элементов каталога. Для элементов каталога может исполняться команда. Например, элементы каталога могут использоваться в качестве данных, когда команда исполняется. Когда пользователь касается одного из элементов 3238, 3240, 3242, 3244, 3246 и 3248 каталога, затронутый элемент каталога выбирается и визуально выделяется от других элементов каталога. Например, когда пользователь касается элемента 3238 каталога, элемент 3238 каталога может быть отображен другим цветом, который отличается от других элементов 3240, 3242, 3244, 3246 и 3248 каталога. Окно 3231 заметки может быть воспроизведено полупрозрачным. Окно 3231 заметки может быть наложено на приложение каталога, являющееся приложением нижнего слоя, и элементы 3240, 3242, 3244, 3246 и 3248 каталога могут показываться через окно 3231 заметки. Когда пользователь вводит заданный жест на сенсорной панели во время исполнения текущего приложения каталога, контроллер обнаруживает заданный жест от сенсорной панели и отображает окно 3231 заметки, наложенное на приложение каталога, в ответ на обнаруженный жест. Окно 3231 заметки разделено на область рукописного ввода и область без рукописного ввода. Поскольку приложение каталога отображено на сенсорной панели и окно заметки отображено над приложением каталога, приложение каталога называется приложением нижнего слоя.

Заданный жест может представлять собой прикосновение к определенной области сенсорной панели. В качестве альтернативы, заданный жест может представлять собой перетаскивание на сенсорной панели. В качестве альтернативы, заданный жест может представлять собой рисование заданной формы на сенсорной панели с использованием электронного пера. Электронное перо может представлять собой стилус. В качестве альтернативы, заданный жест может представлять собой скольжение по сенсорной панели с использованием стилуса.

Как упомянуто раньше, окно 3231 заметки может включать в себя область без рукописного ввода. В области без рукописного ввода могут быть отображены текст и изображение, принятое от приложения нижнего слоя. Область без рукописного ввода может являться областью 3232 заголовка. Кроме того, область без рукописного ввода может включать в себя кнопку 3236, которой может управлять пользователь. Кнопка 3236 может являться изображением, принятым от приложения нижнего слоя.

Окно 3231 заметки может включать в себя область 3233 рукописного ввода для приема заметки, написанной пользователем.

Заголовок окна 3231 заметки может быть отображен в области 3232 заголовка. Заголовок окна 3231 заметки может быть принят от приложения нижнего слоя. Например, контроллер может принять заголовок, который будет отображен в области 3232 заголовка, от приложения нижнего слоя и отобразить заголовок в области 3232 заголовка окна 3231 заметки. Вводом прикосновения в области 3232 заголовка можно пренебречь. В состоянии, когда отображаются элементы 3238, 3240, 3242, 3244, 3246 и 3248 каталога, контроллер может обнаружить прикосновение. Когда отображается окно 3231 заметки, контроллер может игнорировать ввод прикосновения, обнаруженный от области 3231 заголовка. Когда окно 3231 заметки активировано, контроллер может исполнить команду для управления приложением нижнего слоя только через область 3233 рукописного ввода окна 3231 заметки. Кроме того, когда окно 3231 заметки активировано, контроллер может игнорировать ввод прикосновения, сформированный от первых пунктов 3252, 3254, 3256 и 3258 меню, используемых для управления приложением нижнего слоя.

Например, в области 3232 заголовка окна 3231 заметки может быть отображено «Memo Layer» («Слой заметки»).

Текст «Memo Layer» может быть принят от приложения каталога, являющегося приложением нижнего слоя.

Область 3233 рукописного ввода может принять рукописный ввод от пользователя. Рукописный ввод может представлять собой непрерывное перемещение прикосновения на сенсорной панели. Рукописный ввод может быть создан действием пользователя по вводу символов на сенсорной панели с помощью стилуса или пальца.

Когда пользователь пишет заметку в области 3233 рукописного ввода, контроллер может отобразить нарисованное от руки изображение заметки в области 3233 рукописного ввода. Например, контроллер может принять заметку, которую пользователь пишет в области рукописного ввода с помощью стилуса или пальца.

До отображения окна 3231 заметки контроллер может обнаружить прикосновение в области 3233 рукописного ввода на сенсорной панели и выполнить функцию, соответствующую прикосновению. Например, до отображения окна 3231 заметки на сенсорной панели могут быть отображены элементы 3238, 3240, 3242, 3244 и 3246 каталога. Когда пользователь касается элемента 3238 каталога, контроллер может изменить цвет элемента 3238 каталога в ответ на прикосновение. Когда окно 3231 заметки отображается на сенсорной панели, контроллер может игнорировать ввод прикосновения на сенсорной панели. Когда окно 3231 заметки отображается, пользователю может быть не разрешено касаться элементов 3238, 3240, 3242, 3244 и 3246 каталога. Например, когда окно 3231 заметки отображено над кнопками (пунктами меню), кнопки (пункты меню) являются деактивированными.

Когда окно 3231 заметки отображается, пользователь может ввести команду и данные, необходимые для исполнения команды, в текущее исполняемое приложение посредством рукописного ввода. Например, до отображения окна 3231 заметки пользователь может ввести команду и данные, необходимые для исполнения команды, в текущее исполняемое приложение посредством ввода прикосновения. Когда окно 3231 заметки отображено, пользователь может ввести команду и данные, необходимые для исполнения команды, в текущее исполняемое приложение посредством рукописного ввода.

Рукописный ввод может быть создан посредством перемещения стилуса. Когда пользователь касается сенсорной панели и перемещает прикосновение с помощью стилуса, контроллер может обнаружить перемещение стилуса на сенсорной панели и отобразить траекторию движения стилуса на сенсорной панели. Траектория движения стилуса представляет собой нарисованное от руки изображение. Рукописный ввод также может быть создан посредством перемещения пальца пользователя.

Кнопка 3236, доступная для манипуляции пользователя, может быть отображена в окне 3231 заметки. Кнопка 3236 может быть обеспечена посредством приложения нижнего слоя. Приложение нижнего слоя имеет изображение кнопки 3236, которая должна быть отображена в окне 3231 заметки. Изображение может представлять собой текст, изображение, значок и т.п.

После обнаружения прикосновения к тексту или изображению, отображаемым в окне заметки, контроллер может распознать ввод нарисованного от руки изображения в области рукописного ввода, преобразовать нарисованное от руки изображение в соответствующий текст и передать текст приложению.

Например, когда контроллер касается кнопки 3236, контроллер может распознать входное нарисованное от руки изображение и выполнить функцию приложения в соответствии с результатом распознавания.

Кроме того, контроллер может распознать нарисованное от руки изображение в области 3233 рукописного ввода. Когда пользователь касается кнопки 3236, контроллер передает нарисованное от руки изображение, отображенное в области 3233 рукописного ввода, механизму 210 распознавания. Механизм 210 распознавания может распознать нарисованное от руки изображение и преобразовать нарисованное от руки изображение в текст. Например, когда пользователь пишет заметку в области 3233 рукописного ввода посредством рукописного ввода, контроллер отображает нарисованное от руки изображение 3234 заметки. Когда пользователь касается кнопки 3236 с нарисованным от руки изображением 3234, отображенным в области 3233 рукописного ввода, контроллер передает нарисованное от руки изображение 3234 механизму 210 распознавания, и механизм 210 распознавания распознает нарисованное от руки изображение 3234 и передает текст «Merge» («Слияние») контроллеру. Механизм 210 распознавания может представлять собой программный модуль. Контроллер может передать результат распознавания приложению нижнего слоя. Контроллер может управлять выполнением функции «Merge» в приложении каталога, являющемся приложением нижнего слоя.

Распознанное изображение может представлять собой команду, запрашивающую исполнение заданной функции в приложении нижнего слоя. Приложение нижнего слоя может определять команды и управлять командами для исполнения заданных функций. Если распознанное нарисованное от руки изображение идентифицировано как команда, контроллер может управлять исполнением операции, соответствующей команде в приложении нижнего слоя. Например, приложение каталога может определить команды и управлять командами «Delete» («Удалить»), «Profile» («Профиль»), «Sync» («Синхронизация») и «Merge» («Слияние») для исполнения функций. Команды полностью или частично соответствуют тексту пунктов 3216, 3218, 3220, 3222, 3224 и 3226 меню, включенных во вторую область меню на фиг. 32a.

Когда пользователь касается кнопки 3236, контроллер может устранить окно 3231 заметки и управлять выполнением операции, соответствующей результату распознавания в приложении нижнего слоя.

Фиг. 32c иллюстрирует пользовательский ввод нарисованного от руки изображения в окне заметки в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 32c область 3270 каталога может быть отображена на сенсорной панели. Когда пользователь пишет заметку в области 3272 рукописного ввода, отображается нарисованное от руки изображение 3274. Контроллер может распознать нарисованное от руки изображение 3274 и управлять выполнением операции, соответствующей результату распознавания в приложении нижнего слоя.

Контроллер может управлять приложением нижнего слоя, отображенным на сенсорной панели, в двух режимах. Когда приложение нижнего слоя исполняется, контроллер может отобразить графический объект, представляющий информацию относительно приложения нижнего слоя и кнопки (пункты меню) для управления функциями приложения нижнего слоя на сенсорной панели. Контроллер может поддерживать первый и второй режимы. Контроллер управляет функцией исполняемого приложения посредством ввода прикосновения в первом режиме, тогда как контроллер определяет заданный жест на сенсорной панели во время исполнения текущего приложения, отображает окно заметки, позволяющее рукописный ввод, над приложением в соответствии с определенным результатом, распознает ввод нарисованного от руки изображения в окне заметки и управляет функцией приложения во втором режиме. Кроме того, контроллер может управлять деактивацией первого режима во втором режиме.

Фиг. 33a-33b иллюстрируют операцию для обработки нарисованного от руки изображения, которое пользователь вводит в окне заметки, в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 33a, когда пользователь пишет заметку в окне 3310 заметки, контроллер отображает нарисованные от руки изображения 3311, 3312 и 3314. Когда пользователь касается кнопки 3316, нарисованные от руки изображения 3311, 3312 и 3314 могут быть распознаны. Как следствие, контроллер может получить текст «010-1234-1234», «John T. W.» и «Create» («Создать») и передает текст приложению нижнего слоя. Приложение нижнего слоя может разделяет текст, принятый от окна 3310 заметки, на команду для управления функцией приложения нижнего слоя и данные, для которых должна быть исполнена команда. Например, текст «Create» обрабатывается как команда в приложении каталога, являющемся приложением нижнего слоя. Контроллер может управлять формированием нового контакта в приложении каталога, чтобы исполнить команду «Create». Чтобы сформировать новый контакт, необходимы телефонный номер и имя контакта. Таким образом, контроллер может управлять сохранением текста «010-1234-1234» как телефонного номера в приложении каталога. Контроллер также может управлять сохранением текста «John T. W.» как имени контакта в приложении каталога. Таким образом, распознанные нарисованные от руки изображения могут быть распределены на команду и данные, для которых команда должна быть исполнена, в приложении нижнего слоя.

Согласно фиг. 33b область 3320 каталога может быть отображена на сенсорной панели. Когда пользователь пишет заметку в окне 3321 заметки, контроллер отображает нарисованные от руки изображения 3322 и 3324. Контроллер может определить нарисованные от руки изображения 3322 и 3324 как данные и команду в соответствии с их порядком ввода. Например, если пользователь сначала вводит нарисованное от руки изображение 3322, затем нарисованное от руки изображение 3324 и касается кнопки 3326, контроллер обрабатывает нарисованное от руки изображение 3322 как данные и нарисованное от руки изображение 3324 как команду. Для обработки нарисованного от руки изображения 3324 как команды контроллер может сравнить результат распознавания нарисованного от руки изображения 3322 с командами, управляемыми в приложении каталога, и управлять исполнением функции, соответствующей команде. Контроллер может добавить «Hanna» в «Favorites» («Избранное») посредством распознавания нарисованных от руки изображений 3322 и 3324, отображенных на сенсорной панели, посредством распознавания рукописного текста. Например, контроллер исполняет команду «Favorites» приложения каталога, используя «Hanna» в качестве данных, для которых должна быть исполнена команда.

Фиг. 34 иллюстрирует операцию для отображения окна заметки и для приема входного нарисованного от руки изображения во время исполнения текущего приложения будильника в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 34 экран 3402 исполнения приложения будильника отображается на сенсорной панели 3400. Когда пользователь вводит заданный жест во время исполнения текущего приложения будильника, окно 3410 заметки отображается на сенсорной панели 3400. После пользовательского ввода нарисованных от руки изображений 3412 и 3414 в окне 3410 заметки с помощью стилуса контроллер может отобразить входные нарисованные от руки изображения 3412 и 3414. Например, когда пользователь пишет «AM 7:00» («7:00 утра») и «Add alarm» («Добавить будильник») в окне 3410 заметки, контроллер отображает нарисованные от руки изображения 3412 и 3414 в окне 3410 заметки. Когда пользователь касается кнопки 3416, контроллер может управлять распознаванием нарисованных от руки изображений 3412 и 3414. Контроллер может передать результат распознавания приложению будильника и управлять приложением будильника, чтобы выдать сигнал будильника в 7:00. Кроме того, контроллер может обработать нарисованное от руки изображение 3412 как данные и нарисованное от руки изображение 3414 как команду отдельно. Команды могут быть заданы и обработаны в приложении будильника.

Фиг. 35 иллюстрирует операцию для отображения окна заметки и для выполнения команды в соответствии с входным нарисованным от руки изображением во время исполнения текущего приложения галереи в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 35 приложение галереи отображается на сенсорной панели. Приложение галереи является приложением для отображения файла изображения на экране. Когда пользователь вводит заданный жест во время исполнения текущего приложения галереи, контроллер отображает окно 3510 заметки над экраном приложения галереи. Когда пользователь пишет заметку в окне 3510 заметки и касается кнопки 3516, контроллер распознает входные нарисованные от руки изображения 3512 и 3514 из заметки и преобразует нарисованные от руки изображения 3512 и 3514 в текст. Контроллер может обработать нарисованное от руки изображение 3512 как данные и нарисованное от руки изображение 3514 как команду.

Например, пользователь исполняет приложение галереи, и, таким образом, изображение 3507 отображается на сенсорной панели. В этом состоянии запускается окно 3510 заметки. Когда пользователь пишет «Gallery 2» («Галерея 2») и «Move to Folder» («Переместить в папку») в окне 3510 заметки, контроллер перемещает отображенное изображение 3507 из приложения галереи в папку «Gallery 2». Контроллер может обработать нарисованные от руки изображения отдельно как данные и команду в соответствии с их порядком ввода. Если текст, полученный в результате распознавания нарисованного от руки изображения пользовательского ввода, полностью или частично соответствует команде, обрабатываемой в приложении, контроллер может обработать текст как команду.

Фиг. 36a и 36b иллюстрируют приложение для выполнения команды в соответствии с рукописным вводом в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

Согласно фиг. 36a область 3610 для ввода и редактирования информации о контакте (вызываемом абоненте) и область 3620 для ввода символа, используемого для вызова контакта, отображаются на сенсорной панели 3600.

Информация о контакте может включать в себя имя 3602, изображение 3604, номер 3606 мобильного телефона и номер 3608 рабочего телефона контакта. Если пользователь уже ввел информацию о контакте, информация о контакте может быть отображена на сенсорной панели 3600. В ином случае информация о контакте может быть оставлена пустой.

Пользователь может ввести или отредактировать контактную информацию в области 3610 и может ввести символ, с помощью которого можно вызвать контакт, в области 3620 посредством рукописного ввода. Например, пользователь может нарисовать символ 3622 «сердечко» в качестве нарисованного от руки изображения для вызова контакта.

Согласно фиг. 36b кнопочная панель 3656 отображается на сенсорной панели 3650. Кнопочная панель может являться частью приложения каталога. Когда пользователь выбирает меню 3660 кнопочной панели, чтобы позвонить «Samuel» во время исполнения текущего приложения каталога, контроллер управляет отображением кнопочной панели 3656 на сенсорной панели 3650. Пользователь может вызвать окно 3652 заметки заданным жестом. После этого, когда пользователь рисует заданную форму в окне 3652 заметки с помощью стилуса, контроллер распознает заданную форму. Контроллер обеспечивает результат распознавания заданной формы приложению каталога. Приложение каталога может выполнить поиск контакта, включающего в себя данные о заданной форме, в базе данных каталога. Контроллер может вызвать контакт, включающий в себя данные о заданной форме.

Например, когда пользователь рисует «сердечко» 3654 в окне 3652 заметки, контроллер может распознать «сердечко» 3654 и выполнить поиск телефонного номера «Samuel», включающего в себя «сердечко» 3654. Кроме того, контроллер может вызвать «Samuel» как контакт, включающий в себя «сердечко» 3654, в соответствии с результатом поиска.

Фиг. 37a и 37b иллюстрируют программные модули, включенные в приложение нижнего слоя и приложение слоя заметки (окна заметки), в соответствии с иллюстративным вариантом осуществления настоящего изобретения.

В электронном устройстве, имеющем сенсорную панель, которая обнаруживает прикосновение, когда приложение исполняется, графический объект, представляющий информацию относительно исполняемого приложения, и кнопка для управления функцией приложения отображаются на сенсорной панели.

После обнаружения прикосновения к кнопке контроллер может управлять функцией приложения, соответствующей кнопке. После обнаружения заданного жеста на сенсорной панели контроллер может отобразить окно заметки над графическим объектом и кнопкой на сенсорной панели. Окно заметки разделено на область рукописного ввода и область без рукописного ввода. Приложение включает в себя программный модуль, в котором определены параметры, необходимые для отображения окна заметки (т.е. слоя заметки).

Когда приложение исполняется, параметры сохраняются в определенной области памяти (не показана) и используются в качестве текста, представляющего заголовок окна заметки, и изображения кнопки, отображаемых в окне заметки.

Согласно фиг. 37a показан программный модуль 3710, включенный в приложение нижнего слоя. Программный модуль 3710 определяет заголовок 3712 модуля и параметры 3714, 3716 и 3718, используемые в программном модуле 3710. Когда приложение нижнего слоя исполняется, часть памяти устройства (не показана) может быть выделена приложению нижнего слоя. Данные, которые будут использоваться в качестве параметров 3714, 3716 и 3718, могут храниться в частичной области памяти.

Согласно фиг. 37b показан программный модуль 3720 для отображения окна заметки. Программный модуль 3720 определяет параметры 3722, 3724 и 3726, используемые для отображения окна заметки. Параметры 3722, 3724 и 3726 совпадают с параметрами 3714, 3716 и 3718, включенными в программный модуль 3710 приложения нижнего слоя. Например, параметры 3722, 3724 и 3726, определенные в программном модуле 3710 приложения нижнего слоя, доступны при отображении окна заметки.

Например, STRING TITLE 3714, BITMAP_BTN_PRESSED 3718 и BITMAP_BTN_NON 3716 определены как параметры в программном модуле 3710.

Текстовые данные, используемые для отображения заголовка окна заметки, хранятся в STRING TITLE 3714.

Данные изображения, используемые для отображения кнопки в окне заметки, хранятся в BITMAP_BTN_PRESSED 3718 и BITMAP_BTN_NON 3716.

Контроллер может использовать данные, хранящиеся в области памяти, установленной для слоя заметки, чтобы отобразить окно заметки на сенсорной панели. Контроллер может считывать параметры 3714, 3716 и 3718 в области памяти, выделенной приложению нижнего слоя, и использовать их для отображения окна заметки.

Как очевидно из приведенного выше описания, иллюстративные варианты осуществления настоящего изобретения могут повысить удобство пользователя посредством поддержки функции заметок в различных приложениях и тем самым обеспечить интуитивное управление приложениями.

Описанные выше сценарии отличаются тем, что когда пользователь запускает слой заметки на экране и пишет информацию на слое заметки, пользовательский терминал распознает информацию и выполняет операцию, соответствующую информации. С этой целью будет предпочтительно дополнительно определить методику для запуска слоя заметки на экране.

Например, слой заметки может быть запущен на текущем экране посредством нажатия кнопки меню, ввода заданного жеста, удержания кнопки электронного пера в нажатом состоянии, прокрутки вверх или вниз экрана с помощью пальца и т.п. Хотя в иллюстративном варианте осуществления настоящего изобретения для запуска слоя заметки выполняется прокрутка экрана вверх, доступны многие другие методики.

Следует понимать, что иллюстративные варианты осуществления настоящего изобретения могут быть реализованы в аппаратных средствах, программном обеспечении или их комбинации. Программное обеспечение может быть сохранено в устройстве энергозависимой или энергонезависимой памяти, таком как постоянное запоминающее устройство (ROM), независимо от того, являются ли данные удаляемыми или перезаписываемыми, в памяти, такой как оперативное запоминающее устройство (RAM), микросхема памяти, устройство или интегральная схема, или на запоминающем носителе, на котором данные могут быть записаны оптическим или магнитным методом и с которого данные могут быть считаны машиной (например, компьютером), таком как компакт-диск (CD), цифровой видеодиск (DVD), магнитный диск или магнитная лента.

Кроме того, управление приложения посредством распознавания нарисованных от руки изображений в соответствии с иллюстративными вариантами осуществления настоящего изобретения может быть реализовано в компьютере или переносном терминале, который имеет контроллер и память, и память является примером машиночитаемого (считываемого компьютером) запоминающего носителя, подходящего для хранения программы или программ, включающих в себя команды для реализации иллюстративных вариантов осуществления настоящего изобретения. В соответствии с этим иллюстративные варианты осуществления настоящего изобретения включают в себя программу, имеющую код для реализации устройств или способов, определенных формулой изобретения, и машиночитаемый запоминающий носитель, который хранит программу. Программа может быть перенесена электронным методом через носитель, такой как сигнал связи, переданный через проводное или беспроводное соединение, эквиваленты которого включены в иллюстративные варианты осуществления настоящего изобретения.

Иллюстративные способ и устройство для управления приложением посредством распознавания нарисованных от руки изображений могут принимать и сохранять программу из программы, обеспечивающей устройство, соединенное проводным или беспроводным методом. Программа, обеспечивающая устройство, может включать в себя программу, содержащую команды для реализации иллюстративных вариантов осуществления настоящего изобретения, память для хранения информации, требуемой для иллюстративных вариантов осуществления настоящего изобретения, модуль связи для связи с устройством проводным или беспроводным методом и контроллер для передачи программы устройству автоматически или по запросу устройства.

Например, в иллюстративных вариантах осуществления настоящего изобретения предполагается, что механизм распознавания, конфигурирующий пользовательский интерфейс, анализирует намерение пользователя на основе результатов распознавания и обеспечивает пользователю результат обработки ввода на основе намерения пользователя, и эти функции обрабатываются в пределах пользовательского терминала.

Однако может быть дополнительно предусмотрено, что пользователь исполняет функции, требуемые для реализации иллюстративных вариантов осуществления настоящего изобретения, вместе с сервером, доступным через сеть. Например, пользовательский терминал передает результат распознавания механизма распознавания серверу через сеть. После этого сервер оценивает намерение пользователя на основе принятого результата распознавания и обеспечивает намерение пользователя пользовательскому терминалу. Если необходима дополнительная информация для оценки намерения пользователя или обработки намерения пользователя, сервер может принять дополнительную информацию посредством диалоговой процедуры с пользовательским терминалом.

Кроме того, пользователь может ограничить операции иллюстративных вариантов осуществления настоящего изобретения пользовательским терминалом или может выборочно расширить операции иллюстративных вариантов осуществления настоящего изобретения до взаимодействия с сервером через сеть посредством настройки установок пользовательского терминала.

Хотя изобретение было показано и описано со ссылкой на некоторые иллюстративные варианты его осуществления, специалисты в данной области техники поймут, что в нем могут быть сделаны различные изменения в форме и деталях без отступления от сущности и объема изобретения, определенных посредством приложенной формулы изобретения и ее эквивалентов.

Предложены способ и устройство для управления приложением. Технический результат заключается в возможности управления приложением посредством распознавания нарисованного от руки изображения. Результат достигается за счет того, что отображают исполняемое приложение на сенсорной панели; обнаруживают заданный пользовательский ввод; отображают окно заметки для приёма рукописного ввода над приложением в ответ на обнаруженный пользовательский ввод, причем окно заметки включает в себя область рукописного ввода и область без рукописного ввода; принимают нарисованное от руки изображение в области рукописного ввода окна заметки; и распознают принятое нарисованное от руки изображение; передают текст, соответствующий распознанному нарисованному от руки изображению, в исполняемое приложение; и управляют исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении. 7 н. и 7 з.п. ф-лы, 53 ил.

1. Способ управления приложением в электронном устройстве, имеющем сенсорную панель, причем способ содержит этапы, на которых:

отображают исполняемое приложение на сенсорной панели;

обнаруживают заданный пользовательский ввод;

отображают окно заметки для приёма рукописного ввода над приложением в ответ на обнаруженный пользовательский ввод, причем окно заметки включает в себя область рукописного ввода и область без рукописного ввода;

принимают нарисованное от руки изображение в области рукописного ввода окна заметки; и

распознают принятое нарисованное от руки изображение;

передают текст, соответствующий распознанному нарисованному от руки изображению, в исполняемое приложение; и

управляют исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении.

2. Способ по п.1, в котором по меньшей мере одно из текста и изображения, принятых от приложения, отображается в области без рукописного ввода окна заметки.

3. Способ по п.2, в котором, когда обнаружено прикосновение в области без рукописного ввода, окно заметки распознает ввод нарисованного от руки изображения в области рукописного ввода, преобразует распознанное нарисованное от руки изображение в упомянутый текст, соответствующий нарисованному от руки изображению, и передает текст в исполняемое приложение.

4. Способ по п.3, дополнительно содержащий этап, на котором:

разделяют текст, принятый от окна заметки, на команду для управления функцией приложения и данные, относящиеся к команде, посредством приложения.

5. Способ управления приложением в электронном устройстве, имеющем сенсорную панель, причем способ содержит этапы, на которых:

отображают графический объект, представляющий информацию, относящуюся к исполняемому приложению, и кнопку для управления функцией приложения на сенсорной панели;

управляют функцией приложения, соответствующей кнопке, после обнаружения пользовательского ввода, который является одним из жеста на сенсорной панели, прикосновения к виртуальной кнопке на сенсорной панели и пользовательского выбора физической кнопки на электронном устройстве;

отображают окно заметки по меньшей мере над одним из графического объекта и кнопки на сенсорной панели после обнаружения заданного ввода на сенсорной панели, причем окно заметки включает в себя область рукописного ввода и область без рукописного ввода;

принимают нарисованное от руки изображение в области рукописного ввода окна заметки;

распознают принятое нарисованное от руки изображение; и

передают текст, соответствующий распознанному нарисованному от руки изображению, в исполняемое приложение; и

управляют исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении.

6. Способ по п.5, в котором, когда окно заметки отображается над кнопкой, кнопка деактивирована.

7. Способ управления приложением в электронном устройстве, имеющем сенсорную панель, причем способ содержит этапы, на которых:

управляют функцией исполняемого приложения после обнаружения ввода прикосновения в первом режиме; и

идентифицируют заданный ввод на сенсорной панели во время исполнения текущего приложения, отображают окно заметки, которое позволяет рукописный ввод, над приложением в соответствии с идентифицированным вводом, распознают ввод нарисованного от руки изображения в окне заметки и управляют функцией исполняемого приложения в соответствии с распознанным нарисованным от руки изображением во втором режиме,

передают текст, соответствующий распознанному нарисованному от руки изображению, в исполняемое приложение; и

управляют исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении.

8. Способ по п.7, в котором первый режим деактивирован во втором режиме.

9. Электронное устройство для управления приложением, содержащее:

сенсорную панель для обнаружения прикосновения; и

контроллер, выполненный с возможностью:

отображения исполняемого приложения на сенсорной панели;

отображения окна заметки над приложением в ответ на заданный ввод, обнаруженный от сенсорной панели, причем окно заметки включает в себя область рукописного ввода и область без рукописного ввода;

распознавания нарисованного от руки изображения в области рукописного ввода окна заметки и для управления функцией приложения в соответствии с результатом распознавания,

передачи текста, соответствующего распознанному нарисованному от руки изображению, в исполняемое приложение; и

управления исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении.

10. Электронное устройство по п.9, в котором контроллер управляет отображением по меньшей мере одного из текста и изображения, принятого от приложения, в области без рукописного ввода окна заметки, и после обнаружения прикосновения к области без рукописного ввода контроллер распознает ввод нарисованного от руки изображения в области рукописного ввода, преобразует распознанное нарисованное от руки изображение в текст, соответствующий нарисованному от руки изображению, и управляет функцией приложения, соответствующей тексту.

11. Электронное устройство по п.10, в котором контроллер разделяет текст на команду для управления функцией приложения и данные, относящиеся к команде.

12. Электронное устройство для управления приложением, содержащее:

сенсорную панель для обнаружения прикосновения; и

контроллер для отображения графического объекта, представляющего информацию, относящуюся к исполняемому приложению, и кнопки для управления функцией приложения на сенсорной панели, для управления функцией приложения, соответствующей кнопке, после обнаружения прикосновения к кнопке, для отображения окна заметки по меньшей мере над одним из графического объекта и кнопки на сенсорной панели после обнаружения заданного ввода на сенсорной панели, причем окно заметки включает в себя область рукописного ввода и область без рукописного ввода, для распознавания ввода нарисованного от руки изображения в области рукописного ввода окна заметки и для управления выполнением функции приложения в соответствии с результатом распознавания, для передачи текста, соответствующего распознанному нарисованному от руки изображению, в исполняемое приложение, и для управления исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении.

13. Электронное устройство для управления приложением, содержащее:

сенсорную панель для обнаружения прикосновения; и

контроллер для работы в первом режиме, в котором контроллер управляет функцией исполняемого приложения после обнаружения ввода прикосновения, и для работы во втором режиме, в котором контроллер идентифицирует заданный ввод на сенсорной панели во время исполнения текущего приложения, отображает окно заметки, которое позволяет рукописный ввод, над приложением в соответствии с идентифицированным вводом, распознает ввод нарисованного от руки изображения в окне заметки и управляет функцией исполняемого приложения в соответствии с распознанным нарисованным от руки изображением, передаёт текст, соответствующий распознанному нарисованному от руки изображению, в исполняемое приложение, и управляет исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении.

14. Электронное устройство для управления приложением, содержащее:

сенсорную панель для обнаружения прикосновения; и

контроллер для отображения графического объекта, представляющего информацию, относящуюся к исполняемому приложению, и кнопки для управления функцией приложения на сенсорной панели, для управления исполнением функции приложения, соответствующей кнопке, после обнаружения прикосновения к кнопке, для отображения окна заметки, позволяющего рукописный ввод, на экране, отображающем графический объект и кнопку на сенсорной панели, после обнаружения заданного ввода на сенсорной панели, для распознавания ввода нарисованного от руки изображения в окне заметки, для передачи текста, соответствующего распознанному нарисованному от руки изображению, в исполняемое приложение, и управления исполняемым приложением для выполнения операции, относящейся к упомянутому тексту, если текст соответствует команде управления в исполняемом приложении.