СИСТЕМЫ И СПОСОБЫ ОБУЧЕНИЯ ИНТЕРАКТИВНОМУ ВЗАИМОДЕЙСТВИЮ С КОМПЬЮТЕРНОЙ ПРОГРАММОЙ, ИМЕЮЩЕЙ ГРАФИЧЕСКИЙ ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ Российский патент 2010 года по МПК G06F3/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройствам формирования графического пользовательского интерфейса (GUI), и предлагается использование устройств входа для взаимодействия с этим устройством. Если более подробно, то настоящее изобретение относится к программным средствам для обучения пользователей работе с приложениями, которые выполняют подобные устройства.

Уровень техники

Программные приложения касаются миллионов людей каждый день. Они используются для решения огромного количества важных деловых и личных вопросов и целей. Повсеместное применение программного обеспечения и его возрастающая сложность делают крайне необходимым, чтобы пользователи программ были в состоянии быстро научиться их применять. Все больше и больше эта необходимость возникает при онлайновом и компьютерном обучении.

Один из недостатков традиционного онлайнового и компьютерного учебного материала заключается в том, что он предполагает пассивное обучение и не стимулирует пользователя стремиться к знаниям на более высоком уровне. Обучающая программа с широкими функциональными возможностями может включать в себя графику, видео, анимацию и звук для создания профессионального и привлекательного представления, но содержание часто испытывает недостаток в отношении взаимодействия пользователя с системой и соответствия фактическому выполнению работы.

Содержание обучения обычно представляется программой-браузером или другой внешней прикладной программой, и пользователю требуется переключаться между окном обучения и активным приложением, по работе с которым обучается пользователь), что становится утомительным, неэффективным для пользователя, а также запутывает его и отнимает много времени.

В более совершенных формах подобного обучающего материала используются методики моделирования, в которых программное приложение моделируется в среде обучения так, чтобы дать возможность пользователю выполнять задачи, будто пользователь фактически применяет программный продукт. Но хотя благодаря такой методике устраняются многие недостатки интерактивного обучающего материала, она является очень дорогостоящей в производстве и обслуживании. Если моделирование на начальном этапе строится в соответствии с одним конкретным интерфейсом, то он должен обновляться каждый раз при изменении интерфейса прикладной программы (или пользователем, или автором программы) или каждый раз должна выпускаться новая версия программы. Также моделирование обычно ограничивается выполнением наиболее существенных функций и процессов, поскольку стоимость повторного создания функций и возможностей прикладных программ при моделировании чрезмерно высока. В результате инвестиции в создание новых версий программы не очень привлекают, компании с менее квалифицированными сотрудниками покидают рынок, сокращается активность в отношении изобретательской работы и экспериментальных исследований самых современных технологий.

Кроме того, пользователь не имеет возможности изучить полностью возможности программного продукта из-за ограничений при моделировании. Разработчики моделированных обучающих программных продуктов также не заинтересованы в устранении этого недостатка в связи с тем, что расширение функции и возможностей предполагают увеличение стоимости и трудоемкости при производстве и обслуживании.

В силу вышесказанного имеется необходимость создания программы обучения, которая объединяла бы возможности мультимедийной связи с эффективным интерактивным обучением и была экономична при подготовке и в обслуживании.

Краткое описание чертежей

Для полного понимания изобретения далее представляется более подробное его описание, данное выше в сжатой форме, с помощью ссылок на конкретные варианты реализации изобретения, которые проиллюстрированы в приложенных чертежах.

Следует обратить внимание на то, что эти чертежи изображают только типичные варианты реализации изобретения, и поэтому не должны рассматриваться как ограничение его объема. Подробное описание и объяснение изобретения будет дано с помощью сопровождающих его чертежей, где:

На Фиг.1 показана блок-схема одного варианта реализации и возможная область применения предлагаемого изобретения;

На Фиг.2 представлен один вариант реализации графического пользовательского интерфейса (GUI), с которым может быть использовано предлагаемое изобретение;

На Фиг.3А показана блок-схема системы, работающей во взаимодействии с одним вариантом реализации предлагаемого изобретения;

На Фиг.3В показан вариант реализации карты сущностей, использующейся во взаимодействии с вариантом реализации изобретения;

На Фиг.4 показана блок-схема одного варианта реализации способа разработки сценария, содержащего инструкции по эмуляции пользовательского входа;

Фиг.5 представляет блок-схему одного варианта реализации способа разработки карты сущностей;

Фиг.6 представляет блок-схему одного варианта реализации способа создания сущности;

Фиг.7 представляет блок-схему одного варианта реализации способа создания различных типов сущностей;

Фиг.8 представляет блок-схему одного варианта реализации способа получения ссылки на системные ресурсы сущности.

Фиг.9 представляет блок-схему одного варианта реализации процесса выполнения команд сценария;

Фиг.10 представляет блок-схему одного варианта реализации выполнения сценария путем передвижения курсора с помощью мыши к определенному объекту графического пользовательского интерфейса компьютерной программы;

Фиг.11 представляет блок-схему одного варианта реализации способа фильтрации или блокирования пользовательского входа в течение выполнения сценария;

Фиг.12А-12Е являются снимками экрана, иллюстрирующими операции выполнения задачи в пределах иллюстративной компьютерной программы, используя один вариант реализации предлагаемого изобретения;

Фиг.13 является снимком экрана, иллюстрирующим один вариант реализации фиксированных операций сценария для выполнения задачи в пределах компьютерной программы;

Фиг.14 является снимком экрана, иллюстрирующим один вариант реализации с выводом видеоданных, предусматривающий помощь пользователю в изучении выполнения задачи в пределах компьютерной программы;

Фиг.15 представляет структурную схему одного варианта способа обучения пользователя выполнению задачи в компьютерной системе; и

Фиг.16 представляет логическую блок-схему одного варианта реализации системы обучения пользователя выполнять задачи в компьютерной системе.

Сущность изобретения

Предлагаемое изобретение разработано под влиянием современного состояния уровня техники и, в частности, для решения проблем и требований в данной области техники, которые еще не окончательно решены имеющимися в распоряжении средствами обучения. В связи с этим разработанное изобретение предлагает средство обучения, которое устраняет многие недостатки прототипа.

В частности, изобретение предлагает системы и способы для взаимодействия с объектами графического пользовательского интерфейса (GUI) частично через средство эмулируемого пользовательского входа с целью обучения пользователя работе с компьютерной программой. Такие системы и способы возможно выполнить целым рядом различных средств. Например, в одном варианте реализации программа может быть размещена на удобочитаемых носителях информации (т.е. сохранена на CD или в файле, загружаемом через Интернет) с целью осуществления раскрываемых в изобретении систем и способов.

В одном варианте реализации предлагается программа, дающая возможность разработчику формулировать сценарий, который содержит пооперационную инструкцию, указывающую пользователю, как выполнить задачу в пределах компьютерной программы. Сформулированный сценарий делает это частично через посредство взаимодействия с объектами графического пользовательского интерфейса компьютерной программы. Предлагаемое изобретение можно использовать с широким спектром различных компьютерных программ, таких как Microsoft ^R Word, произведенных корпорацией «Microsoft Corp.», находящейся в Редмонде (шт. Вашингтон).

Сформулированный сценарий выполняется с помощью вывода на экран частичного графического оверлея на верхнюю часть существующего немоделированного графического пользовательского интерфейса компьютерной программы. Каждый отдельный графический оверлей может включать в себя текст, графику, анимацию или видео, указывающие пользователю, как обеспечить вход на соответствующий объект графического пользовательского интерфейса компьютерной программы для выполнения операции задачи. Частичный графический оверлей скрывает только часть пользовательского интерфейса компьютерной программы таким образом, чтобы пользователь мог видеть соответствующий объект графического пользовательского интерфейса, к которому должен быть направлен вход для выполнения операции задачи.

Каждый частичный графический оверлей устанавливается рядом с объектом графического пользовательского интерфейса программы независимо от положения этого объекта без каких-либо изменений основной компьютерной программы. В одном варианте реализации изобретения операционная система, с помощью которой выполняется компьютерная программа, запрашивается с целью определения местоположения объекта графического пользовательского интерфейса. Используя эту информацию, частичный графический оверлей устанавливается рядом с соответствующим объектом графического пользовательского интерфейса. Поскольку в этом случае не требуется никаких изменений компьютерной программы, предлагаемое изобретение может быть легко выполнено и использовано с большим количеством разнообразных компьютерных программ. Более того, нет необходимости убеждать производителей компьютерных программ модифицировать их программы громоздкими протоколами или стандартами. Настоящее изобретение предполагает готовое удобное взаимодействие с объектами графического пользовательского интерфейса.

Кроме того, способ обучения, предлагаемый в изобретении, более эффективен по сравнению со способами обучения в известных технических решениях, так как частичные графические оверлеи изображены в верхней части фактической немоделированной версии компьютерной программы. Когда пользователь проходит обучение с помощью моделированной версии компьютерной программы, он должен пытаться понять различия между моделированной программой и программой, которую он или она использует, что приводит в результате к замешательству и снижению эффективности процесса обучения. Системы и способы предлагаемого изобретения дают возможность выполнять задачи с помощью программы, в которой работает пользователь, с гораздо большей эффективностью обучения.

В одном варианте изобретения сформулированный сценарий выполняет этапы задачи для пользователя. Другими словами, сценарий может обучать пользователя выполнять операции задачи и предполагает корректировку пользовательского ввода перед тем, как на экране появятся инструкции, относящиеся к следующему этапу задачи.

Сценарий формулируется с помощью обращения к карте сущностей, которая содержит программные инструкции для доступа, по меньшей мере, к одному объекту графического пользовательского интерфейса программы. Карта сущностей может, кроме того, включать в себя имя, связанное с каждой программной инструкцией, для упрощения доступа к программной инструкции. Индивидуальные программные инструкции в одном варианте реализации изобретения могут быть включены непосредственно (жестко закодированы) в сценарий из карты сущностей. В других вариантах реализации изобретения на карту сущностей может динамически или статически ссылаться определенный сценарий. Динамически создаваемая карта сущностей дает возможность адаптации определенного сценария в течение его выполнения к новой версии компьютерной программы путем создания карты сущностей, адаптированной к этой новой версии компьютерной программы. Следовательно, нет необходимости переформулировать сценарий, если выпущена новая версия компьютерной программы.

В течение выполнения сценария производится выборочный мониторинг пользовательского входа. Мониторинг пользовательского входа может быть полезным при определении уровня квалификации пользователя. Если пользователь часто производит некорректный ввод, то эта информация сохраняется в файле регистрации, чтобы определить, какой тип обучения следует применить для этого пользователя с целью совершенствования его или его навыков. В одном варианте реализации прием некорректного ввода предотвращен во время выполнения сценария с помощью компьютерной программы, в другом варианте реализации пользователю, производящему некорректный ввод во время выполнения сценария, предоставляются инструкции для исправления. Корректирующая инструкция может включать в себя графику, текст, аудио, видео или анимацию.

Один вариант реализации предусматривает применение настоящего изобретения с Системой Управления Обучением (LMS) или Системой Управления Содержанием Обучения (LCMS). Обе системы используются в индустрии электронного обучения для предоставления пользователям содержания электронного обучения, для отслеживания его выполнения и практических навыков пользователей. Включение изобретения в подобную систему дает возможность предоставить пользователю содержание, инструктирующее его в пределах контекста компьютерной программы, к которой оно дается (то есть пользователь может увидеть выполняемые задачи в приложении, которые он или она выполняют).

Например, LMS может содержать урок по передаче текстовых данных в текстовый процессор. В LMS можно использовать изобретение для передачи содержания, которое должно показать фактическую передачу текстовых данных в собственный текстовый процессор пользователя путем перемещения курсора мышью, ввода с клавиатуры и т.п. в соответствии с требованиями. Изобретение дает возможность выборочно изображать видео или анимацию, воспроизводить звук или другое мультимедийное содержание, которое требуется для передачи необходимой информации, или инструкцию. Любые данные, созданные посредством выполнения сценария предлагаемого изобретения, должны быть реальными, осуществимыми, которые могли бы быть использованы в будущем. Любой пользовательский ввод может быть сохранен с помощью LMS или LCMS и использован программой-администратором для анализа или слежения.

В другом варианте реализации настоящее изобретение содержит определенные потоки операций, входящие в состав LMS или LCMS, компьютерной программы или расширения, или настройки компьютерной программы. Эти потоки операций направляют пользователя на выполнение задачи посредством необходимых определенных операций. Изобретение допускает взаимодействие пользователя только с теми объектами, которые были определены потоком операций. Например, приложение, осуществляющее изобретение, может воспроизвести звуковой файл, указывающий пользователю определенную кнопку, которую следует нажать в компьютерной программе. Также сценарий может изобразить стрелку, указывающую на кнопку, которую надо задействовать при выполнении компьютерной программы. Кроме того, изобретение может дать возможность пользователю перемещать указатель компьютерной мыши и выдавать команды системе не учитывать щелчки мыши, кроме тех, которые производят корректный пользовательский ввод для выполнения операции.

В следующем варианте реализации настоящего изобретения может быть проверена способность пользователя выполнять задачу в пределах компьютерной программы. Настоящее изобретение дает возможность следить за пользовательским вводом и/или проверить, правильно ли выполнил пользователь определенную задачу. Связанный с LMS или LCMS результат проверки может быть зарегистрирован и сохранен в базе данных. Например, LMS может обеспечить пользователя тестом по завершении курса с тем, чтобы дать оценку усвоенного им материала. Один из вопросов теста может потребовать выполнения задачи. В LMS возможно использовать один вариант реализации настоящего изобретения для отслеживания взаимодействия пользователя с компьютерной программой и проверить, насколько успешно пользователь завершил работу. Настоящее изобретении позволяет передавать результат теста на LMS, которая, в свою очередь, записывает результат в базу данных.

В следующем варианте реализации изобретение предлагает систему, в которой выполняемые пользователем задачи могут быть автоматизированы. Примером такого варианта реализации может быть приложение, которое выполняет качественные тесты в компьютерной программе. Для этого примера с помощью настоящего изобретения можно создавать сценарии для проверки правильности выполнения определенной функции компьютерной программы. Другой пример - автоматизация задач для повышения эффективности выполнения определенной задачи или оказания помощи неспособным пользователям справиться с трудностями при выполнении определенной задачи.

Все реализованные с помощью настоящего изобретения функциональные возможности, преимущества или подобные качества необязательно должны присутствовать или присутствуют в каком-либо одном (отдельно взятом) варианте реализации. Точнее, качества, относящиеся к возможностям и преимуществам, следует понимать как определенную возможность, преимущество или характеристику, описанную в связи с каким-либо вариантом реализации, включенную, по меньшей мере, в один вариант реализации настоящего изобретения. Таким образом, рассмотрение в описании возможностей, преимуществ и подобных качеств может, но необязательно, относиться к одному и тому же варианту реализации.

Более того, описанные функциональные возможности, преимущества и характеристики изобретения могут быть объединены любым подходящим способом в одном или более варианте реализации. Специалист в этой области техники признает, что изобретение можно применять без одного или более определенных возможностей или преимуществ отдельного варианта реализации изобретения. В других случаях дополнительные возможности и преимущества могут быть выявлены в конкретных случаях реализации, которые могут не присутствовать во всех вариантах реализации изобретения.

Эти, а также неперечисленные другие возможности и преимущества настоящего изобретения станут более понятными из последующего описания и прилагаемых пунктов формулы изобретения или изучены путем применения изобретения на практике, как изложено в дальнейшем.

Подробное описание изобретения

Далее описаны различные варианты реализации изобретения со ссылками на чертежи 1-16. Описанные и представленные на чертежах функциональные единицы предлагаемого изобретения могут быть выполнены в широком диапазоне конфигураций. Таким образом, последующее более подробное описание вариантов реализации систем и способов настоящего изобретения, как представлено на чертежах, не предполагает ограничивать объем заявленного изобретения, а только лишь представляет предпочтительные варианты его реализации.

Многие функциональные блоки, данные в описании, относятся к модулям или компонентам, чтобы более определенно подчеркнуть автономность их исполнения. Например, модуль может быть выполнен как жестко смонтированная схема, содержащая специальные схемы со сверхвысокой степенью интеграции (VLSI) или вентильные матрицы, стандартные полупроводниковые приборы, такие как логические микросхемы, транзисторы и другие дискретные компоненты. Модуль или компонент может быть также выполнен как программируемые аппаратные устройства, такие как программируемые вентильные матрицы, программируемые матричные логические схемы, программируемые логические приборы или подобные им.

Модули или компоненты могут также быть выполнены с помощью программных средств различными видами процессоров. Идентифицируемый модуль или компонент выполняемой программы может, например, содержать один или более физических или логических блоков компьютерных команд, которые могут быть сформированы как объект, алгоритм или функция. Тем не менее, исполнения идентифицируемого модуля или компонента не требуют физической совместной установки, но могут содержать различные команды, сохраняемые в различных ячейках, которые при логическом соединении включают в себя модуль и осуществляют установленное назначение модуля.

Действительно, модуль или компонент выполняемой программы может быть отдельной командой или состоять из множества команд и даже может быть распределен по различным сегментам программы в числе различных программ и в отдельных накопительных устройствах. Аналогично информация о функционировании может быть идентифицирована и показана с помощью модулей, воплощена в любой подходящей форме и систематизирована в любого вида структуре данных. Информация о функционировании может быть собрана как набор данных или распределена по различным ячейкам, включая различные запоминающие устройства, или может существовать, по меньшей мере, частично, только как электронные сигналы системы или сети. Каждый способ или операции каждого способа, описываемые ниже, также могут быть выполнены различным образом с использованием аппаратных и программных средств или их комбинации.

Встречающиеся в этом описании выражения «один вариант реализации», «вариант реализации» и подобные выражения означают, что отдельные функции, структуры или характеристики, описанные в связи с определенным вариантом реализации, включены, по меньшей мере, в один вариант реализации настоящего изобретения. Таким образом, появление таких фраз как «в одном варианте реализации», «в варианте реализации» и подобных формулировок в данном описании может, но необязательно, относиться к одному и тому же варианту реализации.

Более того, описанные функции, структуры или характеристики могут быть объединены любым подходящим способом в один или более вариантов реализации. В последующем описании дано большое количество специфических подробностей (деталей), таких как примеры программирования, программные модули, компоненты, выборка пользователя, транзакция сети, запросы к базе данных, структура базы данных и т.п., для понимания вариантов реализации изобретения. Однако специалист в данной области поймет, что изобретение можно применять на практике, исключая одну или более специфических деталей или каким-либо другим способом, применяя другие компоненты, материалы и т.п. В отдельных случаях не показаны и подробно не описаны хорошо известные структуры, материалы или операции во избежание неясных аспектов изобретения

Чертежи от 1 до 16 иллюстрируют примеры реализации систем и блок-схемы выполнения определенных задач с помощью программных средств. Несмотря на то, что настоящее изобретение будет описано со ссылками на иллюстративный материал, представленный на чертежах и в соответствующем описании, специалист в данной области примет во внимание, что изобретение может быть выполнено с помощью целого ряда различных приложений и вариантов и не ограничивается рамками отдельного варианта реализации.

Фиг.1 представляет блок-схему системы 100 и область ее применения, в которой настоящее изобретение может быть практически использовано в соответствии с одним вариантом реализации. Система 100 содержит центральный процессор (CPU) 110 и шину 111, которая обеспечивает связь между процессором 110 и другими компонентами системы 100. Адаптер дисплея 116 и дисплей 118 так же, как экран дисплея с электронно-лучевой трубкой или жидкокристаллический, являются стандартными. В системе 100 обычно используются различные формы памяти 112, такие, например, как оперативное запоминающее устройство (RAM) и накопитель 114 (например, накопитель на жестких дисках), для осуществления запоминания, сохранения и управления данными.

Система 100 обычно включает в себя адаптер пользовательского интерфейса 124, который подключает устройства пользовательского интерфейса (такие как клавиатура 126, мышь 127 или другое устройство ввода 128) для осуществления пользовательского ввода в систему 100. Устройства пользовательского ввода 126, 127, 128 позволяют пользователю подавать команды, манипулировать с данными, или иначе, связываться при помощи интерфейса с системой 100. Различные устройства ввода 126, 127, 128 и механизмы, используемые пользователем для ввода в систему (общее название «устройства ввода»), могут состоять из мыши, клавиатуры, трекбола, сенсорного экрана, устройства распознавания речевых команд или какого-либо другого устройства или системы, которые позволяют пользователю осуществлять вход в систему 100.

Система 100 также может соединяться с другими устройствами или техническими средствами через коммуникационное устройство 130, такое как адаптер беспроводной или кабельной сети или модем, для обеспечения доступа к сети или онлайновым средствам 132. Система 100 может подключаться с помощью других компьютеров или устройств к локальной сети (LAN) или к глобальной сети (WAN). Система 100 может подключаться к Интернету или к другим коммуникационным системам через коммуникационное устройство 130 способом, понятным специалистам в данной области. Система 100 может быть персональным компьютером, портативным компьютером или ноутбуком, персональным цифровым помощником, сотовым телефоном или каким-либо другим из широкого ряда устройств, обеспечивающих пользовательский вход. На самом деле, в любом устройстве или системе с графическим пользовательским интерфейсом (GUI), в котором используется пользовательский вход, могут применяться системы и способы настоящего изобретения.

Графический пользовательский интерфейс (GUI) используется во многих современных вычислительных устройствах 100. Такие устройства 100 обычно оснащены дисплеем 118, одним или более устройствами ввода 126, 127, 128, которые позволяют пользователю оперировать данными, сохраняемыми устройством 100. В такой системе данные и операции, которые сохраняются или выполняются в устройстве 100, представлены на дисплее 118. Пользователь оперирует различными устройствами ввода 126, 127, 128, чтобы видоизменять объекты графического изображения и взаимодействовать с ними. Действия, выполняемые пользователем с этими устройствами 100, преобразовываются в сигналы, которые принимаются соответствующим адаптером пользовательского интерфейса 124. Адаптер 124, в свою очередь, преобразовывает принятые сигналы в соответствующее системное сообщение, которое может быть обработано вычислительным устройством 100. Принятые сигналы активизируют вычислительное устройство 100 с целью преобразования данных и операций над ними, что позволяет пользователю переводить абстрактные данные в визуальную или тактильную форму и взаимодействовать с ними.

Раскрытые здесь системы и способы могут быть осуществлены с помощью широкого спектра различных видов вычислительных устройств 100, использующих графический пользовательский интерфейс. Например, вычислительное устройство 100 может быть воплощено в виде персонального электронного ассистента (PDA), ноутбука, настольного ПК, сервера, планшетного ПК или беспроводного телефона.

На Фиг.2 представлен один вариант реализации графического пользовательского интерфейса (GUI) 200, который может быть изображен на дисплее 118. Изображенный графический пользовательский интерфейс 200 содержит настольный ПК 201, который является областью, содержащей различные графические объекты, видимые пользователем. Настольный ПК 201 содержит окно 202, в котором графически представлены различные прикладные программы, операции или функции. Настольный ПК 201 и окно 202 выборочно включают в себя объекты графического пользовательского интерфейса (объекты GUI), такие как кнопки 203, меню 204, пункты меню 205, текстовые поля 206, спецификации 207 и иконки 208. Специалисты поймут, что существует много различных типов графического пользовательского интерфейса (GUI), кроме изображенных на Фиг.2.

Объекты, изображенные на графическом пользовательском интерфейсе 200, являются лишь визуальным представлением прикладных программ, данных, функций и операций, обеспечивающих их функционирование, или могут быть инициализированы вычислительным устройством 100. Вычислительное устройство 100 осуществляет связь между объектами графического пользовательского интерфейса (GUI) и фактическими данными и операциями, с которыми они связаны. Стандартный способ для этого заключается в том, чтобы составить список всех активных объектов GUI или на уровне системы, или на уровне прикладной программы и связать надлежащий объект GUI с фактическими данными с помощью ссылки, идентификационного номера ресурса или др. Специалистам понятно, что описанные здесь системы и способы могут быть осуществлены за счет использования многочисленных существующих систем GUI, таких как операционная система Microsoft Windows, произведенная корпорацией Microsoft Corp. Редмонд, шт. Вашингтон.

Как будет объяснено более полно ниже, один вариант реализации настоящего изобретения обеспечивает механизм, с помощью которого разработчик может создавать и производить интерактивную информацию, которая указывает пользователю, как работать с отдельной компьютерной программой. Интерактивная информация может включать в себя и приводить в соответствие текст, звук, видео, анимацию, изображения и т.п. для инструктирования пользователя. Интерактивная информация может быть связана с интерактивными действиями, которые происходят или которые может вызвать пользователь с помощью взаимодействия с объектами GUI фактической немоделированной компьютерной программы, изучаемой пользователем. «Интерактивная информация» и «интерактивные действия» могут включать в себя инструкции, посылаемые в компьютерную программу, которая эмулирует взаимодействие пользователя с компьютерной программой или обучает пользователя осуществлять подобное взаимодействие. Разработчик документов способен заставить курсор мыши пользователя двигаться по экрану, производить выбор из меню и списков, вводить данные в определенное поле с помощью клавиатуры и эмулировать какое-либо действие, которое пользователь мог бы выполнить с помощью входных устройств. Один вариант реализации предлагаемого изобретения обучает пользователя осуществлять определенный ввод для выполнения операции задачи в компьютерной программе и ожидает, пока пользователь не произведет правильный ввод, прежде чем давать инструкции относительно следующей операции задачи. Настоящее изобретение также способно выполнять системные команды, операции и функции, которые, как считает разработчик документов, должны облегчать обучение. Например, разработчик документов может, используя изобретение, загружать определенную компьютерную программу, если она еще не загружена. В целях целесообразности разработчик документов может не загружать эту программу с помощью того же процесса, что и пользователь, а просто ввести команду для загрузки приложения.

На Фиг.3А представлена блок-схема 300 системы 301 или вычислительное устройство, работающее совместно с одним вариантом реализации настоящего изобретения. Изображенная система 301 включает в себя графический пользовательский интерфейс 310 и входную очередь 320, которая принимает пользовательский вход с помощью различных устройств входа 330. В одном варианте реализации настоящее изобретение включает в себя монитор входа 343, который контролирует вход, принятый от устройств входа 330.

Используя сценарий 344, предлагаемое изобретение моделирует пользовательский вход на объекты компьютерной программы 346, выполняемой системой 301. В ответ на это компьютерная программа 346 выполняет операцию задачи компьютерной программы 346. Путем выполнения задачи, используя моделированный вход в компьютерную программу 346 и/или интерактивный контент (содержание), предлагаемое изобретение показывает пользователю, как самостоятельно выполнять задачу компьютерной программы 346.

В альтернативном варианте реализации с помощью настоящего изобретения указывается пользователю, как выполнить задание, используя моделированный пользовательский вход и/или интерактивный контент. В таком варианте реализации монитор входа 343 определяет, получен ли соответствующий пользовательский вход. Когда соответствующий пользовательский вход получен, пользователь инструктируется для выполнения следующей операции задачи. Если получен неправильный вход, пользователю предоставляется корректирующая инструкция.

Сценарий 344 осуществляет доступ (в то время как сценарий формулируется, во время выполнения сценария или то, и другое вместе) к группе из одной или более «сущностей» (общее название карта сущностей 345), чтобы определить, как обеспечить моделированный пользовательский вход к определенному объекту GUI. Карта сущностей 345, показанная на Фиг.3А и 3В, включает в себя программные инструкции 347 для доступа, по меньшей мере, к одному объекту GUI отдельной компьютерной программы 346.

Как показано на Фиг.3В, каждая позиция карты сущностей 345 может выборочно содержать имя 349 для соответствующего обращения к программным инструкциям 347 с целью доступа к соответствующему объекту GUI. Например, как показано на Фиг.3В, кнопка «ОК» определенного меню или программы может быть идентифицирована в карте сущностей 345 под именем «App.Button.OK» вместе со ссылкой на программу или окно, в котором кнопка расположена, и на заголовок или команду ID кнопки.

Инструкции 347 в карте сущностей 345 должны быть достаточно точными с тем, чтобы система 301 определила местоположение объекта и получила ссылку на объект посредством функций и способов, обеспечиваемых системой 301. В одном варианте реализации настоящее изобретение предполагает преобразование объектов GUI в кодированные данные, которые могут быть использованы для локализации системной ссылки объекта. Путем получения этой ссылки система 301 может быть запрошена для поиска информации относительно объекта GUI, а именно текущего местоположения объекта GUI во время выполнения сценария 344.

Использование имен 349 является выборочным и не требуется в каждом варианте реализации карты сущностей 349. Однако в одном варианте реализации изобретения использование имени 349 облегчает доступ к определенному объекту GUI при использовании набора команд сценария, другими словами, доступ к сущности может быть осуществлен путем обращения к имени 349, а не к программной инструкции 347.

В одном варианте реализации карта сущностей 345 сохраняется как индивидуальный файл. Однако специалисты в этой области поймут, что карта сущностей 345 необязательно должна быть отдельным файлом, а может быть компилирована с выполнением компьютерной программы 346, может быть осуществлена потоком данных от онлайнового или сетевого источника или даже образована «на лету» и сохранена только в RAM путем проверки списка объектов GUI в системе 301. На самом деле, любые известные операции и способы могут применяться для реализации подходящей карты сущностей 345.

Фиг.4 представляет блок-схему 400 одного варианта реализации способа обработки сценария 344, содержащего инструкции эмуляции пользовательского входа. После начала работы 401 сценарий 344 разбивается 405 на директивы, команды и комментарии. Команда является функцией выполнения сценария 344, тогда как директива является предварительной операцией перед выполнением сценария 344 (так же, как динамическое соединение карты сущностей 345 со сценарием 344). В одном варианте реализации сценарий 344 включает в себя заголовок. Заголовок является директивой, указывающей, какая карта сущностей 345 должна использоваться применительно к сценарию 344. Комментарии представляют собой удобочитаемый для человека текст и не принимаются во внимание во время обработки сценария 344.

После разбивки 405 сценария 344 карта сущностей 345 обрабатывается и загружается в память 410 (как будет объяснено более подробно на Фиг.5-7), и выполняются команды сценария 415. Следующее выполнение команд сценария 344 заканчивается 420.

Выполнение сценария 344 может быть реализовано различным образом. Например, в одном варианте реализации сценарий 344 может читаться построчно. Отдельная строка может указывать, к какой карте сущностей 345 может быть осуществлен доступ. Каждая строка сценария 344 выполняется 415 по порядку до окончания сценария 344.

В другом варианте сценарий 344 обрабатывается путем разбивки 405 заголовка, обработки карты сущностей 345 и формированием программы, необходимой для выполнения команд, перечисленных в сценарии 344. Затем сценарий 344 компилируется в формате выполняемого модуля (например, NET assembly) и затем может быть сохранен или выполнен 415.

Специалистам в данной области понятно, что разбивка 405, обработка 410 и выполнение 415 сценариев 344 могут быть реализованы различными способами в объеме данного изобретения.

Фиг.5 представляет блок-схему 500, дающую более подробное описание одного варианта реализации способа обработки 410 карты сущностей 345 по сравнению с общим описанием в соответствии с Фиг.4. После начала процесса обработки 501 файл, содержащий карту сущностей 345, открывается 505 и читается следующая строка 510 (в первом примере первая строка).

Затем определяется 510, достигнуто ли окончание сценария 344. По окончании файла процесс завершается 520.

Если конец файла еще не достигнут, определяется 525, является ли соответствующая строка/команда описанием сущности 525. Если это действительно описание сущности, то происходит формирование сущности 530. Этот процесс повторяется для каждой строки в сценарии 344. После формирования сущности она может быть использована сценарием 344 для осуществления доступа или получения информации о соответствующем объекте GUA.

В одном варианте формирование сущности происходит в форме класса описаний, который подвергается обработке на следующем этапе, когда будет выполняться сценарий 344. Другими словами, этот процесс может содержать в себе конкретизацию и сохранение предыдущего объекта способом, который подходит для будущего использования во время выполнения команд, или также может просто включать в себя формирование 530 объекта для непосредственного использования. В другом варианте реализации объект подвергается обработке, которую выполняет стандартный интерфейс и сохраняет объект в коллекции. Каждый объект подвергается обработке с помощью необходимой информации для определения местоположения объекта GUI, связанного с соответствующей сущностью. Коллекция сущностей может быть перемещена в соответствии с именем сущности.

В другом варианте реализации сценарий 344 преобразовывается в выполняемое ассемблирование. Каждая сущность в карте сущностей 345 в данном варианте реализации является классом описания и добавляет строку программы, которая будет обрабатывать соответственно именованный объект во время выполнения ассемблирования.

Специалисты в данной области примут во внимание, что процессы, описанные в соответствии с Фиг.5 настоящего изобретения, могут быть реализованы с помощью алгоритмов, отличных от описанных выше.

Фиг.6 представляет блок-схему 600 более подробного описания одного варианта реализации способа формирования 530 сущности, который приведен в общих чертах на Фиг.5.

Как показано выше, сущность в карте сущностей 345 содержит инструкцию 347, обеспечивающую доступ к объекту GUI. Эта инструкция может быть связана с именем 349, которое используется для доступа к соответствующему объекту GUI. Когда карта сущностей 345 обрабатывается 601, каждая сущность в карте 345 преобразовывается в удобный формат. В одном варианте реализации определяются 605 основной тип сущности (например, окно, клавиша, панель инструментов или сущность типа меню) и параметры, необходимые для установки этой сущности (например, имя, родительский объект, класс и т.п.). Эта информация затем используется для выбора соответствующего класса, что выполняет стандартный интерфейс, и создания соответствующего класса сущности с помощью определенной информации 610. Соответственно процесс формирования сущности завершается 620.

Специалисты в данной области примут во внимание, что процесс формирования сущности, описанный выше, является всего лишь одним примером из целого ряда различных способов создания сущности в пределах объема данного изобретения.

Фиг.7 представляет блок-схему 700, дающую более подробное описание одного варианта реализации способа формирования сущности, описанное в общих чертах на Фиг.6. После того как процесс создания сущности начался 701, определяется 710, формируется ли сущность типа окно. Если да, то создается 715 сущность типа окно.

Если формируемая сущность не является сущностью типа окно, то тогда определяется 720, формируется ли сущность типа клавиша. Если да, то осуществляется 725 создание сущности типа клавиша.

Если создаваемая сущность не относится ни к одному, ни к другому типу, тогда определяется 730, формируется ли сущность типа меню. Если да, то осуществляется 735 создание сущности типа меню.

В изображенном варианте реализации процесс создания сущности завершается 740. Специалисты в данной области поймут, что этот способ может быть воплощен с помощью других различных методов. Например, в других вариантах реализации могут быть рассмотрены и созданы типы сущностей помимо описанных с помощью Фиг.7.

На Фиг.8 представлена блок-схема 800 одного варианта реализации способа получения соответствующей ссылки на ресурсные системы для объекта GUI. После того как процесс начался 801, происходит поиск 805 соответствующей сущности в пределах карты сущностей 345. Определение местоположения сущности может быть выполнено, например, с помощью нахождения имени 349, связанного с определенными инструкциями 347, для осуществления доступа к сущности, находящейся в карте сущностей 345, показанной на Фиг.3В.

Затем происходит поиск 810 инструкций 347 для объекта GUI, который следует найти. Далее система 301 (показанная на Фиг.3А) запрашивается 815 (например, путем запроса оперативной системы, относящейся к системе 301) в соответствии с правилами и процедурами, обеспечиваемыми системой 301, для получения ссылки на ресурс или другой ссылки, которую система 301 обеспечивает для объекта GUI. Затем процесс завершается и возвращает 820 полученную ссылку к операции ее запроса таким образом, чтобы ссылка могла быть использована для выполнения задачи с соответствующим объектом GUI.

На Фиг.9 представлена блок-схема 900 способа выполнения отдельной команды в пределах сценария 344 согласно одному варианту реализации настоящего изобретения. Как только процесс запускается 901, идентифицируется 905 команда. Обычно идентифицируемая команда является следующей по порядку командой в пределах сценария 344.

Каждая команда может содержать объект программирования, на основании которого выполняется процедура, функцию/атрибут объекта, к которому осуществляется доступ, и соответствующие параметры функции/атрибута. Другими словами, первый этап - это получение 910 объекта программирования. Следующий этап - получение 915 функции/атрибута объекта. И далее могут быть получены 920 параметр(ы), если какие-либо из них присутствуют в команде.

Затем определяется 925, относятся ли параметр(ы) к сущности. Если да, то сущность используется для получения 930 ссылки на соответствующую сущность или идентификационного номера ресурса. Пройдя эти этапы, команда выполняется 940. Если нет ссылки на сущность, команда может быть выполнена 940 без получения ссылки или идентификационного номера ресурса.

Далее выполнение отдельной команды завершается 945, и другая команда может выполняться в соответствии с процедурой, изложенной выше, или сценарий 344 может быть завершен, если он подошел к своему окончанию. Специалисты в данной области поймут, что сценарий 344 может выполняться различными способами в пределах объема данного изобретения, помимо описанных выше.

Фиг.10 представляет блок-схему 1000 способа выполнения определенной команды (например, передвижение мыши) указателю мыши для объекта GUI в соответствии с одним вариантом реализации изобретения. Блок-схема на Фиг.10 иллюстрирует определенное выполнение команды, показанное в общих чертах на Фиг.9. На Фиг.10 команда Передвижение Мыши принимает имя сущности 349 (например, App.Buttons.OK) для отдельного объекта GUI и затем передвигает указатель мыши к объекту.

Как только процесс начинается 1001, команда «Mouse.Move (App.Buttons.OK)» должна быть идентифицирована 1005 в первую очередь. Затем происходит получение 1010 объекта «Mouse». Следующий этап - получение функции/атрибута «Move» объекта. Затем может быть получен 1020 параметр «App.Buttons.OK».

Затем определяется 1025, что параметр относится к определенной сущности. Если параметр(ы) относится к определенной сущности, то будет получена 1030 ссылка на соответствующую сущность, идентификационный номер ресурса.

Сущность может быть использована для получения идентификационного номера ресурса или ссылки на соответствующий объект GUI (например, кнопка «ОК») и затем для определения аппаратных координат объекта GUI путем запроса системы 301 (показана на Фиг.3А). После этого выполняется команда передвижения 1040 указателя мыши к определенному объекту GUI, на который ссылалась сущность. Затем выполнение соответствующей команды завершается 1045.

Вышеописанный процесс позволяет производить действия, заданные сценарием, независимо от конфигурации текущего объекта GUI. Например, сценарий 344, относящийся к вышеупомянутой кнопке, будет передвигать курсор мыши независимо от расположения кнопки в графическом пользовательском интерфейсе. Это происходит благодаря тому, что сценарий не содержит жестко закодированных координат кнопки, а только лишь ссылку на кнопку через посредство карты сущностей 345. Это создает огромную гибкость и надежность при создании интерактивного контента, так как контент может описывать реальные объекты GUI вместо фиксированного местоположения в пределах графического пользовательского интерфейса. Это является важным моментом, поскольку в случае, если пользователь передвигает определенный объект GUI или выполняет компьютерную программу 346 (показана на Фиг.3А) при различной разрешающей способности экрана, то идентификация фиксированного местоположения в пределах графического пользовательского интерфейса для активизации объекта GUI не может выбираться достаточно надежно или осуществлять доступ к объекту GUI.

Карта сущности 345 также обеспечивает возможность корректной работы сценария 344 при различных версиях компьютерной программы 346. Используя предлагаемое изобретение, отдельный сценарий 344 может подходить для двух совершенно разных версий компьютерной программы 346. Например, пункт меню для доступа к функции Print (печать) в версии 1 программы обработки текста 346 может существовать как File pull-down menu (всплывающее меню). В версии 2 той же самой программы 346 пункт меню может существовать как Actions pull-down menu (всплывающее меню). Сценарий 344, который передвигает мышь к меню Print объекта GUI и нажимает на нее для активизации соответствующей команды, будет подходить для обеих версий программы 346, если сценарий 344 снабжен точной картой сущностей 345 для соответствующей версии. Если сценарий 344 выполняется в версии 1, то используется карта сущностей 345 в версии 1 программы 346 и находится пункт меню Print в меню File. Если тот же самый сценарий выполняется в версии 2, то используется карта сущностей 345 для новой версии компьютерной программы 346 и находится пункт меню Print в меню Actions.

Один вариант реализации настоящего изобретения также может предполагать программные ловушки для устройств входа 330 в систему, которые блокируют, фильтруют или иным способом контролируют пользовательский вход. Это может быть произведено, например, в целях предохранения пользователя от прерывания выполняемой работы или от входа в систему 301, что не разрешено параметрами, описанными текущим сценарием 344 или потоком выполняемых операций. Создание этих ловушек осуществляется путем введения их во входную очередь 320 (показана на Фиг.3А), используя для ее отслеживания, например, входной монитор 343 (также показан на Фиг.3А). Это введение происходит в соответствии с функциями и процедурами, сформулированными системой 301 для осуществления такой программной ловушки для входных устройств.

Иллюстративный вариант реализации изобретения дает возможность устанавливать или не устанавливать эти ловушки по мере надобности, чтобы блокировать или разрешить вход пользователя, а также для установления входных фильтров, которые разрешают лишь определенный вход. Например, пользователь, направляемый через поток выполняемых операций, может быть обучен тому, как выбрать определенный пункт на панели инструментов. Изобретение позволяет пользователю перемещать курсор мыши по всему графическому интерфейсу пользователя 200 (показано на Фиг.2), но игнорирует все щелчки мыши, кроме щелчка мыши на определенном пункте панели инструментов. Ввиду того, что входной монитор, как представлено на Фиг.3, захватывает пользовательский вход перед входной очередью 320 системы, настоящее изобретение может осуществлять проверку того, разрешен ли вход в текущих условиях.

На Фиг.11 представлена блок-схема 1100 одного варианта реализации процесса фильтрации пользовательского входа. Как только процесс начинается 1101, сущность регистрируется как фильтр, активизируя фильтр, специально приспособленный к объекту GUI и желаемому типу пользовательского входа. Затем определяется, принят ли 1110 пользовательский вход. Если вход принят, карта сущностей 345 используется для получения 1120 ссылки на объект, зарегистрированный как фильтр. Затем система 301 (показана на Фиг.3А) запрашивается 1125 для определения координат и границ объекта GUI и, следовательно, координат и границ приемлемого пользовательского входа.

Затем определяется 1130, попадает ли принятый пользовательский вход в пределы параметров, установленных сущностью. Если пользовательский вход некорректен, он игнорируется 1135 и пользовательский вход контролируется 1110 еще раз. Если пользовательский вход корректен, сигналы, созданные на входе, посылаются 1140 во входную очередь 320 (показано на Фиг.3А) и эта процедура завершается 1150.

Как только пользователь щелкнет на соответствующую область или произведет другой пользовательский вход, выполняется следующая команда сценария 344. Соединение этих фильтров вместе дает возможность с помощью настоящего изобретения направлять пользователя в потоке операций на выполнение определенных операций определенной задачи в пределах компьютерной программы 346 (показано на Фиг.3А).

Специалистам в данной области станет очевидным, что контроль и фильтрация входа может осуществляться различными способами, включая запись и проверку пользовательского входа. Один вариант реализации предоставляет возможность тестирования и оценки знаний и навыков пользователя путем определения частоты некорректных и корректных пользовательских входов. Другой вариант заключается в отслеживании пользовательского входа с целью оценки того, насколько выполняемые пользователем функции соответствуют присвоенному им назначению или соответствуют правилам или стандартам.

Фиг.12А-12Е представляют собой снимки экрана 1200а-е, иллюстрирующие выполнение одного варианта реализации сценария 344 (показан на Фиг.3) в соответствии с настоящим изобретением. В представленном варианте реализации компьютерная программа 346 (показана на Фиг.3А), работе с которой обучается пользователь, является Microsoft (R) Word, произведенной Microsoft Corp., Redmond Washington. Следует отметить, что иллюстрация варианта реализации является всего лишь примером и не ограничивает данное изобретение. Настоящее изобретение может быть использовано для создания сценариев 344 с действительно любой компьютерной программой 346, имеющей графический пользовательский интерфейс и подходящую оперативную систему, а также может быть использовано для создания сценариев 344, выполняющих почти любую функцию компьютерной программы 346.

На Фиг.12А показан первый снимок экрана 1200а. На снимке 1200а начинается соответствующий сценарий 344. Сценарий 344 представляет пошаговые инструкции, указывающие пользователю, как надо выполнять задачу (в этом случае создавать организационную схему) в пределах программы 346. Сценарий 344 вызывает первый частичный графический оверлей 1201, изображаемый в верхней части фактического немоделированного графического пользовательского интерфейса 1203 компьютерной программы 346. Первый частичный графический оверлей 1201 охватывает только часть графического пользовательского интерфейса 1203 компьютерной программы 346 таким образом, что пользователь может видеть остаток графического пользовательского интерфейса 1203 компьютерной программы 346 и взаимодействовать с программой 346, как указано, частичным графическим оверлеем 1201.

Частичный графический оверлей 1201, показанный на Фиг.12а, указывает пользователю на «Щелчок на Вставку меню». В одном варианте реализации нажатие на Вставку меню 1205 может быть выполнено для пользователя или, наоборот, самим пользователем. Если этап предусмотрен для выполнения пользователем, тогда следующий этап задачи не будет изображен до тех пор, пока пользователь не нажмет на Вставку меню 1205.

Как указано выше, в одном варианте реализации ведется запись в журнал пользовательского входа с целью определения уровня навыков пользователя. Например, если пользователь осуществляет некорректный вход достаточно часто, то это означает, что этот пользователь нуждается в дополнительном обучении. Эти журналы могут быть сохранены в запоминающем устройстве 114 или в памяти 112 (показаны на Фиг.1) для определения уровня навыков пользователя за последнее время и того, в каком состоянии находится уровень подготовки: возрастает, находится на прежнем уровне или опускается. В одном варианте реализации компьютерная программа 346 предохранена от некорректного пользовательского входа, следовательно, состояние программы 346 не изменяется.

Первый частичный графический оверлей 1201 расположен рядом с соответствующим объектом графического пользовательского интерфейса 1205 (Вставка меню 1205) независимо от местоположения объекта графического пользовательского интерфейса 1205, без какой-либо модификации исходной программы, или любого другого типа модификации, компьютерной программы 346. Как показано, частичный графический оверлей 1201 расположен рядом с Вставкой меню 1205 и указывает на него. В одном варианте изобретения запрашивается система 301 (показана на Фиг.3А), с помощью которой выполняется программа 346, и определяется местоположение рассматриваемого объекта 1205 графического пользовательского интерфейса, используя карту сущностей 345. Если местоположение объекта 12105 графического пользовательского интерфейса определено, частичный графический оверлей 1201 может быть расположен рядом с соответствующим объектом графического пользовательского интерфейса 1205.

В соответствии с Фиг.12 В показан снимок экрана 1200b, иллюстрирующий второй этап задачи. Как указано выше, первый этап задачи может выполняться как для пользователя, так и самим пользователем. Соответственно на экране изображено падающее меню 1207, связанное с активацией Вставки меню 1205. Изображается второй частичный графический оверлей 1209 (соответствующий второму этапу задачи) и располагается рядом с пунктом 1211 «Diagram…» на падающем меню путем щелчка на Вставку меню 1205. Этот частичный графический оверлей 1209 на этом этапе указывает пользователю на «Click the Diagram…. menu item».

В соответствии с Фиг.12С показан снимок экрана 1200 с, иллюстрирующий один вариант реализации корректирующей инструкции 1208. Для примера корректирующая инструкция 1208, представленная на Фиг.12С, показана в ответ на некорректный пользовательский ввод, данный согласно второму частичному графическому оверлею 1209 (показан на Фиг.12 В). Например, если пользователь щелкает на пункт 1213 меню «Picture» (а не пункт 1211 меню Diagram), может быть получена корректирующая инструкция 1208. Представленная корректирующая инструкция 1208 является графическим изображением мыши, при этом левая кнопка мыши высвечивает на экране указание пользователю на соответствующие приемы для выбора пункта 1211 меню «Diagram…». Конечно, существуют другие типы корректирующих инструкций, таких как предупреждающий звуковой сигнал, инструкции, использующие анимацию, видеоинструкции или аудиообъяснения в пределах объема данного изобретения.

В соответствии с Фиг.12D показан снимок экрана 12009d третьего этапа задачи. Третий частичный графический оверлей 1215 располагается на объекте 1217 графического пользовательского интерфейса, связанном с организационной схемой, указывающей пользователю на выбор объекта 1217 GUI.

В соответствии с Фиг.12Е показан снимок экрана 1200е четвертого этапа задачи. Четвертый частичный графический оверлей 1219 расположен рядом с объектом 1219 GUI, связанным с изображенной кнопкой ОК, и указывает пользователю выбор кнопки 1219 для завершения задачи создания организационной схемы в пределах компьютерной программы 346.

В одном варианте реализации карта сущностей 345 (показана на Фиг.3А) и/или сценарий 344 (показан на Фиг.3А) динамически ссылается на один или более объект GUI для определения изображаемого текста 1219 в пределах частичного графического оверлея 1218 во время выполнения сценария 344. Большое значение подобной процедуры состоит в том, что отдельный сценарий 344 может изображать текст 1219 в пределах частичного графического оверлея 1218 на языке (например, английском, испанском или французском), использующемся компьютерной программой 346 (показано на Фиг.3А). Соответственно нет необходимости переписывать сценарий 344 для использования с компьютерной программой 346, если язык текста 1219 отличается от того языка, на котором написан сценарий 344.

На Фиг.13 показан снимок экрана 1300 графического пользовательского интерфейса 130, иллюстрирующий запись сценария 344. В одном варианте реализации сценарий 344 может быть сформулирован путем выполнения этапов сценария 344 в пределах компьютерной программы 346, в то время как компонент записи является активным в предлагаемом изобретении. Иллюстрация пользовательского выхода представляет операции сценария 344, представленные на Фиг.12А-12Е. Как показано, операции задачи не выполняются сценарием 344. Вместо этого сценарий 344 дожидается корректного пользовательского входа перед тем, как переходить к следующей операции задачи, например, с помощью этапа 1303 сценария «ждать, пока пользователь щелкнет Insert menu».

На Фиг.14 показан снимок экрана 1400 видеовыхода 1401, используемого вместе с выполнением сценария 344. Сценарии 344 настоящего изобретения являются гибкими и могут включать в себя не только частичные графические оверлеи, но и также видео- и аудиовыходы для помощи пользователю при обучении работе с компьютерной программой 346 (показана на Фиг.3А). Гибкость настоящего изобретения упрощает создание интерактивного контента, приспособленного для отдельного пользователя или группы пользователей.

На Фиг.15 представлена блок-схема 1500, иллюстрирующая один вариант реализации способа обучения выполнять задачу в пределах компьютерной программы 346. Этот способ может быть осуществлен различным образом, например применяя программу, размещенную на удобочитаемых носителях, таких как компакт-диск, DVD5 или информационный сигнал, заключающийся в передаче носителя посредством загрузки программы, использующей Internet и локальную сеть (LAN). Программа для выполнения этого способа также может размещаться в жестко закодированном виде, таком как часть встроенной компьютерной системы, или сохранена на накопителе на жестких дисках 114 совместно с компьютерной системой.

Далее происходит создание 1501 карты сущностей 345. Как отмечено выше, карта сущностей включает в себя программные инструкции 347 для доступа к определенному объекту GUI компьютерной программы 346. Кроме того, карта сущностей 345 может содержать имя 349, связанное с каждой программной инструкцией 347 с целью упрощения доступа к программной инструкции 347. Карта сущностей может создаваться вручную или автоматически путем анализа объектов GUI, связанных с определенной компьютерной программой 346, или используется комбинация автоматических и ручных процедур. Использовать карту сущностей 345 можно и во время формулирования и выполнения сценария 344.

Как отмечалось выше, карта сущностей 345 обеспечивает большую гибкость при использовании систем и способов, здесь раскрытых. Например, в одном варианте реализации сценарий может быть использован как в старой, так и в новой версии компьютерной программы 346 с помощью ссылки сценария 344 на карту сущностей 345, связанной с соответствующей версией компьютерной программы 346.

Далее сценарий 344 формулируется 1505 путем ссылки на карту сущностей 345. В течение процесса формулирования карта сущностей 345 может использоваться для определения того, как осуществить доступ и расположить отдельный объект GUI с целью выполнения операции задачи. В одном варианте реализации отдельные программные инструкции 347 могут быть непосредственно включены в сценарий 344 из карты сущностей 345. В альтернативном варианте отдельный сценарий 344 может динамически или статически ссылаться на карту сущностей 345. Динамическая ссылка на карту сущностей 345 дает возможность адаптации отдельного сценария 344, когда сценарий 344 выполняется в новой версии компьютерной программы 346 с помощью создания карты сущностей 345, адаптированной к новой версии программы 346. В одном варианте реализации сценарий 344 во время его выполнения может определять, какая версия компьютерной программы 346 прогоняется, и ссылку соответствующей карты сущностей 345 на выполняемый сценарий 344.

После формулирования сценария 344 происходит выполнение 1510 сценария 344. Сценарий 344 может быть отдельным файлом по отношению к карте сущностей 345 или может быть включен в карту сущностей 345. Во время выполнения сценария 344, как объяснялось выше, сценарий 344 указывает пользователю, как выполнять задачу в пределах компьютерной программы 346. Это может быть осуществлено путем выполнения задачи для пользователя с помощью частичного графического оверлея (например, частичный графический оверлей 1201, показанного на Фиг.12А) или других типов инструкций, или с помощью указания пользователю, как самостоятельно выполнить задачу без выполнения самих операций. Как указано выше, инструкции 347 из карты сущностей 345 могут быть включены в сценарий 344 или, другими словами, карта сущностей 345 может динамически или статически ссылаться на сценарий 344.

Во время выполнения сценария 344 изображается (1515) частичный графический оверлей. Частичный графический оверлей изображается непосредственно на верхней части фактического немоделированного графического пользовательского интерфейса компьютерной программы 346. Каждый частичный графический оверлей визуально показывает пользователю, как обеспечить вход для вызова компьютерной программы 346 для выполнения операции задачи. В одном варианте реализации, если этап выполняется для пользователя, то каждый частичный графический оверлей будет изображен с такой скоростью, чтобы пользователь имел достаточно времени для его просмотра перед выполнением следующего этапа. Другими словами, изображение каждого частичного графического оверлея будет сохраняться на экране, пока пользователь выполняет указанную операцию.

Частичный графический оверлей может включать в себя текст, графику, анимацию или видео, указывающие пользователю, как обеспечить вход к соответствующему объекту графического пользовательского интерфейса компьютерной программы 346. Частичный графический оверлей закрывает только часть интерфейса программы 346 таким образом, что пользователю виден тот объект графического пользовательского интерфейса, к которому должен быть направлен вход, чтобы выполнить какую-либо операцию задачи.

Более того, во время выполнения сценария 344 частичный графический оверлей размещается 1520 рядом с соответствующим объектом графического пользовательского интерфейса. Такое размещение происходит независимо от месторасположения объекта без изменения исходного кода программы 346. Как указано выше, это может производиться с помощью запроса системы 301 для определения месторасположения объекта графического пользовательского интерфейса во время выполнения программы, и затем происходит правильная установка (позиционирование) частичного графического оверлея. В результате, пользователь сам может непосредственно (напрямую) взаимодействовать с программой независимо от конфигурации объектов GUI компьютерной программы 346. Таким образом, настройка пользователем объектов графического пользовательского интерфейса не будет нарушать осуществления этого способа. Более того, так как пользователь взаимодействует с компьютерной программой 346 в той конфигурации, в которой он будет выполнять задачу, то пользователь может более легко научиться выполнять работу, то есть пользователя не будет путать различное месторасположение объектов GUI компьютерной программы 346.

Во время выполнения сценария 344 выборочно контролируется 1525 пользовательский вход. Это может осуществляться, например, входным монитором 343 в соответствии с Фиг.3А. Мониторинг пользовательского входа удобен при оценке уровня знаний конкретного пользователя.

В одном варианте реализации предусмотрено предохранение 1530 программы 346 от приема некорректного входа, что обеспечивается, например, применением способа фильтрации, описанного в соответствии с Фиг.11.

В другом варианте реализации пользователю, который произвел некорректный ввод во время выполнения сценария 344, предоставляется 1535 корректирующая инструкция. Корректирующая инструкция может реализоваться различными путями, такими как показанная на Фиг.12С корректирующая инструкция 1208 или аудио, видеоанимация.

Фиг.16 представляет блок-схему логических компонентов системы 1600 обучения выполнению операций задачи компьютерной программы 346. Изображенные логические компоненты могут быть реализованы с помощью использования одного или более физических компонентов, показанных на Фиг.1 и 3. Дополнительно или в качестве альтернативы различные логические компоненты могут быть реализованы как программные модули, сохраняемые в запоминающем устройстве 112 и/или в накопителе 114 и выполняемые центральным процессором 110. Безусловно, логические компоненты могут быть реализованы как комбинация программных и аппаратных средств. Если они реализованы программными средствами, то каждый компонент может включать в себя один или более дискретных программных модулей, которые способны работать самостоятельно или во взаимодействии с другими программными или аппаратными средствами. Система 1600 необязательно включает в себя один программный пакет, она может включать в себя множество отдельных программных пакетов.

Система может включать в себя компонент 1605 формулирования сценария, который формулирует сценарий 344 путем обращения к карте сущностей 345а. Как замечено выше, карта сущностей 345а включает в себя программные инструкции 347 для доступа к объектам GUI компьютерной программы 346. Компонент 1605 формулирования сценария обеспечивает доступ к карте сущностей 345а, чтобы определить, какое имя 349 или программную инструкцию 347 включить в состав сценария 344 для доступа к конкретному объекту GUI компьютерной программы 346. Имя 349 или программная инструкция 347 может быть использована в сценарии 344 для определения местоположения конкретного объекта GUI с целью выполнения операции задачи. Как ранее указано, новая версия карты сущности 345b может быть использована для выполнения сценария 344 в новой версии компьютерной программы 346.

В одном варианте реализации компонент 1610 регистрации используется в компоненте 1605 формулирования сценария 344. Во время работы компонента 1610 регистрации пользовательский вход в программу 346 фиксируется и регистрируется для дальнейшего выполнения. Использование компонента 1610 регистрации упрощает операцию формулирования сценария. Много различных типов сценариев 344 можно сформулировать, даже имея низкие знания программных процедур компьютерной программы 346. Просто для выполнения операций и их регистрации они могут быть зафиксированы в сценарии 344 для последующего выполнения. В одном варианте реализации частичные графические оверлеи (например, частичный графический оверлей 1201, показанный на Фиг.12А), в том числе инструкции в пределах оверлея, создаются автоматически в течение процесса регистрации.

Вслед за формулированием сценария 344 производится выполнение сценария посредством компонента выполнения 1615 сценария. Компонент выполнения 1615 сценария содержит дисплей 1620, компонент 1625 определения местоположения и выборочно компонент 1630 контроля входа и компонент 1635 корректирующей инструкции.

Во время выполнения дисплей 1620 изображает, по меньшей мере, один частичный графический оверлей в верхней части фактического немоделированного графического пользовательского интерфейса компьютерной программы 346. Каждый частичный графический оверлей визуально указывает пользователю, как осуществить вход к соответствующему объекту графического пользовательского интерфейса, чтобы вызвать программу 346 для выполнения операции задачи. В одном варианте реализации компонент выполнения также 1615 может выполнять операции задачи для пользователя.

Компонент определения местоположения 1625 располагает частичный графический оверлей рядом с соответствующим объектом графического пользовательского интерфейса независимо от местоположения объекта графического пользовательского интерфейса без какого-либо изменения исходного кода компьютерной программы 346. Как отмечалось выше, это является значительным достоинством, так как раскрытые здесь системы и способы могут применяться с любой компьютерной программой 346, имеющей объекты графического пользовательского интерфейса и соответствующие функции для обеспечения доступа к этим объектам, такие как компьютерные программы 346, работающие на операционной системе Microsoft ® Windows.

В одном варианте реализации компонент контроля входа 1630 может применяться для мониторинга входа, полученного от пользователя. Этот компонент 1630 может содержать, например, входной монитор 343, изображенный на Фиг.3А. Пользовательский вход может быть зафиксирован, прежде чем он достигнет компьютерной программы 346 и даже прежде входной очереди 320 (показано на Фиг.3А). Компонент контроля входа 1630 также может фильтровать или блокировать некорректный пользовательский вход, как описывалось при рассмотрении способа на Фиг.12.

Один вариант реализации предлагаемого изобретения содержит компонент корректирующей инструкции 1635. Этот компонент 1635 связан с компонентом контроля входа 1630 для определения полученного пользовательского входа. Если вход осуществлен неправильно, компонент корректирующей инструкции 1635 может выдать корректирующую инструкцию (например, инструкцию 1208, показанную на Фиг.12С) пользователю, указывающую правильный способ ввода, который должен быть получен.

Как упомянуто ранее, описанные здесь процессы могут сочетаться с известными способами вывода на экран мультимедийных объектов и их взаимосвязи. Подобные объекты могут содержать видео, анимацию, звук, текст, HTML (гипертекстовый язык описания документов) и изображения. Этим список не ограничивается. С помощью сочетания таких мультимедийных объектов с описанными здесь интерактивными возможностями может быть создана такая прикладная программа, которая без увеличения затрат предоставила бы эффективный интерактивный способ обучения, соответствующий современному уровню техники.

Понятно, что вышеописанные устройства и средства являются лишь иллюстрацией применения основных принципов настоящего изобретения. Однако изобретение может быть реализовано в других конкретных формах в пределах сущности или существенных признаков изобретения. Описанные варианты реализации изобретения рассматриваются во всех отношениях только как иллюстративный материал, но не в коей мере не ограничительный. Следовательно, объем изобретения определяется прилагаемой формулой изобретения, а не вышеприведенным описанием. Все изменения относительно соответствия пунктам формулы должны быть охвачены их объемом.

Например, кроме вышеописанных функций и возможностей настоящее изобретение может быть приспособлено для использования в других сферах применения. В одном варианте реализации изобретения предусматривается возможность взаимодействия с объектами GUI для проверки и контроля надежного функционирования приложения перед выдачей конечному пользователю. Другой вариант реализации изобретения дает возможность автоматизировать задачи для нетрудоспособных пользователей или инвалидов. Далее изобретение предполагает возможность технической поддержки конечных пользователей программы посредством различных средств, таких как сценарии, предоставляемые пользователю провайдером технической поддержки или через Интернет посредством автоматической поддержки приложения.

Как описано выше, изобретение может работать в сочетании с LMS/LCMS, целевым компонентом, браузером или другим приложением или в процессе собственного создания программ и области памяти.

Таким образом, поскольку настоящее изобретение описано полно, обстоятельно и подробно, и предпочтительные варианты реализации изобретения можно считать на данном этапе наиболее применимыми, даже рядовому специалисту ясно, что большое число модификаций, включающих в себя, но не ограничивающих, разнообразие размеров, материалов, форм, функций и характера операций, сборки и способов применения, может создаваться в пределах сущности изобретения согласно пунктам формулы.

Изобретение относится к области обучения пользователя выполнению задачи с помощью компьютерной программы, содержащей, по меньшей мере, один объект графического пользовательского интерфейса (GUI). Технический результат заключается в обеспечении возможности обучения, объединяющего возможности мультимедийной связи с эффективным интерактивным обучением. Для этого сценарий формируется таким образом, что в его состав входят пошаговые инструкции, указывающие пользователю, как следует выполнять задачу с помощью компьютерной программы посредством взаимодействия с объектами GUI компьютерной программы. Сценарий формулируется путем ссылки к карте сущностей, содержащей программные инструкции для доступа к объектам GUI программы с целью выполнения операции задачи. Сценарий выполняется путем вывода на экран частичного графического оверлея на верхнюю часть фактического немоделированного GUI программы. Каждый графический оверлей инструктирует пользователя, как обеспечить подходящий пользовательский вход к объектам GUI компьютерной программы. Частичный графический оверлей устанавливается рядом с соответствующим объектом GUI программы независимо от местоположения данного объекта, исключая перепрограммирование основной компьютерной программы. 4 н. и 19 з.п. ф-лы, 16 ил.

1. Компьютерный носитель информации, содержащий инструкции по осуществлению способа обучения пользователя выполнять задачи компьютерной программы, по меньшей мере, с одним объектом графического пользовательского интерфейса, выполняющим требуемую операцию в соответствии с входом пользователя, при этом способ содержит:
формулирование сценария посредством обращения к карте сущностей, которая содержит пошаговые инструкции, указывающие пользователю компьютерной программы, как выполнять задачу, характеризующийся тем, что карта сущностей заключает в себе программные инструкции доступа, по меньшей мере, к одному объекту графического пользователя интерфейса компьютерной программы, при этом формулирование сценария содержит выполнение регистрации операций задачи; и
выполнение сценария посредством:
изображения на экране, по меньшей мере, одного частичного графического оверлея в верхней части фактического немоделированного графического пользовательского интерфейса компьютерной программы, причем каждый частичный графический оверлей визуально указывает вход к соответствующему объекту графического пользовательского интерфейса для вызова компьютерной программы с целью выполнения операции задачи; и
установки частичного графического оверлея рядом с соответствующим объектом графического пользовательского интерфейса независимо от местоположения объекта графического пользовательского интерфейса без проведения какого-либо изменения исходного кода компьютерной программы, при этом выполнение сценария содержит отдельный вычислительный процесс из компьютерной программы, который взаимодействует только с объектом графического пользовательского интерфейса и операционной системой, в которой запущена компьютерная программа.

2. Компьютерный носитель информации по п.1, характеризующийся тем, что выполнение сценария содержит динамически создаваемую ссылку на карту сущностей.

3. Компьютерный носитель информации по п.2, также содержащий новую версию карты сущностей, созданную для новой версии компьютерной программы, характеризующийся тем, что выполнение сценария содержит ссылку на новую версию карты сущностей для выполнения должным образом в связи с новой версией компьютерной программы.

4. Компьютерный носитель информации по п.1, характеризующийся тем, что, по меньшей мере, одна программная инструкция из карты сущностей входит в состав карты сущностей.

5. Компьютерный носитель информации по п.1, характеризующийся тем, что способ дополнительно содержит мониторинг пользовательского входа, полученного в течение выполнения сценария.

6. Компьютерный носитель информации по п.5, характеризующийся тем, что способ дополнительно содержит средства предохранения от некорректного пользовательского входа, получаемого в соответствии с компьютерной программой.

7. Компьютерный носитель информации по п.5, характеризующийся тем, что способ дополнительно содержит средства обеспечения пользователя корректирующей инструкцией в случае получения некорректного пользовательского входа в течение выполнения сценария.

8. Компьютерный носитель информации по п.1 далее содержит автоматическое создание программного кода в пределах сценария, сконфигурированного для формирования каждого частичного графического оверлея в зависимости от выполнения операций задачи во время регистрации этих операций.

9. Компьютерный носитель информации по п.1, характеризующийся тем, что выполнение сценария дополнительно содержит динамически создаваемую ссылку на объект графического пользовательского интерфейса для определения языка, на котором текст в пределах частичного пользовательского интерфейса будет изображен на экране.

10. Компьютерный носитель информации, содержащий в себе инструкции по осуществлению способа обучения пользователя выполнять задачи компьютерной программы, по меньшей мере, с одним объектом графического пользовательского интерфейса, выполняющим требуемую операцию в соответствии с входом пользователя, при этом способ содержит:
формулирование сценария посредством ссылки на карту сущностей, которая содержит пошаговые инструкции, указывающие пользователю компьютерной программы, как выполнять задачу, характеризующийся тем, что карта сущностей заключает в себе программные инструкции доступа, по меньшей мере, к одному объекту графического пользователя интерфейса компьютерной программы, при этом формулирование сценария содержит выполнение регистрации операций задачи; и
характеризующийся тем, что сценарий содержит отдельный вычислительный процесс из компьютерной программы, который взаимодействует только с объектом графического пользовательского интерфейса и операционной системой, в которой запущена компьютерная программа, и также содержит программные инструкции, конфигурированные так, чтобы:
выводить на экран изображение, по меньшей мере, одного частичного графического оверлея в верхнюю часть фактического немоделированного графического пользовательского интерфейса компьютерной программы, причем каждый частичный графический оверлей визуально указывает вход к соответствующему объекту графического пользовательского интерфейса для вызова компьютерной программы с целью выполнения операции задачи; и
устанавливать частичный графический оверлей рядом с соответствующим объектом графического пользовательского интерфейса независимо от местоположения объекта графического пользовательского интерфейса без проведения какого-либо изменения исходного кода компьютерной программы.

11. Компьютерный носитель информации по п.10, характеризующийся тем, что сценарий конфигурирован для динамически создаваемой ссылки на карту сущностей в течение выполнения сценария.

12. Компьютерный носитель информации по п.11, содержащий новую версию карты сущностей, созданной для новой версии компьютерной программы, характеризующийся тем, что сценарий конфигурирован для надлежащего выполнения в новой версии компьютерной программы путем ссылки на новую версию карты сущностей.

13. Компьютерный носитель информации по п.10, характеризующийся тем, что, по меньшей мере, одна программная инструкция из карты сущностей входит в состав сценария.

14. Компьютерная система обучения пользователя выполнению задачи компьютерной программы, по меньшей мере, с одним объектом графического пользовательского интерфейса, который выполняет требуемые действия в зависимости от пользовательского входа, содержащая:
процессор;
память, соединенную с процессором; и инструкции, сохраненные в памяти, содержащую
карту сущностей, в состав которой входят программные инструкции для доступа, по меньшей мере, к одному объекту графического пользовательского интерфейса компьютерной программы;
компонент формулирования сценария, который относится к карте сущностей и формирует сценарий пошаговых инструкций, указывающих пользователю компьютерной программы, как выполнять задачу в пределах компьютерной программы;
компонент регистрации, в котором компонент формулирования сценария формулирует сценарий путем регистрации операций задачи, в то время, как компонент регистрации активизирован; и
компонент выполнения сценария, который выполняет сценарий и содержит:
дисплей, который выводит на экран, по меньшей мере, один частичный графический оверлей непосредственно на верхнюю часть фактического немоделированного графического пользовательского интерфейса компьютерной программы, при этом каждый частичный графический оверлей визуально указывает вход к соответствующему объекту графического пользовательского интерфейса, чтобы вызвать компьютерную программу для выполнения одной из операций задачи; и
компонент установки, который устанавливает частичный графический оверлей рядом с соответствующим объектом графического пользовательского интерфейса независимо от местоположения объекта графического пользовательского интерфейса без какого-либо изменения исходного кода компьютерной программы, при этом выполнение сценария содержит отдельный вычислительный процесс из компьютерной программы, который взаимодействует только с объектом графического пользовательского интерфейса и операционной системой, в которой запущена компьютерная программа.

15. Система по п.14, характеризующаяся тем, что на карту сущностей динамически ссылается компонент выполнения сценария во время выполнения сценария.

16. Система по п.14, далее содержащая компонент мониторинга входа, который осуществляет мониторинг пользовательского входа во время выполнения сценария.

17. Система по п.16, далее содержащая компонент корректирующей инструкции, который предоставляет пользователю корректирующую инструкцию в ответ на некорректный пользовательский вход, полученный во время выполнения сценария.

18. Система по п.14, характеризующаяся тем, что компонент выполнения сценария выполняется на настольном компьютере.

19. Система по п.14, характеризующаяся тем, что компонент выполнения сценария выполняется с помощью беспроводного телефона.

20. Система по п.14, характеризующаяся тем, что компонент выполнения сценария выполняется с помощью персонального ассистента (PDA).

21. Способ обучения пользователя выполнять задачи компьютерной программы, по меньшей мере, с одним объектом графического пользовательского интерфейса, выполняющим требуемую операцию в соответствии с входом пользователя, содержащий:
формулирование сценария посредством обращения к карте сущностей, которая содержит пошаговые инструкции, указывающие пользователю компьютерной программы, как выполнять задачу, характеризующийся тем, что карта сущностей заключает в себе программные инструкции доступа, по меньшей мере, к одному объекту графического пользовательского интерфейса компьютерной программы,
при этом формулирование сценария содержит выполнение регистрации операций задачи; и
выполнение сценария посредством:
изображения на экране, по меньшей мере, одного частичного графического оверлея в верхней части фактического немоделированного графического пользовательского интерфейса компьютерной программы, причем каждый частичный графический оверлей визуально указывает вход к соответствующему объекту графического пользовательского интерфейса для вызова компьютерной программы с целью выполнения одной из операций задачи; и
установки частичного графического оверлея рядом с соответствующим объектом графического пользовательского интерфейса независимо от местоположения объекта графического пользовательского интерфейса без проведения какого-либо изменения исходного кода компьютерной программы, при этом выполнение сценария содержит отдельный вычислительный процесс из компьютерной программы, который взаимодействует только с объектом графического пользовательского интерфейса и операционной системой, в которой запущена компьютерная программа.

22. Способ по п.21, характеризующийся тем, что выполнение сценария содержит динамически создаваемую ссылку на карту сущностей.

23. Способ по п.22, дополнительно содержащий новую версию карты сущностей, созданную для новой версии компьютерной программы, характеризующийся тем, что выполнение сценария содержит ссылку на новую версию карты сущностей для надлежащей работы в соответствии с новой версией компьютерной программы.