Перекрестная ссылка на родственную заявку
Настоящая заявка испрашивает приоритет по заявке на патент Китая № 202110592512.1, поданной в Национальное управление интеллектуальной собственности Китая 28 мая 2021 года и озаглавленной «STYLUS PEN INPUT METHOD, ELECTRONIC DEVICE, AND SYSTEM», которая включена в данный документ во всей своей полноте путем ссылки.
Область техники, к которой относится изобретение
Настоящая заявка относится к области терминальных технологий и, в частности, к способу ввода стилусным пером, электронному устройству и системе.
Уровень техники
Стилусное перо (stylus pen), также называемое стилусом, представляет собой инструмент в форме пера, используемый для ввода команд в электронное устройство, которое имеет сенсорный экран, такой как компьютерный экран, мобильное устройство и графический планшет. Пользователь может использовать стилусное перо для касания сенсорного экрана электронного устройства, чтобы выбрать файл, писать, рисовать или т.п., поэтому улучшается восприятие взаимодействия пользователя при письме, рисовании и т.п. на электронном устройстве.
Скорость отклика (дословно незамедлительность написания от англ. writing immediateness) является ключевым показателем, который влияет на восприятие пользователя при использовании стилусного пера и, как правило, характеризуется задержкой (задержкой при рисовании линии) с момента, когда выполняется ввод стилусным пером на сенсорном экране, до момента, когда рукописная траектория отображается на сенсорном экране. Существует множество факторов, влияющих на задержку при рисовании линии. То, как уменьшить задержку при рисовании линии и повысить скорость отклика стилусного пера, является проблемой, которую необходимо решить.
Сущность изобретения
Настоящая заявка предоставляет способ ввода стилусным пером, электронное устройство и систему, которые позволяют уменьшить задержку при рисовании линии и повысить скорость отклика стилусного пера.
Для решения вышеизложенных задач в настоящей заявке используются следующие технические решения.
Согласно первому аспекту предусмотрен способ ввода стилусным пером. Способ включает в себя следующее: первое электронное устройство принимает проекционный интерфейс первого приложения. Первое приложение работает на втором электронном устройстве. Первое электронное устройство принимает ввод от стилусного пера пользователя в проекционном интерфейсе и отображает обновленный проекционный интерфейс. Ввод стилусным пером включает в себя первый ввод и второй ввод. Обновленный проекционный интерфейс включает в себя первый слой и второй слой, первый слой включает в себя первое изображение, которое включает в себя первую рукописную траекторию и которое генерируется вторым электронным устройством на основе первого ввода, и второй слой включает в себя вторую рукописную траекторию, которая нарисована первым электронным устройством на основе второго ввода.
В этом способе вторая рукописная траектория, которая локально нарисована первым электронным устройством, отображается на проекционном изображении способом наложения, которое включает в себя первую рукописную траекторию и которое генерируется вторым электронным устройством. Так как задержка второй рукописной траектории, которая нарисована локально, меньше, чем задержка для получения проекционного изображения, которое включает в себя первую рукописную траекторию, можно уменьшить расстояние между первой рукописной траекторией и стилусным пером, можно уменьшить задержку при рисовании линии, и можно увеличить скорость отклика стилусного пера.
Согласно первому аспекту второй слой накладывается на первый слой.
Согласно первому аспекту или любой реализации первого аспекта способ дополнительно включает в себя следующее: первое электронное устройство получает второе изображение. Второе изображение включает в себя третью рукописную траекторию, которая генерируется вторым электронным устройством на основе второго ввода; первое электронное устройство отображает второе изображение на первом слое.
Третья рукописная траектория на первом слое покрывает вторую рукописную траекторию на втором слое.
То есть рукописная траектория, которая локально нарисована первым электронным устройством, по истечении определенного промежутка времени покрывается рукописной траекторией, нарисованной вторым электронным устройством на основе того же ввода. В одной реализации после того, как вторая рукописная траектория отображается в течение заданного промежутка времени, прекращается отображение второй рукописной траектории. В другой реализации, после того, как третья рукописная траектория покрывает вторую рукописную траекторию, прекращается отображение второй рукописной траектории.
В одной реализации вторая рукописная траектория является продолжением первой рукописной траектории. В другой реализации вторая рукописная траектория совпадает с частью первой рукописной траектории и включает в себя часть продолжения первой рукописной траектории.
Согласно первому аспекту или любой реализации первого аспекта, период времени ввода первого ввода и период времени ввода второго ввода не перекрываются вообще или перекрываются частично. В реализации продолжительность периода времени ввода второго ввода основана на первой задержке и/или второй задержке. Первая задержка включает в себя задержку первого электронного устройства для получения изображения из второго электронного устройства, и вторая задержка включает в себя задержку первого электронного устройства для генерации второй рукописной траектории. Например, период времени ввода для второго ввода = (первая задержка – вторая задержка), то есть период времени ввода для первого ввода и период времени ввода для второго ввода вообще не перекрываются. В этом случае вторая рукописная траектория является траекторией продолжения первой рукописной траектории. В качестве другого примера, период времени ввода второго ввода = первой задержке, то есть период времени ввода первого ввода и период времени ввода второго ввода частично перекрываются. В этом случае вторая рукописная траектория совпадает с частью первой рукописной траектории и включает в себя часть продолжения первой рукописной траектории.
Согласно первому аспекту или любой реализации первого аспекта, способ дополнительно включает в себя следующее: первое электронное устройство получает параметр рисования, отправленный вторым электронным устройством, и первое электронное устройство рисует вторую рукописную траекторию, используя параметр рисования. Параметр рисования включает в себя по меньшей мере один параметр из параметра цвета линии, параметра толщины линии и параметра текстуры линии. Например, параметр рисования включает в себя параметр рисования, используемый вторым электронным устройством для рисования первой рукописной траектории. Так как параметр рисования, используемый первым электронным устройством для рисования второй рукописной траектории, является тем же, что и параметр рисования, используемый вторым электронным устройством для рисования первой рукописной траектории, можно хорошо склеить вторую рукописную траекторию и первое изображение, которое включает в себя первую рукописную траекторию. Это позволяет улучшить визуальный эффект.
Согласно первому аспекту или любой реализации первого аспекта, при выполнении локального рисования первое электронное устройство предсказывает, на основе нарисованной рукописной траектории, отрезок рукописной траектории, используя алгоритм оценки штриха, и объединяет рукописную траекторию, которая фактически нарисована на основе рукописной информации с предсказанной рукописной траекторией. Предсказанная рукописная траектория отображается заранее, чтобы создать визуальный эффект высокой скорости отображения при рисовании линии. Таким образом, можно уменьшить задержку первого электронного устройства при рисовании рукописной траектории.
Согласно второму аспекту предусмотрен способ ввода стилусным пером. Способ включает в себя следующее: первое электронное устройство отображает проекционный интерфейс первого приложения и принимает первый ввод стилусным пером. Первое приложение работает на втором электронном устройстве. Первое электронное устройство отправляет информацию о первом вводе во второе электронное устройство; и принимает первое изображение из второго электронного устройства. Первое изображение включает в себя первую рукописную траекторию, которая нарисована на основе информации о первом вводе. Первое электронное устройство отображает первое изображение. Первое электронное устройство принимает второй ввод стилусным пером, рисует вторую рукописную траекторию на основе информации о втором вводе и отображает вторую рукописную траекторию. Вторая рукописная траектория отображается как продолжение первой рукописной траектории.
В этом способе первое электронное устройство генерирует, используя вычислительные возможности второго электронного устройства, проекционное изображение, которое включает в себя первую рукописную траекторию, локально рисует вторую рукописную траекторию и накладывает локально нарисованную рукописную траекторию на проекционное изображение, которое генерируется вторым электронным устройством. Так как локальная задержка при рисовании первого электронного устройства является маленьким, рукописная траектория, которая нарисована локально, уменьшает расстояние между стилусным пером на экране первого электронного устройства и рукописной траекторией на проекционном изображении и уменьшает задержку при рисовании линии ввода стилусным пером на первом электронном устройстве, поэтому увеличивается скорость отклика стилусного пера.
Вся вторая рукописная траектория является траекторией продолжения первой рукописной траектории, или вторая рукописная траектория совпадает с частью первой рукописной траектории и включает в себя часть продолжения первой рукописной траектории.
В реализации первое изображение отображается на первом слое, вторая рукописная траектория отображается на втором слое, и второй слой накладывается на первый слой.
Согласно второму аспекту, способ дополнительно включает в себя следующее: первое электронное устройство отправляет информацию о втором вводе во второе электронное устройство. Первое электронное устройство принимает второе изображение из второго электронного устройства. Второе изображение включает в себя третью рукописную траекторию, которая нарисована на основе информации о втором вводе. Первое электронное устройство отображает второе изображение. Третья рукописная траектория на втором изображении покрывает вторую рукописную траекторию.
Таким образом, рукописная траектория, которая локально нарисована первым электронным устройством, по истечении определенного промежутка времени покрывается рукописной траекторией, нарисованной вторым электронным устройством на основе одного и того же ввода. В одной реализации после того, как вторая рукописная траектория отображается в течение заданного промежутка времени, отображение второй рукописной траектории прекращается. В другой реализации, после того, как третья рукописная траектория покрывает вторую рукописную траекторию, отображение второй рукописной траектории прекращается.
Согласно второму аспекту или любой реализации второго аспекта, продолжительность периода времени ввода второго ввода основана на первой задержке и/или второй задержке. Первая задержка включает в себя задержку первого электронного устройства для получения изображения из второго электронного устройства, и вторая задержка включает в себя задержку первого электронного устройства для генерации второй рукописной траектории. Например, период времени ввода второго ввода = (первая задержка – вторая задержка). В этом случае вторая рукописная траектория является траекторией продолжения первой рукописной траектории. В качестве другого примера, период времени второго ввода = первой задержке. В этом случае вторая рукописная траектория совпадает с частью первой рукописной траектории и включает в себя часть продолжения первой рукописной траектории.
Согласно второму аспекту или любой реализации второго аспекта, способ дополнительно включает в себя следующее: первое электронное устройство принимает параметр рисования второго электронного устройства. Первое электронное устройство рисует вторую рукописную траекторию, используя параметр рисования на основе информации о втором вводе. Параметр рисования включает в себя по меньшей мере один параметр из параметра цвета линии, параметра толщины линии и параметра текстуры линии. Так как параметр рисования, используемый первым электронным устройством для рисования второй рукописной траектории, является тем же, что и параметр рисования, используемый вторым электронным устройством для рисования первой рукописной траектории, можно хорошо склеить вторую рукописную траекторию и первое изображение, которое включает в себя первую рукописную траекторию. Это позволяет улучшить визуальный эффект.
Согласно второму аспекту или любой реализации второго аспекта, при выполнении локального рисования первое электронное устройство предсказывает, на основе нарисованной рукописной траектории, отрезок рукописной траектории, используя алгоритм оценки штриха, и объединяет рукописную траекторию, которая фактически нарисована на основе рукописной информации с предсказанной рукописной траекторией. Предсказанная рукописная траектория отображается заранее, чтобы создать визуальный эффект высокой скорости отображения линий. Таким образом, можно уменьшить задержку первого электронного устройства при рисовании рукописной траектории.
Согласно третьему аспекту предусмотрен способ ввода стилусным пером. Способ включает в себя следующее: первое электронное устройство отображает проекционный интерфейс первого приложения. Первое приложение работает на втором электронном устройстве. Первое электронное устройство принимает первый ввод стилусным пером и отправляет информацию о первом вводе во второе электронное устройство. Второе электронное устройство принимает информацию о первом вводе, рисует первую рукописную траекторию на основе информации о первом вводе и генерирует первое изображение, которое включает в себя первую рукописную траекторию. Второе электронное устройство отправляет первое изображение в первое электронное устройство. Первое электронное устройство принимает первое изображение. Первое электронное устройство отображает первое изображение. Первое электронное устройство принимает второй ввод стилусным пером и рисует вторую рукописную траекторию на основе информации о втором вводе. Первое электронное устройство отображает вторую рукописную траекторию. Вторая рукописная траектория отображается как продолжение первой рукописной траектории.
В этом способе первое электронное устройство генерирует, используя вычислительные возможности второго электронного устройства, проекционное изображение, которое включает в себя рукописную траекторию, локально рисует рукописную траекторию и накладывает рукописную траекторию, которая локально нарисована, на проекционное изображение, которое генерируется вторым электронным устройством. Так как локальная задержка при рисовании первого электронного устройства является маленьким, рукописная траектория, которая нарисована локально, уменьшает расстояние между стилусным пером на экране первого электронного устройства и рукописной траекторией на проекционном изображении и уменьшает задержку при рисовании линии ввода стилусным пером на первом электронном устройстве, поэтому увеличивается скорость отклика стилусного пера.
Вся вторая рукописная траектория является траекторией продолжения первой рукописной траектории, или вторая рукописная траектория совпадает с частью первой рукописной траектории и включает в себя часть продолжения первой рукописной траектории.
Согласно третьему аспекту, способ дополнительно включает в себя следующее: первое электронное устройство отправляет информацию о втором вводе во второе электронное устройство. Второе электронное устройство принимает информацию о втором вводе, рисует третью рукописную траекторию на основе информации о втором вводе и генерирует второе изображение, которое включает в себя третью рукописную траекторию. Второе электронное устройство отправляет второе изображение в первое электронное устройство. Первое электронное устройство принимает второе изображение. Первое электронное устройство отображает второе изображение, и третья рукописная траектория покрывает вторую рукописную траекторию.
Таким образом, рукописная траектория, которая локально нарисована первым электронным устройством, по истечении определенного промежутка времени покрывается рукописной траекторией, нарисованной вторым электронным устройством на основе одного и того же ввода. В одной реализации после того, как вторая рукописная траектория отображается в течение заданного промежутка времени, отображение второй рукописной траектории прекращается. В другой реализации, после того, как третья рукописная траектория покрывает вторую рукописную траекторию, отображение второй рукописной траектории прекращается.
Согласно третьему аспекту или любой реализации третьего аспекта, способ дополнительно включает в себя следующее: второе электронное устройство отправляет в первое электронное устройство параметр рисования для рисования первой рукописной траектории. Первое электронное устройство принимает параметр рисования и рисует вторую рукописную траекторию, используя параметр рисования на основе информации о втором вводе. Параметр рисования включает в себя по меньшей мере один параметр из параметра цвета линии, параметра толщины линии и параметра текстуры линии. Так как параметр рисования, используемый первым электронным устройством для рисования второй рукописной траектории, является тем же, что и параметр рисования, используемый вторым электронным устройством для рисования первой рукописной траектории, можно хорошо склеить вторую рукописную траекторию и первое изображение, которое включает в себя первую рукописную траекторию. Это позволяет улучшить визуальный эффект.
Согласно третьему аспекту или любой реализации третьего аспекта, способ дополнительно включает в себя следующее: второе электронное устройство определяет отправку измененного параметра рисования в первое электронное устройство в случае, если изменяется какой-либо параметр рисования. Первое электронное устройство рисует вторую рукописную траекторию, используя измененный параметр рисования на основе информации о втором вводе. В этой реализации, когда параметр рисования изменяется, второе электронное устройство отправляет параметр рисования в первое электронное устройство. Так как параметр рисования, используемый первым электронным устройством для рисования второй рукописной траектории, является тем же, что и параметр рисования, используемый вторым электронным устройством для рисования первой рукописной траектории, можно хорошо склеить вторую рукописную траекторию и первое изображение, которое включает в себя первую рукописную траекторию. Это позволяет улучшить визуальный эффект.
Согласно четвертому аспекту предусмотрен способ ввода стилусным пером. Способ включает в себя следующее: первое электронное устройство отображает проекционный интерфейс первого приложения. Первое приложение работает на втором электронном устройстве. Первое электронное устройство принимает первый ввод стилусным пером пользователя в проекционном интерфейсе в момент времени T0. Первое электронное устройство отображает первую рукописную траекторию, соответствующую первому вводу, в проекционном интерфейсе в момент времени T1. Первое электронное устройство обновляет проекционный интерфейс в момент времени T2. Обновленный проекционный интерфейс включает в себя вторую рукописную траекторию, соответствующую первому вводу, и момент времени t1 предшествует моменту времени t2.
В этом способе первое электронное устройство и второе электронное устройство рисуют рукописную траекторию на основе первого ввода. Задержка рукописной траектории, локально рисуемой первым электронным устройством, меньше, чем задержка получения проекционного изображения из второго электронного устройства, и момент времени t1 предшествует моменту времени t2. Отображение рукописной траектории, локально нарисованной первым электронным устройством, на экране первого электронного устройства происходит быстрее, чем отображение рукописной траектории, нарисованной вторым электронным устройством, поэтому рукописная траектория, введенная стилусным пером, может гораздо быстрее отображаться пользователю. Это сокращает задержку при рисовании линии стилусным пером и повышает скорость отклика.
Поскольку как первая рукописная траектория, так и вторая рукописная траектория рисуются на основе информации о первом вводе, первая рукописная траектория и вторая рукописная траектория являются идентичными траекториями линий.
Первая рукописная траектория, которая локально нарисована первым электронным устройством, и вторая рукописная траектория, которая нарисована вторым электронным устройством, являются идентичными траекториями линий, и вторая рукописная траектория покрывает первую рукописную траекторию. С момента времени t2 может прекратиться отображение первой рукописной траектории. В реализации отображение первой рукописной траектории прекращается в момент времени t3. Например, момент времени t3 совпадает с моментом времени t2. В качестве другого примера, момент времени t3 наступает позже момента времени t2.
Согласно четвертому аспекту или любой реализации четвертого аспекта, первая рукописная траектория рисуется первым электронным устройством, и вторая рукописная траектория рисуется вторым электронным устройством.
Согласно четвертому аспекту или любой реализации четвертого аспекта, первая рукописная траектория расположена на первом слое, и вторая рукописная траектория расположена на втором слое. В реализации первый слой накладывается на второй слой.
Согласно четвертому аспекту или любой реализации четвертого аспекта, любой параметр цвета линии, толщины линии и текстуры линии первой рукописной траектории является таким же, как соответствующий параметр второй рукописной траектории, или отличается от него.
Согласно пятому аспекту предусмотрено электронное устройство, включающее в себя дисплей, один или несколько процессоров, память и одну или несколько компьютерных программ. Процессор подключен как к дисплею, так и к памяти, одна или несколько компьютерных программ хранятся в памяти, и когда электронное устройство работает, процессор может исполнять одну или несколько компьютерных программ, хранящихся в памяти, и электронное устройство способно выполнять способ в любой из реализаций предыдущих аспектов.
Что касается технических эффектов, соответствующих любому из пятого аспекта или реализаций пятого аспекта, следует обратиться к техническим эффектам соответствующих реализаций, представленных в предыдущих аспектах. В данном документе подробности повторно не описываются.
Согласно шестому аспекту предусмотрен машиночитаемый носитель информации. Машиночитаемый носитель информации хранит компьютерную программу (которая также может упоминаться как инструкции или код), и когда компьютерная программа исполняется электронным устройством, электронное устройство имеет возможность выполнять способ в любой из реализаций предыдущих аспектов.
Что касается технических эффектов, соответствующих любому из шестого аспекта или реализаций шестого аспекта, следует обратиться к техническим эффектам соответствующих реализаций, представленных в предыдущих аспектах. В данном документе подробности повторно не описываются.
Согласно седьмому аспекту предусмотрен компьютерный программный продукт. Когда компьютерный программный продукт работает на электронном устройстве, электронное устройство имеет возможность выполнять способ в любой из реализаций предыдущих аспектов.
Что касается технических эффектов, соответствующих любому из седьмого аспекта или реализаций седьмого аспекта, следует обратиться к техническим эффектам соответствующих реализаций предыдущих аспектов. В данном документе подробности повторно не описываются.
Согласно восьмому аспекту предусмотрена схемная система. Схемная система включает в себя схему обработки, и схема обработки выполнена с возможностью выполнения способа в любой из реализаций предыдущих аспектов.
Что касается технических эффектов, соответствующих любому из восьмого аспекта или реализаций восьмого аспекта, следует обратиться к техническим эффектам соответствующих реализаций, представленных в предыдущих аспектах. В данном документе подробности повторно не описываются.
Согласно девятому аспекту предусмотрена чиповая система. Чиповая система включает в себя процессор и схему интерфейса. Схема интерфейса выполнена с возможностью выполнения функции приемопередатчика и отправки инструкций в процессор. Когда инструкции исполняются процессором, процессор имеет возможность выполнять способ в любой из реализаций предыдущих аспектов.
Что касается технических эффектов, соответствующих любому из девятого аспекта или реализации девятого аспекта, следует обратиться к техническим эффектам соответствующих реализаций, представленных в предыдущих аспектах. В данном документе подробности повторно не описываются.
Краткое описание чертежей
Фиг.1 – схематичное представление сценария, к которому применим способ ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.2 – схематичное представление архитектуры системы, к которой применим способ ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.3А – схематичное представление архитектуры системы, к которой применим способ ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.3B – схематичное представление архитектуры системы, к которой применим способ ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.4 – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.5 – схематичное представление аппаратной структуры электронного устройства согласно варианту осуществления настоящей заявки;
фиг.6 – схематичное представление способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.7A – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.7B – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.7C – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.8A – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.8B – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.9 – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.10 – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.11 – примерное представление сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки;
фиг.12 – схематичное представление способа ввода стилусным пером согласно варианту осуществления настоящей заявки; и
фиг.13 – схематичное представление структурного состава электронного устройства согласно варианту осуществления настоящей заявки.
Подробное описание изобретения
Термины, используемые в следующих вариантах осуществления, предназначены только для описания конкретных вариантов осуществления, но не предназначены для ограничения настоящей заявки. Термины «один», «вышеупомянутый», «этот» и «единственный» форм единственного числа, используемых в настоящем описании и сопроводительной формуле изобретения настоящей заявки, также предназначены для включения таких форм, как «один или несколько», если иное не следует очевидно из контекста. В дальнейшем следует понимать, что в приведенных ниже вариантах осуществления настоящей заявки термины «по меньшей мере один» и «один или несколько» означают один или по меньшей мере два (включая два). Термин «и/или» используется для описания отношений ассоциации между ассоциированными объектами и означает, что могут существовать три отношения. Например, A и/или B могут представлять следующие случаи: существует только A, существуют как A, так и B, и существует только B, где A и B могут принимать формы единственного или множественного числа. Символ «/», как правило, указывает соотношение «или» между ассоциированными объектами.
Ссылка на «вариант осуществления», «некоторые варианты осуществления» и т.п., описанные в данном описании, указывает, что один или более вариантов осуществления настоящей заявки включают в себя конкретный признак, структуру или характеристику, описанную со ссылкой на варианты осуществления. Таким образом, утверждения, такие как «в варианте осуществления», «в некоторых вариантах осуществления», «в некоторых других вариантах осуществления» и «в других вариантах осуществления», которые появляются в разных местах данного описания, не обязательно означают ссылку на один и тот же вариант осуществления. Вместо этого утверждения означают «один или несколько, но не все варианты осуществления», если иное специально не подчеркнуто другим образом. Термины «включать в себя», «содержать», «иметь» и их варианты означают «включать в себя, но не ограничиваться этим», если иное специально не подчеркнуто иным образом. Термин «соединение» включает в себя прямое соединение и косвенное соединение, если не указано иное.
В последующем описании термины «первый» и «второй» предназначены только для целей описания и не должны интерпретироваться как указывающие или подразумевающие относительную важность или подразумевающие количество указанных технических признаков. Таким образом, функция, определенная с помощью термина «первый» или «второй», может явно или неявно включать в себя одну или несколько функций.
В вариантах осуществления настоящей заявки слова «пример», «например» и т.п. используются для обозначения примера, иллюстрации или описания. Любой вариант осуществления или схема конструкции, описанная как «пример» или «например» в вариантах осуществления настоящей заявки, не должна объясняться как более предпочтительная или имеющая больше преимуществ, чем другой вариант осуществления или схема конструкции. Точнее, использование слов «пример», «например» и т.п. предназначено для представления относительного понятия определенным образом.
Скорость отклика (дословно незамедлительность написания от англ. writing immediateness), как правило, характеризуется задержкой при рисовании линии. Меньшая задержка при рисовании линии указывает на более высокую скорость отклика, и большая задержка при рисовании линии указывает на меньшую скорость отклика. Например, как показано на фиг.1, стилусное перо используется для рисования линии на экране электронного устройства. Так как существует задержка (задержка при рисовании линии) с момента, когда электронное устройство принимает ввод стилусным пером на экране, до момента отображения рукописной траектории, существует определенное расстояние между расположением стилусного пера на экране и рукописной траекторией. Более длительная задержка при рисовании линии указывает на большее расстояние между расположением стилусного пера на экране и рукописной траекторией, и, таким образом, скорость отклика становится ниже.
Существует множество факторов, которые влияют на скорость отклика. Например, в некоторых продуктах электронное устройство принимает ввод стилусным пером на экране электронного устройства, рисует рукописную траекторию на основе информации ввода стилусным пером, синтезирует изображение рукописной траектории и отображает изображение рукописной траектории на экране. Все факторы, такие как задержка при рисования, задержка при синтезе и задержка при передаче сгенерированного изображения рукописной траектории из процессора на экран для отображения, влияют на скорость отклика. В качестве другого примера, в некоторых продуктах, после приема ввода стилусным пером на экране электронного устройства, электронное устройство передает, с использованием проводного или беспроводного соединения, информацию ввода стилусным пером в устройство обработки для рисования и синтезирует изображение, включающее в себя рукописную траекторию. Устройство обработки отправляет сгенерированное изображение в электронное устройство, и изображение, содержащее рукописную траекторию, отображается на экране электронного устройства. Все факторы, такие как задержка при передаче информации ввода стилусным пером из электронного устройства в устройство обработки, задержка устройства обработки для генерации изображения, которое включает в себя рукописную траекторию, и задержка при передаче изображения, которое включает в себя рукописную траекторию, из устройства обработки в электронное устройство влияет на скорость отклика.
Например, способ ввода стилусным пером, предусмотренный в варианте осуществления настоящей заявки, может быть применен к системе, показанной на фиг.2. Система включает в себя электронное устройство 100, которое имеет сенсорный экран, стилусное перо 200 и устройство 300 обработки. Приложение 1 запускается на устройстве 300 обработки. Электронное устройство 100 и устройство 300 обработки соединены проводным или беспроводным способом. Устройство 300 обработки проецирует каждый интерфейс приложения 1 на электронное устройство 100 для отображения. Проекция – это технология, при которой интерфейсы различных электронных устройств синхронно отображаются при проводном (например, мультимедийный интерфейс высокой четкости (High Definition Multimedia Interface, HDMI)) или беспроводном (например, Miracast на основе Wi-Fi) способе передачи. Электронное устройство 100 отображает интерфейс приложения 1, то есть отображает проекционный интерфейс. Электронное устройство 100 может дополнительно принимать ввод от стилусного пера 200 на экране (сенсорном экране) электронного устройства 100, например, принимать ввод от стилусного пера 200 пользователя в проекционном интерфейсе. Электронное устройство 100 получает рукописную информацию, такую как координаты ввода, измерение давления и угол наклона стилусного пера 200 на экране, и передает рукописную информацию в устройство 300 обработки проводным или беспроводным способом. Устройство 300 обработки рисует рукописную траекторию на интерфейсе дисплея приложения 1 на основе рукописной информации, выполняет рендеринг и синтез и генерирует изображение, которое включает в себя рукописную траекторию. В реализации устройство 300 обработки сжимает сгенерированное изображение в потоковое видео и отправляет потоковое видео в электронное устройство 100. Электронное устройство 100 распаковывает потоковое видео, получает изображение, которое включает в себя рукописную траекторию, и отображает изображение на экран, то есть обновляет проекционный интерфейс.
Электронное устройство 100 может включать в себя планшетный компьютер, планшет с рукописным вводом, портативное мобильное устройство (например, мобильный телефон), карманный компьютер, портативный компьютер, нетбук, персональный компьютер (personal computer, PC), устройство «умного дома» (например, «умный» телевизор, «умный» экран или большой экран), персональный цифровой помощник (personal digital assistant, PDA), носимое устройство (например, «умные» часы или «умный» браслет), автомобильный компьютер и т.п. Это не ограничивается вариантами осуществления настоящей заявки.
Стилус 200 может включать в себя стилус, емкостный стилус и т.п. Это не ограничивается вариантами осуществления настоящей заявки.
Устройство 300 обработки может включать в себя персональный компьютер (personal computer, PC), портативное мобильное устройство (например, мобильный телефон), карманный компьютер, ноутбук, нетбук, планшетный компьютер, умный телевизор, умный экран, большой экран и т.п. Это не ограничивается вариантами осуществления настоящей заявки.
В данном случае используется пример, в котором планшетный компьютер представляет собой электронное устройство 100, и PC представляет собой устройство 300 обработки. На фиг.3А показан пример системы, к которой применим способ ввода стилусным пером согласно варианту осуществления настоящей заявки. Планшетный компьютер подключен к PC беспроводным способом. Например, планшетный компьютер и PC соединены с использованием беспроводной связи Wi-Fi (wireless fidelity, Wi-Fi). Приложение 1 запускается на PC, и планшетный компьютер устанавливается в качестве устройства ввода PC. PC дополнительно проецирует интерфейс приложения 1 на планшетный компьютер для отображения. Каждый раз после приема ввода от стилусного пера пользователя в проекционном интерфейсе, планшетный компьютер отправляет, в PC для обработки, рукописную информацию, которая вводится в этот момент времени. PC рисует рукописную траекторию на основе рукописной информации, визуализирует и синтезирует рукописную траекторию и текущий интерфейс отображения приложения 1, и генерирует и отображает изображение, которое включает в себя рукописную траекторию. Таким образом, пользователь может использовать стилусное перо для рисования линии на планшетном компьютере, для изменения приложения 1 на PC и ввода рукописной линии (например, при письме или рисовании) в интерфейсе дисплея приложения 1.
PC дополнительно проецирует изображение, которое включает в себя рукописную траекторию, на планшетный компьютер для отображения. В реализации PC сжимает изображение, содержащее рукописную траекторию, в потоковое видео и передает потоковое видео на планшетный компьютер. Планшетный компьютер распаковывает потоковое видео, чтобы получить изображение, включающее в себя рукописную траекторию. На планшетном компьютере отображается изображение, включающее в себя рукописную траекторию. В частности, PC может проецировать изображение, включающее в себя рукописную траекторию, на планшетный компьютер. Изображение, включающее в себя рукописную траекторию, называется проекционным изображением. Таким образом, как планшетный компьютер, так и PC отображают интерфейс дисплея приложения 1, и интерфейс дисплея включает в себя рукописную траекторию стилуса.
Таким образом, в одном аспекте планшетному компьютеру не требуется устанавливать и запускать приложение 1, а требуется только отображать интерфейс приложения 1; и планшетный компьютер может рисовать изображение в приложении 1, используя мощные вычислительные возможности PC, и скорость генерации изображения повышается. В другом аспекте PC может принимать ввод от стилусного пера с использованием планшетного компьютера, поэтому пользователь может изменять документ, используя стилусное перо, и вводить в документ слово или нарисовать изображение в программном обеспечении для рисования или т.п. Пользователь может использовать стилусное перо для ввода слова, графики и т.п. на устройстве, не имеющем сенсорного экрана, например PC.
Следует отметить, что в некоторых вариантах осуществления устройство 300 обработки может быть сервером, а не терминальным устройством. Например, как показано на фиг.3B, устройство 300 обработки представляет собой облачный сервер или удаленный сервер. После приема ввода от стилусного пера планшетный компьютер передает рукописную информацию на сервер. Сервер генерирует, основываясь на рукописной информации, изображение, которое включает в себя рукописную траекторию, и передает сгенерированное изображение на планшетный компьютер. Планшетный компьютер получает и отображает изображение, включающее в себя рукописную траекторию. Планшетный компьютер обеспечивает высокопроизводительное письмо стилусным пером, используя мощные вычислительные возможности сервера. Это обеспечивает лучшее восприятие письма для пользователя.
В вышеизложенном процессе факторы, такие как задержка при передаче рукописной информации из электронного устройства 100 в устройство 300 обработки, задержка устройства 300 обработки для генерации изображения, которое включает в себя рукописную траекторию, и задержка при передаче изображения, которое включает в себя рукописную траекторию, из устройства 300 обработки в электронное устройство 100, вызывают задержку при рисовании линии, поэтому имеется определенное расстояние между стилусным пером и рукописной траекторией на экране электронного устройства 100. Таким образом, это приводит к ухудшению восприятия пользователя и низкой скорости отклика.
Вариант осуществления настоящей заявки предусматривает способ ввода стилусным пером. После приема ввода стилусным пером пользователя в проекционном интерфейсе электронное устройство передает рукописную информацию стилусного пера в устройство обработки для обработки. Устройство обработки генерирует, на основе рукописной информации, проекционное изображение, которое включает в себя первую рукописную траекторию. Электронное устройство дополнительно выполняет локальное рисование на основе ввода стилусным пером для генерации второй рукописной траектории. После получения проекционного изображения из устройства обработки электронное устройство накладывает вторую рукописную траекторию, которая локально нарисована, на проекционное изображение для отображения (то есть отображает обновленный проекционный интерфейс). Так как задержка рукописной траектории, которая локально нарисована электронным устройством, меньше, чем задержка электронного устройства для получения проекционного изображения, рукописная траектория, которая локально нарисована, и рукописная траектория, которая нарисована устройством обработки, отображаются способом наложения, поэтому можно уменьшить расстояние между стилусным пером и рукописной траекторией на экране электронного устройства, уменьшить задержку при рисовании линии ввода стилусного пера на электронном устройстве и увеличить скорость отклика стилусного пера.
Например, как показано на фиг.4, задержка при получении электронным устройством проекционного изображения равна 100 миллисекундам (мс), и задержка рукописной траектории, которую локально рисует электронное устройство, равна 20 мс. В момент времени T рукописная траектория в проекционном изображении, полученном электронным устройством из устройства обработки, нарисована на основе ввода стилусным пером в момент времени (T – 100 мс), и рукописная траектория, которая нарисована локально, нарисована на основе ввода стилусным пером в момент времени (Т – 20 мс). Рукописная траектория, нарисованная локально, уменьшает расстояние между рукописной траекторией, нарисованной устройством обработки и стилусным пером.
Например, на фиг.5 показано схематичное представление структуры электронного устройства 100 согласно варианту осуществления настоящей заявки.
Электронное устройство 100 может включать в себя процессор 110, интерфейс 120 внешней памяти, внутреннюю память 121, интерфейс 130 универсальной последовательной шины (universal serial bus, USB), модуль 140 управления зарядкой, модуль 141 управления питанием, аккумулятор 142, дисплей 150, антенну, модуль 160 беспроводной связи, аудиомодуль 170, динамик 170А, приемник 170В, микрофон 170С, гнездо 170D для гарнитуры, модуль 180 датчиков, клавишу 190, камеру 191 и т.п. Модуль 180 датчиков может включать в себя датчик давления, магнитный датчик, датчик расстояния, датчик отпечатков пальцев, датчик касания и т.п.
Следует понимать, что структура, показанная в этом варианте осуществления настоящего изобретения, не накладывает конкретных ограничений на электронное устройство 100. В некоторых других вариантах осуществления настоящей заявки электронное устройство 100 может включать в себя большее или меньшее количество компонентов, чем то, которое показано на чертеже, или некоторые компоненты могут быть объединены, или некоторые компоненты могут быть разделены, или компоненты могут быть расположены по-разному. Компоненты, показанные на чертеже, могут быть реализованы с использованием аппаратных средств, программного обеспечения или комбинации программного обеспечения и аппаратных средств.
Процессор 110 может включать в себя один или более блоков обработки. Например, процессор 110 может включать в себя процессор приложений (application processor, AP), процессор модема, графический процессор (graphics processing unit, GPU), процессор обработки сигналов изображений (image signal processor, ISP), контроллер, память, видеокодек, процессор цифровых сигналов (digital signal processor, DSP), процессор сигналов основной полосы частот, блок обработки нейронной сети (neural-network processing unit, NPU) и/или т.п. Различные блоки обработки могут быть отдельными устройствами или могут быть интегрированы в один или более процессоров.
Контроллер может быть руководящим центром и командным центром электронного устройства 100. Контроллер может выработать сигнал управления операцией на основе кода операции инструкции и сигнала синхронизации, а также считать инструкцию и управлять исполнением инструкции.
Память может быть дополнительно выполнена в процессоре 110 с возможностью хранения инструкции и данных. В некоторых вариантах осуществления память в процессоре 110 представляет собой кэш. Память может хранить команду или данные, которые только что использовались или циклически использовались процессором 110. Если процессору 110 необходимо снова использовать команду или данные, процессор 110 может напрямую вызвать команду или данные из памяти во избежание повторного доступа и сократить время ожидания процессора 110, тем самым повышая эффективность системы.
В некоторых вариантах осуществления процессор 110 может включать в себя один или более интерфейсов. Интерфейс может включать в себя интерфейс межинтегральной схемы (inter-integrated circuit, I2C), интерфейс звука межинтегральной схемы (inter-integrated circuit sound, I2S), интерфейс с импульсной кодовой модуляцией (pulse code modulation, PCM), интерфейс универсального асинхронного приемника/передатчика (universal asynchronous receiver/transmitter, UART), интерфейс процессора мобильной индустрии (mobile industry processor interface, MIPI), интерфейс ввода/вывода общего назначения (general-purpose input/output, GPIO), интерфейс модуля идентификации абонента (subscriber identity module, SIM) и/или интерфейс универсальной последовательной шины (universal serial bus, USB).
Интерфейс I2C представляет собой двунаправленную синхронную последовательную шину и включает в себя линию последовательной передачи данных (serial data line, SDA) и линию последовательной синхронизации (serial clock line, SCL). В некоторых вариантах осуществления процессор 110 может включать в себя множество групп шин I2C. Процессор 110 может быть отдельно подключен к датчику касания, зарядному устройству, вспышке, камере 191 и т.п. с использованием различных интерфейсов шины I2C. Например, процессор 110 может быть подключен к датчику касания через интерфейс I2C, так что процессор 110 взаимодействует с датчиком касания через интерфейс шины I2C для реализации сенсорной функции электронного устройства 100.
Интерфейс I2S может быть выполнен с возможностью выполнения аудиосвязи. В некоторых вариантах осуществления процессор 110 может включать в себя множество групп шин I2S. Процессор 110 может быть подключен к аудиомодулю 170 через шину I2S для реализации связи между процессором 110 и аудиомодулем 170.
Интерфейс PCM также может быть выполнен с возможностью выполнения аудиосвязи, и также выборки, квантования и кодирования аналогового сигнала. В некоторых вариантах осуществления аудиомодуль 170 может быть подключен к модулю 160 беспроводной связи через интерфейс шины PCM. Как интерфейс I2S, так и интерфейс PCM можно выполнить с возможностью выполнения аудиосвязи.
Интерфейс UART представляет собой универсальную последовательную шину передачи данных и выполнен с возможностью выполнения асинхронной связи. Шина может быть шиной двусторонней связи. Шина преобразует передаваемые данные между последовательной связью и параллельной связью. В некоторых вариантах осуществления интерфейс UART, как правило, выполнен с возможностью подключения процессора 110 к модулю 160 беспроводной связи. Например, процессор 110 связывается с модулем Bluetooth в модуле 160 беспроводной связи через интерфейс UART, чтобы реализовать функцию Bluetooth. В некоторых вариантах осуществления аудиомодуль 170 может передавать аудиосигнал в модуль 160 беспроводной связи через интерфейс UART, чтобы реализовать функцию воспроизведения музыки с использованием гарнитуры Bluetooth.
Интерфейс MIPI может быть выполнен с возможностью подключения процессора 110 к периферийному компоненту, такому как дисплей 150 или камера 191. Интерфейс MIPI включает в себя последовательный интерфейс камеры (camera serial interface, CSI), последовательный интерфейс дисплея (display serial interface, DSI) и т.п. В некоторых вариантах осуществления процессор 110 связывается с камерой 191 через CSI для реализации функции фотографирования электронного устройства 100. Процессор 110 связывается с дисплеем 150 через DSI для реализации функции отображения электронного устройства 100.
Интерфейс GPIO может быть сконфигурирован с использованием программного обеспечения. Интерфейс GPIO может быть сконфигурирован как сигнал управления или сигнал данных. В некоторых вариантах осуществления интерфейс GPIO может быть выполнен с возможностью подключения процессора 110 к камере 191, дисплею 150, модулю 160 беспроводной связи, аудиомодулю 170, сенсорному модулю 180 и т.п. Интерфейс GPIO может быть альтернативно сконфигурирован как интерфейс I2C, интерфейс I2S, интерфейс UART, интерфейс MIPI и т.п.
Интерфейс 130 USB представляет собой интерфейс, который соответствует спецификации стандарта USB и может представлять собой, в частности, интерфейс мини-USB, интерфейс микро-USB, интерфейс USB типа C или т.п. Интерфейс 130 USB может быть выполнен с возможностью подключения зарядного устройства для зарядки электронного устройства 100, или может быть выполнен с возможностью выполнения передачи данных между электронным устройством 100 и периферийным устройством, или может быть выполнен с возможностью подключения гарнитуры для воспроизведения звука с использованием гарнитуры. Альтернативно, интерфейс может быть выполнен с возможностью подключения к другому электронному устройству, например, устройству AR.
Следует понимать, что взаимосвязь между модулями, проиллюстрированная в вариантах осуществления настоящего изобретения, является только примером для описания и не представляет собой ограничение структуры электронного устройства 100. В некоторых других вариантах осуществления настоящей заявки электронное устройство 100 альтернативно может быть сопряжено с интерфейсом, отличным от способа, описанного в предыдущих вариантах осуществления, или путем комбинирования множества способов сопряжения.
Модуль 140 управления зарядкой выполнен с возможностью приема входного сигнала зарядки из зарядного устройства. Зарядное устройство может быть беспроводным или проводным. В некоторых вариантах осуществления проводной зарядки модуль 140 управления зарядкой может принимать входные данные зарядки от проводного зарядного устройства через интерфейс 130 USB. В некоторых вариантах осуществления беспроводной зарядки модуль 140 управления зарядкой может принимать входные данные беспроводной зарядки через катушку беспроводной зарядки электронного устройства 100. Модуль 140 управления зарядкой может дополнительно подавать питание на электронное устройство с использованием модуля 141 управления питанием во время зарядки аккумулятора 142.
Модуль 141 управления питанием выполнен с возможностью подключения аккумулятора 142, модуля 140 управления зарядкой и процессора 110. Модуль 141 управления питанием принимает входные данные от аккумулятора 142 и/или модуля 140 управления зарядкой и подает питание на процессор 110, внутреннюю память 121, внешнюю память, дисплей 150, камеру 191, модуль 160 беспроводной связи и т.п. Модуль 141 управления питанием может быть дополнительно выполнен с возможностью контроля таких параметров, как емкость батареи, количество циклов работы батареи и состояние работоспособности батареи (утечка тока или полное сопротивление). В некоторых других вариантах осуществления модуль 141 управления питанием альтернативно может быть расположен в процессоре 110. В некоторых других вариантах осуществления модуль 141 управления питанием и модуль 140 управления зарядкой могут альтернативно располагаться в одном и том же устройстве.
Функция беспроводной связи электронного устройства 100 может быть реализована с использованием антенны, модуля 160 беспроводной связи, процессора модема, процессора основной полосы частот и т.п.
Антенна выполнена с возможностью передачи и приема сигнала электромагнитной волны. Каждая антенна в электронном устройстве 100 может быть выполнена с возможностью покрытия одного или нескольких диапазонов частот связи. Различные антенны могут быть мультиплексированы для улучшения использования антенн. Например, антенна может быть мультиплексирована как разнесенная антенна в беспроводной локальной сети. В некоторых других вариантах антенна может использоваться в сочетании с переключателем настройки.
Процессор модема может включать в себя модулятор и демодулятор. Модулятор выполнен с возможностью модуляции передаваемого низкочастотного группового сигнала в средне-высокочастотный сигнал. Демодулятор выполнен с возможностью демодуляции принятого сигнала электромагнитной волны в низкочастотный сигнал основной полосы частот. Затем демодулятор передает низкочастотный сигнал основной полосы частот, полученный с использованием демодуляции, в процессор основной полосы частот для обработки. Низкочастотный сигнал основной полосы частот обрабатывается процессором основной полосы частот, и затем передается в процессор приложений. Процессор приложений выводит звуковой сигнал с использованием аудиоустройства (которое не ограничивается динамиком 170А, приемником 170В и т.п.) или отображает изображение или видео с использованием дисплея 150. В некоторых вариантах осуществления процессор модема может быть независимым устройством. В некоторых других вариантах осуществления процессор модема может быть независимым от процессора 110 и может располагаться в том же устройстве, что и другой функциональный модуль.
Модуль 160 беспроводной связи может предоставлять решение беспроводной связи, которое применяется к электронному устройству 100 и которое включает в себя беспроводную локальную сеть (wireless local area network, WLAN) (например, сеть беспроводной связи Wi-Fi (Wireless Fidelity, Wi-Fi)), Bluetooth (Bluetooth, BT), глобальную навигационную спутниковую систему (global navigation satellite system, GNSS), частотную модуляцию (frequency modulation, FM), технологию ближней радиосвязи (Near Field Communication, NFC), инфракрасную (infrared, IR) технологию и т.п. Модуль 160 беспроводной связи может представлять собой один или несколько компонентов, объединяющих по меньшей мере один модуль обработки связи. Модуль 160 беспроводной связи принимает электромагнитную волну через антенну, выполняет частотную модуляцию и фильтрацию сигнала электромагнитной волны и отправляет обработанный сигнал в процессор 110. Модуль 160 беспроводной связи может дополнительно принимать подлежащий отправке сигнал из процессора 110, выполнять частотную модуляцию и усиление сигнала и преобразовывать сигнал в электромагнитную волну для излучения через антенну.
Электронное устройство 100 реализует функцию отображения с использованием графического процессора, дисплея 150, процессора приложений и т.п. Графический процессор представляет собой микропроцессор для обработки изображений и подключен к дисплею 150 и процессору приложений. Графический процессор выполнен с возможностью выполнения математических и геометрических вычислений и рендеринга изображения. Процессор 110 может включать в себя один или несколько графических процессоров, которые исполняют программные инструкции для создания или изменения отображаемой информации.
Дисплей 150 выполнен с возможностью отображения изображения, видео и т.п. Дисплей 150 включает в себя дисплейную панель. В дисплейной панели может использоваться жидкокристаллический дисплей (liquid crystal display, LCD), органический светоизлучающий диод (organic light-emitting diode, OLED), органический светоизлучающий диод с активной матрицей (active-matrix organic light emitting diode, AMOLED), гибкий светоизлучающий диод (flex light-emitting diode, FLED), мини-светодиод, микро-светодиод, микро-OLED, светоизлучающий диод с квантовыми точками (quantum dot светоизлучающий диод, QLED) или т.п. В некоторых вариантах осуществления электронное устройство 100 может включать в себя один или N дисплеев 150, где N – целое положительное число больше 1.
Электронное устройство 100 может реализовать функцию фотографирования с использованием ISP, камеры 191, видеокодека, графического процессора, дисплея 150, процессора приложений и т.п.
ISP выполнен с возможностью обработки данных, возвращаемых камерой 191. Например, во время фотографирования открывается затвор, и свет передается на фоточувствительный элемент камеры через объектив. Оптический сигнал преобразуется в электрический сигнал, и фоточувствительный элемент камеры передает электрический сигнал интернет-провайдеру для обработки, чтобы преобразовать электрический сигнал в видимое изображение. Интернет-провайдер может дополнительно выполнить оптимизацию алгоритма по шуму, яркости и цвету изображения. Интернет-провайдер может дополнительно оптимизировать параметры, такие как экспозиция и цветовая температура сценария фотографирования. В некоторых вариантах осуществления ISP может быть расположен в камере 191.
Камера 191 выполнена с возможностью захвата неподвижного изображения или видео. Оптическое изображение объекта формируется с использованием объектива и проецируется на фоточувствительный элемент. Фоточувствительный элемент может представлять собой прибор с зарядовой связью (charge-coupled device, CCD) или фототранзистором на основе комплементарной структуры металл-оксид-полупроводник (complementary metal-oxide-semiconductor, CMOS). Фоточувствительный элемент преобразует оптический сигнал в электрический сигнал, и затем передает электрический сигнал ISP для преобразования электрического сигнала в сигнал цифрового изображения. ISP выводит цифровой сигнал изображения в DSP для обработки. DSP преобразует цифровой сигнал изображения в сигнал изображения в стандартном формате, таком как RGB или YUV. В некоторых вариантах осуществления электронное устройство 100 может включать в себя одну или N камер 191, где N – целое положительное число больше 1.
Процессор цифровых сигналов выполнен с возможностью обработки цифрового сигнала и может обрабатывать другой цифровой сигнал в дополнение к сигналу цифрового изображения. Например, когда электронное устройство 100 выбирает частоту, процессор цифровых сигналов конфигурируется для выполнения преобразования Фурье и т.п. над энергией по частоте.
Видеокодек выполнен с возможностью сжатия или распаковки цифрового видео. Электронное устройство 100 может поддерживать один или несколько типов видеокодеков. Таким образом, электронное устройство 100 может воспроизводить или записывать видео в множестве форматов кодирования, например, в формате группы экспертов по движущемуся изображению (moving picture experts group, MPEG)-1, MPEG-2, MPEG-3 и MPEG-4.
NPU представляет собой вычислительный процессор нейронной сети (neural-network, NN), быстро обрабатывает входную информацию, обращаясь к структуре биологической нейронной сети, например, обращаясь к режиму передачи между нейронами головного мозга человека, и может в дальнейшем непрерывно выполнять самообучение. Приложения, такие как интеллектуальное распознавание электронного устройства 100, могут быть реализованы с использованием NPU, например, распознавание изображений, распознавание лиц, распознавание речи и понимание текста.
Интерфейс 120 внешней памяти может быть выполнен с возможностью подключения к внешней карте памяти, например, карте micro SD, для расширения возможности хранения электронного устройства 100. Внешняя карта памяти связывается с процессором 110 через внешний интерфейс 120 памяти для реализации функции хранения данных. Например, такие файлы, как музыка и видео, хранятся на внешней карте памяти.
Внутренняя память 121 может быть выполнена с возможностью хранения исполняемого компьютером программного кода. Исполняемый программный код включает в себя инструкции. Процессор 110 исполняет инструкции, хранящиеся во внутренней памяти 121, для выполнения различных функциональных приложений электронного устройства 100 и обработки данных. Внутренняя память 121 может включать в себя область хранения программ и область хранения данных. Область хранения программы может хранить операционную систему, приложение, необходимое по меньшей мере для одной функции (например, функции воспроизведения звука и функции воспроизведения изображения) и т.п. Область хранения данных может хранить данные (например, аудиоданные и телефонную книгу) и т.п., созданные во время использования электронного устройства 100. В дополнение к этому, внутренняя память 121 может включать в себя высокоскоростную оперативную память и может дополнительно включать в себя энергонезависимую память, например, по меньшей мере одно запоминающее устройство на магнитном диске, флэш-накопитель и универсальный флэш-накопитель (universal flash storage, UFS).
Электронное устройство 100 может использовать аудиомодуль 170, динамик 170А, приемник 170В, микрофон 170С, гнездо 170D для гарнитуры, процессор приложений и т.п. для реализации аудиофункции, например, записи и воспроизведения музыки.
Аудиомодуль 170 выполнен с возможностью преобразования цифровой аудиоинформации в аналоговый аудиосигнал для вывода, а также выполнен с возможностью преобразования входного аналогового аудио в цифровой аудиосигнал. Аудиомодуль 170 может быть выполнен с возможностью кодирования и декодирования аудиосигнала. В некоторых вариантах осуществления аудиомодуль 170 может быть расположен в процессоре 110, или некоторые функциональные модули аудиомодуля 170 могут быть расположены в процессоре 110.
Динамик 170А, также называемый «громкоговорителем», выполнен с возможностью преобразования электрического аудиосигнала в звуковой сигнал. Электронное устройство 100 можно использовать для прослушивания музыки или ответа на вызов по громкой связи через динамик 170А.
Приемник 170B, также называемый «наушником», выполнен с возможностью преобразования электрического аудиосигнала в звуковой сигнал. Когда электронное устройство 100 используется для ответа на вызов или приема голосовой информации, приемник 170B можно поднести близко к уху человека для прослушивания голоса.
Микрофон 170C, также упоминаемый как как «mike» или «mic», выполнен с возможностью преобразования звукового сигнала в электрический сигнал. При совершении вызова или отправке голосового сообщения пользователь может говорить, приблизив рот к микрофону 170C, чтобы ввести звуковой сигнал в микрофон 170C. Электронное устройство 100 может быть снабжено по меньшей мере одним микрофоном 170С. В некоторых других вариантах осуществления электронное устройство 100 может быть снабжено двумя микрофонами 170C для реализации функции шумоподавления в дополнение к сбору звукового сигнала. В некоторых других вариантах осуществления электронное устройство 100 альтернативно может быть снабжено тремя, четырьмя или более микрофонами 170C для сбора звукового сигнала, реализации шумоподавления, идентификации источника звука, реализации функции направленной записи и т.п.
Гнездо 170D для гарнитуры выполнено с возможностью подключения к проводной гарнитуре. Гнездо 170D для гарнитуры может быть USB-интерфейсом 130 или может быть 3,5-мм интерфейсом открытой платформы мобильных терминалов (open mobile terminal platform, OMTP) или стандартным интерфейсом ассоциации индустрии сотовой связи США (cellular telecommunications industry association of the USA, CTIA).
Магнитный датчик включает в себя датчик Холла. Электронное устройство 100 может обнаруживать открытие и закрытие откидной крышки с использованием магнитного датчика. Датчик расстояния выполнен с возможностью измерения расстояния. Электронное устройство 100 может измерять расстояние инфракрасным или лазерным способом. В некоторых вариантах осуществления, в сценарии фотографирования, электронное устройство 100 может измерять расстояние с использованием датчика расстояния для реализации быстрой фокусировки. Датчик отпечатков пальцев выполнен с возможностью сбора отпечатков пальцев. Электронное устройство 100 может использовать функцию собранного отпечатка пальца для реализации разблокировки на основе отпечатка пальца, доступа к блокировке приложения, фотографирования на основе отпечатка пальца, ответа на вызов на основе отпечатка пальца и т.п.
Датчик касания также упоминается как «сенсорная панель». Датчик касания может быть расположен на дисплее 150, и датчик касания и дисплей 150 образуют сенсорный экран, который также называется «сенсорным экраном». Датчик касания выполнен с возможностью обнаружения операции касания, выполняемой на датчике касания или рядом с ним. Датчик касания может передавать обнаруженную операцию касания в процессор приложений для определения типа события касания. Визуальный вывод, связанный с операцией касания, может быть представлен на дисплее 150. В некоторых других вариантах осуществления датчик касания альтернативно может быть расположен на поверхности электронного устройства 100 и находится в месте, отличном от местоположения дисплея 150.
Датчик давления выполнен с возможностью восприятия сигнала давления и может преобразовывать сигнал давления в электрический сигнал. В некоторых вариантах осуществления датчик давления может быть расположен на дисплее 150. Существует множество типов датчиков давления, таких как резистивный датчик давления, индуктивный датчик давления и емкостный датчик давления. Емкостный датчик давления может включать в себя по меньшей мере две параллельные пластины, выполненные из проводящих материалов. Когда к датчику давления прикладывается усилие, между электродами изменяется емкость. Электронное устройство 100 определяет интенсивность давления на основе изменения емкости. Когда на дисплее 150 выполняется операция касания, электронное устройство 100 обнаруживает интенсивность операции касания с использованием датчика давления. Электронное устройство 100 может дополнительно вычислять местоположение касания на основе сигнала обнаружения датчика давления. В некоторых вариантах осуществления датчик давления выполнен с возможностью обнаружения местоположения ввода, измерения давления и т.п. стилусного пера.
Клавиша 190 включает в себя клавишу питания, клавишу громкости и т.п. Клавиша 190 может быть механической клавишей или сенсорной клавишей. Электронное устройство 100 может принимать ввод от клавиши и генерировать ввод сигнала клавиши, связанный с пользовательской настройкой и управлением функциями электронного устройства 100.
Пример, в котором планшетный компьютер представляет собой электронное устройство 100, и PC представляет собой электронное устройство 300, используется ниже для подробного описания способа ввода стилусным пером согласно варианту осуществления настоящей заявки.
Как показано на фиг.6, приложение 1 работает на PC. Например, приложение 1 представляет собой приложение для рисования. Планшетный компьютер настроен как устройство ввода PC. PC дополнительно проецирует интерфейс приложения 1 на планшетный компьютер для отображения. Пользователь может использовать стилусное перо для рисования линии на планшетном компьютере или для рукописного ввода на PC. Например, пользователь использует стилусное перо для рисования линии на экране (проекционном интерфейсе) планшетного компьютера, чтобы реализовать ввод рукописного рисунка на интерфейсе дисплея приложения для рисования.
В реализации модуль сенсорного управления планшетного компьютера принимает ввод стилусным пером и получает соответствующую рукописную информацию на основе каждого ввода, при этом рукописная информация включает в себя любое одно или любую комбинацию из следующего: координаты ввода, результаты измерения давления, угол наклона и т.п. В качестве ввода используется ввод стилусным пером в точке (например, точке пикселя) на экране планшетного компьютера.
Например, как показано на фиг.7А, пользователь использует стилусное перо 200 для рисования линии на планшетном компьютере 100. Ввод стилусным пером 200 в точке а на экране планшетного компьютера 100 называется вводом а (первым вводом). Рукописная информация, соответствующая вводу a, называется рукописной информацией a (первой рукописной информацией).
Обратимся теперь к фиг.6. Модуль сенсорного управления планшетного компьютера отправляет рукописную информацию в PC с использованием беспроводной связи (например, Bluetooth). Приложение 1, работающее на PC, принимает рукописную информацию а и рисует рукописную траекторию на основе рукописной информации а. В реализации приложение 1 рисует точку на основе рукописной информации a. Например, приложение 1 определяет местоположение точки рисования на основе координат ввода рукописной информации, определяет шкалу серого точки рисования на основе результата измерения давления рукописной информации и определяет размер точки рисования на основе угла наклона рукописной информации. Точка, которая нарисована на основе рукописной информации а, соединяется с точкой, нарисованной на PC, для формирования первой рукописной траектории. Например, первая рукописная траектория включает в себя точки, которые рисуются PC на основе ввода в процессе, в котором стилусное перо перемещается из точки o, показанной на фиг.7А, в точку а. Приложение 1 дополнительно выполняет рендеринг и синтез на основе текущего интерфейса дисплея и первой рукописной траектории, чтобы сгенерировать первое проекционное изображение, которое включает в себя первую рукописную траекторию.
В примере приложение 1 предсказывает, на основе процесса, в котором рукописная информация рисует рукописную траекторию, отрезок рукописной траектории, используя алгоритм оценки штриха, на основе нарисованной рукописной траектории, и объединяет фактически нарисованную рукописную траекторию и предсказанную рукописную траекторию. Так как предсказанная рукописная траектория отображается заранее, создается визуальный эффект высокой скорости отображения при рисовании линии. Таким образом, можно уменьшить задержку при рисовании рукописной траектории на PC, то есть можно уменьшить задержку PC при генерации первого изображения. Алгоритм оценки штриха используется для предварительной оценки и предварительного расчета местоположения штриха на основе правила движения известного штриха. В частности, в традиционной технологии может использоваться обычный алгоритм оценки штриха (например, распределение Гаусса). Это не ограничивается вариантами осуществления настоящей заявки.
При необходимости PC сжимает первое проекционное изображение в потоковое видео. PC отправляет потоковое видео на планшетный компьютер с использованием беспроводной связи (например, Wi-Fi). Планшетный компьютер принимает потоковое видео и распаковывает потоковое видео для получения первого проекционного изображения. Планшетный компьютер отображает первое проекционное изображение (первое проекционное изображение включает в себя первую рукописную траекторию).
Так как процесс передачи рукописной информации с планшетного компьютера на PC занимает много времени, первое проекционное изображение передается из PC на планшетный компьютер, и PC генерирует первое проекционное изображение, поэтому при получении первого проекционного изображения имеется задержка в отношении планшетного компьютера. В пределах задержки пользователь продолжает вводить данные на дисплее планшетного компьютера с использованием стилусного пера. Между первой рукописной траекторией, отображаемой на планшетном компьютере, и стилусным пером существует определенное расстояние.
Согласно способу ввода стилусным пером, предусмотренному в этом варианте осуществления настоящей заявки, модуль сенсорного управления планшетного компьютера принимает ввод стилусным пером, и приложение 2, работающее на планшетном компьютере, дополнительно локально рисует рукописную траекторию на основе на рукописной информации, которая вводится в этот момент времени. В реализации приложение 2 рисует точку на основе рукописной информации. Например, приложение 2 определяет местоположение точки рисования на основе координат ввода рукописной информации, определяет шкалу серого точки рисования на основе измерения давления рукописной информации и определяет размер точки рисования на основе угла наклона рукописной информации. Для получения дополнительной информации о конкретном способе рисования рукописной траектории с использованием планшетного компьютера на основе рукописной информации следует обратиться к средству, используемому в традиционной технологии. Это не ограничивается вариантами осуществления настоящей заявки.
Точка, нарисованная с использованием приложения 2 на основе текущего ввода, соединяется с точкой, нарисованной с использованием приложения 2, для формирования второй рукописной траектории.
В примере приложение 2 предсказывает, на основе процесса, в котором рукописная информация рисует рукописную траекторию, отрезок рукописной траектории, используя алгоритм оценки штриха, на основе нарисованной рукописной траектории, и объединяет фактически нарисованную рукописную траекторию и предсказанную рукописную траекторию. Например, как показано на фиг.7B, точка предсказания вычисляется на основе нарисованной точки с использованием алгоритма оценки штриха, и предсказанная рукописная траектория (точки предсказания соединены для формирования предсказанной рукописной траектории) отображается заранее для создания визуального эффекта высокой скорости отображения при рисовании линии. Таким образом, можно уменьшить задержку планшетного компьютера при рисовании рукописной траектории. В некоторых примерах для уменьшения задержки при рисования рукописной траектории приложение 2 может дополнительно использовать способы, такие как принудительное покадровое рисование и синтез.
Следует понимать, что приложение 2 на планшетном компьютере только рисует рукописную траекторию и не требует генерации полного изображения интерфейса дисплея приложения 1. Таким образом, требования к вычислительной мощности планшетного компьютера являются низкими, и планшетный компьютер может быть применим к электронному устройству с простой системой на кристалле (system-on-a-chip, SOC).
Планшетный компьютер накладывает вторую рукописную траекторию, которая локально нарисована, на первое проекционное изображение для отображения (то есть для отображения обновленного проекционного интерфейса). В примере изображение на дисплее (обновленный проекционный интерфейс) планшетного компьютера включает в себя два слоя. Нижний слой является проекционным слоем, верхний слой является локальным слоем, и локальный слой подвешен в проекционном слое. Планшетный компьютер использует принятое первое проекционное изображение в качестве проекционного слоя и использует рукописную траекторию, которая локально нарисована в качестве локального слоя. Планшетный компьютер отображает изображение, синтезированное с использованием проекционного слоя и локального слоя.
Существует первая задержка планшетного компьютера при получении проекционного изображения, и существует вторая задержка для локального рисования рукописной траектории. В реализации изображение планшетного компьютера в момент времени T представляет собой изображение, полученное путем синтеза первого проекционного изображения, сгенерированного PC на основе первого ввода в момент времени (T – первая задержка) и второй рукописной траектории, которая нарисована планшетным компьютером на основе второго ввода в момент времени (T – вторая задержка).
Например, первая задержка равна 100 мс, и вторая задержка равна 20 мс. Как показано на фиг.7C, планшетный компьютер принимает первый ввод (ввод a) стилусного пера в момент времени (T – 100 мс), отправляет рукописную информацию a, соответствующую вводу a, в PC и получает первое проекционное изображение из PC. Первое проекционное изображение включает в себя первую рукописную траекторию, и первая рукописная траектория включает в себя точки, которые рисуются PC на основе ввода в процессе, в котором стилусное перо перемещается из точки o в точку a. В пределах первой задержки (100 мс) планшетного компьютера для получения первого проекционного изображения стилусное перо перемещается из точки a в точку b, и стилусное перо перемещается в точку b в момент времени T.
Планшетный компьютер принимает второй ввод (ввод c) стилусного пера в момент времени (T-20 мс) и локально рисует вторую рукописную траекторию на основе ввода c. Вторая рукописная траектория включает в себя точки, которые рисуются планшетным компьютером на основе ввода в процессе, в котором стилусное перо перемещается из точки а в точку с. Следует понимать, что вторая рукописная траектория является продолжением первой рукописной траектории.
Проекционный слой отображаемого изображения планшетного компьютера в момент времени Т представляет первое проекционное изображение (включая первую рукописную траекторию), и локальный слой представляет вторую рукописную траекторию. Вторая рукописная траектория, которая нарисована локально, уменьшает расстояние между первой рукописной траекторией и стилусным пером, уменьшает задержку при рисовании линии и увеличивает скорость отклика стилусного пера.
В реализации приложение 2 определяет продолжительность рисования второй рукописной траектории на основе первой задержки и второй задержки. Например, планшетный компьютер принимает второй ввод стилусным пером в момент времени (Т – вторая задержка) и соединяет точки, которые нарисованы на основе ввода в промежутке времени (первая задержка – вторая задержка) перед вторым вводом, для формирования второй рукописной траектории.
Например, как показано на фиг.7C, планшетный компьютер принимает ввод c стилусного пера в момент времени (T – 20 мс) и соединяет, в качестве второй рукописной траектории, точки, которые нарисованы на основе ввода (то есть ввода между точкой a и точкой в) в пределах 80 мс (100 мс – 20 мс) перед вводом c. Длина второй рукописной траектории представляет собой длину траектории между точкой а и точкой с. В этой реализации вторая рукописная траектория является траекторией продолжения первой рукописной траектории, и вторая рукописная траектория не совпадает с первой рукописной траекторией.
Следует понимать, что в некоторых других вариантах осуществления длина второй рукописной траектории также может быть больше длины траектории между точкой a и точкой c. Например, точки, которые нарисованы на основе ввода (ввода между точкой d и точкой c на фиг.7C) в пределах 150 мс перед вводом c, соединяются в виде второй рукописной траектории. В другом примере точки, которые нарисованы на основе ввода между вводом o и вводом c, соединяются в виде второй рукописной траектории. Это не ограничивается вариантами осуществления настоящей заявки. В этой реализации вторая рукописная траектория совпадает с частью первой рукописной траектории, и вторая рукописная траектория включает в себя часть продолжения первой рукописной траектории. Следует понимать, что, в качестве продолжения первой рукописной траектории, вторая рукописная траектория может альтернативно полностью совпадать с первой рукописной траекторией.
Следует отметить, что соответствие между проекционным изображением, полученным из PC, и рукописной траекторией, которая локально нарисована, когда планшетный компьютер синтезирует отображаемое изображение, не ограничено в вариантах осуществления настоящей заявки. Например, в некоторых других вариантах осуществления планшетный компьютер получает проекционное изображение в момент времени T и получает рукописную траекторию, которая локально нарисована в момент времени (T + t), где t > 0; и синтезирует проекционное изображение, полученное в момент времени T, и рукописную траекторию, которая локально нарисована и получена в момент времени (T+t), на отображаемом изображении для отображения. В некоторых других вариантах осуществления планшетный компьютер получает рукописную траекторию, которая локально нарисована в момент времени Т, и получает проекционное изображение в момент времени (Т+t), где t>0; и синтезирует рукописную траекторию, которая локально нарисована и получена в момент времени T, и проекционное изображение, полученное в момент времени (T+t), на отображаемом изображении для отображения.
Например, на фиг.8А показан конкретный пример способа ввода стилусным пером согласно варианту осуществления настоящей заявки. Как показано на фиг.8А, планшетный компьютер 100 отображает интерфейс дисплея приложения для рисования и принимает, в первый момент времени, ввод точки а на экране с использованием стилусного пера 200 для получения рукописной информации а. Планшетный компьютер 100 отправляет рукописную информацию a в PC 300. PC 300 рисует на интерфейсе 710 дисплея приложения для рисования на основе рукописной информации a, и текущая точка рисования и нарисованная точка соединяются для формирования рукописной траектории 720. PC 300 выполняет рендеринг и синтез для генерации первого проекционного изображения 730, которое включает в себя рукописную траекторию 720. PC 300 сжимает первое проекционное изображение 730 в потоковое видео и отправляет потоковое видео на планшетный компьютер 100. Планшетный компьютер 100 принимает потоковое видео и получает первое проекционное изображение 730.
В процессе, в котором планшетный компьютер 100 передает рукописную информацию а в PC 300, и планшетный компьютер 100 принимает первое проекционное изображение 730, пользователь продолжает выполнять ввод с использованием стилусного пера 200, и планшетный компьютер 100 продолжает принимать ввод от стилусного пера 200. Например, как показано на фиг.8А, стилусное перо 200 перемещается из точки а в точку b. Планшетный компьютер принимает, во второй момент времени, ввод стилусным пером 200 в точке с на экране, получает соответствующую рукописную информацию с и выполняет рисование на основе рукописной информации с. Планшетный компьютер 100 соединяет точки, которые нарисованы на основе ввода между вводом a и вводом c для формирования рукописной траектории 740.
Планшетный компьютер 100 отображает обновленный интерфейс отображения приложения для рисования, то есть отображает изображение 750 (рукописная траектория 740 накладывается на первое проекционное изображение 730 для отображения). Проекционный слой изображения 750 представляет собой первое проекционное изображение 730, и локальный слой представляет собой рукописную траекторию 740.
Как показано на фиг.8B, на изображении 750 отображается рукописная траектория 740 (вторая рукописная траектория), поэтому уменьшается расстояние между рукописной траекторией 720 (первой рукописной траекторией) и стилусным пером 200, и уменьшается задержка при рисовании линии планшетного компьютера 100.
Следует отметить, что интерфейс, обозначенный пунктирной линией на фиг.8А, не отображается отдельно, а используется только в качестве промежуточного этапа, например, для описания, чтобы облегчить понимание.
Следует отметить, что PC 300, показанный на фиг.8A, отображает интерфейс 710 и первое проекционное изображение 730. Следует понимать, что в некоторых других вариантах осуществления PC 300 может не отображать интерфейс 710 и первое проекционное изображение 730, и только обеспечивает вычислительные возможности планшетного компьютера 100.
Следует понимать, что планшетный компьютер принимает второй ввод (ввод c) стилусного пера в момент времени (T – 20 мс) и дополнительно отправляет рукописную информацию, соответствующую второму вводу, в PC. Приложение 1, работающее на PC, принимает рукописную информацию c, выполняет рисование на основе рукописной информации c и выполняет рендеринг и синтез на основе текущего интерфейса дисплея и точки рисования приложения 1, чтобы сгенерировать второе проекционное изображение, которое включает в себя рукописную траекторию 3. PC сжимает второе проекционное изображение в потоковое видео. PC отправляет потоковое видео на планшетный компьютер с использованием беспроводной связи (например, Wi-Fi). Планшетный компьютер принимает потоковое видео и распаковывает потоковое видео для получения второго проекционного изображения. Кроме того, планшетный компьютер накладывает рукописную траекторию 4, которая локально нарисована, на второе проекционное изображение для отображения.
Рукописная траектория 3 включает в себя точки, которые рисуются PC на основе ввода в процессе, в котором стилусное перо перемещается из точки o в точку c. Вторая рукописная траектория включает в себя точки, которые рисуются планшетным компьютером на основе ввода в процессе, в котором стилусное перо перемещается из точки а в точку с. После того как планшетный компьютер отображает второе проекционное изображение, рукописная траектория 3 может покрывать вторую рукописную траекторию.
Таким образом, точка, которая локально нарисована планшетным компьютером, покрывается точкой, которая нарисована PC на основе одного и того же ввода по истечении определенного периода времени. В реализации после отображения рукописной траектории, которая локально нарисована планшетным компьютером, в течение заданного промежутка времени, планшетный компьютер прекращает отображение рукописной траектории.
Следует отметить, что в этом варианте осуществления настоящей заявки для описания используется пример, в котором PC и планшетный компьютер выполняют рисование один раз в каждый момент времени, когда PC и планшетный компьютер принимают ввод. В некоторых других вариантах осуществления после приема множества вводов PC и планшетный компьютер также могут выполнять рисование один раз на основе множества вводов. Например, рисование выполняется один раз на основе ввода стилусным пером, принятого в течение 10 мс. Это не ограничивается вариантами осуществления настоящей заявки.
Например, как показано на фиг.9, в момент времени Т0 планшетный компьютер 100 отображает проекционный интерфейс PC, и проекционный интерфейс не включает в себя рукописный ввод. Пользователь рисует линию на планшетном компьютере 100 с использованием стилусного пера. Планшетный компьютер 100 принимает ввод от стилусного пера. Например, планшетный компьютер использует ввод стилусным пером, принятый в течение первого промежутка времени в качестве ввода, и отправляет рукописную информацию, соответствующую вводу, в PC для рисования рукописной траектории. Например, на фиг.9, ввод стилусным пером между моментом времени T0 и моментом времени T1b является первым вводом. Планшетный компьютер 100 отправляет рукописную информацию, соответствующую первому вводу, в PC 300. PC 300 генерирует, на основе первого ввода, проекционное изображение, которое включает в себя первую рукописную траекторию. Планшетный компьютер 100 получает проекционное изображение, которое включает в себя первую рукописную траекторию.
Планшетный компьютер 100 дополнительно выполняет локальное рисование на основе второго ввода. В примере период времени ввода второго ввода находится после периода времени ввода первого ввода и вообще не перекрывается периодом времени первого ввода. Например, на фиг.9 ввод стилусным пером между моментом времени T1b и моментом времени T2 является вторым вводом. Планшетный компьютер 100 выполняет локальное рисование на основе ввода стилусным пером между моментом времени T1b и моментом времени T2, чтобы сгенерировать вторую рукописную траекторию. Вторая рукописная траектория является траекторией продолжения первой рукописной траектории, и вторая рукописная траектория не совпадает с первой рукописной траекторией. В другом примере, момент начала периода времени ввода второго ввода наступает после момента начала периода времени ввода первого ввода, и период времени ввода второго ввода частично перекрывает период времени ввода первого ввода. Например, на фиг.9 ввод стилусным пером между моментом времени T1a и моментом времени T2 является вторым вводом, где момент времени T1a находится после момента времени T0 и перед моментом времени T1b. Планшетный компьютер 100 выполняет локальное рисование на основе ввода стилусным пером между моментом времени T1а и моментом времени T2, чтобы сгенерировать вторую рукописную траекторию. Вторая рукописная траектория совпадает с частью первой рукописной траектории, и вторая рукописная траектория включает в себя часть продолжения первой рукописной траектории.
Планшетный компьютер 100 отображает обновленный проекционный интерфейс. Проекционное изображение, которое включает в себя первую рукописную траекторию, отображается на проекционном слое обновленного проекционного интерфейса, и вторая рукописная траектория (локальный слой) отображается на проекционном изображении способом наложения. Вторая рукописная траектория включает в себя часть продолжения первой рукописной траектории, поэтому уменьшается расстояние между первой рукописной траекторией и стилусным пером, и уменьшается задержка при рисовании линии планшетного компьютера 100.
В реализации планшетный компьютер 100 определяет продолжительность периода времени ввода второго ввода на основе первой задержки и/или второй задержки. Первая задержка включает в себя задержку планшетного компьютера 100 для получения проекционного изображения из PC, и вторая задержка включает в себя задержку планшетного компьютера 100 для локального рисования второй рукописной траектории. В примере продолжительность периода времени ввода для второго ввода = (первая задержка – вторая задержка). Таким образом, вторая рукописная траектория, которая нарисована на основе второго ввода, является траекторией продолжения первой рукописной траектории, нарисованной на основе первого ввода, и вторая рукописная траектория не совпадает с первой рукописной траекторией. В другом примере продолжительность периода времени ввода второго ввода = первой задержке. Таким образом, вторая рукописная траектория, которая нарисована на основе второго ввода, совпадает с частью первой рукописной траектории, нарисованной на основе первого ввода, и вторая рукописная траектория включает в себя часть продолжения первой рукописной траектории. Например, следует обратиться к фиг.9. Первая задержка = (T2 – T1a), и вторая задержка = (T1b – T1a). В одной реализации продолжительность периода времени ввода второго ввода = (первая задержка – вторая задержка) = ((T2 – T1a) – (T1b – T1a)) = (T2 – T1b), то есть второй ввод является вводом стилусным пером между моментом времени T1b и моментом времени T2. В другой реализации продолжительность периода времени ввода второго ввода = первая задержка = (T2 – T1a), то есть второй ввод является вводом стилусным пером между моментом времени T1a и моментом времени T2.
На фиг.10 показан пример сценария способа ввода стилусным пером согласно варианту осуществления настоящей заявки.
Как показано на фиг.10, приложение 1 работает на PC 300. Например, приложение 1 представляет собой приложение для рисования. Планшетный компьютер 100 установлен в качестве устройства ввода PC 300. PC 300 проецирует интерфейс приложения 1 на планшетный компьютер 100 для отображения. Планшетный компьютер 100 отображает интерфейс 810 приложения для рисования. Пользователь использует стилусное перо 200 для рисования линии в интерфейсе 810. Например, в момент времени T0 планшетный компьютер 100 принимает ввод (первый ввод) относительно того, что стилусное перо 200 перемещается из точки a в точку b в интерфейсе 810. Планшетный компьютер 100 отправляет в PC 300 информацию ввода о том, что стилусное перо 200 перемещается из точки a в точку b, и выполняет локальное рисование на основе информации ввода. Например, планшетный компьютер 100 локально рисует рукописную траекторию 820. В момент времени T1 планшетный компьютер 100 отображает рукописную траекторию 820 на интерфейсе 810. В дополнение к этому, PC 300 принимает информацию ввода о том, что стилусное перо 200 перемещается из точки a в точку b, и генерирует, на основе этой информации, проекционное изображение, которое включает в себя рукописную траекторию 830. PC 300 отправляет проекционное изображение, которое включает в себя рукописную траекторию 830, на планшетный компьютер 100. Планшетный компьютер 100 получает проекционное изображение, которое включает в себя рукописную траекторию 830, обновляет интерфейс проецирования в момент времени T2 и отображает на проекционном слое проекционное изображение, которое включает в себя рукописную траекторию 830.
Следует понимать, что локальный слой обновленного проекционного интерфейса включает в себя рукописную траекторию 820, проекционный слой включает в себя рукописную траекторию 830, и локальный слой накладывается на проекционный слой. Как рукописная траектория 820, так и рукописная траектория 830 рисуются на основе ввода перемещения стилусного пера 200 из точки a в точку b, и рукописная траектория 820 и рукописная траектория 830 являются идентичными траекториями линий.
Так как задержка планшетного компьютера 100 для выполнения локального рисования меньше, чем задержка для получения проекционного изображения из PC 300, момент времени T1 наступает раньше, чем момент времени T2. Другими словами, отображение рукописной траектории, которая локально нарисована планшетным компьютером 100, на экране планшетного компьютера 100 происходит быстрее, чем отображение рукописной траектории PC 300, поэтому рукописная траектория, введенная стилусным пером, может быстрее отображаться пользователю. Это сокращает задержку при рисовании линии стилусным пером и повышает скорость отклика стилусного пера.
В момент времени T2 планшетный компьютер 100 получает из PC 300 проекционное изображение, которое включает в себя рукописную траекторию 830, и отображает проекционное изображение на проекционном слое. Рукописная траектория 830 и рукописная траектория 820 являются идентичными траекториями линий, и рукописная траектория 830 покрывает рукописную траекторию 820. С момента времени T2 отображение рукописной траектории 820 может прекратиться. В некоторых примерах, после отображения рукописной траектории 820, которая локально нарисована планшетным компьютером 100, в течение определенного периода времени планшетный компьютер 100 прекращает отображение рукописной траектории 820 в момент времени T3. Например, момент времени T3 совпадает с моментом времени T2 или момент времени T3 наступает позже момента времени T2.
Следует понимать, что в примере между моментом времени T1 и моментом времени T2 пользователь продолжает использовать стилусное перо 200 для рисования линии на планшетном компьютере 100, и стилусное перо 200 перемещается от точки b в точку c. Планшетный компьютер 100 выполняет локальное рисование на основе информации, введенной стилусным пером, когда стилусное перо перемещается из точки b в точку с, и отображает рукописную траекторию, которая создается локально (на фиг.10 отрезок линии между точкой b и точкой с, который показан пунктирной линией, чтобы отличать рукописную траекторию 820 от рукописной траектории 830).
В некоторых вариантах осуществления для одного и того же ввода стилусным пером рукописная траектория, которая нарисована на PC, отличается от рукописной траектории, нарисованной на планшетном компьютере. Например, цвета линий, толщина линий, текстура линий и границы линий двух рукописных траекторий различаются. Например, как показано на фиг.11, планшетный компьютер 100 локально рисует рукописную траекторию 901 и получает рукописную траекторию 902 из PC 300. Линия рукописной траектории 901, которая локально нарисована планшетным компьютером 100, толще, чем линия рукописной траектории 902 нарисованный с помощью PC 300. Таким образом, рукописная траектория, которая локально нарисована на планшетном компьютере, не может хорошо сливаться с рукописной траекторией на изображении, принятом из PC.
В способе ввода стилусным пером согласно вариантам осуществления настоящей заявки PC отправляет на планшетный компьютер параметр (например, параметр цвета линии, параметр толщины линии или параметр текстуры линии) для рисования рукописной траектории, и планшетный компьютер рисует рукописную траекторию на основе параметра для рисования рукописной траектории на PC, поэтому рукописная траектория, локально рисуемая планшетным компьютером, лучше сливается с проекционным изображением, генерируемым PC.
В реализации приложение 3 работает на PC. Приложение 3 выполнено с возможностью отправки на планшетный компьютер параметра для рисования рукописной траектории с использованием PC. В некоторых примерах приложение 3 совпадает с приложением 2, работающим на планшетном компьютере. Понятно, что приложение 3 может отличаться от приложения 2. Это не ограничивается вариантами осуществления настоящей заявки.
В данном случае используется пример, в котором приложение 3, работающее на PC, является таким же, как и приложение 2, работающее на планшетном компьютере. Как показано на фиг.12, планшетный компьютер принимает первый ввод стилусным пером, получает первую рукописную информацию и отправляет первую рукописную информацию в PC. PC рисует первую рукописную траекторию на основе первой рукописной информации и выполняет рендеринг и синтез для генерации первого проекционного изображения, которое включает в себя первую рукописную траекторию. PC сжимает первое проекционное изображение в потоковое видео и отправляет потоковое видео на планшетный компьютер с использованием беспроводной связи.
Приложение 1 дополнительно отправляет в приложение 2 параметр для рисования первой рукописной траектории с использованием приложения 1. В одной реализации каждый раз, когда приложение 2 принимает параметр рисования, приложение 2 отправляет параметр рисования на планшетный компьютер с использованием беспроводной связи. В другой реализации, если приложение 2 принимает параметр рисования в первый момент времени, приложение 2 отправляет параметр рисования на планшетный компьютер с использованием беспроводной связи; и затем каждый раз, когда приложение 2 принимает параметр рисования, приложение 2 сравнивает параметр рисования с параметром рисования, который был принят в последний раз. Если определено, что какой-либо параметр рисования изменен, измененный параметр рисования отправляется на планшетный компьютер с использованием беспроводной связи.
Планшетный компьютер дополнительно принимает второй ввод стилусным пером и принимает вторую рукописную информацию. Приложение 2, работающее на планшетном компьютере, рисует вторую рукописную траекторию на основе второй рукописной информации, используя параметр рисования, принятый из PC. Планшетный компьютер отображает вторую рукописную траекторию на первом проекционном изображении способом наложения. Так как параметр рисования, используемый планшетным компьютером для рисования второй рукописной траектории, является таким же, как и параметр рисования, используемый PC для рисования первой рукописной траектории, вторая рукописная траектория может быть хорошо сливаться с первым проекционным изображением, которое включает в себя первую рукописную траекторию. Это позволяет улучшить визуальный эффект.
В другой реализации функция приложения 3 также может быть реализована с использованием приложения 1, то есть приложение 1 отправляет на планшетный компьютер параметр, используемый PC для рисования рукописной траектории. Это не ограничивается вариантами осуществления настоящей заявки.
В способе ввода стилусным пером согласно вариантам осуществления настоящей заявки электронное устройство генерирует, используя вычислительные возможности устройства обработки, проекционное изображение, которое включает в себя рукописную траекторию, локально рисует рукописную траекторию и отображает рукописную траекторию, которая локально нарисована на проекционном изображении, сгенерированном устройством обработки способом наложения. Так как локальная задержка электронного устройства при рисовании является маленькой, локально нарисованная рукописная траектория уменьшает расстояние между стилусным пером на экране электронного устройства и рукописной траекторией на проекционном изображении, и уменьшает задержку при рисовании линии ввода стилусным пером на электронном устройстве, поэтому скорость отклика стилусного пера увеличивается.
Следует понимать, что для реализации вышеизложенных функций электронное устройство включает в себя аппаратную структуру и/или программный модуль для выполнения каждой соответствующей функции. Специалисту в данной области техники должно быть очевидно, что в сочетании с примерами, описанными в вариантах осуществления, раскрытых в этом описании, в вариантах осуществления настоящей заявки блоки, алгоритмы и этапы могут быть реализованы с использованием аппаратных средств или комбинации аппаратных средств и компьютерного программного обеспечения. То, выполняется ли функция с помощью аппаратных средств или аппаратных средств, управляемых компьютерным программным обеспечением, зависит от конкретных применений и конструктивных ограничений технических решений. Специалист в данной области техники может использовать разные способы для реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за рамки вариантов осуществления настоящей заявки.
В вариантах осуществления настоящей заявки электронное устройство может быть разделено на функциональные модули на основе приведенных выше примеров способов. Например, каждый функциональный модуль может быть получен путем разделения на основе каждой соответствующей функции, или две или более функции могут быть объединены в один модуль обработки. Объединенный модуль может быть реализован в виде аппаратных средств или может быть реализован в виде программного функционального модуля. Следует отметить, что в вариантах осуществления настоящей заявки разделение на модули является примером и представляет собой только разделение на логические функции. Во время фактической реализации может использоваться другой способ разделения.
В примере на фиг.13 показано схематичное представление возможной структуры электронного устройства в предыдущих вариантах осуществления. Электронное устройство 1000 включает в себя блок 1001 обработки, блок 1002 хранения, блок 1003 связи и блок 1004 отображения.
Блок 1001 обработки выполнен с возможностью контроля и управления действием электронного устройства 1000. Например, блок обработки может быть выполнен с возможностью рисования рукописной траектории на основе рукописной информации и/или выполнения другого этапа обработки в варианте осуществления настоящей заявки.
Блок 1002 хранения выполнен с возможностью хранения программного кода и данных электронного устройства 1000. Например, блок хранения может быть выполнен с возможностью хранения параметра рисования, полученного из устройства обработки.
Модуль 1003 связи выполнен с возможностью поддержки электронного устройства 1000 при обмене данными с другим электронным устройством. Например, блок связи может быть выполнен с возможностью отправки рукописной информации в устройство обработки, приема проекционного изображения, которое включает в себя рукописную траекторию, из устройства обработки и/или приема параметра рисования из устройства обработки.
Блок 1004 отображения выполнен с возможностью отображения интерфейса электронного устройства 1000. Например, блок отображения может быть выполнен с возможностью отображения изображения, которое включает в себя рукописную траекторию.
Конечно, блочные модули в электронном устройстве 1000 включают в себя, помимо прочего, блок 1001 обработки, блок 1002 хранения, блок 1003 связи и блок 1004 отображения. Например, электронное устройство 1000 может дополнительно включать в себя блок питания. Блок питания выполнен с возможностью подачи питания на электронное устройство 1000.
Блок 1001 обработки может представлять собой процессор или контроллер, например, может быть центральным процессором (central processing unit, CPU), процессором цифровых сигналов (digital signal processor, DSP), специализированной интегральной схемой (application-specific integrated circuit, ASIC), программируемой пользователем вентильной матрицей (field programmable gate array, FPGA) или другим программируемым логическим устройством, транзисторным логическим устройством, аппаратным компонентом или любым их сочетанием. Блок 1002 хранения может представлять собой память. Блок 1003 связи может быть приемопередатчиком, схемой приемопередатчика и т.п. Блок 1004 отображения может быть дисплеем.
Например, блок 1001 обработки представляет собой процессор (процессор 110 показан на фиг.5), блок 1002 хранения может быть памятью (внутренней памятью 121, показанной на фиг.5), блок 1003 связи может упоминаться как интерфейс связи и включает в себя модуль беспроводной связи (модуль 160 беспроводной связи, показанный на фиг.5), и блок 1004 отображения представляет собой дисплей (дисплей 150, показанный на фиг.5, где дисплей 150 может быть сенсорным экраном, и дисплейная панель и сенсорная панель могут быть интегрированы в сенсорный экран). Электронное устройство 1000, представленное в вариантах осуществления настоящей заявки, может быть электронным устройством 100, показанным на фиг.5. Процессор, память, интерфейс связи, сенсорный экран и т.п. могут быть подключены вместе, например, через шину.
Вариант осуществления настоящей заявки дополнительно предусматривает машиночитаемый носитель информации. Машиночитаемый носитель информации хранит код компьютерной программы; и когда процессор исполняет код компьютерной программы, электронное устройство выполняет способ согласно предыдущим вариантам осуществления.
Вариант осуществления настоящей заявки дополнительно предусматривает компьютерный программный продукт; и когда компьютерный программный продукт запускается на компьютере, компьютер может выполнять способ согласно вышеизложенным вариантам осуществления.
Электронное устройство 1000, машиночитаемый носитель информации и компьютерный программный продукт, предусмотренные в вариантах осуществления настоящей заявки, выполнен каждый по отдельности с возможностью выполнения соответствующих способов, предусмотренных выше. Таким образом, полезные эффекты, которые могут быть достигнуты с использованием электронного устройства 1000, машиночитаемого носителя информации и компьютерного программного продукта, относятся к полезным эффектам в соответствующих способах, представленных выше. В данном документе подробности повторно не описываются.
На основе описаний реализаций специалист в данной области техники может ясно понять, что в целях удобного и краткого описания разделение на вышеизложенные функциональные модули используется только в качестве примера для описания. Во время фактического применения функции могут быть распределены по различным функциональным модулям для реализации в зависимости от требований. Другими словами, внутренняя структура устройства разделена на различные функциональные модули для реализации всех или некоторых функций, описанных выше.
В нескольких вариантах осуществления, представленных в настоящей заявке, следует понимать, что раскрытые устройство и способ могут быть реализованы другими способами. Например, описанный вариант осуществления устройства является только примером. Например, модуль или разделение на блоки представляет собой только логическое функциональное разделение и в реальной реализации может быть другим разделением. Например, множество блоков или компонентов могут быть объединены или интегрированы в другое устройство, или некоторые функции могут игнорироваться или не выполняться. В дополнение к этому, отображаемые или обсуждаемые взаимные связи или прямые связи или коммуникационные соединения могут быть реализованы с использованием некоторых интерфейсов. Косвенные связи или коммуникационные соединения между устройствами или блоками могут быть реализованы в электрической, механической или других формах.
В дополнение к этому, функциональные блоки в вариантах осуществления настоящей заявки могут быть интегрированы в один процессорный блок, при этом каждый из блоков может существовать отдельно физически, или два или более блоков могут быть интегрированы в один блок. Интегрированный блок может быть реализован в виде аппаратных средств или может быть реализован в виде функционального блока программного обеспечения.
Когда интегрированный блок реализован в форме программного функционального блока и продается или используется как независимый продукт, интегрированный блок может храниться на машиночитаемом носителе информации. Исходя из такого понимания, технические решения в вариантах осуществления, в основном или частично дополняющие предшествующий уровень техники, или все или некоторые из технических решений могут быть реализованы в виде программного продукта. Программный продукт хранится на носителе информации и включает в себя несколько инструкций, позволяющих устройству (которое может быть однокристальным микрокомпьютером, микросхемой или т.п.) или процессору (processor) выполнять все или некоторые этапы способов, описанных в вариантах осуществления настоящей заявки. Вышеупомянутый носитель информации включает в себя любой носитель информации, который может хранить программный код, например USB-накопитель, съемный жесткий диск, ROM (ПЗУ), магнитный диск или оптический диск.
Приведенные выше описания являются просто конкретными вариантами осуществления настоящей заявки, но не предназначены для ограничения объема охраны настоящей заявки. Любое изменение или замена в пределах технического объема, раскрытого в настоящей заявке, должны подпадать под область охраны настоящей заявки. Таким образом, объем охраны настоящей заявки должен соответствовать объему охраны пунктов формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| СПОСОБ И УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ПРИЛОЖЕНИЕМ ПОСРЕДСТВОМ РАСПОЗНАВАНИЯ НАРИСОВАННОГО ОТ РУКИ ИЗОБРАЖЕНИЯ | 2013 |
|
RU2650029C2 |
| СПОСОБ ДВУНАПРАВЛЕННОГО ОТОБРАЖЕНИЯ И УСТРОЙСТВО ДВУНАПРАВЛЕННОГО ОТОБРАЖЕНИЯ | 2015 |
|
RU2665296C2 |
| СХЕМА ОПТИЧЕСКОЙ СИСТЕМЫ ДЛЯ УНИВЕРСАЛЬНОГО ВЫЧИСЛИТЕЛЬНОГО УСТРОЙСТВА | 2004 |
|
RU2386161C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ ОБЕСПЕЧЕНИЯ ГРАФИЧЕСКОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ | 2014 |
|
RU2706951C2 |
| УНИВЕРСАЛЬНОЕ КОМПЬЮТЕРНОЕ УСТРОЙСТВО | 2004 |
|
RU2392656C2 |
| СПИСКИ АВТОМАТИЧЕСКОГО ЗАПОЛНЕНИЯ И РУКОПИСНЫЙ ВВОД | 2006 |
|
RU2412470C2 |
| ДОСТУП К ДАННЫМ ДО ВХОДА В СИСТЕМУ | 2004 |
|
RU2392661C2 |
| УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ УПРАВЛЕНИЯ ТАКТИЛЬНЫМИ ОЩУЩЕНИЯМИ И НОСИТЕЛЬ ЗАПИСИ | 2014 |
|
RU2618939C2 |
| ОБНАРУЖЕНИЕ ВЫБОРА РУКОПИСНОГО ФРАГМЕНТА | 2015 |
|
RU2702270C2 |
| ДИНАМИЧЕСКАЯ ОБРАТНАЯ СВЯЗЬ ДЛЯ ЖЕСТОВ | 2004 |
|
RU2366006C2 |
Изобретение относится к способу и устройству ввода стилусным пером. Техническим результатом является сокращение задержки рисования линий и улучшение скорости письма стилусом. Технический результат достигается при осуществлении способа, в котором первое электронное устройство принимает и отображает проекционный интерфейс первого приложения из второго электронного устройства, принимает первый ввод и второй ввод, которые выполняются на проекционном интерфейсе и которые относятся к стилусу, и отображает обновленный проекционный интерфейс, включающий в себя первый слой и второй слой. Первый слой включает в себя первое изображение, включающее первую рукописную траекторию и генерируемое вторым электронным устройством на основе первого ввода; и второй слой включает в себя вторую рукописную траекторию, которая локально нарисована первым электронным устройством на основе второго ввода. При этом продолжительность периода времени второго ввода основана на первой задержке и/или второй задержке, причем первая задержка содержит задержку первого электронного устройства для получения изображения из второго электронного устройства, и вторая задержка содержит задержку первого электронного устройства для генерации второй рукописной траектории. 2 н. и 13 з.п. ф-лы, 17 ил.
1. Способ ввода стилусным пером, содержащий:
прием, первым электронным устройством, проекционного интерфейса первого приложения, причем первое приложение работает на втором электронном устройстве;
прием, первым электронным устройством, ввода стилусным пером пользователя в проекционном интерфейсе, причем ввод стилусным пером содержит первый ввод и второй ввод; и
отображение, первым электронным устройством, обновленного проекционного интерфейса, причем обновленный проекционный интерфейс содержит первый слой и второй слой, при этом первый слой содержит первое изображение, которое содержит первую рукописную траекторию и которое генерируется вторым электронным устройством на основе первого ввода, и второй слой содержит вторую рукописную траекторию, которая нарисована первым электронным устройством на основе второго ввода,
в котором продолжительность периода времени ввода второго ввода основана на первой задержке и/или второй задержке, причем первая задержка содержит задержку первого электронного устройства для получения изображения из второго электронного устройства, и вторая задержка содержит задержку первого электронного устройства для генерации второй рукописной траектории.
2. Способ по п.1, в котором второй слой накладывается на первый слой.
3. Способ по п.1, в котором способ дополнительно содержит:
получение, первым электронным устройством, второго изображения, причем второе изображение содержит третью рукописную траекторию, сгенерированную вторым электронным устройством на основе второго ввода; и отображение, первым электронным устройством, второго изображения на первом слое.
4. Способ по п.3, в котором способ дополнительно содержит покрытие, третьей рукописной траекторией на первом слое, второй рукописной траектории на втором слое.
5. Способ по п.3, в котором, после того как вторая рукописная траектория отображается в течение заданного промежутка времени, прекращается отображение второй рукописной траектории или, после того как третья рукописная траектория покрывает вторую рукописную траекторию, прекращается отображение второй рукописной траектории.
6. Способ по п.1, в котором вторая рукописная траектория является продолжением первой рукописной траектории, или вторая рукописная траектория совпадает с частью первой рукописной траектории и содержит часть продолжения первой рукописной траектории.
7. Способ по п.1, в котором период времени ввода первого ввода и период времени ввода второго ввода совсем не перекрываются или частично перекрываются.
8. Способ по п.1, в котором способ дополнительно содержит:
получение, первым электронным устройством, параметра рисования, отправленного вторым электронным устройством, и рисование, первым электронным устройством, второй рукописной траектории с использованием параметра рисования.
9. Способ по п.8, в котором параметр рисования содержит параметр рисования, используемый вторым электронным устройством для рисования первой рукописной траектории.
10. Способ по п.9, в котором параметр рисования содержит по меньшей мере один параметр из параметра цвета линии, параметра толщины линии и параметра текстуры линии.
11. Терминальное устройство, содержащее:
по меньшей мере один процессор; и
по меньшей мере одну память, причем по меньшей мере одна память содержит инструкции, которые при их исполнении по меньшей мере одним процессором предписывают терминальному устройству:
принимать проекционный интерфейс первого приложения, причем первое приложение работает на втором электронном устройстве;
принимать ввод стилусным пером пользователя в проекционном интерфейсе, причем ввод стилусным пером содержит первый ввод и второй ввод; и
отображение обновленного проекционного интерфейса, причем обновленный проекционный интерфейс содержит первый слой и второй слой, при этом первый слой содержит первое изображение, которое содержит первую рукописную траекторию и которое генерируется вторым электронным устройством на основе первого ввода, и второй слой содержит вторую рукописную траекторию, которая нарисована первым электронным устройством на основе второго ввода,
в котором продолжительность периода времени ввода второго ввода основана на первой задержке и/или второй задержке, причем первая задержка содержит задержку первого электронного устройства для получения изображения из второго электронного устройства, и вторая задержка содержит задержку первого электронного устройства для генерации второй рукописной траектории.
12. Терминальное устройство по п.11, в котором второй слой наложен на первый слой.
13. Терминальное устройство по п.11, в котором, когда инструкции, исполняемые по меньшей мере одним процессором, дополнительно предписывают терминальному устройству:
получить второе изображение, причем второе изображение содержит третью рукописную траекторию, сгенерированную вторым электронным устройством на основе второго ввода; и отобразить второе изображение на первом слое.
14. Терминальное устройство по п.13, в котором, когда инструкции, исполняемые по меньшей мере одним процессором, дополнительно предписывают терминальному устройству:
покрыть, третьей рукописной траекторией на первом слое, вторую рукописную траекторию на втором слое.
15. Терминальное устройство по п.13, в котором, после того как вторая рукописная траектория отображается в течение заданного промежутка времени, когда инструкции, исполняемые по меньшей мере одним процессором, дополнительно предписывают терминальному устройству:
прекратить отображение второй рукописной траектории или, после того как третья рукописная траектория покроет вторую рукописную траекторию, прекратить отображение второй рукописной траектории.
| Токарный резец | 1924 |
|
SU2016A1 |
| CN 103984512 A, 13.08.2014 | |||
| CN 108459836 A, 28.08.2018 | |||
| Способ приготовления лака | 1924 |
|
SU2011A1 |
| СРЕДСТВО ДЛЯ ВВОДА СИМВОЛОВ ИЛИ КОМАНД В КОМПЬЮТЕР | 1998 |
|
RU2236036C2 |
| КОНВЕЙЕР РЕНДЕРИНГА РУКОПИСНОГО ВВОДА С НИЗКИМ ВРЕМЕНЕМ ЗАДЕРЖКИ | 2015 |
|
RU2705009C2 |
