СХЕМА ОПТИЧЕСКОЙ СИСТЕМЫ ДЛЯ УНИВЕРСАЛЬНОГО ВЫЧИСЛИТЕЛЬНОГО УСТРОЙСТВА Российский патент 2010 года по МПК G06F3/42 G02B15/14 

Данная заявка является частично-продолжающейся заявкой на патент США номер № 10/284,417, поданной 31 октября 2002 г., озаглавленной «Universal Computing Device» (Универсальное вычислительное устройство), содержимое которой включено в настоящий документ путем ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Аспекты настоящего изобретения в целом направлены на устройство ввода компьютера, предназначенное для формирования гладких электронных чернил, или данных перьевого ввода. Более конкретно аспекты настоящего изобретения направлены на устройство ввода, которое может быть использовано на различных программно-аппаратных платформах наряду с тем, что обеспечивает обычный пользовательский интерфейс.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Вычислительные системы значительно изменили способ, которым мы живем. Компьютеры первой волны были чрезмерно дорогими и были рентабельными только для использования при установке на предприятиях. По мере того как компьютеры стали более допустимыми по стоимости, использование персональных компьютеров и на рабочем месте, и дома стало настолько широко распространенным, что компьютеры стали столь же обычными, как конторские столы на предприятии и кухонные столы в доме. Микропроцессоры были включены во все аспекты нашей каждодневной жизни, от использования в телевизионных и других развлекательных системах до устройств регулирования работы нашего автомобиля.

Развитие вычислительных устройств, от устройств “массированной обработки” данных, которые заняли целые этажи больших служебных помещений, до портативных ЭВМ или других портативных вычислительных устройств, значительно повлияло на способ, которым формируют документы и сохраняют информацию. Возможности портативной вычислительной техники позволили отдельным лицам, используя такие вычислительные устройства, печатать письма, составлять служебную записку, делать примечания, создавать изображения и выполнять многочисленные задачи в местах, отличных от конторского помещения. Профессионалам и непрофессионалам одинаково предоставлена возможность выполнения задач во время передвижения, используя устройства, которые осуществляют их вычислительные потребности в любом местонахождении.

Обычные вычислительные системы, особенно вычислительные системы, использующие системы графического пользовательского интерфейса (ГПИ, GUI), например, система Microsoft® Windows, оптимизированы для приема пользовательских входных данных от одного или нескольких дискретных устройств ввода, таких как клавиатура (для ввода текста), и указательное устройство (например, мышь), с помощью одной или нескольких кнопок для активизации пользовательских выборок.

Одна из первоначальных целей мира вычислительной техники состояла в том, чтобы иметь компьютер на каждом столе. В большой степени данная цель была достигнута посредством персонального компьютера, становящегося вездесущим в конторском рабочем пространстве. С появлением портативных ЭВМ и персональных цифровых ассистентов (карманных компьютеров), имеющих большую емкость, конторское рабочее пространство было расширено, чтобы включать в себя многообразие нетрадиционных мест совершения действия, в которых выполняют работу. В возрастающей степени пользователи компьютеров должны становиться специалистами различных пользовательских интерфейсов для каждого из своих вычислительных устройств. От интерфейса мыши и клавиатуры для обычного персонального компьютера до упрощенного интерфейса резистивного пера для персональных цифровых ассистентов и даже до минималистских клавиш телефона сотовой связи пользователь сталкивается с многообразием различных пользовательских интерфейсов, которые необходимо освоить прежде, чем можно использовать лежащие в основе технические средства.

Несмотря на усовершенствования в технических средствах большинство пользователей имеет тенденцию использовать документы, напечатанные на бумаге, в качестве своего первичного средства редактирования. Некоторые преимущества бумажного, или печатного, документа включают в себя его удобочитаемость и переносимость. Другие включают в себя возможность совместного использования аннотируемых бумажных документов и легкость архивирования печатного бумажного документа. Одним пользовательским интерфейсом, который ликвидирует разрыв между усовершенствованными вычислительными системами и функциональными возможностями печатного бумажного документа, является пользовательский интерфейс на основе пера. Один подход для пользовательского интерфейса на основе пера состоит в том, чтобы использовать активные технические средства (обычные для современных персональных цифровых ассистентов, ПЦА (PDA)). Другой подход состоит в том, чтобы использовать в портативной ЭВМ активные чувствительные элементы, или датчики. Одна из следующих целей мира вычислительной техники состоит в том, чтобы возвращать обратно пользователю пользовательский интерфейс, предназначенный для управления компьютером.

Недостаток, связанный с использованием пера, состоит в том, что такие устройства являются связанными с вычислительным устройством, содержащим плату датчика. Другими словами, перо может быть использовано для формирования входных данных, только если используется в соединении с необходимой платой датчика. Кроме того, на обнаружение пера влияет близость пера к плате, осуществляющей восприятие, или считывание.

Предшествующие портативные вычислительные устройства могут испытывать отсутствие точной формы идентификации для многопользовательских конфигураций. По существу, если два таких портативных вычислительных устройства действуют одновременно, ведущий компьютер запутывается и воспринимает аннотации (комментарии) как от одного и того же вычислительного устройства. Если один пользователь аннотирует документ с помощью вычислительного устройства и затем второй пользователь аннотирует тот же документ с помощью второго вычислительного устройства, ведущий персональный компьютер (ПК, PC), который принимает кадры данных от вычислительного устройства, интерпретирует данные в качестве исходящих от того же вычислительного устройства. Без возможности идентифицировать вычислительное устройство, от которого происходит аннотация, ведущий ПК не может отслеживать изменения точно для конкретного вычислительного устройства.

Предшествующие портативные вычислительные устройства могут испытывать отсутствие возможности отследить запись, которую пользователь может выполнить поверх имеющихся чернил. Предшествующие вычислительные устройства могут отслеживать запись пользователя на чистых, свободных от чернил поверхностях; однако возможности по вводу с цифровым кодированием, или захвату, изображения, соответствующие этим устройствам, не могут отслеживать запись, которая происходит по имеющимся чернилам. Дополнительно, предшествующие портативные вычислительные устройства могут испытывать отсутствие возможности обрабатывать перспективу, которая естественно присутствует, когда держат пишущее средство, например, перо. Датчик изображения для соответственного вычислительного устройства работает эффективно, когда пользователь держит вычислительное устройство под углом, перпендикулярным поверхности носителя для записи. Однако большинство людей не держат перо под углом 90 градусов к поверхности. Как таковая, перспектива становится для датчика задачей, адекватной компенсации угла вычислительного устройства.

Имеется потребность в данной области техники в портативном вычислительном устройстве, которое может функционировать в качестве устройства ввода для любого из многообразия вычислительных устройств и которое может действовать в многообразии ситуаций. Имеется дополнительная потребность в данной области техники в портативном вычислительном устройстве, которое может быть идентифицировано посредством точной идентификации для того, чтобы давать возможность многим пользователям одновременно оперировать документом и/или в пределах прикладной программы. Также имеется потребность в данной области техники в портативном вычислительном устройстве, которое может уменьшать эффект перспективы при захвате изображений на поверхности и может быть настроено для отслеживания записи пользователем по имеющимся чернилам.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Аспекты настоящего изобретения направлены на один или несколько вопросов, определенных выше, тем самым обеспечивая обычный пользовательский интерфейс пользователям для различных вычислительных платформ. Аспекты настоящего изобретения относятся к устройству ввода, предназначенному для формирования электронных чернил и/или формирования других входных данных, независимо от устройства, для которого данные предназначены. Устройство ввода может быть создано в форме пера и может включать или может не включать в себя чернильный картридж для содействия перемещению устройства ввода данных обычным образом. Аспектом настоящего изобретения является портативное вычислительное устройство, которое может быть идентифицировано посредством конкретной идентификации для того, чтобы дать возможность многим пользователям одновременно оперировать документом и/или в пределах прикладной программы.

Аспект изобретения использует инфракрасное освещение и схемы, или образы, лабиринта, которые являются печатными, встроенными внутри, или оттиснутыми («впечатанными») на поверхности. Поверхность может быть листом бумаги с образом лабиринта, напечатанным посредством обычных чернил. Камера согласно настоящему изобретению может вводить ячейки образа лабиринта, которые могут лежать под любым содержимым. Алгоритмы, связанные с декодированием многомерной матрицы и анализом изображения документа, декодируют местоположение введенных изображений, которые содержат и содержимое документа, и образы лабиринтов.

Другой аспект настоящего изобретения предусматривает смещенную оптическую систему с инфракрасным (ИК, IR) освещением, которая включает в себя набор линз и оптический датчик (светочувствительный элемент), которая функционирует в качестве камеры с относительно низкой разрешающей способностью. Камера находится в другой плоскости и под углом смещения от входного устройства, используемого для аннотирования. Смещение улучшает технические характеристики и обработку перспективы, так что устройство ввода может быть использовано более естественно при обычных углах записи (письма). ИК освещение помогает обнаруживать позиционное кодирование, которое под освещением видимым светом часто может быть покрыто имеющимся содержимым документа или чернилами.

Предшествующее краткое изложение аспектов настоящего изобретения, а также последующее подробное описание различных вариантов осуществления становятся более понятными при рассмотрении вместе с сопроводительными чертежами, которые включены в качестве примера, а не ограничения по отношению к заявленному в формуле изобретению.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - схематическое изображение цифровой вычислительной среды общего назначения, в которой могут быть осуществлены некоторые аспекты настоящего изобретения;

Фиг. 2 - устройство ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 3 - три иллюстративных варианта осуществления системы камеры для использования в соответствии с аспектами настоящего изобретения;

Фиг. 4 - один вариант осуществления оптической схемы для устройства ввода данных в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 5 - один вариант осуществления оптической схемы для устройства ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 6 - один вариант осуществления схемы освещения для устройства ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 7A и Фиг. 7B - компоненты датчика усилия для устройства ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 8 - схема линз для устройства ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 9 - иллюстративные средства (образ лабиринта) для кодирования местоположения для документа;

Фиг. 10 - иллюстрация образа траектории, на основании которого могут быть сформированы электронные чернила;

Фиг. 11A и Фиг. 11B - иллюстративные архитектуры аппаратного обеспечения системы в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 12 - дополнительная комбинация компонентов, включенных в устройство ввода для формирования электронных чернил в соответствии с другим иллюстративным вариантом осуществления;

Фиг. 13 - иллюстративная блок-схема обработки данных посредством архитектуры сдвоенного ядра, для устройства ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 14 - иллюстративная структура кадра данных, передаваемых от устройства ввода, в соответствии по меньшей мере с одним аспектом настоящего изобретения;

Фиг. 15 - иллюстрация обработки передачи данных от многих устройств ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения; и

Фиг. 16 - использования устройства ввода в соответствии с несколькими иллюстративными вариантами осуществления настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Аспекты настоящего изобретения относятся к устройству ввода, которое может использоваться в наборе различных платформ от управления настольным компьютером или портативной ЭВМ, записи на электронной «белой доске», записи на поверхности, такой как бумажная, управления ПЦА или сотовым телефоном, или для создания чернил, которые могут быть переносимыми между различными платформами.

ТЕРМИНЫ

Перо - любое пишущее средство, которое может включать в себя или может не включать в себя возможность хранения чернил. В некоторых примерах перо, не имеющее возможности хранения чернил, может быть использовано в качестве пера в соответствии с вариантами осуществления настоящего изобретения.

Камера - система ввода изображения.

Активное кодирование - включение кодов в пределы объекта или поверхности, над которой устройство ввода позиционировано, с целью определения местоположения и/или перемещения устройства ввода с использованием соответствующих алгоритмов обработки.

Пассивным кодированием является обнаружение перемещения/местоположения устройства ввода с использованием данных изображения, отличных от включенных для этой цели кодов, которые получены от объекта или поверхностей, над которыми перемещают устройство ввода, с использованием соответствующих алгоритмов обработки.

Устройство ввода - устройство для ввода информации, которое может быть настроено с возможностью формирования и обработки информации.

Активное устройство ввода - устройство ввода, которое активно измеряет сигналы и формирует данные, указывающие местоположение и/или перемещение устройства ввода, используя датчики, встроенные внутри устройства ввода.

Пассивное устройство ввода - устройство ввода, для которого перемещение обнаруживают, используя датчики, встроенные иначе, чем внутри устройства ввода.

Вычислительное устройство - настольный компьютер, портативная ЭВМ, планшетная ПЭВМ (Tablet PC™), персональный цифровой ассистент, телефон или любое другое устройство, которое настроено с возможностью обрабатывать информацию, включающее в себя устройство ввода.

На Фиг. 1 проиллюстрирован пример подходящей среды 100 вычислительной системы, на которой может быть осуществлено настоящее изобретение. Среда 100 вычислительной системы является лишь некоторым примером подходящей вычислительной среды и не подразумевает наложения какого-либо ограничения относительно объема использования или функциональных возможностей настоящего изобретения. Не следует также интерпретировать среду 100 вычислительной системы в качестве содержащей какую-либо зависимость или требование, относящееся к любому компоненту или комбинации компонентов, проиллюстрированных в примерной среде 100 вычислительной системы.

Настоящее изобретение является действующим вместе с многими другими общего назначения или специальными средами или конфигурациями вычислительных систем. Примеры известных вычислительных систем, сред, и/или конфигураций, которые могут быть подходящими для использования с настоящим изобретением, включают в себя, но не ограничены таковыми: персональные компьютеры, компьютеры серверов, переносные или портативные устройства, многопроцессорные системы, микропроцессорные системы, компьютерные приставки к телевизору, программируемую бытовую электронику, сетевые ПК, мини-компьютеры, универсальную ЭВМ, распределенные вычислительные среды, которые включают в себя любую из вышеупомянутых систем или устройств, и подобное.

Настоящее изобретение может быть описано в общем контексте машиноисполняемых команд, таких как программные модули, исполняемые компьютером. Обычно программные модули включают в себя процедуры (подпрограммы), программы, объекты, компоненты, структуры данных и т.д., которые выполняют конкретные задачи или осуществляют специальные абстрактные типы данных. Настоящее изобретение также может быть осуществлено в распределенных вычислительных средах, в которых задачи выполняют посредством устройств удаленной (дистанционной) обработки, которые связаны посредством системы связи. В распределенной вычислительной среде программные модули могут находиться в запоминающей среде как локального, так и удаленного компьютера, включая запоминающие устройства для хранения данных.

Со ссылкой на Фиг. 1, примерная система для осуществления настоящего изобретения включает в себя вычислительное устройство общего назначения в виде компьютера 110. Компоненты компьютера 110 могут включать в себя, но не быть ограниченными, процессор 120, системное запоминающее устройство 130 и системную шину 121, которая связывает различные системные компоненты, включая системное запоминающее устройство, с блоком 120 обработки. Системная шина 121 может быть произвольным типом из нескольких типов шинных архитектур, включая шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую шинную архитектуру из множества шинных архитектур. В качестве примера, а не ограничения, такая архитектура включает в себя шину стандартной промышленной архитектуры (ISA), шину микроканальной архитектуры (MСA), шину расширенной ISA (EISA), локальную шину стандарта Ассоциации по стандартам в области видеоэлектроники (VESA) и шину межсоединения (PCI) периферийных компонентов, известную также как шина расширения (шина второго уровня).

Компьютер 110 обычно включает в себя набор машиночитаемых носителей. Машиночитаемые носители могут быть любыми имеющимися носителями, к которым может осуществлять доступ компьютер 110, и включают в себя и энергозависимые, и энергонезависимые носители, сменные и несменные носители. В качестве примера, а не ограничения, машиночитаемые носители могут содержать носители запоминающих устройств и носители передачи данных. Носители запоминающих устройств включают в себя энергозависимые и энергонезависимые, сменные и несменные носители, осуществленные любым способом или технологией, которые предназначены для хранения информации, такими как машиночитаемые команды, структуры данных, программные модули или другие данные. Носители запоминающих устройств включают в себя, но не ограничены таковыми: оперативное запоминающее устройство (ОЗУ, RAM), постоянное запоминающее устройство (ПЗУ, ROM), электрически стираемое программируемое ПЗУ (ЭСППЗУ, EEPROM), флэш-память или другую технологию запоминающего устройства, ПЗУ на компакт-диске (CD-ROM), цифровые универсальные диски (ЦУД, DVD) или другое хранилище на оптическом диске, магнитные кассеты, магнитную ленту, хранилище на магнитном диске или другие запоминающие устройства на магнитных носителях или любой другой носитель, который может быть использован для хранения требуемой информации и к которому может осуществлять доступ компьютер 110. Носитель передачи данных обычно воплощает машиночитаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая или другое транспортное средство, и включает в себя любой носитель для доставки информации. Термин «модулированный сигнал данных» означает сигнал, у которого есть одна или несколько характеристик, устанавливаемых или изменяемых таким образом, чтобы в сигнале закодировать информацию. В качестве примера, а не ограничения, среда для передачи данных включает в себя проводной носитель, такой как проводная сеть или соединение непосредственно проводами, и беспроводной носитель, такой как акустический, радиочастоту (ВЧ, RF), инфракрасное излучение и другие беспроводные носители. Комбинации из любых из вышеуказанных следует также включать в рамки машиносчитываемых носителей.

Системное запоминающее устройство 130 включает в себя носители для запоминающего устройства компьютера в виде энергозависимого и/или энергонезависимого запоминающего устройства, такого как ПЗУ (ROM) 131, и оперативного запоминающего устройства (ОЗУ, RAM) 132. Базовую систему 133 ввода-вывода (БСВВ, BIOS), содержащую базовые процедуры, которые помогают передавать информацию между элементами внутри компьютера 110, как например, при запуске, обычно хранят в ПЗУ 131. ОЗУ 132 обычно содержит данные и/или программные модули, которые являются непосредственно доступными для блока обработки 120 и/или обрабатываемыми им в настоящий момент. В качестве примера, а не ограничения, на Фиг.1 проиллюстрирована операционная система 134, прикладные программы 135, другие программные модули 136 и программные данные 137.

Компьютер 110 может также включать в себя другие сменяемые/несменяемые, энергозависимые/энергонезависимые носители для запоминающего устройства компьютера. Только в качестве примера на Фиг.1 проиллюстрирован накопитель 141 на жестком диске, который осуществляет считывание с несменяемых, энергонезависимых магнитных носителей или запись на них, накопитель 151 на магнитном диске, который осуществляет считывание со сменяемого, энергонезависимого магнитного диска 152 или запись на него, и накопитель 155 на оптическом диске, который осуществляет считывание со сменяемого, энергонезависимого оптического диска 156 или запись на такой диск, как например, ПЗУ на компакт-диске или другие оптические носители. Другие сменяемые/несменяемые, энергозависимые/энергонезависимые носители для запоминающего устройства компьютера, которые могут быть использованы в примерной операционной среде, включают в себя, не являясь ограниченными таковыми: кассеты магнитной ленты, карты флэш-памяти, цифровые универсальные диски, цифровую видеоленту, твердотельное ОЗУ, твердотельное ПЗУ и подобное. Накопитель 141 на жестком диске обычно соединен с системной шиной 121 через интерфейс несменяемого запоминающего устройства, такой как интерфейс 140, и накопитель 151 на магнитном диске и накопитель 155 на оптическом диска обычно соединены с системной шиной 121 посредством интерфейса сменяемого запоминающего устройства, такого как интерфейс 150.

Накопители и ассоциированные с ними носители запоминающего устройства компьютера, обсуждаемые выше и проиллюстрированные на Фиг.1, обеспечивают хранилище для машиносчитываемых команд, структур данных, программных модулей и других данных для компьютера 110. На Фиг. 1, например, накопитель 141 на жестком диске проиллюстрирован в качестве хранящего операционную систему 144, прикладные программы 145, другие программные модули 146 и программные данные 147. Обратите внимание, что эти компоненты могут быть либо теми же, либо отличными от операционной системы 134, прикладных программ 135, других программных модулей 136 и программных данных 137. Операционной системе 144, прикладным программам 145, другим программным модулям 146 и программным данным 147 даны при этом различные номера, чтобы проиллюстрировать, что, как минимум, они являются различными копиями. Пользователь может вводить команды и информацию в компьютер 110 через устройства ввода, такие как цифровая камера (не показана), клавиатура 162, и указательное устройство 161, обычно обозначаемые, как манипулятор для управления курсором, или мышь, шаровой манипулятор или сенсорная клавиатура. Другие устройства ввода (не показаны) могут включать в состав микрофон, координатную ручку, или джойстик, игровую панель, спутниковую антенну, сканирующее устройство или подобное. Эти и другие устройства ввода обычно соединены с блоком 120 обработки через пользовательский входной интерфейс 160, который соединен с системной шиной 121, но может быть соединен посредством другого интерфейса и шинных структур, таких как параллельный порт, игровой порт или универсальная последовательная шина (УПШ, USB). Монитор 191 или другой тип устройства отображения также является соединенным с системной шиной 121 через интерфейс, такой как видеоинтерфейс 190. В дополнение к монитору компьютеры могут также включать в состав другие периферийные выходные устройства, такие как громкоговорители 197 и принтер 196, которые могут быть подсоединены через интерфейс 195 выходных периферийных устройств.

В одном варианте осуществления предусмотрены цифровой преобразователь 163 перьевых данных и сопутствующий перьевой указатель или перо 164 для того, чтобы в цифровом формате вводить данные, представленные в свободной форме («рукописные»). Хотя показано непосредственное соединение между цифровым преобразователем 163 перьевых данных и пользовательским входным интерфейсом 160, на практике цифровой преобразователь 163 перьевых данных может быть непосредственно соединен с блоком 120 обработки через параллельный порт или другой интерфейс и системную шину 121, как известно в области техники. Кроме того, хотя цифровой преобразователь 163 показан отдельно от монитора 191, используемая входная область цифрового преобразователя 163 может быть одинаково протяженной (совместной) вместе с областью отображения монитора 191. Еще дополнительно, цифровой преобразователь 163 может быть интегрирован в монитор 191 или может существовать в качестве отдельного устройства, накладного или иным образом прилагаемого к монитору 191.

Компьютер 110 может действовать в сетевой среде, используя логические соединения с одним или несколькими удаленными компьютерами, например, удаленным компьютером 180. Удаленный компьютер 180 может быть персональным компьютером, сервером, маршрутизатором, сетевым ПК, одноранговым устройством или другим обычным сетевым узлом и обычно включает в себя многие или все элементы, описанные выше относительно компьютера 110, хотя только запоминающее устройство 181 было проиллюстрировано на Фиг. 1. Логические соединения, изображенные на Фиг.1А, включают в себя локальную вычислительную сеть (ЛВС, LAN) 171 и глобальную вычислительную сеть (ГВС, WAN) 173, но могут также включать в себя другие сети. Такие сетевые среды являются обычными для учреждений, вычислительных сетей масштаба предприятия, внутрикорпоративных локальных сетей и Интернет.

При использовании в сетевой среде ЛВС компьютер 110 соединен с локальной сетью 171 через сетевой интерфейс или адаптер 170. При использовании в сетевой среде ГВС компьютер 110 обычно включает в себя модем 172 или другие средства для установления связи в ГВС 173, такой как Интернет. Модем 172, который может быть внутренним или внешним, может быть соединен с системной шиной 121 через пользовательский входной интерфейс 160 или другие подходящие средства. В сетевой среде программные модули, изображенные относящимися к персональному компьютеру 110, или их части могут сохраняться на удаленном запоминающем устройстве. В качестве примера, а не ограничения, на Фиг. 1А проиллюстрированы удаленные прикладные программы 185 в качестве постоянно хранимых на запоминающем устройстве 181. Будет оценено, что показанные сетевые соединения являются иллюстративными и можно использовать другие средства установления линии связи между компьютерами.

Очевидно, что показанные сетевые соединения являются иллюстративными и могут быть использованы другие средства установления линии связи между компьютерами. Допустимо наличие любого из различных известных протоколов, таких как TCP/IP, Ethernet (стандарт организации локальных сетей), FTP, HTTP и подобного, и систему можно использовать в конфигурации клиент-сервер, чтобы разрешить пользователю извлекать web-страницы из основанного на web-технологии сервера, или web-сервера. Любой из различных традиционных web-браузеров может быть использован для отображения и управления данными на web-странице.

На Фиг. 2 предоставлен иллюстративный вариант осуществления устройства ввода для использования в соответствии с различными аспектами настоящего изобретения. Нижеследующее описывает множество различных элементов и/или датчиков (сенсоров). Различные комбинации датчиков могут быть использованы, чтобы осуществить на практике аспекты настоящего изобретения. Более того, дополнительные датчики также могут быть включены в состав, включая магнитный датчик, измеритель ускорения (акселерометр), гироскоп, микрофон или любой датчик, который может обнаруживать местоположение устройства ввода относительно поверхности или объекта. На Фиг. 2 перо 201 включает в себя чернильный картридж 202, датчик давления 203, камеру 204, индуктивный элемент 205, процессор 206, запоминающее устройство 207, приемопередатчик 208, источник 209 электропитания, установочный узел 210, насадку 211 и устройство отображения, или дисплей 212. Различные компоненты могут быть электрически соединены по мере необходимости, используя, например, шину, не показано. Перо 201 может служить в качестве устройства ввода для набора устройств, включая настольный компьютер, портативную ЭВМ, планшетный компьютер (Tablet PC™), персональный цифровой ассистент, телефон или любое устройство, которое может обрабатывать и/или отображать информацию.

Устройство 201 ввода данных может включать в себя чернильный картридж 202 для осуществления обычного пера и записи или вычерчивания на бумажном документе. Кроме того, пользователь может формировать электронные чернила с помощью устройства ввода при действии устройства способом, обычным для пера. Таким образом, чернильный картридж 202 может обеспечивать удобное, знакомое средство (носитель) для формирования рукописных штрихов на бумажном документе в то время, как перемещение пера записывают и используют для формирования электронных чернил. Чернильный картридж 202 может быть перемещен в позицию записи из убранного положения, используя любой из множества известных способов. В качестве альтернативы, чернильный картридж 202 может быть заменен картриджем, который не содержит чернила, например, пластмассовым картриджем с закругленным наконечником, но это даст возможность пользователю перемещать перо по поверхности без повреждения пера или поверхности. Дополнительно, в состав могут быть включены индуктивный элемент или элементы, чтобы способствовать обнаружению относительного перемещения устройства ввода, например, обеспечивая сигналы, указывающие устройство ввода способом, сходным с тем, который производят пером. В состав может быть включен датчик 203 давления для определения ввода, указывающего на то, что перо 201 нажато в то время, как позиционировано над объектом, таким образом содействуя выбору объекта, или указания на ввод, например, соответствующий нажатию кнопки мыши. В качестве альтернативы, датчик 203 давления может обнаруживать усилие нажатия, с которым пользователь делает штрихи пером, для использования в изменении ширины формируемых электронных чернил. Дополнительно датчик 203 может запускать работу камеры. В альтернативных режимах камера 204 может действовать независимо от установки датчика 203 давления.

Кроме того, в дополнение к датчику давления, который может действовать в качестве переключателя, дополнительные переключатели также могут быть включены в состав, чтобы воздействовать на различные параметры настройки для управления действием устройства ввода. Например, один или несколько переключателей могут быть предусмотрены на внешней стороне устройства ввода и использоваться, чтобы включать питание устройства ввода, активизировать камеру или источник освещения, управлять чувствительностью датчика или яркостью источника света, устанавливать устройство ввода в режиме эскиза, в котором не выполняют преобразование в текст, устанавливать устройство для внутреннего хранения входных данных, обрабатывать и хранить входные данные, передавать данные на блок обработки, например, вычислительное устройство, с которым устройство ввода имеет возможность взаимодействовать или управлять какой-либо установкой параметров, которая может быть желательной.

Камера 204 может быть включена в состав, чтобы вводить изображения поверхности, по которой перемещают перо. Индуктивный элемент 205 также может быть включен в состав, чтобы повысить производительность пера при использовании в качестве пера в индуктивной системе. Процессор 206 может быть составлен из любых известных процессоров для выполнения функций, связанных с различными аспектами настоящего изобретения, как описано более подробно ниже. Подобным образом запоминающее устройство 207 может включать в себя ОЗУ, ПЗУ или любое запоминающее устройство, чтобы сохранять данные и/или программное обеспечение, предназначенное для управления устройством или обработки данных. Устройство ввода дополнительно может включать в себя приемопередатчик 208. Приемопередатчик дает возможность обмена информацией с другими устройствами. Например, технические средства беспроводной связи Bluetooth® или другие беспроводные технические средства могут быть использованы, чтобы содействовать связи. Другие устройства могут включать в себя вычислительное устройство, которое может дополнительно включать в себя устройства ввода.

В состав может быть включен источник 209 электропитания и может обеспечивать электропитание, если перо 201 должно быть использовано независимо и удаленно от ведущего устройства, устройства, в котором данные должны быть обработаны, сохранены и/или отображены. Источник 209 электропитания может быть включен в устройство 201 ввода данных на любом местоположении и может быть установлен в положение для немедленной замены, если источник электропитания должен быть заменяемым, или содействовать его перезарядке, если источник электропитания должен быть перезаряжаемым. В качестве альтернативы, перо может быть соединено с запасными источниками питания, такими как адаптер для электрического соединения пера 201 с аккумулятором автомобиля, зарядным устройством, соединенным с розеткой питающей сети, с источником электропитания компьютера или с любым другим источником электропитания.

Линия связи 210 установочного узла может быть использована, чтобы передавать информацию между устройством ввода данных и вторым устройством, таким как внешний ведущий компьютер. Линия связи 210 установочного узла может также включать в себя структуру для перезарядки источника 209 электропитания в случае, когда подключают к установочному узлу, не показано, или соединяют с источником электропитания. Универсальная последовательная шина, УПШ, (USB) или другое соединение могут сменным образом соединять устройство ввода с ведущим компьютером через линии связи установочного узла или через дополнительный порт. В качестве альтернативы также может использоваться проводное соединение, чтобы соединить перо с устройством для передачи и приема данных. В проводной конфигурации линия связи установочного узла была бы опущена в пользу проводного соединения устройства ввода непосредственно с ведущим компьютером. Линия связи установочного узла может быть опущена или заменена другой системой, предназначенной для взаимодействия с другим устройством (например, Bluetooth® 802.lib).

Устройство 201 ввода данных может дополнительно включать в себя сменную насадку 211, которая может быть оснащена металлическим наконечником («кончиком пера») для содействия резистивному считыванию, так что устройство 201 ввода данных может быть использовано вместе с устройством, которое, например, включает в себя плату датчика. Корпус устройства 201 ввода данных может быть выполнен из пластмассы, металла, полимера, их комбинации или любого материала, который может обеспечивать защиту компонентам или всей структуре устройства ввода. Шасси (блок) может включать в себя металлическую ячейку, чтобы электрически экранировать некоторые или все чувствительные электронные компоненты устройства. Устройство ввода может иметь удлиненную форму, которая может соответствовать форме ручки с пером. Устройство может, однако, быть выполнено в произвольной форме, совместимой с его использованием в качестве устройства ввода и/или устройства, формирующего чернила.

На Фиг. 3A-3C показаны три иллюстративных варианта осуществления камеры для использования в соответствии с аспектами настоящего изобретения. Как описано, устройство 201 ввода может быть использовано, чтобы формировать электронные чернила посредством обнаружения перемещения пера, используя, например, камеру. Камера 304 может быть включена в состав для того, чтобы вводить изображения поверхности, по которой перемещают перо, и посредством анализа изображения найти величину перемещения пера по сканируемой поверхности. Перемещения можно соотносить (коррелировать) с документом и с помощью электроники переносить, добавлять или присоединять (например, сохраняя введенные аннотации отдельно от исходного документа) электронные чернила на документ.

Как показано на Фиг. 3A, в одном варианте осуществления камера 304 включает в себя датчик 320 изображения, который составлен из, например, матрицы элементов, считывающих изображение, или датчиков. Например, камера может содержать КМОП-датчик (CMOS) изображения с возможностью сканирования квадратной области размером 1,79 мм на 1,79 мм при разрешающей способности 32 пиксела на 32 пиксела. Минимальная частота экспонирования кадров для одного такого датчика изображения может быть приблизительно 330 Гц, тогда как иллюстративный датчик изображения может действовать на частоте обработки 110 Гц. Выбранный датчик изображения может содержать датчик цветного изображения, датчик изображения «серой шкалы» или может действовать, чтобы обнаруживать яркости, превышающие одно отдельное пороговое значение. Однако выбор камеры или ее составляющих частей может изменяться на основании требуемых рабочих параметров, связанных с камерой, на основании таких соображений, как производительность, затраты, или других соображений, которые могут быть обусловлены такими факторами, как разрешающая способность, требуемая, чтобы точно вычислить местоположение устройства ввода.

Источник 321 света может освещать поверхность, по которой перемещают устройство ввода. Источник света могут, например, составлять одиночный светоизлучающий диод (СИД, LED), светодиодная матрица или другие светоизлучающие устройства. Источник света может генерировать свет одного цвета, или одноцветный, включая белый, или может генерировать многие цвета, или многоцветный свет. Полуотражающее (полупрозрачное) зеркало 322 может быть помещено внутри камеры, чтобы направлять свет, как требуется. Камера 304 может дополнительно включать в себя один или несколько оптических устройств 323 для фокусирования света от источника 321 света на сканируемой поверхности 324 и/или фокусировать свет, отраженный от этой поверхности, на датчик 320 изображения.

Как проиллюстрировано на Фиг. 3A, свет, излучаемый источником 321 света, является отраженным полупрозрачным зеркалом 322, зеркало, которое отражает или пропускает свет в зависимости от направления падающего света. Отраженный свет затем направляют через систему 323 линзы и пропускают на отражающую поверхность ниже. Затем свет отражается от этой поверхности через систему 323 линзы, направляется к полу-зеркалу 322 под углом передачи, проходя через зеркало, и падает на матрицу 320 датчиков. Конечно, камеры, включающие в состав широкий набор компонентов, могут использоваться для ввода данных изображения, включая в состав камеры, объединяющие меньшее или большее количество компонентов. Изменения в компоновке компонентов также могут быть многочисленными. Чтобы предоставить только один пример, в упрощенной компоновке источник света и матрица датчиков могут быть установлены вместе из условия, чтобы они вместе были обращены к поверхности, с которой должно быть захвачено изображение. В этом случае, поскольку не требуется какое-либо отражение внутри камеры, полупрозрачное зеркало может быть удалено из системы. Как показано на Фиг. 3B, в упрощенной конфигурации источник 321 света установлен на расстояние от линзы 323 и датчика 320. В дополнительной упрощенной компоновке, как показано на Фиг. 3C, источник света может быть удален, и окружающий свет, отражающийся от поверхности объекта, фокусируют посредством линзы 323 на датчик 320.

Таким образом, изменения в компонентах, объединенных в составе камеры, или их размещение могут использоваться способом, совместимым с аспектами настоящего изобретения. Например, размещение и/или ориентация камеры и/или чернильного картриджа могут отличаться от показанных на Фиг. 2, чтобы учитывать использование широкого набора конфигураций и ориентаций камеры и/или чернил. Например, камера 304, или любая из ее составляющих частей, может быть расположена в отверстиях, расположенных рядом с теми, которые предусмотрены для чернильного картриджа, а не в пределах одного и того же отверстия, как проиллюстрировано. В качестве дополнительного примера, камера 304 может быть установлена в центре устройства ввода вместе с чернильным картриджем, установленным на стороне камеры. Подобным образом источник 321 света может быть включен в состав структуры, являющейся корпусом для остальных компонентов камеры, или один или несколько компонентов могут быть установлены отдельно от остальных. Кроме того, также может быть допущена функциональная возможность проецирования света с использованием источника света и/или оптической системы с дополнительной структурой и/или программным обеспечением или модификации к проиллюстрированным компонентам по мере необходимости.

В обычной оптической схеме оптическая ось проходит через центр центра датчика изображения и «поле зрения» (FOV) линзы, оптическая ось почти параллельна корпусу устройства ввода. Оптическая характеристика является наилучшей, когда устройство ввода перпендикулярно плоскости бумажного документа, поскольку плоскость датчика формирования изображения является параллельной плоскости поверхности. Однако пользователи часто используют перо с углами наклона или уклонения не при 90°. Следовательно, эффект перспективы будет ограничивать использование устройства ввода, которое работает, только если его держат под углом приблизительно девяносто градусов. Вопрос записи поверх имеющихся чернил возникает, когда пользователь хочет писать что-то на области, на которой чернила уже нанесены. В этом случае необходима определенная обработка, поскольку образ лабиринта будет покрыт тем, что пользователь первоначально записал. Оптическая система со смещенным полем зрения, предназначенная для устройства ввода, устраняет эффект перспективы, и ИК (инфракрасное, ИК) освещение решает проблему записи поверх имеющихся чернил. ИК освещение можно использовать, чтобы фиксировать образ лабиринта, покрытый любым ненапечатанным содержимым.

На Фиг. 4 проиллюстрирован вариант осуществления системы формирования изображения, соответствующей устройству 400 ввода. Устройство 400 ввода может содержать КМОП-датчик 410 изображения, имеющего размер 32x32 пиксела. Системной мишенью может быть область образа лабиринта, имеющая размер 5 мм × 5 мм. Когда пользователь пишет или чертит, имеются углы наклона и уклонения между устройством 400 ввода и плоскостью поверхности и кончиком пишущего элемента, или пера, в качестве опорной точки. Многие пользователи вообще не держат перо под углом девяносто градусов. Следовательно, система формирования изображения для настоящего изобретения разработана, чтобы удовлетворять требованиям достаточного качества изображения при некотором диапазоне углов наклона/уклонения, например, от 50 до 90°. В Таблице 1 указаны требования к объективу для одного варианта осуществления настоящего изобретения.

Таблица 1
Требование к объективу для системы формирования изображения Размер введенного камерой изображения (32 пиксела на 32 пиксела) Размер области на плоскости поверхности, введенной камерой (5 мм × 5 мм), обозначаемой в данной заявке как поле зрения Сопряженное расстояние Менее 30 мм Искажение плоскости формирования изображения Менее чем 3,5% Разрешающая способность Выше 12 ПС/мм (пары строк на миллиметр) Увеличение 0,385 (размер датчика/размер FOV) Глубина резкости (DOF) 65 ± 15° (угол наклона с кончиком пера в качестве опорной точки) Освещение Приблизительно однородное в плоскости формирования изображения

Как показано на Фиг. 4, устройство 400 ввода может использоваться при переменном угле наклона к плоскости поверхности. Отсюда в схеме системы показан угол наклона 65° в качестве расчетного угла. В данном положении устройства 400 ввода оптическая система выполняет действия более эффективно. Как показано на Фиг. 4, фактическое поле зрения 440 датчика 410 изображения является частью полного поля зрения 450 для конфигурации 420 линзы, и имеется угол между фактической осью системы формирования изображения и главной оптической осью 430 линзы. Ось системы формирования изображения является приблизительно параллельной оси пера, то есть ось системы формирования изображения должна быть под углом приблизительно 65°~70° к плоскости поверхности.

При расчетном угле оптическая ось 430 конфигурации 420 объектива перпендикулярна плоскости формирования изображения, тогда как поле зрения датчика 410 изображения смещено к оптической оси 430, как изображено на Фиг. 5. Расстояние центра поля зрения до оптической оси составляет приблизительно 7,44 мм, имея результатом угол наклона к плоскости изображения приблизительно 69,5°. Схема со смещенным полем зрения может уменьшить эффект перспективы, поскольку плоскость формирования изображения является приблизительно параллельной плоскости бумажного документа в обычных состояниях расчетного угла, то есть перспектива является очень малой (менее 3,5%) при оперировании устройством 400 ввода приблизительно под углом 65°. Специалисту в данной области техники должно быть понятно, что описанный выше примерный расчетный угол, соответствующий приблизительно 65°, является всего лишь одним примером и что другие углы можно использовать в соответствии с настоящим изобретением.

Компоновка 420 объектива может быть системой с тремя элементами, состоящей из двухлинзового объектива и отдельной линзы. Подходящее значение апертуры выбирают, чтобы принять во внимание и глубину резкости, и яркость изображения. Полная оптическая система может быть оптимизирована с использованием программного обеспечения системы проектирования ZEMAX, San Diego, CA, чтобы иметь результатом хорошую разрешающую способность, а также приемлемое искажение.

Влияние освещения на качестве изображения часто недооценивают в схеме оптической системы. Надлежащий сценарий освещения может увеличивать контрастность и разрешающую способность изображения, повышая общую производительность системы. Источник света может быть составлен из одиночного светоизлучающего диода (СИД, LED), матрицы СИД или других светоизлучающих устройств. Источник света может генерировать свет белого цвета, одноцветный или многоцветный. Компонент освещения может дополнительно включать в себя одно или два оптических устройства для фокусирования света от источника света на сканируемой поверхности и установления яркости настолько однородной, насколько возможно.

На Фиг. 6 проиллюстрирована оптическая система, использующая освещение от СИД инфракрасного света (ИК), в соответствии по меньшей мере с одним аспектом настоящего изобретения. Через пленку свет, излучаемый двумя СИД 610, непосредственно проецируется на плоскую поверхность 620. Освещенные области (от) двух СИД являются перекрывающимися 630, что является больше, чем FOV 640 камеры. В одном варианте осуществления в качестве источника освещения может быть выбран СИД 610 инфракрасного света с длиной волны 850 нанометров. Особенностью освещения на поверхности 620 является то, что образ может быть покрыт непечатными чернилами, то есть инфракрасный свет от СИД 610 ИК может проходить через слой чернил, так что чернила, записанные на поверхности 620, не влияют на изображение, введенное КМОП-датчиком. Кроме того, одиночный источник света может повышать качество изображения. Пленка с диффузным отражением может быть помещена на передней стороне ИК СИД 610, чтобы повысить однородность освещения. FOV освещен двумя СИД 610 по двум направлениям, чтобы получить достаточную яркость и настолько однородную яркость, насколько возможно над поверхностью 620.

Система формирования изображения, включающая в состав линзу, датчик изображения и источник освещения, может быть расположена смежно с чернильным картриджем, как изображено на Фиг. 4. Чернильный картридж вместе с компонентами датчика силы и компонентами системы формирования изображения может быть объединен в механический компонент. Давление от кончика пера, которым касаются плоскости, можно использовать, чтобы включать/выключать оцифровку изображения и обеспечивать опорную толщину для восстановления цифровых чернил. Следовательно, для компонента датчика силы одной из задач является разработка эффективной и устойчивой системы передачи усилия, которая может, быстро реагируя, обнаруживать давление кончика пера и автоматически возвращаться в прежнее состояние, когда кончик пера перемещают вниз и вверх. Как показано на Фиг. 7A, система 710 датчика силы обеспечивает осуществление точного надежного датчика силы. Система 710 сосредотачивает силу посредством шара 720, выполненного из нержавеющей стали, непосредственно на кремниевом чувствительном элементе 730. Как проиллюстрировано на Фиг. 7B, показана система передачи контактного давления, основанная на скользящем блоке с пружиной. Пружину 740 используют, чтобы амортизировать давление и возвращать в прежнюю позицию чернильный картридж 760. Используют винты 750 модуляции медленного перемещения, чтобы установить пороговое значение силы. Длину винта 750 вне скользящего блока 770 можно использовать, чтобы определить диапазон сжатия пружин 740. Расчетным диапазоном сил является от 0 кг до 4,5 кг. Линейный операционный усилитель и 12-битовый последовательный аналого-цифровой (А/Ц, A/D) преобразователь (АЦП) могут быть использованы для дискретизации силы. Точное обнаружение давления и 12-битовая точность дают возможность устройству ввода делать запись штриха с толщиной чернил. Таблицы 2-8 предоставляют дополнительную информацию относительно одного варианта осуществления линз согласно настоящему изобретению. На Фиг. 8 представлена дополнительная информация, чтобы сопроводить показанные ниже Таблицы 6 и 7.

Таблица 2
Общие данные об объективе Поверхности 10 Диафрагма 5 Системная апертура Фокальное отношение (F/#) пространства изображения F/# = 6,5 Каталоги (оптического) стекла schott newchi~l Наведение луча Параксиальный опорный, Кэш задействован Сдвиг зрачка по X 0 Сдвиг зрачка по Y 0 Сдвиг зрачка по Z 0 Аподизация Однородная, коэффициент = 0.00000E+000 Эквивалентное фокусное (фокальное) расстояние 5,317697 (в воздухе при температуре и давлении системы) Эквивалентное фокусное расстояние 5,317697 (в пространстве изображения) Заднее фокусное расстояние 5,187262 Полная длина 27,07951 Фокальное отношение (F/#) пространства изображения 6,5 Параксиальное рабочее F/# Рабочее F/# 20,19998 Числовая апертура (ЧА, NA) пространства изображения 19,55002 Числовая апертура (NA) пространства объекта 0,02474492 Радиус диафрагмы 0,06892086 0,3888333 Высота параксиального изображения 10,5 Параксиальное увеличение -2,791037 Диаметр входного зрачка 0,8181072 Позиция входного зрачка 5,000273 Диаметр выходного зрачка 1,083351 Позиция выходного зрачка -21,74014 Тип поля Высота параксиального изображения в миллиметрах Максимальное поле 10,5 Первичная волна 0,545 Угловое увеличение 0,7551635 Поля 5 Единицы измерения для линзы Миллиметры

Таблица 3
Тип области: Высота параксиального изображения (Единицы измерения: в Миллиметрах) Но-
мер X-значение Y-значение Вес 1 0,000000 0,000000 0,020000 2 0,000000 5,000000 1,500000 3 0,000000 7,500000 1,000000 4 0,000000 10,000000 1,000000 5 0,000000 10,500000 1,000000

Таблица 4
Коэффициенты виньетирования Номер VDX (децентрирование по оси Х) VDY (децентрирование по оси Y) VCX (сжатие по оси X) VCY (сжатие по оси Y) VAN 1 0,000000 0,000000 0,000000 0,000000 0,000000 2 0,000000 0,000000 0,000000 0,000000 0,000000 3 0,000000 0,000000 0,000000 0,000000 0,000000 4 0,000000 0,000000 0,000000 0,000000 0,000000 5 0,000000 0,000000 0,000000 0,000000 0,000000

Таблица 5
Длины волны: 3 Единицы измерения: Микроны Номер Значение Вес 1 0,450000 1,000000 2 0,545000 1,000000 3 0,618000 1,000000

Таблица 6
Краткое описание данных поверхности Поверх-ность Тип Комментарий Радиус Толщина Оптическое стекло Диаметр Коническая OBJ STANDARD   Бесконечность (предельное значение) 0,920734   7,524086 0 1 STANDARD   Бесконечность 0,53 CBAK6 6,477137 0 2 STANDARD   Бесконечность 4,23389   6,125204 0 3 STANDARD   5,931 0,7 CLAF2 2,4 0 4 STANDARD   -4,36 0   2,4 0 STO STANDARD   Бесконечность 0,32   0,7776666 0 6 STANDARD   -1,7 0,55 CZF2 1,049225 0 7 STANDARD   11,56 0,08   2,4 0 8 STANDARD   -9,45 0,78 CLAK3 1,69666 0 9 STANDARD   -1,95 19,88562   2,4 0 IMA STANDARD   Бесконечность     21,06387 0

Таблица 7
Данные толщины по краю (поверхности) Поверхность Край OBJ 0,920734 1 0,530000 2 4,356554 3 0,408946 4 0,168389 STO 0,237029 6 0,695424 7 -0,020607 8 0,405197 9 20,298575 IMA 0,000000

Таблица 8
Техническое описание объектива Фокусное расстояние, f 5,52 мм Сопряженное расстояние 28 мм F# 19,5 Длина световой волны 456,546,640 нм (нанометр)

Чтобы способствовать обнаружению и/или позиционированию устройства ввода, поверхность объекта, над которым позиционировано устройство ввода, может включать в себя данные изображения, которые указывает относительную позицию областей поверхности. В одном примерном варианте осуществления сканируемая поверхность может содержать устройство отображения ведущего компьютера или другого внешнего вычислительного устройства, которое может соответствовать монитору настольного компьютера, портативной ЭВМ, планшетному компьютеру

PC^TM, персональному цифровому ассистенту, телефону, цифровой камере или любому устройству, которое может отображать информацию. Соответственно, пустой документ или другое изображение, сформированное на экране планшетного компьютера PC™, могут включать в себя данные, соответствующие коду, который представляет относительную позицию этой части документа в полном документе, или относительно любой другой части изображения. Информация может быть составлена из изображений, которые могут включать в себя алфавитно-цифровые символы, кодовые схемы или любой различимый образ для данных изображения, который может быть использован для указания относительной позиции. Изображение или изображения, выбранные для использования в обозначении местоположения областей на поверхности объекта, могут зависеть от характеристик чувствительности устройства сканирования, включенного в состав камеры, таких, как способность различать элемент изображения, или разрешающая способность датчика и/или разрешающая способность данных изображения содержащихся в пределах сканируемой поверхности. Информация о местоположении, извлеченная из объекта, может затем использоваться, чтобы отследить перемещение устройства ввода над объектом. Используя эту информацию, электронные чернила или другая информация, соответствующая перемещению устройства ввода, может быть точно сформирована. Информация о местоположении может использоваться, чтобы обнаружить позицию в пределах изображения, на которой должен быть задействован ввод, а также чтобы обеспечить признак перемещения устройства ввода по поверхности объекта. Результирующая информация может быть использована интерактивно вместе с программным обеспечением обработки текстов, чтобы, например, сформировать изменения в документе.

Например, в дополнительном варианте осуществления объект, используемый в комбинации с устройством ввода, может быть составлен из бумажного документа вместе с позиционной информацией, включенной в фон (не воспринимаемый при считывании). Позиционная информация может быть включена в состав в любой форме кода, оптического представления, или другой форме, которая может быть считана датчиком, связанным с устройством ввода, и использована для представления относительного местоположения конкретного места на бумажном документе.

На Фиг. 9 показана иллюстративная методика для кодирования местоположения для документа. В этом примере фон изображения может включать в себя тонкие линии, которые при рассмотрении большими группами создает образ, подобный лабиринту. Например, каждое группирование линий внутри схемы лабиринта, составленного из нескольких тонких линий с однозначно определяемыми, или уникальными, ориентациями и относительными позициями, может указывать позицию этой части образа лабиринта относительно других частей документа. Декодирование образа лабиринта, найденного во введенном изображении, может быть выполнено в соответствии со многими схемами декодирования. В одном варианте осуществления конкретная компоновка и группирование линий могут быть декодированы, чтобы сформировать позиционную информацию. В другом варианте осуществления индикация позиции введенных данных может быть произведена посредством извлечения кода из изображения, соответствующего оцифрованному образу, и использования этого кода для обращения к справочной таблице, содержащей данные, идентифицирующие местоположение этой области. Ссылка на способ кодирования, использующий образ лабиринта, предусмотрена для иллюстративных целей, и альтернативные способы активного кодирования, включающие, но не ограниченные способами визуального кодирования в заявке на патент США за номером 10/284,412, поданной 31 октября 2002, озаглавленной "Active Embedded Interaction Code" (Активный встроенный код взаимодействия), содержимое которой включено в настоящий документ путем ссылки, также могут быть использованы в соответствии с аспектами настоящего изобретения.

Даже при отсутствии кодов местоположения изображения, введенные датчиком изображения, могут быть проанализированы, чтобы определить местоположение устройства ввода в момент времени ввода данных изображения. Могут быть использованы последовательные изображения, чтобы вычислять относительные позиции устройства ввода в различные моменты времени. Корреляция этой информации может вырабатывать точную траекторию устройства ввода над основанием, или подложкой. При использовании этой информации о траектории могут быть сформированы, например, электронные чернила, точно представляющие рукописные штрихи.

На Фиг. 10 представлена иллюстрация образа траектории, на основании которого могут быть сформированы электронные чернила. В этом примере первое введенное изображение может содержать часть образа лабиринта, указывающую первую позицию p₁ устройства ввода в первый момент времени t₁. Следующее введенное изображение может содержать часть кодированных данных изображения, другую часть образа лабиринта в данном примере, обеспечивающую информацию о местоположении для второй позиции p₂ во второй момент времени t₂. Третье введенное изображение может содержать третью часть образа лабиринта, таким образом указывая местоположение устройства ввода в третьей позиции p₃ в момент времени t₃. Используя эти данные, три точки могут указывать траекторию устройства ввода от момента времени t₁ до t₃. Посредством применения алгоритмов оценивания рисуемого образа, отслеженного, или «вычерченного», устройством ввода, могут быть сформированы электронные чернила. Сложность применяемого алгоритма может обуславливать точность формируемых чернил. Например, основной алгоритм рисования может просто соединять точки прямыми линиями постоянной толщины. Алгоритмы, осуществляющие разложение предшествующих оцифрованных точек, время между осуществлениями дискретизации или другие данные, указывающие скорость или ускорение, с которыми было перемещено устройство ввода, данные, указывающие использованное усилие нажима, или любые другие подходящие данные могут быть обработаны, чтобы обеспечить чернила, которые более точно представляют фактическое перемещение устройства ввода (например, от других датчиков).

Оптическое сканирование, выполняемое камерой 304, может формировать данные, необходимые для определения позиции устройства ввода в различные моменты времени, и эта информация может быть использована, чтобы сформировать электронные чернила. В одном иллюстративном варианте осуществления сравнения изображения, введенного в момент времени t₁, с изображением, введенным в момент времени t₂, могут обеспечивать данные, указывающие расстояние перемещения пера от одной точки до другой в течение интервала времени от t₁ до t₂. Эти две точки данных и/или относительное расстояние, на которое осуществлено перемещение, затем могут быть использованы, чтобы сформировать траекторию перемещения устройства ввода для формирования электронных чернил, представляющих рукописные штрихи. Сравнения двух или многих изображений или частей введенных изображений для вычисления относительного перемещения могут быть выполнены посредством разностного анализа. В этом случае могут быть сравнены характерные особенности, или признаки, появляющиеся более чем в одном изображении, и относительное перемещение признака или признаков из одного местоположения в другое внутри этих изображений могут обеспечивать, например, точную индикацию перемещения пера. Если используют неравномерные периоды дискретизации, то алгоритм обработки может быть изменен, чтобы компенсировать разброс в значении периода дискретизации, чтобы более точно указать корреляцию между перемещением устройства ввода с фактическим временем, необходимым для каждого перемещения. Информация, указывающая скорость перемещения, может помогать в формировании чернил соответствующей толщины.

В соответствии с таким вариантом осуществления поверхность, по которой перемещают устройство ввода, может включать в себя дисплей вычислительного устройства, коврик для мыши, рабочий стол или любую неоднородную отражающую поверхность, из который могут быть извлечены объекты или данные изображения, указывающие перемещение устройства ввода по этой поверхности. Алгоритм отслеживания, с помощью которого могут быть обработаны данные введенного изображения, может быть неизменяемым или может изменяться в зависимости от характеристик введенных изображений. Используя простой алгоритм отслеживания, процессор может выявлять волокна в древесине рабочего стола, например, и на основании сравнения последовательности изображений, введенных камерой, относительное местоположение конкретных образов частицы в пределах последовательных изображений могут быть использованы, чтобы определить местоположение ввода в различные моменты времени и/или относительное перемещение устройства ввода по этой поверхности. Более сложный алгоритм отслеживания может потребоваться в тех случаях, когда признаки внутри изображений не так легко различимы и изображение является более однородным. Альтернативные способы пассивного кодирования, включающие, но не ограниченные таковыми, способы кодирования, приведенные в заявке на патент США номер 10/284,451, поданной 31 октября 2002, озаглавленной "Passive Embedded Interaction Code" (Пассивный встроенный код взаимодействия), содержимое которой является включенным в настоящий документ путем ссылки, также могут быть использованы в соответствии с аспектами настоящего изобретения.

На Фиг. 11A показана архитектура аппаратного обеспечения системы в соответствии с одним вариантом осуществления настоящего изобретения. Многие из одинаковых или родственных компонентов, проиллюстрированных в предшествующих вариантах осуществления, будут представлены с использованием одинаковых ссылочных позиций. Процессор 1106 может быть составлен из любого известного процессора для выполнения функций, связанных с различными аспектами настоящего изобретения. Например, процессор может включать в себя программируемую пользователем логическую полупроводниковую интегральную схему (FPSLIC) AT94S40 и может быть составлен из программируемой пользователем вентильной матрицы (ППВМ, FPGA) с ядром AVR. Такое конкретное устройство может включать в себя генератор тактовых импульсов с частотой 20 МГц и действовать со скоростью 20 миллионов команд в секунду (MIPS). Конечно, выбор процессора для использования в устройстве 1101 ввода может быть обусловлен требованиями стоимости и/или скорости обработки для системы. Процессор 1106 может выполнять анализ изображения, если такой анализ должен проводиться внутри устройства ввода. В качестве альтернативы, обработка может быть выполнена посредством второго процессора, такого как процессор цифровых сигналов (ПЦС, DSP), включенный в устройство 1101. Процессор 1106 может дополнительно действовать, чтобы выполнять этапы, критичные для сокращения энергопотребления, чтобы сберегать энергию, сохраняемую в источнике 1109 электропитания, например, выключением электропитания различных компонентов в случае, когда устройство ввода является неактивным, что может быть основано на данных, указывающих перемещение и/или позиционирование устройства. Процессор 1106 может дополнительно действовать, чтобы калибровать и регулировать характеристики различных компонентов, включая, например, регулировку интенсивности источника света или чувствительности считывающей матрицы камеры. К тому же, процессор или спаренный процессор цифровых сигналов могут осуществлять выбор алгоритмов обработки изображений из числа набора хранимых алгоритмов и могут быть управляемыми для того, чтобы выбирать алгоритм анализа изображения, наиболее подходящий для обнаружения перемещения, в соответствии, например, с характеристиками, связанными с поверхностью, по которой перемещают устройство. Таким образом, алгоритм обработки изображения может быть выбран автоматически на основании запрограммированных в устройстве ввода анализов характеристик. В качестве альтернативы, устройство ввода может быть управляемым и параметры настройки могут быть устанавливаемыми на основании входных данных, выбранных пользователем, например, посредством приведения в действие датчика силы или входных данных на устройстве ввода, или на основании рукописных штрихов, соответствующих командам.

В одном варианте осуществления запоминающее устройство 1107 может включать в себя один или несколько блоков ОЗУ, ПЗУ, флэш-памяти или любое запоминающее устройство или запоминающие устройства для сохранения данных, сохранения программного обеспечения, предназначенного для управления устройством, или сохранения программного обеспечения, предназначенного для обработки данных. Как упомянуто, данные, представляющие информацию о местоположении, могут быть обработаны внутри устройства 1101 ввода и сохранены в запоминающем 1107 устройстве для передачи на ведущий компьютер 1120. В качестве альтернативы данные введенного изображения могут быть буферизированы в запоминающем устройстве 1107 внутри устройства 1101 ввода для передачи на ведущее устройство 1120 для обработки или иного.

Приемопередатчик, или блок связи, может включать в себя блок передачи и блок приема. Как упомянуто, информация, представляющая перемещение устройства ввода либо преобразованная в форму, подходящую для формирования и/или отображения электронных чернил или иного, может быть передана на ведущий компьютер 1120, такой как вышеописанный настольный компьютер, портативная ЭВМ, планшетный компьютер PC™, персональный цифровой ассистент, телефон или другое подобное устройство, для которого пользовательские входные данные и электронные чернила могут быть пригодными. Приемопередатчик может взаимодействовать с внешним устройством, используя любую технику беспроводной связи, включая технику Bluetooth®, для выполнения передач данных для ближней беспроводной связи, инфракрасной связи, или даже сотовой или другой техники передачи данных дальней беспроводной связи. В качестве альтернативы приемопередатчик может управлять передачей данных по прямой линии связи на ведущий компьютер, например, через соединение УПШ, или косвенно через соединение с помощью установочного гнезда 1130. Устройство ввода также может быть соединено кабелем с конкретным ведущим компьютером, используя выделенное соединение. Приемопередатчик также может быть использован, чтобы принимать информацию и/или программное обеспечение, которые в одном варианте осуществления могут быть использованы для совершенствования характеристики устройства ввода. Например, программная информация для обновления функций управления процессора может быть загружена в удаленный компьютер посредством любого из вышеописанных способов. Кроме того, программное обеспечение также может быть передано на устройство ввода, включая программное обеспечение для анализа данных изображения и/или для поверки устройства ввода, которые могут быть загружены из внешнего устройства.

Процессор 1106 может действовать в соответствии с моделью взаимодействия. Модель взаимодействия может быть осуществлена в форме программного обеспечения для поддерживания согласованного опыта, которым электронные чернила формируют независимо от внешнего устройства, для которого блок осуществляет функции устройства ввода. Модель взаимодействия может обрабатывать введенные данные для преобразования в форму, универсально пригодную для использования на любом количестве ведущих устройств, включая настольный компьютер, портативную ЭВМ, планшетный компьютер PC™, персональный цифровой ассистент, телефон, электронную белую доску или любое устройство, которое может хранить, отображать или записывать входные данные посредством устройства ввода. Процессор 1106 может распознавать устройство, с которым он соединен или для которого предназначены данные, представляющие рукописные водные данные, и на основании такого распознавания выбирать обработку, которая преобразует входные данные в форму, подходящую для конкретного распознанного устройства. В этом случае преобразование к форме, пригодной для каждого потенциального принимающего вычислительного устройства-получателя, будет содержаться внутри устройства ввода и сделано доступным по мере необходимости. Распознавание предназначенного устройства-получателя может быть достигнуто в качестве результата взаимодействия между устройствами, являются ли они связанными беспроводной связью или непосредственно. В качестве альтернативы пользователь может вводить идентификатор устройства или устройств, для которых данные предназначены, непосредственно в устройство ввода. Конечно, если устройство ввода включает в себя устройство отображения, данные могут быть обработаны, используя алгоритм обработки «по умолчанию», подходящий для использования вместе с устройством отображения и/или с большим количеством других устройств.

На Фиг. 11B показана другая архитектура аппаратного обеспечения системы в соответствии по меньшей мере с одним аспектом настоящего изобретения. Архитектурой аппаратного может быть комплект печатных плат (ПП, PCB) и микропрограммного обеспечения, исполняемого на платах. Компоненты комплекта плат PCB включают в себя компонент 1150 архитектуры сдвоенного ядра, блок 1160 дополнительных датчиков входных сигналов, блок 1170 ввода изображения, компонент 1180 связи, блок звукового воспроизведения, или блок 1155 аудио, блок пользовательского 1190 интерфейса, запоминающее устройство 1186, блок 1187 логического управления и компонент 1188 аппаратного ускорения. Специалисту в данной области техники должно быть понятно, что нижеследующие платы и их описание не являются все вместе необходимыми для настоящего изобретения и один или несколько компонентов могут быть включены в состав для действия настоящего изобретения.

Компонент 1150 архитектуры сдвоенного ядра включает в себя процессор 1151 вычислительной машины с сокращенным набором команд (RISC) или универсальный процессор (GPP), используемый для исполнения встроенной операционной системы (ОС, OS), например, Windows CE®. ПЦС 1152 является ответственным за исполняющиеся алгоритмы, такие как обработка изображения, анализ образа лабиринта и декодирование многомерной матрицы. Эти два ядра могут быть двумя различными микросхемами или встроенными в одну микросхему. Компонент 1151 MCU/RISC/GPP может иметь несколько датчиков и аналого-цифровых (А/Ц) микросхем (аналого-цифрового преобразования), функционирующих совместно. Датчики и А/Ц микросхемы должны быть настраиваемыми и управляемыми одновременно. Компонент 1151 MCU/RISC/GPP может оперировать системным управлением, вычислением, и связью, поскольку компонент 1151 MCU/RISC/GPP является подходящим для параллельных вычислений в реальном времени. Один пример компонента 1151 MCU/RISC/GPP может включать в себя три микросхемы: XCV50CS144, микросхему ППВМ компании Xilinx, San Jose, CA (Сан-Хосе, Калифорния), которая имеет объем логических вентилей 50 килобайт и 96 пользовательских вводов-выводов (I/O); XC18V01, конфигурацию программируемого постоянного запоминающего устройства (ППЗУ, PROM) компании Xilinx, San Jose, CA;

и CY62256V, статическое запоминающее устройство с произвольной выборкой (СЗУПВ, SRAM) 32KX8 компании CYPRESS, San Jose, CA в качестве буфера для вычислений.

Компонент 1152 ПЦС может состоять из двух микросхем. Микросхема TMS320VC5510 является высокопроизводительной, с низким потреблением мощности, микросхемой ПЦС с фиксированной запятой компании Texas Instruments (TI), Dallas, TX (Даллас, Техас). Такая микросхема является весьма подходящей для подвижных вычислительных устройств. Эту микросхему используют для вычисления, чтобы восстанавливать штрихи согласно записанным пользователем. Второй микросхемой компонента 1152 ПЦС может быть SST39LF160, 16-мегабитная многоцелевая флэш-память компании SST, Sunnyvale, CA (Саннивейл, Калифорния). Эту энергонезависимую, надежную, компактную микросхему запоминающего устройства используют, чтобы хранить микропрограммное обеспечение ПЦС и результат вычисления.

Два входных блока включают в себя блок 1160 дополнительных датчиков входных сигналов и блок 1170 ввода изображения. Эти блоки формируют сигналы силы и изображения, которые являются выводимыми на компонент 1150 сдвоенной архитектуры соответственно. Блок 1160 дополнительных датчиков входных сигналов может включать в себя FSL05N2C, микросхему 1161 датчика силы компании Honeywell Morristown, NJ, MAX4194, измерительный усилитель 1163 компании MAXIM, Sunnyvale, CA, и MAX 1240, 12-битовый последовательный преобразователь 1162 А/Ц компании MAXIM, Sunnyvale, CA. Блок 1160 дополнительных датчиков входных сигналов настроен, чтобы считывать слабо различимые изменения силы с 12-битовой точностью, приблизительно до 100 килобайтов выборок в секунду. Точные данные силы необходимы, чтобы указать, используется ли устройство ввода для записи или как сильно пользователь нажимает на устройство ввода при записи. Блок 1170 ввода изображения может включать в себя MF64285FP, микросхему 1171 датчика изображения 32x32 пиксела, компании Mitsubishi, Tokyo, Japan (Токио, Япония), TLV571, 8-битовый преобразователь 1172 А/Ц компании TI, Dallas, TX и компонент 1173 логического управления. Блок 1170 ввода изображения может вводить изображение до 336 кадр/с (кадров в секунду). Выбран датчик изображения с минимальной разрешающей способностью 32x32 пиксела, поскольку более низкая разрешающая способность не может захватить достаточно признаков для обработки. Датчик 1171 изображения является быстродействующим, малогабаритным, с малой потребляемой мощностью датчиком изображения. Блок 1170 ввода изображения может включать в себя дополнительные датчики для ввода данных изображения со многих областей. Например, устройство ввода, использующее два датчика 1171 изображения, может использоваться для работы с белой доской. Один датчик 1171 изображения может быть настроен с возможностью ввода данных, представительных для записи пользователя (представляющих запись пользователя). Второй датчик 1171 изображения может быть настроен с возможностью сканирования индикатора, такого как штрих-код, для пера «белой доски». В таком примере штрих-код пера «белой доски» может включать в себя информацию, относящуюся к цвету и/или толщине пера «белой доски». Второй датчик 1171 изображения может вводить эти данные, чтобы идентифицировать, что пользователь использует синее перо «белой доски», имеющее толщину 1,5 см.

Компонент 1180 связи может включать в себя микросхему 1181 WML-C09 и антенну. Микросхема 1181 WML-C09 является модулем Bluetooth® Класса 2 компании MITSUMI, Токио, Япония. Микросхема Bluetooth® дает возможность устройству ввода данных взаимодействовать с ведущим ПК со скоростью 720 килобитов в секунду или 100 кадров в секунду в пределах диапазона 10 метров. Bluetooth® является решением замены кабеля, которое имеет низкую стоимость, низкую мощность с широкой промышленной поддержкой, которое является подходящим для использования с настоящим изобретением. Каждому блоку Bluetooth® назначен конкретный и/или уникальный адрес Bluetooth®, который может быть использован, чтобы идентифицировать непосредственно устройство ввода. Компонент 1180 связи может включать в себя порт 1182 УПШ и компонент 1183 универсального асинхронного приемопередатчика (УАПП, UART).

Компонент 1185 управления режимом электропитания от аккумуляторной батареи спроектирован, чтобы формировать все необходимые напряжения, например, 5V, 3,3V, 2,5V, 1,6V, от питающей ионно-литиевой аккумуляторной батареи. Источник питания 5 вольт может быть использован датчиком 1171 изображения и датчиком 1161 силы. Источник питания 2,5 вольт может быть использован компонентом 1151 MCU/RISC/GPP для внутреннего источника энергии. Источник питания 1,6 вольт может быть использован компонентом 1152 ПЦС для внутреннего источника энергии. Источник питания 3,3 вольт может быть использован другими компонентами, например, для компонента 1180 связи. Компонент 1186 экономичного электропитания сберегает эксплуатационный ресурс аккумуляторной батареи и компонент 1187 перезарядки восстанавливает заряд аккумуляторной батареи устройства ввода. Разработана также защита от чрезмерной разрядки, чтобы предотвратить повреждение аккумуляторной батареи. Компонент управления режимом электропитания от аккумуляторной батареи может включать в себя нижеследующие микросхемы: UCC3952PW-1 компании TI, Dallas, TX, и MAX9402SO8 компании MAXIM, Sunnyvale, CA, чтобы совместно осуществлять защиту от чрезмерной разрядки; TPS60130PWP компании TI, Dallas, TX, чтобы формировать выходное питание 5 вольт; TPS62006DGSR компании TI, Dallas, TX, чтобы формировать выходное питание 2,5 вольт; TPS62000DGSR компании TI, Dallas, TX, чтобы формировать выходное питание 1,6 вольт; и TPS62007DGSR компании TI Dallas, TX, и/или TPS79333 компании TI Dallas, TX, чтобы формировать выходное питание 3,3 вольт.

Блок 1155 аудио обеспечивает компоненты аудио интерфейса для устройства ввода. Блок аудио может включать в себя встроенную систему звукового воспроизведения, такую как проигрыватель (аудио в формате) MP3 (ДИ3). Микрофон допускает возможности записывания речи при использовании устройства ввода. Динамик 1157 может осуществлять вывод аудио от многих источников, включая встроенный и/или внешний проигрыватель аудио в формате MP3, мультимедийный файл, файл аудио и/или некоторый другой источник звука. Устройство 1158 звуковой сигнализации (зуммер) может быть звуковым индикатором для пользователя, например, индикатором недопустимой операции и/или индикатором разрядки аккумуляторной батареи.

Блок 1190 пользовательского интерфейса обеспечивает различные элементы пользовательского интерфейса для передачи данных к пользователю и от пользователя. Кнопка 1191 питания разрешает пользователю включать устройство ввода или выключать и также может быть настроена, чтобы входить в дежурный режим, режим ожидания или режим пониженного энергопотребления для сбережения энергии аккумуляторной батареи. Функциональная кнопка/переключатель 1192 может быть использована в качестве командного ввода в устройство ввода. Функциональная кнопка/переключатель может быть активизируемой кнопкой для выбора элемента в прикладной программе, совместно с которым устройство функционирует. Индикаторами 1193 могут быть светоизлучающие диоды (СИД) и/или другие оптические выходные сигналы для визуального взаимодействия с пользователем. Индикаторы 1193 могут изменять цвета, интенсивность и/или частоту повторения импульсов. Например, индикатор 1193 может изменять цвета в случае, когда устройство ввода переходит на режим пониженного энергопотребления. Жидкокристаллический индикатор 1194 (ЖКИ, LCD), или ЖК-дисплей, может быть мини-дисплеем, который выводит визуальную информацию пользователю. Например, ЖКИ 1194 может индицировать на интерфейсе пользователя, что аккумуляторная батарея «подсажена», показывая "LO BAT" ("подсадка батареи") на устройстве отображения. Проекция 1195 пера дает возможность проецирования изображения на поверхности. Проекция 1195 пера обеспечивает дополнительную визуальную информацию пользователю устройства ввода.

Запоминающее устройство 1186 предусматривает хранение информации любого типа, включая данные датчика 1161 силы и датчика 1171 изображения и функциональные команды, предназначенные для конкретной прикладной программы, с помощью которой пользовательский интерфейс может функционировать. Блок 1187 логического управления может быть использован для управления периферийными устройствами. Блоком 1187 логического управления может быть ППВМ или СПЛУ (сложное программируемое логическое устройство). Блок 1188 аппаратного ускорения может быть настроен с возможностью ускорять алгоритмы для того, чтобы повышать эффективность вычислений устройства ввода.

Как проиллюстрировано на Фиг. 12, устройство ввода 1201 также может включать в себя один или несколько инерциальных датчиков 1215 для считывания перемещения пера, позиции, или ориентации в дополнение к вышеописанным компонентам, представленным с помощью числовых ссылочных позиций. Например, устройство 1201 ввода данных может включать в себя гироскоп для обеспечения данных, представляющих угловую скорость пера в нескольких направлениях. Устройство 1201 ввода данных может включать в себя один или несколько измерителей ускорения, или акселерометров, или наборы акселерометров, измеряющих ускорение или силы тяжести на перо. Данные, представляющие перемещение пера, также могут быть получены с использованием магнитного датчика, измеряющего перемещения пера, выявляя изменения в измерениях магнитного поля Земли, который описан при этом как инерциальный датчик, поскольку он обнаруживает перемещение устройства ввода на основании данных, отличных от данных изображения. Данные от каждого или любого из инерциальных датчиков, объединяемых вместе или встроенных внутри устройства ввода, которые могут включать в себя гироскопы, акселерометры, магнитный датчик, индуктивные элементы или любое устройство или устройства для измерения перемещения устройства ввода, могут быть использованы в комбинации вместе с данными от камеры, чтобы получать данные, представляющие перемещение или местоположение устройства ввода, и таким образом формировать данные для генерирования электронных чернил.

Как упомянуто, поверхность объекта, над которой устройство ввода позиционируют и/или перемещают, может включать в себя данные кодированного изображения, которые указывают местоположение или относительную позицию для каждой области в пределах этой поверхности. Объект может содержать устройство отображения, или дисплей вычислительного устройства, например, портативной ЭВМ. В одном варианте осуществления документ может быть выбран из запоминающего устройства и отображен на экране. Вложенной в этот документ, например, на заднем плане, или фоне, может находиться кодированная информация, указывающая позицию каждой области документа. Например, фон документа может включать в себя образ лабиринта, достаточно довольно большая часть этого образа уникальным образом идентифицирующая каждую область внутри полного документа. Устройство ввода может быть использовано в комбинации с кодированной информацией о местоположении, чтобы добавлять аннотации или редакционные изменения к документу на заданных местоположениях, даже если дисплей портативной ЭВМ не включает в себя датчики для обнаружения перемещения устройства ввода по экрану. Таким образом, устройство ввода может функционировать как "активное устройство ввода", так что датчики, связанные с устройством ввода данных, формируют данные, указывающие позицию или местоположение этого устройства.

В одном примере датчик изображения, встроенный внутри устройства ввода, вводит данные изображения, представляющие поверхность экрана дисплея, над которым устройство ввода позиционируют и/или перемещают. Датчик вводит изображения, включающие в себя коды местоположения, указывающие относительную позицию устройства ввода. По мере того как пользователь осуществляет перемещение по отображенному изображению, вводя аннотации и/или делая редакционные изменения в отображаемом электронном документе, устройство ввода формирует сигналы, представляющие эти входные данные и данные, представляющие то местоположение внутри документа, на котором эти входные данные должны быть встроены (включены в состав). На управление портативной ЭВМ также можно воздействовать, используя устройство ввода вместо мыши, или для того, чтобы выполнять другую общепринятую функцию ввода данных, включая перемещение курсора и срабатывание вариантов выбора.

Устройство ввода может быть использовано вместе с программным обеспечением обработки текстов для того, чтобы редактировать документ посредством, например, удаления текста и вставки нового текста. Чтобы редактировать документ, отображаемый на экране вычислительного устройства, пользователь позиционирует устройство ввода над экраном в требуемом местоположении. Чтобы удалить текст, пользователь может позиционировать устройство ввода в непосредственной близости к экрану и перемещать устройство в направлении перечеркивания изображения отображаемого текста. Считав коды местоположения, изображение может быть обработано, чтобы определить, что и перо было перемещено в движении перечеркивания, и чтобы идентифицировать текст, соответствующий местоположению, на которое пользователь переместил устройство ввода. Соответственно, входные данные могут быть использованы, чтобы удалить эти данные.

Затем пользователь может пожелать вставить новый текст. Хорошо известным образом пользователь может вычертить символ, предназначенный для вставки текста, например, "морковь" или перевернутый "V", на местоположении, в котором должен быть вставлен новый текст. Обрабатывающее программное обеспечение, предназначенное для преобразования входных данных в данные изображения и/или команды, сохраняемые в устройстве ввода или ведущем компьютере, распознает символ в качестве управляющего сигнала для вставки текста. При помощи устройства ввода пользователь может затем вручную записать текст, подлежащий вставке.

В альтернативном варианте осуществления пользователь может добавлять примечания, имеющие яркостное выделение, или подсвечивание, индицирующее исходный текст, к которому относятся аннотации. Например, пользователь может выбирать текст, подлежащий подсвечиванию, используя «выпадающее меню», или кнопку «подсвечивания», отображенные на экране. Затем устройство ввода «перетаскивают» по тексту, который будет выбран для подсвечивания. Затем комментарии, которые подлежат связыванию с подсвеченным/выбранным текстом, могут быть записаны на экране дисплея на местоположении, соседнем с подсвеченным текстом. Когда операция завершена, пользователь может выбирать подсказки, необходимые для завершения ввода аннотаций. Все эти модификации к документу могут быть созданы, используя устройство ввода независимо от того, включает ли дисплей в себя датчики для обнаружения перемещения устройства ввода.

Модификации к документу могут быть отображены и/или включены в документ в форме данных изображения, электронных чернил или данных, преобразованных в текст. Преобразование входных данных в текст может происходить способом, невидимым пользователю, так что текст появляется в отображении документа на экране, по мере того как он введен. В качестве альтернативы, рукописный текст пользователя может появляться в пределах внутренней части (или тела) документа. Чтобы достичь мгновенного отображения редакционных изменений, информация, представляющая перемещение пера и местоположение таких редакционных изменений, может быть передана на портативное устройство на основе продолжения.

При функционировании устройство ввода вводит изображения, имеющие разрешение 32x32 пиксела, с поверхности, над которой перемещают устройство ввода, и имеющие 12-битовую точность, данные о силе, указывающие, используется ли устройство ввода для записи или как сильно пользователь нажимает устройство ввода при записи. Изображение и данные о силе объединяют (упаковывают) вместе в кадр. Затем непрерывный поток кадров передают беспроводной связью, используя Bluetooth®, со скоростью до 100 кадров в секунду. Устройство ввода начинает процедуру автоинициализации, когда включают питание, и затем переходит (меняется) на рабочий режим или режим ожидания. Устройство ввода переключает режимы во время выполнения в соответствии с усилением значения давления, то есть переходит в рабочий режим, если значение давления является большим, чем заданное пороговое значении, иначе в режим ожидания.

При действии в рабочем режиме устройство ввода потребляет ток примерно 120 миллиампер. Данные кадра формируют в блоке дополнительных датчиков входных сигналов, таком как 1160, и блоке ввода изображения, таком как 1170, и выводят на архитектуру сдвоенного ядра, такую как 1150. Архитектура 1150 сдвоенного ядра принимает изображение и данные о силе, составляет их (сжатие изображения, кодирование циклически избыточного кода (ЦИК, CRC), отметка времени, формирование кадра) и передает данные на блок связи, такой как 1180, для связи с ведущим ПК. Блок связи также предусматривает быстродействующий УАПП, такой как 1183, непосредственно соединяющий с RS-232 на ведущем ПК с целью отладки. Операции в архитектуре 1150 сдвоенного ядра включают в себя формирование кадра данных, сжатие отображения, отметку времени, кодирование ЦИК и управление линиями передачи данных (посредством УАПП или Bluetooth).

На Фиг. 13 показана иллюстративная блок-схема данных, проходящих через архитектуру сдвоенного ядра устройства ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения. В течение сбора данных формирование кадра изображения и данных датчика силы происходит на этапе 1301. Формирование кадра данных может быть настроено с возможностью использовать ограниченную полосу частот Bluetooth®, разделяя кадры из непрерывного потока данных только посредством двух "FF". В архитектуре сдвоенного ядра данные введенного изображения и силы объединяют вместе в кадры данных. Кадр 1400 данных составлен из данных изображения (необработанные, или «сырые», данные или сжатые данные), данных силы, отметки времени, признака 1410 сжатия, кода ЦИК и признака кадра, как показано на Фиг. 14.

На этапе 1302 алгоритм, использующий постоянный коэффициент сжатия, сжимает данные изображения от 8 битов на пиксел до 5 или 6 битов. Это сжатие поддерживает устойчивую скорость передачи данных. Принципом алгоритма является прогнозирование плюс неравномерное квантование. Формула прогнозирования: d = + b - c, при этом d является прогнозируемым значением пиксела и a, b и c являются левым, верхним, левым верхним пикселом соответственно. Разность между прогнозируемым и фактическим значением является квантованной согласно заранее установленной схеме, сохраняемой в качестве таблицы преобразования в архитектуре сдвоенного ядра. Сжатие изображения, этап 1302, может быть выполнен, чтобы использовать ограниченную полосу частот Bluetooth®. На этапе 1303 28-битовую отметку времени увеличивают для каждого кадра начиная с запуска, чтобы конкретно и/или уникально идентифицировать каждый кадр данных. На этапе 1304 все данные в кадре данных, кроме признака кадра, пропускают в кодирующий блок, или кодер 28-битового ЦИК. Приемник в ведущем ПК может проверить код ЦИК и отбросить ошибочные кадры. Код ЦИК гарантирует, что все данные принятого кадра являются правильными.

В течение управления потоком данных, на этапе 1305, очередь обратного магазинного типа (FIFO) ("первым пришел - первым обслужен") обеспечивает 2048-байтовый буфер, чтобы согласовать (сбалансировать) скорость формирования данных и скорость передачи. Этот буфер FIFO может действовать одновременно. Данные кадра помещают в FIFO и извлекают в одно время. Когда качество линии связи Bluetooth® является низким, компонент Bluetooth® не может передавать данные кадра с той же скоростью, с какой данные формируют. Как таковые некоторые данные должны быть отброшены, чтобы поддерживать объединение в кадры. На этапе 1306 блок управления, или контроллер потока, выполняет самонастраивающееся (адаптивное) управление скоростью передачи кадра, чтобы отбросить дополнительные данные кадра. В течение передачи данных блок связи передает данные кадра на ведущий ПК. Если контроллер Bluetooth® используют для беспроводной передачи данных, то на этапе 1307 происходит беспроводная передача данных от устройства ввода на блок приемопередатчика Bluetooth® ведущего ПК. В качестве альтернативы на этапе 1308 может использоваться контроллер УАПП, чтобы осуществить сопряжение с RS-232 ведущего ПК. Быстродействующее ядро УАПП осуществлено в архитектуре сдвоенного ядра, чтобы передавать данные из архитектуры сдвоенного ядра на RS-232 в ведущем ПК. Этот интерфейс может быть испытательным портом для отладки.

При действии в режиме ожидания устройство ввода потребляет ток приблизительно 40 миллиампер. Компонент управления режимом электропитания от аккумуляторной батареи, блок дополнительных датчиков входных сигналов и блок ввода изображения могут все еще находиться в действии. Архитектура сдвоенного ядра останавливает большинство операций и контролирует только значение давления. Компоненты связи действуют в ждущем режиме.

Как упомянуто, идентичность лица, вводящего входные сигналы, также может быть зарегистрирована. Например, устройство ввода может формировать информацию, идентифицирующую пользователя и/или конкретное устройство ввода. Информация об идентичности может быть приложена к сформированным входным данным. В качестве альтернативы, такую идентифицирующую информацию можно обеспечивать в качестве отдельного сигнала, передаваемого на ведущее устройство.

На Фиг. 14 показана иллюстративная структура кадра данных, передаваемая от устройства ввода, в соответствии по меньшей мере с одним аспектом настоящего изобретения. Каждое устройство ввода является идентифицированным посредством идентификатора (ИД, ID) пера и адресом Bluetooth® компонента Bluetooth®. Признак 1410 сжатия содержит данные (PEN ID) (идентификатор пера), которые идентифицируют устройство ввода, от которого произошли данные изображения (находящиеся) в кадре данных. Идентификатор пера является конкретным для устройства ввода. Системы регистрации в начале сеанса отсутствующих пользователей и задаваемые пользователем регистрационные имена, предшествующие технические средства устройств ввода не имели системы идентификации, которая была бы конкретной для устройства ввода. Одно устройство ввода идентифицировали точно так же, как любое другое устройство ввода подобного типа. В соответствии по меньшей мере с одним аспектом настоящего изобретения, поле «PEN ID» из признака 1410 сжатия данных дает возможность многим устройствам ввода данных действовать одновременно. Такое применение будет полезным в многоавторской совместной работе. Специалисту в данной области техники должно быть понятно, что количество байтов для полей 1024, 768 и 640 данных изображения представляет количество байтов без сжатия, сжатых до 6 битов на пиксел и сжатых до 5 битов на пиксел соответственно.

В многопользовательском применении несколько пользователей могут аннотировать один и тот же документ одновременно или нет. Ведущий ПК будет принимать последовательность данных кадра по мере того, как каждое устройство ввода будет выводить данные кадра. Посредством извлечения данных кадра для каждого устройства ввода, используя «PEN ID» и/или адрес Bluetooth®, несколько устройств ввода могут действовать совместно одновременно или нет, как показано на Фиг. 15. Технология Bluetooth® допускает, чтобы до семи различных устройств ввода были идентифицированы одновременно посредством беспроводной передачи данных. Как показано на Фиг. 15, устройства ввода 1510, 1520 и 1530 каждое передает беспроводной связью данные введенного изображения на ведущий ПК посредством компонента связи Bluetooth®. Ведущий ПК принимает последовательность кадров данных от 1540-1 до 1540-n. Ведущий ПК может отделять индивидуальные кадры данных для каждого из устройств 1510, 1520 и 1530 ввода из последовательности кадров данных, используя поле PEN ID и/или адрес Bluetooth® соответствующих устройств 1510, 1520 и 1530 ввода данных. Как таковые в многопользовательском применении различные аннотации могут встречаться на одном и том же документе, и ведущий ПК может отслеживать, какое из устройств 1510, 1520 или 1530 ввода данных какую аннотацию создал.

Тогда как вышеупомянутый иллюстративный вариант осуществления идентифицирует поверхность, над которой перемещают устройство ввода, в качестве устройства отображения портативного устройства, устройство ввода также может функционировать, чтобы обнаруживать местоположение, используя коды, включенные в пределы поверхности любого объекта, над которой устройство может быть перемещено. Таким образом, изображение, включающее в себя коды местоположения, может быть создано и/или отредактировано, используя устройство ввода в комбинации вместе с монитором настольного компьютера, планшетным компьютером PC™, персональным цифровым ассистентом, телефоном или любым устройством, которое может отображать информацию. Кодированная информация также может быть включена в пределы прозрачного листа, положенного поверх экрана дисплея таких устройств, или включена в пределы поверхности, которая может использоваться в комбинации вместе с дисплеем, включая защитные пленки.

Кодированная информация также может быть встроена на поверхность для записи или на материале для записи, например, бумажном документе, чтобы уникально идентифицировать местоположения на этой поверхности. Например, позиционная информация может быть включена в фон бумажного документа. Как упомянуто, позиционная информация может включать в себя любую форму знаков или кода, представляющих относительное местоположение конкретного места на бумажном документе. Соответственно, устройство ввода может быть использовано во взаимосвязи с кодированным бумажным документом, чтобы записывать информацию, соответствующую рукописному тексту пользователя на соответствующем местоположении. Например, оснащенное только устройством ввода данных и поверхностью для записи, включающей кодированную позиционную информацию, при поездке в такси устройство ввода может быть использовано для черновика письма клиенту. При записи на бумажном документе с помощью устройства ввода программируемые графические знаки, или "жесты", соответствующие тексту или другой входной информации, распознают, обнаруживая изменения в местоположении устройства ввода в некоторые моменты времени. Входные сигналы затем могут быть преобразованы в электронные чернила или другие электронные данные для использования в формировании информации, соответствующей этим жестам. Преобразование входных данных может быть выполнено по мере того, как формируют эти входные данные, либо в пределах устройства ввода, либо если приняты ведущим вычислительным устройством, связанным с устройством ввода данных. В качестве альтернативы такое преобразование может быть выполнено в более позднее время. Например, информация, сформированная с использованием устройства ввода, может быть сохранена в запоминающем устройстве и передана получателю и/или ведущему компьютеру для подходящей обработки в более поздний момент времени.

Данные, сформированные с использованием устройства ввода, являются ли эти входные данные рукописными буквами, символами, словами или другими письменными изображениями, могут быть включены в документ на местоположениях, идентифицированных посредством кодов местоположения. Таким образом, даже в отсутствие форматированного шаблона макет документа, такой как предварительно описанное письмо, может быть выполнен, используя информацию о местоположении, идентифицирующую местоположение в пределах документа, в которое должна быть введена информация. Например, адрес разработчика, адрес получателя, внутренняя часть и заключительная часть письма и оставшиеся компоненты могут быть введены на бумажный документ в соответствующем местоположении. Используя кодированную информацию о местоположении, введенную камерой, слова или другие изображения, образующие содержимое соответствующего электронного документа, являются включенными на соответствующих местоположениях.

Используя обнаруженную информацию о местоположении, устройство ввода также может взаимодействовать с ведущим вычислительным устройством для ввода команд и осуществления выборок и подобного. В тех случаях, когда вычислительным устройством является портативная камера или телефон, имеющие свойства просмотра сети, устройство ввода может быть использовано способом, соответствующим перу или мыши для того, чтобы выбирать из отображенных кнопок или меню. Следовательно, устройство ввода можно использовать, чтобы активизировать браузер ведущего компьютера и выбирать опции для поиска файла, такого как предварительно описанный документ, даже если он сохранен удаленно. Используя устройство ввода, пользователь может выбрать загрузку файла, содержащего информацию, необходимую пользователем. Затем пользователь может вводить аннотации в загруженный файл или файлы посредством устройства ввода. Эти редакционные изменения могут быть переданы на удаленное местоположение, из которого файл был загружен, причем устройство ввода оборудовано для выполнения обмена информацией с удаленными вычислительными устройствами. В качестве альтернативы, редакционные изменения можно использовать, чтобы редактировать файл, сохраненный в пределах устройства ввода и/или ведущего вычислительного устройства, предполагая, что устройство ввода находится в связи с ведущим вычислительным устройством.

В другом воплощении файлом, отображаемым на мониторе ведущего вычислительного устройства, может быть электронная таблица, сформированная с использованием программного обеспечения электронной таблицы, такого как EXCEL™ компании Microsoft® Corporation, Redmond, Washington (Редмонд, Вашингтон). Коды местоположения могут быть использованы, чтобы связать местоположения с заданными ячейками в электронной таблице. Пользователь может вводить числовой элемент в ячейку, отображенную на экране. В это время устройство ввода осуществляет захват изображения, связанного с местоположением устройства ввода, и передает эту информацию на ведущее вычислительное устройство. Программное обеспечение обработки, находящееся на ведущем вычислительном устройстве, например, и работающее в комбинации вместе с программным обеспечением электронной таблицы, определяет идентичность ячейки, выбранной для ввода, на основании обнаруженных кодов местоположения, и соответственно изменяет содержимое документа электронной таблицы.

Устройство ввода также может быть использовано, чтобы воспроизводить изображения или другую предварительно сохраненную информацию, связанную с конкретными «жестами» или комбинацией «жестов». Например, устройство ввода можно использовать, чтобы начертить символ, для распознавания которого запрограммировано устройство алгоритма обработки. Образ лабиринта может использоваться, чтобы точно обнаружить перемещение устройства ввода над образом с тем, чтобы мог быть обнаружен конкретный символ, связанный с таким перемещением. Например, пользователь может управлять устройством ввода, чтобы начертить такой предварительно идентифицированный пользователем символ на бумаге, который будет связан с логотипом компании. Образ лабиринта может идентифицировать комбинацию перемещений, соответствующих букве "M", за которой непосредственно следует буква "S", в качестве команды для обозначения ввода логотипа компании Microsoft® Corporation. В качестве результата такая предварительно сохраненная информация может быть введена в документ посредством ввода конкретной последовательности входных данных.

Устройство ввода также можно использовать в качестве пассивного устройства ввода. В таком режиме устройство ввода можно использовать в комбинации с вычислительным устройством, которое воспринимает перемещение устройства ввода, например, используя резистивное считывание. При использовании в комбинации с устройством, которое включает в себя плату датчиков для обнаружения перемещения устройства ввода, такого как планшетный компьютер PC^TM или персональный цифровой ассистент, устройство ввода может функционировать способом, соответствующим перу. При использовании устройства ввода электронные чернила или другие данные изображения могут быть сформированы, когда устройство ввода позиционировано в весьма тесной близости к экрану. Управляющие функции могут быть введены подобным образом. Дополнительно, изображение, отображенное на мониторе конкретного вычислительного устройства, также может включать в себя данные, соответствующие коду, который представляет относительную позицию этой части документа. Информация местоположения, извлеченная из объекта, используя камеру, затем может использоваться для отслеживания перемещения устройства ввода в качестве подстановки в перемещение или в комбинации с перемещением, обнаруженным с использованием датчиков вычислительного устройства.

Например, пользователь может пожелать создать или изменить изображение на портативном вычислительном устройстве, которое уже включает в себя возможность обнаруживать местоположение устройства ввода, такого как планшетный компьютер PC™ или персональный цифровой ассистент. Устройство ввода может функционировать только в качестве пассивного устройство ввода, так что информацию, представляющую перемещение устройства ввода, формирует вычислительное устройство. Датчики вычислительного устройства, однако, могут не иметь способности обнаруживать перемещение пера в диапазоне, требуемом пользователем в данной ситуации. Например, точное обнаружение пользовательских входных данных может быть затруднено, когда пользователь путешествует в неустойчивом транспортном средстве. По мере того как пользователь редактирует файл, перемещая устройство ввода по поверхности дисплея вычислительного устройства, устройство ввода может быть оттолкнуто и смещено на значительное расстояние от платы датчика. Данные изображения, введенные устройством ввода данных, можно использовать, чтобы обнаружить перемещение устройства ввода в пределах плоскости, горизонтальной к поверхности вычислительного устройства, даже при том, что сигналы, сформированные датчиками вычислительного устройства, стали менее точными. Даже если датчики вычислительного устройства более не являются способными обнаруживать перемещение устройства ввода, датчик изображения может формировать достаточную информацию, чтобы поддерживать точное представление перемещения устройства ввода, чтобы отобразить предполагаемые входные сигналы пользователя. Таким образом, даже при использовании в комбинации с вычислительным устройством, включающим в себя возможность считывания перемещения устройства ввода, устройство ввода может функционировать в качестве пассивного устройства ввода или в качестве активного устройства ввода.

Устройство ввода также можно использовать во взаимосвязи с каким-либо бумажным документом, поверхностью для записи или другой подложкой, чтобы записывать информацию, соответствующую рукописному тексту пользователя. Вновь, оснащенное только устройством ввода данных и поверхностью для записи устройство ввода можно использовать, чтобы составить черновик письма клиенту. В этом случае перьевой ввод данных обнаруживают на основе пассивного кодирования, при котором перемещения устройств ввода обнаруживают, используя коды, отличные от встроенных внутри и/или напечатанных на изображении поверхности подложки. Например, пользователь может составить набросок на простом листе бумаги. Поскольку пользователь пишет с помощью устройства ввода, датчик изображения вводит изображения бумажного документа. Объекты внутри изображений могут быть идентифицированы, и их перемещение в пределах последовательности введенных изображений являются признаками перемещения. Считанные объекты могут включать в себя искусственные объекты или другие объекты на поверхности бумажного документа, которые могут соответствовать «водяным знакам» или другому дефекту бумажного документа. В качестве альтернативы бумажный документ может включать в себя линованные строки, которые также можно использовать, чтобы вычислить перемещение пера по поверхности. Даже в отсутствие бумажного документа может быть определено относительное перемещение устройства ввода. Устройство ввода можно перемещать по поверхности стола, волокна древесины которой обеспечивают объекты, необходимые для обнаружения относительного перемещения устройства ввода. Способом, подобным вышеописанному, пользователь может составить набросок на бумаге или любой поверхности, перемещение по которой может быть обнаружено оптически. Перемещения устройства ввода могут быть сохранены в запоминающем устройстве и/или преобразованы в информацию, представляющую эти «жесты».

В очередном варианте осуществления портативное устройство может быть использовано в качестве замены портативного вычислительного устройства. Например, только что занимаясь решением по отказам схемы, связанным с передовиком (работником) своей компании, но без портативной ЭВМ или другого доступного вычислительного устройства, инженер может обратиться к своему устройству ввода данных в качестве подходящей замены для записи своих соображений, пока передвигается поездом для встречи с остальной частью группы проектирования. Максимально используя доступное время (и со снятым чернильным картриджем или насадкой вместо него), на спинке стула перед собой пользователь составляет эскиз, представляющий модификацию рассматриваемой подвергаемой сомнению электрической схемы. Он активизирует устройство ввода, устанавливает его в режим, способствующий формированию эскиза (который может, например, включать в себя вывод из активного состояния преобразований), и начинать делать набросок упрощенного проекта, представляющего решение задачи. Устройство ввода затем может сохранить файл, представляющий рукописные штрихи. Переключением из режима эскиза, примечания и ссылки могут быть кратко записаны рядом с соответствующими частями эскиза, и эти элементы включены в файл изображения. Например, пользователь может перейти в режим примечаний, в котором распознают «жесты», соответствующие буквам. Таким образом, он (пользователь) может объединять описание его предложенного решения вместе с эскизом. Предпочтительнее, чем ждать, пока доедут до медицинского исследовательского центра, оператор может выбрать передачу схемного решения к остальной части группы проектирования для полного рассмотрения прежде запланированной встречи. Такая передача может быть выполнена произвольным количеством способов, включая в них загрузку (по линии связи) скорректированного документа из устройства ввода на портативное беспроводное устройство, например, телефон сотовой связи. Информацию затем можно использовать, чтобы сформировать файл изображения, например, документ VISIO™.

После того как передан остальным членам группы, вышеописанный файл, соответствующий эскизу схемного решения, может быть отображен на мониторе ведущего вычислительного устройства, соответствующего члену группы. Например, изображение и сопроводительный текст могут быть представлены на дисплее настольного компьютера. Помещая устройство ввода в близости к изображению файла, отображенного на мониторе, дополнительные аннотации могут быть добавлены к тем, которые отображены. В этом случае перемещение устройства ввода может быть обнаружено посредством измерения относительного перемещения объектов в пределах изображений, введенных посредством оптического датчика устройства ввода. Сигналы, сгенерированные устройством ввода данных, могут быть обработаны посредством программного обеспечения, сохраненного в устройстве ввода, или переданы на ведущее вычислительное устройство для обработки. Обработка обнаруженного перемещения может сформировать электронные чернила, текст или другие данные, представляющие примечания, введенные посредством устройства ввода.

Устройство ввода можно использовать вместе с вычислительным устройством, имеющим датчики для обнаружения перемещения устройства ввода, даже в отсутствие кодов местоположения. Например, устройство ввода можно использовать в качестве источника для формирования рукописных примечаний на персональном цифровом ассистенте или другом вычислительном устройстве, разработанном для использования вместе с пером. Следовательно, пока пользователь исполняет поручения, ему можно напомнить о «перечне задач» и пожелать добавить пункт к имеющемуся перечню. Пользователь извлекает перечень, сохраненный в ведущем вычислительном устройстве, например, персональном цифровом ассистенте. Позиционируя кончик (пера) устройства ввода над дисплеем персонального цифрового ассистента, пользователь имеет возможность проходить по меню и делать выбор, чтобы извлечь требуемый перечень. Получив представленным этот перечень, пользователь может вводить флажки-отметки на экране ведущего устройства в пустых окошках-прямоугольниках, расположенных рядом с описаниями уже завершенных задач. Устройство ввода вводит изображения, относящиеся к экрану, включая данные, соответствующие окошку-прямоугольнику, и передает это данные на ведущее вычислительное устройство. Используя алгоритм обработки, предназначенный для анализа данных изображения, ведущее вычислительное устройство затем обнаруживает форму прямоугольника в качестве объекта, для которого может быть сделан ввод. Чтобы успешно вводить флажки-отметки, данные изображения могут быть обработаны, чтобы обнаружить перемещение пера над областью и внутри области прямоугольника, жесты, образующие распознаваемую форму "флажка-отметки". Ведущее устройство затем изменяет файл, связанный с перечнем, чтобы включить в него представление флажка-отметки в пределы прямоугольника. Позиционируя устройство ввода над пространством, следующим за последним пунктом в списке, пользователь вводит текст, описывающий дополнительный пункт. Датчики ведущего устройства обнаруживают перемещение устройства ввода и формируют данные, представляющие эти входные сигналы. Входные сигналы преобразуют в текст и отображают пользователю вместе с пустым прямоугольником.

Подобным образом пользователь Microsoft® Reader, например, студент, читающий заданный роман, может пожелать кратко записать примечания рядом с соответствующим текстом. Изображение, отображенное на мониторе портативного ведущего устройства, аннотируют, используя устройство ввода. Например, пользователь позиционирует устройство ввода над монитором ведущего компьютера, планшетным компьютером PC^TM, например, и вводит рукописные примечания рядом с соответствующим текстом. Жесты обнаруживают посредством датчиков ведущего устройства и сохраняют в качестве электронных данных, которые преобразуют в данные изображения и отображают на экране. Примечания могут остаться в рукописной форме или могут быть преобразованы в алфавитно-цифровые символы. Примечания могут не быть видимы без приведения в действие дополнительных функций, таких как активизация просмотра прилагаемых комментариев, или позиционирование устройства ввода над яркостным выделением или некоторой другой индикации того, что аннотации присутствуют. Примечания затем могут быть сохранены в отдельном файле или сохранены вместе с копией электронной версии романа, сохраняемого в ведущем компьютере.

В очередном варианте осуществления информацию от дополнительных датчиков, образующих часть устройства ввода, можно использовать, чтобы дополнить или полностью заменить другие способы обнаружения перемещения. Такие дополнительные датчики могут обнаруживать линейное ускорение устройства ввода, угловое ускорение, скорость, вращение, силу нажима, наклон, изменения в электромагнитных полях или любую считываемую индикацию перемещения или местоположения устройства ввода. Такая информация может помогать при осуществлении более точного обнаружения перемещения. В качестве альтернативы, дополнительные датчики могут обеспечивать лишь информацию, доступную в заданный момент времени. Например, устройство ввода может быть использовано вместе с обычно однородной поверхностью, например, чистым листом бумаги. В таких случаях изображение, введенное оптическим датчиком, может предоставлять недостаточную информацию, чтобы согласованно и точно обнаруживать перемещение устройства ввода. Если оптическое обнаружение перемещения становится более трудным, например, если становится более трудным обнаруживать объекты для отслеживания перемещения устройства ввода, то в соответствии с одним вариантом осуществления для оптического обнаружения перемещения может использоваться дополнительная информация от дополнительных датчиков, чтобы обеспечить более тонкое обнаружение перемещения. Конкретно, алгоритм или алгоритмы, используемые для определения позиции, и/или перемещения, могут включать в себя вычисления, чтобы внести дополнительную информацию, и таким образом дополнить обнаружение перемещения и/или местоположения в оптическом обнаружении перемещения.

Если оптическое обнаружение не обеспечивает пригодные результаты, то дополнительные датчики могут только обеспечивать информацию, с помощью которой можно обнаружить перемещение. Например, если пользователь делает попытку изобразить схематически чертеж на однородной белой конторке из многослойного пластика (консоли «кухонного» компьютера?), система оптического считывания может обеспечить достаточные данные для представления перемещения. В этом случае дополнительные датчики могут обеспечивать достаточную информацию, чтобы сформировать приемлемо точное представление входной информации.

Например, если устройство ввода перемещают на достаточное расстояние от сканируемой поверхности, то блок оптического датчика не может вводить точное представление предоставленного изображения. В этом случае может использоваться дополнительная информация от дополнительных датчиков, чтобы дополнить данные, полученные в соответствии с изображением объекта, над которым перемещают устройство ввода. Таким образом, даже если устройство ввода перемещается на дюйм или более от дисплея, над которым его перемещают («ось Z»), то датчики в устройстве ввода могут обеспечивать индикацию перемещения пера в пределах плоскости отображения, то есть в горизонтальном и вертикальном направлениях.

Например, устройство ввода, используемое вместе с портативной ЭВМ, установлено на плоской поверхности лотка перед пользователем. Изображение документа вместе с образом лабиринта, включенным в состав фона, отображено на экране портативной ЭВМ. Аннотации, введенные пользователем, показаны чернилами «чистого» синего цвета. Знак «ремень безопасности» появляется, поскольку самолет испытывает бурю (турбулентность). По мере того как пользователь протягивает руку над клавиатурой портативной ЭВМ и добавляет еще одно слово к аннотации, его рука быстро сдвигается далеко от поверхности экрана. Хотя датчик изображения точно не может обнаруживать строки, образующие отображенный образ лабиринта, перемещение по оси Х и оси Y измеряют посредством дополнительных датчиков, включенных в устройство ввода.

На Фиг. 16 в соответствии с несколькими иллюстративными вариантами осуществления настоящего изобретения проиллюстрированы использования устройства ввода в том, как документ создают, передают и редактируют, используя устройство ввода в различных средах. Нижеследующее описание является лишь иллюстрацией использований устройства ввода и не подразумевает ограничения структуры или функциональных возможностей настоящего изобретения.

Устройство ввода 1601 может быть использовано, чтобы расширить время жизни документа, допуская создание и/или редактирование документов в широком диапазоне сред, и использование во взаимосвязи со многими устройствами. С использованием устройства 1601 ввода документ 1602 может быть создан с помощью электроники на экране одного вычислительного устройства, например, проиллюстрированном планшетном ПК 1603. Например, устройство ввода 1601 можно использовать, чтобы сформировать рукописный черновик документа. Электронные чернила, соответствующие информации, введенной на экран планшетного ПК 1603, формируют, по мере того как устройство 1601 ввода данных функционирует в качестве пера для планшетного ПК 1603. Электронные чернила могут быть преобразованы в текстовую форму и сохранены в планшетном ПК 1603.

Электронный файл, представляющий документ, может быть передан на второе вычислительное устройство, например, настольный ПК 1604. В этой среде документ может быть отредактирован на экране настольного устройства, используя устройство ввода 1601, действующее в качестве независимого входного блока. Поскольку устройство ввода 1601 воспринимает его собственное относительное местоположение в пределах отображенного изображения документа, то редакционные изменения, введенные на экране настольного устройства, могут быть отражены в электронном документе 1602, даже если дисплей не включает в себя элементы для считывания местоположения устройства ввода. Редакционные изменения, сформированные с использованием устройства ввода 1601, могут быть переданы на настольный ПК 1604, когда они сформированы, или могут быть сохранены в устройстве 1601 ввода данных для передачи на любой ПК позднее. Редакционные изменения могут быть введены в версию документа 1602, сохраняемую в настольном ПК 1604.

Созданный документ также может быть выведен в форме печатной копии принтером, например, принтером 1605, соединенным с настольным ПК 1604. Версия документальной копии 1606 документа может включать в себя информацию или коды, обозначающие относительное местоположение устройства ввода на любом местоположении в документе, например, использующую образ лабиринта. Документальная копия может быть размечена одним или несколькими пользователями, каждый из которых имеет устройство ввода, и редакционными изменениями каждого пользователя, сформированными посредством отдельного устройства ввода. Вместе с информацией, представляющей редакционные изменения, также может быть обеспечена информация, идентифицирующая перо, используемое для формирования этих редакционных изменений. Например, входные сигналы могут быть отображены, используя подчеркнутый цветной текст, например, известный в приложениях для отслеживания изменений, сделанных в документах. Редакционные изменения/входные данные могут быть пересланы от настольного ПК 1604 на планшетный ПК 1603 для объединения в этот документ. В качестве альтернативы редакционные изменения могут быть сохранены в устройстве 1601 ввода данных и загружены позднее.

Документ также может быть выведен на простую бумагу или на любую подложку, которая не включает в себя индикации относительного местоположения устройства ввода. Вновь печатная копия 1606 может быть размечена одним или несколькими пользователями, имеющими устройство ввода, и редакционными изменениями каждого пользователя, сформированными посредством устройства 1601 ввода. В этом примере позиция или перемещение пера 1601 могут быть определены с использованием способов кодирования для оптического считывания перемещения устройства 1601 ввода над бумажным документом. Как упомянуто, местоположение/перемещение может быть определено, используя алгоритм сравнения, в котором относительную позицию объектов в пределах каждого кадра данных изображения обнаруживают и используют, чтобы определить перемещение устройства 1601 ввода. Результирующие редакционные изменения могут быть переданы на вычислительное устройство, на котором документ создан, например, для обновления исходного файла данных. Редакционные изменения могут быть переданы посредством вычислительного устройства, например, карманного ПК 1607 для передачи на устройство адресата либо по беспроводной, либо по проводной связи или после установки (стыковки) устройства, содержащего редакционные изменения, в вычислительное устройство.

Электронный документ также может быть передан на второе вычислительное устройство, например, проиллюстрированный планшетный ПК 1603. В этой среде документ может быть отредактирован на экране устройства планшетного компьютера 1603 с использованием устройства 1601 ввода в качестве простого пера. Эти входные данные могут быть пересланы от планшетного ПК 1603 на вычислительное устройство, сохраняющее исходную копию документа, в качестве аннотаций к документу или в качестве редакционных изменений, например, для объединения в этот документ.

С помощью встроенных средств кодирования взаимодействия жидкокристаллический дисплей может быть преобразован в цифровой преобразователь. Область решетки каждой жидкокристаллической ячейки можно использовать, чтобы встроить образ. В одном варианте осуществления образ лабиринта может быть встроен в область черной матрицы панели жидкокристаллического дисплея. В другом варианте осуществления образ лабиринта может быть встроен в плоскость световода. Вертикальные и горизонтальные полосы образа лабиринта излучают свет, который может быть считан датчиком камеры в устройстве ввода. Уникальные и абсолютные координаты обеспечивают с помощью декодирования многомерной матрицы. Как таковое устройство ввода можно использовать в качестве планшетного пера для планшетного ПК, карманного ПК, интеллектуального телефона и/или любого другого устройства со встроенным кодированием взаимодействия, допускаемым жидкокристаллическим дисплеем. Пользователь может использовать одно и то же устройство ввода для множества различных устройств. Если установлено, например, на планшетном ПК, устройство ввода может быть повторно заряжено. Такая конфигурация обеспечивает пользователя многими вариантами выбора, тогда как поддерживает только одно необходимое устройства ввода.

Устройство ввода согласно настоящему изобретению также можно использовать для удаленного хранения и передачи данных позднее. Устройство ввода согласно настоящему изобретению можно использовать без ведущего ПК поблизости. Возможности обработки данных и хранения, соответствующие устройству ввода данных, могут обрабатывать изображения, введенные датчиком изображения, и сохранять их для передачи позднее. Например, в случае, когда пользователь использует устройство ввода, чтобы сделать примечания и/или аннотировать документ, примечания и аннотации могут быть обработаны и сохранены в устройстве ввода неограниченно (по времени). В качестве альтернативы, данные могут быть переданы на персональный цифровой ассистент (ПЦА) немедленно и/или позднее и обработаны и сохранены на ПЦА. Если ПЦА имеет возможности беспроводной связи, то данные могут быть переданы на ведущий ПК или сервер на удаленном местоположении. Например, в случае, когда пользователи передвигаются, примечания и аннотации, которые они делают с помощью устройства ввода, могут быть переданы обратно на их ведущий ПК через их интеллектуальный телефон. Пользователь может создавать аннотации к документу в то время, как находится в самолете, и сохранять аннотации для передачи на ведущий ПК и/или сервер позднее, например, когда самолет приземлился.

С помощью проекционного дисплея и встроенных и/или печатных метаданных устройство ввода, например, универсальное вычислительное устройство, может делать практику считывания более диалоговой. Например, интеллектуальные неотображаемые метки, или тэги, в Office 2000 компании Microsoft® Corporation, Redmond, Washington, могут быть встроены внутри и/или напечатаны на документе вместе с абсолютным местоположением. В случае, когда пользователи используют устройство ввода, чтобы считывать и аннотировать, устройство ввода может обнаруживать и декодировать интеллектуальные тэги и отображать соответственную информацию с помощью проекционного индикатора. Если элементы словаря встроены и/или напечатаны на документе, устройство ввода также может отображать поиск по словарю. Подобным образом различные виды информации могут быть встроены и/или напечатаны на документе, такие как командная и управляющая информация и аудиоинформация. Устройство ввода может обнаруживать и декодировать встроенную и/или печатную информацию и действовать соответственно.

Средства технологии интеллектуальных персональных объектов (ТИПО) могут быть включены в устройство ввода, соответствующее настоящему изобретению. Со средствами ТИПО, встроенной и/или печатной командной и управляющей информацией, и проекционным индикатором устройство ввода может обеспечивать пользователей современной информацией «на кончике пера». Например, запрос прогноза погоды может быть встроен или напечатан на бумажной распечатке. Устройство ввода может декодировать запрос, и ТИПО может принимать прогноз погоды на основании текущего местоположения пользователя. Устройство ввода может отображать информацию на бумажном документе с помощью проекционного индикатора. Подобным образом другие виды информации, такие как биржевые котировки, спортивные состязания, новости, и информация о развлечениях, например, времена киносеанса, времена телевизионных показов, могут быть обеспечены пользователям «на кончике пера».

Тогда как описание выше и сопроводительные чертежи описывают варианты осуществления, использующие конкретные компоненты, дополнение компонентов и/или удаление любого описанного компонента находится в пределах объема настоящего изобретения. Подобным образом перемещение различных компонентов в пределах структуры устройства ввода может быть осуществлено без значительного воздействия на точность, с которой камера или инерциальные датчики обнаруживают перемещение пера и формируют электронные чернила. Например, датчик изображения может быть заменен или дополнен чувствительным элементом для выявления свойств поверхности или объекта, над которым устройство ввода можно перемещать. Таким образом, если образ лабиринта был создан на поверхности объекта из условия, чтобы образ мог быть обнаружен на основании излучения энергии вне спектра оптического излучения, то отражательную способность такой энергии передают на объект или другие подобные средства считывания. Считывание любого свойства поверхности может быть обнаружено и использовано, чтобы определить позицию и/или перемещение устройства ввода над поверхностью объекта. В качестве дополнительного примера система микрофонного датчика может быть использована из условия, что микрофон обнаруживает акустические отражения или эмиссию от объекта, над которым устройство ввода позиционировано.

Иллюстративные варианты осуществления, описанные и проиллюстрированные выше, описали устройство ввода, осуществленное в форме пера. Аспекты настоящего изобретения являются применимыми, однако, к устройствам ввода произвольного количества форм и размеров.

Использование такого устройства ввода должно предоставить возможность вычислений на персональной ЭВМ на любом местоположении. Таким образом, пользователи, оснащенные описанным устройством ввода, могут формировать или редактировать файлы данных независимо от того, где они (пользователи) могут находиться. Документы и другая информация могут быть сформированы, отредактированы или записаны в конторской среде, в классной комнате, в гостинице, пока в пути, или даже на пляже.

Как упомянуто, устройство ввода может включать в себя подходящее устройство отображения. В качестве альтернативы может использоваться устройство отображения ведущего вычислительного устройства, чтобы осуществлять анализ созданных документов и изображений. Пользователь может выбирать форматирование документа прежде или после того, как информация, например текст, введена, или может анализировать документ и делать изменения в формате документа.

При просмотре документа, созданного на таком устройстве отображения, в контексте вышеупомянутого примера, пользователь может вставлять заголовок, включая в соответствующем местоположении свой адрес.

Хотя изобретение было определено с использованием прилагаемой формулы изобретения, эта формула изобретения является иллюстративной в том, что изобретение может быть предназначено, чтобы включать в себя элементы и этапы, описанные в документе, в любой комбинации или подкомбинации. Соответственно, имеется произвольное количество альтернативных комбинаций для определения изобретения, которые включают в себя один или несколько элементов из описания, включая описание, формулу изобретения и чертежи, в различных комбинациях или подкомбинациях. Специалистам в соответствующей области техники будет очевидно, в свете настоящего описания, что дополнительные комбинации аспектов изобретения, либо одиночных, либо в комбинации с одним или несколькими элементами или этапами, определенными в документе, могут быть использованы в качестве модификации или изменения изобретения или в качестве части изобретения. Можно подразумевать, что письменное описание изобретения, содержащееся в документе, охватывает все такие модификации и изменения. Например, в различных вариантах осуществления показан некоторый порядок данных. Однако любое переупорядочение данных является осуществляемым в соответствии с настоящим изобретением. Также в тех случаях, когда используют некоторые единицы для свойств, таких как размер (например, в байтах или битах), допускают также любые другие единицы.

Изобретение относится к устройству ввода компьютера, предназначенному для формирования гладких электронных чернил, или данных перьевого ввода. Техническим результатом является уменьшение эффекта перспективы при захвате изображений на поверхности, а также ввод рукописных электронных чернил и обеспечение возможности связывания электронных чернил с новыми или сохраненными документами. Указанный технический результат достигается тем, что оптическая система устройства ввода содержит: датчик изображения для ввода изображения области объекта, над которым позиционировано устройство ввода; объектив и источник света, причем поле зрения датчика изображения является смещенным от оптической оси компонента объектива на угол, то есть является существенно параллельным оси устройства ввода к поверхности. Смещенная оптическая система с инфракрасным освещением обрабатывает перспективу и помогает обнаруживать позиционное кодирование, которое при обычном освещении видимым светом может быть покрыто имеющимися чернилами. 3 н. и 18 з.п. ф-лы, 16 ил.

1. Оптическая система для устройства ввода, содержащая: датчик изображения для ввода изображения области объекта, над которым позиционировано устройство ввода; компонент объектива; и источник света для излучения света на область объекта, над которым позиционировано устройство ввода; и процессор для обработки введенного изображения, причем поле зрения датчика изображения является смещенным от оптической оси компонента объектива на угол, который является по существу параллельным оси устройства ввода к поверхности.

2. Оптическая система по п.1, отличающаяся тем, что датчиком изображения является КМОП-датчик изображения с разрешением 32 пиксела на 32 пиксела.

3. Оптическая система по п.1, отличающаяся тем, что компонент объектива включает в себя двухэлементную линзу и одиночную линзу.

4. Оптическая система по п.1, отличающаяся тем, что компонент объектива является настраиваемым посредством программного обеспечения.

5. Оптическая система по п.1, отличающаяся тем, что источник света включает в себя светоизлучающее устройство.

6. Оптическая система по п.5, отличающаяся тем, что светоизлучающим устройством является светоизлучающий диод.

7. Оптическая система по п.5, отличающаяся тем, что светоизлучающим устройством является матрица светоизлучающих диодов.

8. Оптическая система по п.1, отличающаяся тем, что источник света настроен с возможностью излучать белый свет.

9. Оптическая система по п.1, отличающаяся тем, что источник света настроен с возможностью излучать свет первого цвета.

10. Оптическая система по п.9, отличающаяся тем, что источник света настроен с возможностью излучать свет второго цвета.

11. Оптическая система по п.1, отличающаяся тем, что источником света является источник инфракрасного света.

12. Оптическая система по п.1, отличающаяся тем, что значение упомянутого угла находится в пределах от 65 до 70°.

13. Устройство ввода, предназначенное для ввода данных изображения, содержащее: блок ввода изображения, предназначенный для ввода изображения области объекта, над которым позиционировано устройство ввода, и формирования данных введенного изображения; процессор, предназначенный для обработки данных введенного изображения для вывода данных, представляющих местоположение упомянутого устройства ввода по отношению к упомянутому объекту на основе упомянутых данных введенного изображения; запоминающее устройство для сохранения выводимых данных; источник света для излучения света на область объекта, над которым позиционировано устройство ввода; и компонент объектива, причем поле зрения датчика изображения является смещенным от оптической оси компонента объектива на угол, который является по существу параллельным оси устройства ввода к поверхности.

14. Устройство ввода по п.13, отличающееся тем, что источником света является источник инфракрасного света.

15. Устройство ввода по п.14, отличающееся тем, что источник инфракрасного света излучает свет, который может проникать через чернила, чтобы освещать содержимое под чернилами.

16. Устройство ввода по п.15, отличающееся тем, что содержимым является часть нижележащего образа лабиринта.

17. Способ для ввода данных изображения посредством устройства ввода, содержащий этапы, на которых: излучают инфракрасный свет на область объекта, над которым позиционировано устройство ввода; вводят, с помощью датчика изображения изображение упомянутой области; обрабатывают введенное изображение в процессоре; и формируют данные, представляющие местоположение устройства ввода по отношению к упомянутому объекту, на основании введенного изображения, причем упомянутый объект содержит дисплей компьютерного устройства, включающего изображение образа, обеспечивающего информацию местоположения области упомянутого дисплея, причем поле зрения датчика изображения является смещенным от оптической оси компонента объектива на угол, который является по существу параллельным оси устройства ввода к поверхности.

18. Способ по п.17, отличающийся тем, что введенное изображение включает в себя часть подобного лабиринту образа.

19. Способ по п.17, отличающийся тем, что дополнительно содержит этап освещения области.

20. Способ по п.19, отличающийся тем, что область по меньшей мере частично покрыта чернилами.

21. Способ по п.20, отличающийся тем, что введенное изображение включает в себя данные, представляющие перемещение устройства ввода над областью, по меньшей мере, частично покрытой чернилами.