ВЫЧИСЛИТЕЛЬНОЕ УСТРОЙСТВО Российский патент 2018 года по МПК G06F3/488 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к вычислительному устройству, включающему в себя множество устройств отображения, в частности, электрофоретических тонкопленочных устройств отображения.

УРОВЕНЬ ТЕХНИКИ

Давние споры в исследованиях интерфейса пользователя вызывает компромисс между физическими и цифровыми объектами интерфейса пользователя. В частности, зрительное восприятие физического настольного вычислительного устройства на основании способа, которым офисные работники используют бумажные документы, являлось долгосрочной целью исследований [5]. Одной из причин долголетия бумаги, согласно Sellen и Harper [30], является то, что она обеспечивает тактильно-кинестетическую обратную связь при организации и поиске информации, которая не доступна в традиционных цифровых оконных средах. Бумага, как физический носитель, также является тонкой, легкой и портативной. Она предоставляет трехмерную (3D) пространственную организацию информации, в то же время обеспечивая параллельный доступ к множеству потоков информации [30].

С другой стороны, графические интерфейсы пользователя (ГИП, GUI) обеспечивают более широкие по сравнению с бумагой возможности для электронного манипулирования информацией и ее обновления «на лету». Тем не менее, имеется три главных ограничения ГИП по сравнению с бумажными документами:

пользователи жестко ограничены в способе, которым они параллельно манипулируют и организовывают множество окон, особенно в случаях, когда окна скрывают друг друга;

пространственное манипулирование окнами определено и ограничено размером экрана, и

пользователи не могут применять навыки пространственного запоминания для поиска документов на основе ГИП так же эффективно, как они могут делать это в реальных, физических средах.

Настоящий заявитель осознал необходимость в устройстве, которое объединяет осязаемые, подобные бумаге взаимодействия с цифровыми документами.

Идея предоставления основанного на бумаге взаимодействия с цифровой информацией далеко не нова: она была основной идеей Memex [5], который вдохновил ГИП. Изобретенная Wellner DigitalDesk [34] была одной из первых систем, реализующих такое плавное взаимодействие между физическими и цифровыми носителями с помощью цифровой проекции на бумаге. С тех пор, многие исследовательские проекты настольного типа анализировали сосуществование бумаги и цифровой информации [15, 17]. В то время как эти системы предоставляют различные возможности бумаги, они часто ограничены в своих взаимодействиях, и не используют преимущества пространственного размещения содержимого за пределами плоской (2D) поверхности стола.

DigitalDesk [34] был одним из первых компьютеров на основе физической бумагой. Он плавно соединял взаимодействия между физической бумагой и цифровыми документами на физическом столе. Пользователи могли выбирать данные с бумажных документов и копировать их в цифровые документы. В PaperWindows, Holman и др. [16] создали оконную среду, которая симулировала полностью беспроводную, полноцветную цифровую бумагу. Holman спроектировал цифровые документы на физической бумаге, допускающие ввод и вывод прямо на гибком устройстве отображения. PaperWindows продемонстрировал использование ввода на основе жестов, таких как удерживание, объединение, перебрасывание и изгибание. Подобным образом, Lee и др. [19] использовали проецирование изображения на гибкие материалы, чтобы симулировать гибкие устройства отображения с переменными форм-факторами и размерами.

Исследования в области взаимодействий с тонкопленочными устройствами отображения начались с бумажных макетов, изгибаемых основ на жестких устройствах и проецируемых гибких устройств отображения [16, 29]. С недавней доступностью работающих гибких устройств отображения, проекты, такие как PaperPhone [18], открыли новые методики взаимодействия, такие как изгибание, в качестве парадигмы взаимодействия. DispiayStacks [11] является одной из немногих типов бумаг, которые анализируют методики взаимодействия для наложения множества функциональных устройств отображения на электронных чернилах (E Ink). Тем не менее, она представила лишь небольшую группу имеющих размер смартфона устройств отображения, и представила ограниченную группу взаимодействий между экранами на основе моделей наложения.

В течение нескольких последних десятилетий исследователи также анализировали объединение цифрового содержимого с большим диапазоном физических носителей, от бумаги на столе [16, 34] до записных книжек [21] и карт [25]. Было изучено большое количество взаимосвязей между цифровыми и физическими носителями, включая явное конструирование физических носителей для поддержки запросов цифрового содержимого [25], или для синхронизации цифрового и физического представлений одинакового документа [13]. Тем не менее, остается несколько повсеместно принимаемых конструкционных принципов для таких объединений [20].

Khalibeigi и др. [17] работали над настольным устройством, которое отслеживает разные конфигурации физических документов, как и Hinckley и др. [15]. Взаимодействие с гибридными физически-цифровыми документами может происходить посредством указывания [9] на физический носитель, написания на [15] нем или манипулирования [15] им, посредством перемещения цифрового устройства отображения относительно физических документов (например, во взаимодействиях «волшебных линз» [4], или посредством взаимодействия с ГИП, наложенным на физический носитель [15] или на отдельное цифровое устройство [9]. В некоторых случаях, сам носитель служит и устройством отображения, и устройством ввода: например, Reilly и др. [25] обнаружили, что пользователи стремятся выбирать угол носителя, чтобы способствовать точному указыванию и чтобы снизить преграждение.

Были попытки использование парадигм для 3-D виртуальных сред, например, центральная перспектива и проприоцепция [23] для захвата цели. Предыдущая работа показала более высокую эффективность 2-D или 2.5-D рабочего пространства (как физического, так и виртуального) по сравнению с 3-D рабочими пространствами [2], в терминах как эффективности захвата цели [6], так и в обнаружении местоположений элементов [7]. Cockburn и McKenzie предполагают превосходство физического 2-D интерфейса над виртуальным в терминах эффективности выполнения задач и субъективных мер эффективности [6]. При сравнении физических и виртуальных интерфейсов, однако, Terenghi и др. [31] наблюдали более высокую скорость решения головоломок, используя физические объекты, и одинаковую эффективность при сортировке. Их участники также предпочитали физические реализации. Вдобавок, они показывали значительно больше двуручных взаимодействий в условиях физического интерфейса. Авторы также наблюдали физические и виртуальные настольные действия, частично связанные с возможностью удерживать и размещать множество физических артефактов.

Таким образом, первая (или горячая) зона близости может содержать все области на столе в пределах примерно 70 см от пользователя. По меньшей мере одно устройство отображения также может находиться в первой зоне близости, когда по меньшей мере одно устройство отображения поддерживается пользователем. Вторая (теплая) зона близости может содержать все области на столе между примерно 70 см и 110 см от пользователя. Если имеется только две зоны, вторая зона близости может являться холодной зоной. В качестве альтернативы, может быть определена третья зона близости (холодная зона), которая включает в себя все области за пределами второй зоны близости. Также могут быть определены более далекие области близости.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Согласно первому аспекту изобретения, предоставляется устройство для отображения множества электронных документов пользователю, устройство, содержащее:

стол, имеющий множество зон близости, которые содержат по меньшей мере первую зону близости, которая находится рядом с пользователем устройства, и по меньшей мере вторую зону близости, которая находится дальше от упомянутого пользователя;

по меньшей мере одно устройство отображения, содержащее дисплей, для отображения одного из упомянутого множества электронных документов, и

по меньшей мере одно сенсорное устройство для определения зоны близости, в которой расположено упомянутое по меньшей мере одно устройство отображения

в котором функциональность упомянутого устройства отображения определяется зоной близости, в которой оно расположено.

Другие признаки изложены ниже и в зависимых пунктах формулы изобретения, и могут применяться к обоим аспектам изобретения, где это необходимо.

Устройство предпочтительно содержит множество устройств отображения, при этом функциональность каждого устройства отображения из упомянутого множества устройств отображения определяется зоной близости, в которой оно расположено. По меньшей мере одно сенсорное устройство может определять близость каждого устройства отображения к другим устройствам из упомянутого множества устройств отображения.

В зависимости от зоны близости, в которой расположено каждое устройство отображения, дисплей каждого устройства отображения может не отображать документы, отображать часть документа, один документ или множество документов (например, в виде вкладок).

Одно или каждое устройство отображения может являться тонкопленочным устройством отображения, предпочтительно, электрофоретическим устройством отображения. Ни одна из компьютерных систем типа бумаги предшествующего уровня техники, описанных выше, не использовала функционирующие тонкопленочные устройства отображения типа электронной бумаги. Развивающаяся технология тонкопленочных гибких дисплеев [18] представляет возможность соединить физический мир бумаги с цифровым миром информации. Устройство отображения может являться органическим пользовательским интерфейсом [32], который может являться не плоским гибким тактильным интерфейсом на основе устройства отображения высокого разрешения. Гибкое устройство отображения может быть достаточно тонким, чтобы напоминать подобные бумаге взаимодействия, и может быть достаточно легким, чтобы обеспечить эффективные пространственные взаимодействия между устройствами отображения. В то время как исследование интерфейсов на основе гибких устройств отображения пытались создать воплощение цифровых данных на бумаге, [16, 18], это исследование главным образом фокусировалось на возможности использования одиночных и небольших взаимодействий на основе устройств отображения.

Напротив, в настоящем изобретении, использование множества устройств отображения обеспечивает взаимодействия множества дисплеев крупного формата. Посредством использования таких устройств отображения, изобретение может быть указано ссылкой, как Paperdesk (стол для бумаг), и оно является компьютером типа электронной бумаги, который использует физическое манипулирование цифровой информацией, используя множество гибких электрофоретических устройств отображения, реализованным на физическом столе. Устройство объединяет возможность изменения электронных окон с тактильно-кинестетической и 3D пространственной возможности манипулирования бумажными документами. В данном устройстве, каждое графическое окно может быть представлено полнофункциональным имеющим размер бумаги с диагональю 27,2 см (10,7 дюймов) тонкопленочным гибким электрофоретическим устройством отображения высокого разрешения [24].

Устройство может использовать контекстно-осведомленные методики управления окнами, которые обеспечивают взаимодействия с многими документами, представленными на многих физических устройствах отображения, с помощью относительного перемещения этих устройств отображения. Использование множества дисплеев допускает создание по существу имеющего неограниченную реальную поверхность экрана, физически расположенного на больших рабочих областях.

Каждое устройство отображения представляет базовый компонент устройства, и устройство отображения может быть указано ссылкой, как метка. Системы на основе меток и ограничений [33] классифицируют физические объекты, как метки, которыми манипулируют в определенных пространственных ограничениях, чтобы запрашивать данные и выполнять процедуры. В настоящем изобретении, каждое устройство отображения может быть динамически ограничено в терминах его расположения относительно других физических окон документов, и безусловно в терминах близости к пользователю. Этот подход, определяющий ограничения динамически в терминах меток, которые сами являются динамическими, был проанализирован в других системах, таких как Siftables [22], и Data-tiles [27]. Тем не менее, настоящее изобретение расширяет его, чтобы включать в себя вдохновленные бумагой взаимодействия с контекстно-осведомленными физическими окнами, при этом каждое окно представлено одним устройством отображения. Каждое устройство отображения может быть указано ссылкой, как окно отображения (displaywindow).

Устройство предпочтительно является центрированным на документах и требует физической реализации (представления) каждого документа на устройстве отображения. Каждое устройство отображения может содержать множество электронных документов. Более того, каждый электронный документ может содержать одну или несколько страниц. Тем не менее, предпочтительно, устройство сконфигурировано так, чтобы при любых условиях документ был представлен по меньшей мере на одном устройстве отображения. Это позволяет пользователям перемещать цифровые документы посредством перемещения устройств отображения физически и осязаемо с помощью пространственного размещения на столе.

Каждое устройство отображения может осознавать свое положение на столе и может осознавать свое положение относительно и в пределах других устройств отображения. Это позволяет использовать умные контекстно-осведомленные операции между окнами отображения, которые зависят от того, как близко они находятся к пользователю или к другим окнам отображения.

Обычно, реальная поверхность экрана ограничена в ГИП рабочего стола, и, таким образом, окна обычно накладываются на рабочем столе в виртуальном измерении z, преграждая друг друга. В настоящем устройстве, использование множества устройств отображения означает, что реальная поверхность не ограничена одним устройством отображения, или даже одним рабочим столом.

Функциональность каждого устройства отображения определяется близостью устройства отображения к пользователю. Например, каждое устройство отображения может изменять разрешение информации документа на основании физической близости к пользователю. Другими словами, уровень подробности, отображаемой на устройстве отображения, может меняться на основании зоны близости, в которой расположено устройство. Устройства отображения, которые расположены дальше всех от пользователя, могут, таким образом, представлять миниатюрные виды файлов, которые не используются. Окна отображения, которые расположены ближе всех к пользователю, могут представлять полноэкранный вид документа. Окна отображения между этими крайними случаями могут представлять обзоры.

Другая функциональность также может определяться близостью устройства отображения к пользователю. Например, устройство отображения может быть выполнено с возможностью позволять пользователю редактировать документ, отображаемый на упомянутом дисплее, когда устройство отображения находится в первой зоне близости. Устройство отображения может быть выполнено с возможностью блокировать документ, то есть, предотвращать его случайное редактирование, когда устройство отображения находится во второй (или следующей) зоне близости. Устройство отображения может быть выполнено с возможностью выключать упомянутый дисплей, когда устройство отображения находится во второй или в третьей зоне близости.

Использование близости для активации видов документа также требует рассмотрения верхнего, или активного, окна. Ожидается, что чем ближе устройство отображения к пользователю, тем больше внимания оно получает, и тем сильнее становится восприимчивым к вводу. Согласно Sellen и Harper [30], пользователи часто используют близость при работе с бумажными документами. Горячие бумажные документы находятся в прямом использовании, служат для множества параллельных целей и находятся в непосредственной близости от пользователя. Теплые бумажные документы уже послужили или должны послужить в срочной необходимости, но не должны мешать работе с горячими документами. Холодные документы представляют сложенные в архив документы, которые не находятся в прямом использовании, и обычно сохраняются вдали от пользователя. В настоящем устройстве, эти концепции горячей, холодной и теплой зон переносятся в конструкцию на основе близости [12], в которой устройства отображения могут вводиться в фокус задания и выводиться из него посредством физического перемещения их к пользователю и от него. Sellen и Harper [30] также предлагают, что, чтобы обеспечить простую многозадачность, каждый документ который находится в непосредственной близости от пользователя, должен быть активным для ввода, при этом самыми активными окнами являются те, которые поддерживает пользователь.

Таким образом, первая зона близости содержит все области на столе в пределах длины руки, то есть, в пределах примерно 70 см от пользователя. По меньшей мере одно устройство отображения также может находиться в пределах первой зоны близости, когда по меньшей мере одно устройство отображения поддерживается пользователем. Первая зона близости может быть указана ссылкой, как горячая зона. Если имеется только одна более далекая зона близости, она может содержать все области вне первой зоны, и может быть указана ссылкой, как холодная или теплая зона. В качестве альтернативы, дополнительные зоны близости могут быть определены с помощью зон, определяющих полосы на увеличивающемся расстоянии от пользователя, и таких терминов, как теплая, прохладная и т.д., используемых для обозначения промежуточных зон. Например, вторая зона близости может содержать все области на столе между примерно 70 см и 110 см от пользователя и может указываться ссылкой, как теплая зона. Третья зона близости может включать в себя все области вне второй зоны близости и может указываться ссылкой, как холодная зона.

Устройство может содержать индикатор, чтобы показывать, в какой зоне близости находится каждое устройство отображения. Например, индикатор может содержать источник света первого цвета (например, зеленого) для упомянутой первой зоны близости и источник света второго цвета (например, желтого) для упомянутой второй зоны близости. Индикатор может выключаться, когда устройство находится в самой дальней зоне близости.

Устройство может дополнительно содержать клавиатуру, например, чтобы пользователь мог вводить текст. Сенсорное устройство может определять, какое из устройств отображения находится ближе всех к клавиатуре, при этом действия на клавиатуре вводятся в упомянутое ближайшее устройство отображения. Таким образом, сенсорное устройство может содержать датчик на клавиатуре, чтобы определять ее местоположение на столе. Клавиатура также может содержать устройство ввода для связывания упомянутой клавиатуры со связанным устройством отображения, при этом действия на клавиатуре вводятся в упомянутое связанное устройство отображения.

Устройство отображения может содержать множество слоев, которые могут включать в себя некоторые или все из слоя сенсорного экрана, слоя дисплея, слоя датчика изгибания, слоя датчика положения и слоя процессора. Слои предпочтительно являются гибкими или по меньшей мере полугибкими. Например, слой дисплея может быть тонкопленочным дисплеем, как описано выше.

Гибкое устройство предпочтительно включает в себя датчик изгибания для считывания изгибаний упомянутого гибкого устройства отображения. Датчик изгибания может считывать изгибание всего корпуса устройства и/или может считывать изгибание углов устройства. Упомянутое устройство отображения может быть выполнено с возможностью увеличивать содержимое, отображаемое на упомянутом устройстве отображения в ответ на изгибание всего корпуса. В ответ на изгибание угла упомянутого гибкого устройства отображения, упомянутое устройство отображения может быть выполнено с возможностью отображать следующую страницу документа, который отображается на упомянутом дисплее. В качестве альтернативы, посредством действий изгибания могут инициироваться другие действия.

Устройство отображения предпочтительно содержит датчик положения, который может детектировать положение устройства отображения в шести степенях свободы. Каждый датчик положения может формировать часть сенсорного устройства для определения того, в какой зоне расположено каждое устройство отображения. Датчик положения также может использоваться для определения местоположения устройства отображения относительно других устройств отображения и/или клавиатуры. Сенсорное устройство может дополнительно содержать сенсорный процессор, установленный на стол, чтобы обрабатывать данные, принятые с датчиков положения. Датчик положения может являться электромагнитным датчиком.

Устройство отображения может содержать процессор. Процессор может быть выполнен с возможностью принимать и обрабатывать все данные с некоторых или всех из устройств ввода, например, сенсорного экрана, датчика изгибания и/или датчика положения. В качестве альтернативы, процессор может быть выполнен с возможностью поддерживать только базовую функциональность для устройства отображения, например, чтобы приводить в действие и питать дисплей.

Устройство может дополнительно содержать отдельный, или главный, процессор. Главный процессор может быть установлен на стол. Главный процессор может быть выполнен с возможностью принимать и обрабатывать входные данные с одного или каждого устройства отображения. Например, главный процессор может принимать данные с одного или каждого датчика положения, чтобы определять местоположение каждого устройства отображения и/или клавиатуры. В качестве альтернативы, если также используется сенсорный процессор, главный процессор может принимать предварительно обработанные данные с сенсорного процессора, чтобы определять местоположения. Подобным образом, обработка характера изгибания гибкого устройства и определение последующего действия устройства отображения может выполняться на главном процессоре. Датчик изгибаний может быть выполнен с возможностью передавать данные изгибаний на главный процессор, при этом главный процессор выполнен с возможностью обрабатывать упомянутые данные изгибаний и передавать команды на устройство отображения, чтобы менять дисплей на основании упомянутых обработанных данных изгибаний. Использование такого главного процессора снижает вычислительную мощность, необходимую каждому устройству отображения, и может снизить стоимость и/или вес, и/или увеличить гибкость таких устройств.

Устройство отображения может содержать устройство пользовательского ввода в форме сенсорного экрана, например, емкостного сенсорного экрана. Сенсорный экран может быть соединен с активатором, за счет чего, когда пользователь поддерживает устройство отображения и касается устройством отображения второго устройства отображения, активатор активирует сенсорный экран второго устройства отображения. Например, для емкостного сенсорного экрана, активатор может переносить емкость пользователя и, таким образом, может содержать металлический выступ, например, покрытый металлом кончик в одном углу устройства отображения, который соединен с сенсорным экраном через провод или схожий проводящий соединитель.

По меньшей мере одно устройство отображения может содержать датчик близости для определения того, когда по меньшей мере одно устройство отображения располагается рядом со вторым устройством отображения, и при этом второе устройство отображения содержит дисплей для отображения информации, относящейся к документу на по меньшей мере одном устройстве отображения, когда второе устройство отображения располагается рядом с по меньшей мере одним устройством отображения. Датчик близости может быть представлен в форме сенсорного экрана и активатора, как описано выше.

Согласно второму аспекту изобретения, предоставляется устройство для отображения множества электронных документов пользователю, устройство, содержащее:

первое устройство отображения, содержащее первый дисплей, для отображения одного из упомянутого множества электронных документов,

второе устройство отображения, содержащее второй дисплей, и

систему активации для определения того, когда упомянутое второе устройство отображения располагается рядом с упомянутым первым устройством отображения, и активации упомянутого второго дисплея, чтобы отображать информацию, относящуюся к упомянутому документу на первом дисплее, когда второе устройство отображения располагается рядом с первым устройством отображения.

Система активации может содержать датчик касания на первом устройстве отображения и активатор на втором устройстве отображения, при этом активатор предназначен для активации датчика касания, когда пользователь поддерживает второе устройство отображения напротив первого устройства отображения. Сенсорный экран и активатор могут быть такими, как описанные выше.

Первое и второе устройства отображения могут быть встроены в устройство, содержащее стол с множеством зон, и функциональность первого и второго устройств отображения может зависеть от зоны, как описано выше. Соответственно, все признаки, описанные выше в связи с зонированием, и компоненты устройств отображения в равной степени применимы ко второму аспекту изобретения.

Дальнейшие признаки также применимы к обоим аспектам изобретения, когда второе устройство отображения находится рядом с первым устройством отображения. Первое устройство отображения может отображать миниатюрный вид, а второе устройство отображения может отображать полноэкранное предварительное изображение миниатюрного вида. В качестве альтернативы, первое устройство отображения может отображать документ, содержащий URL, а второе устройство отображения может отображать полноэкранное предварительное изображение веб-страницы, представленной URL. В качестве альтернативы, первое устройство отображения и второе устройство отображения могут отображать разные участки карты.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее эти и другие аспекты изобретения будут дополнительно описаны, только в качестве примера, со ссылкой на прилагаемые фигуры, на которых:

Фигура 1a - вид сверху устройства согласно настоящему изобретению;

Фигура 1b - схематический вид устройства по фигуре 1a;

Фигура 2a - вид устройства отображения из устройства по фигуре 1a;

Фигура 2b - вид двух устройств отображения из устройства по фигуре 1a; и

Фигура 3 - покомпонентный вид, показывающий компоненты устройства отображения из устройства по фигуре 1a.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Как показано на фигурах 1a и 1b, устройство содержит множество устройств отображения 10, 12, 14 на столе 16. На фигуре 1a имеется девять устройств отображения, с шестью устройствами отображения, сложенными в стопку друг на друга с одной стороны стола, а на фигуре 1b имеется 6 устройств отображения. Таким образом, понятно, что может использоваться любое количество устройств отображения, и, как объясняется более подробно, вместе они формируют компьютер типа электронной бумаги, который может указываться ссылкой, как paperdesk.

Стол, показанный на фигуре 1a, является термоформованным пластиковым столом, который не имеет никаких специальных дополнений. Стол, таким образом, является поверхностью для поддержки множества устройств отображения, когда они не поддерживаются пользователем(ями). Устройства отображения могут быть привязаны к главному процессору, например, 8-ядерному MacPro с запущенной системой Windows 7. Главный процессор может быть размещен под столом, и стол, таким образом, может рассматриваться, как дополнительно содержащий главный процессор.

Как поясняется более подробно со ссылкой на фигуру 3, каждое устройство отображения может содержать сенсорный слой, датчик местоположения и датчик изгибания, а главный процессор может обрабатывать все входные данные с этих компонентов. Например, главный ПК (персональный компьютер, PC), может обрабатывать сенсорный ввод со схемы на устройстве отображения, передавая события касания x, y назад на устройство отображения. Главный ПК также может обрабатывать всю информацию об изгибании, передавая назад отдельные события на окно отображения. Главный процессор также может управлять взаимодействием между устройствами отображения, например, в случае совмещения или фокусировки и контекстного указывания. Это может, таким образом, снизить требования на вычислительную мощность для самих устройств отображения. Устройства отображения могут выполнять любое другое прикладное программное обеспечение полностью самостоятельно и поддерживать свое состояние.

Устройство также может содержать процессор/излучатель (например, trakSTAR), который также устанавливается под стол, и который осуществляет предварительную обработку для главного ПК данных датчиков, принятых с датчика местоположения на устройстве отображения. Главный ПК затем может передавать координаты по 6 степеням свободы назад на устройство отображения. ПК использует координатные данные с сенсорного экрана и датчика местоположения, чтобы определять, когда надо обмениваться данными между окнами отображения, например, при выполнении совмещенного копирования.

Стол разделяется на несколько зон на основании близости каждой зоны к пользователю, и при этом функциональность устройства отображения определяется зоной, в которой оно расположено. Местоположение каждого устройства отображения относительно каждой зоны отслеживается, например, используя электромагнитное устройство отслеживания. Устройство отображения может находиться внутри зоны, когда оно размещено в зоне на столе, или когда оно поддерживается в руке пользователя над зоной. В примерах по фигурам 1a и 1b имеется три зоны. горячая зона 20, которая расположена рядом с пользователем, и теплая зона 22 и холодная зона 24, которые находятся дальше от пользователя. В горячей зоне, устройство отображения может допускать полноэкранный просмотр и редактирование документов. В теплой зоне, устройство отображения может отображать миниатюрные виды, а в холодной зоне устройство отображения может использоваться для сохранения документов в файлы.

Как описано более подробно ниже, каждое устройство отображения является тонкопленочным электрофоретическим устройством отображения, которое может поддерживаться в руках пользователя, как показано на фигуре 2a или фигуре 2b, или размещаться на физическом столе, как показано на фигурах 1a и 1b. Каждое устройство отображения может приблизительно иметь размер бумаги формата A4 или формата «письмо» (215,9 × 279,4 мм). Каждое устройство отображения предпочтительно обладает функциональностью сенсорного экрана и является гибким. Каждое устройство отображения может являться компьютером на Android.

Устройства отображения служат в качестве окон электронной бумаги в компьютерных документах. Каждое устройство отображения предпочтительно соответствует по функциональности одному окну на графическом интерфейсе пользователя (ГИП, GUI). Каждое устройство отображения, таким образом, может быть указано ссылкой, как окно отображения, чтобы отразить тот факт, что оно является физическим представлением одного окна на устройство отображения. Как объяснено более подробно ниже, пользователи могут взаимодействовать с устройством посредством перемещения окна отображения по своему столу, и могут находить и редактировать информацию в окне отображения, используя сенсорный ввод и простые операции изгибания [18]. Например, пролистывание страниц в верхнем правом углу вперед или назад позволяет пользователю переворачивать страницы в документе, а изгибание окна отображения может позволять пользователю увеличивать или уменьшать масштаб документа.

Как показано на фигуре 2b, пользователи также могут использовать окно отображения в качестве «волшебной линзы» [4], которая указывает на другое окно отображения, позволяя им выводить информацию на верхнее окно отображения, детализируя элементы, отображаемые в нижнем устройстве отображения. Например, документы могут быть открыты в первом окне отображения посредством указывания первым окном отображения на значок файла во втором окне отображения. После этого, документ, представленный значком файла, открывается в первом окне отображения.

Эффективность использования устройств отображения в качестве окон существенно снижалась из-за веса устройства отображения [8]. Перемещение стопки из 10 планшетных компьютеров по чьему-либо столу не может конкурировать с эффективностью перемещения бумажных документов. Чтобы перемещать окна отображения с более высокой эффективностью, важно, чтобы они были сделаны из самых легких доступных устройств отображения.

Методики взаимодействия для множества устройств отображения обращаются к проблеме управления окнами в устройстве с многими устройствами отображения. Как упоминалось выше, каждое устройство отображение является функциональным эквивалентом одного окна ГИП. Один из вызовов состоял в том, что, в отличие от ГИП, в пространстве между окнами интерфейс отсутствует. Это означает, что интерфейс пользователя существует скорее среди группы устройств отображения, чем в рамках одного устройства отображения. По существу, мы рассматривали взаимодействия с окнами отображения, как относящиеся к одному из двух типов: зональные взаимодействия и взаимодействия контекста фокусировки.

В традиционных ГИП, окна организуются, используя модель наложения: самое близкое окно является верхним, или активным, окном, которое содержит активный документ, с которым работает пользователь. В настоящем изобретении, устройства отображения (и, следовательно, окна) раскладываются на физическом столе с более реальной поверхностью. Таким образом, наложение окон не обязано являться главной моделью для фокусировки на задании. Скорее, и согласно анализу Sellen и Harper использования бумажных документов, фокусировка или уровень активности окна определяется близостью окна отображения к пользователю [30]. Фигуры 1a и 1b показывают три зоны близости к пользователю, каждая из которых относится к разному уровню фокусировки: горячая (в пределах досягаемости руки, активный документ), теплая (на расстоянии руки, заблокированные или сложенные документы), и холодная (вне досягаемости руки, сохраненный в файл документ).

ГОРЯЧАЯ ЗОНА

В этой зоне, окна отображения либо поддерживаются пользователем, либо находятся в пределах непосредственной досягаемости руки пользователя. Они эквивалентны верхнему окну в ГИП. Они содержат активные документы, редактируемые пользователем с помощью сенсорного ввода или клавиатуры. Когда окно отображения перемещается в горячую зону, индикатор показывает, что устройство отображения находится в горячей зоне. Например, индикатор может являться небольшим светодиодом (СИД, LED) в верхнем левом углу устройства отображения, который становится зеленым, и который может обозначать, что отображаемые документы стали доступными для редактирования.

Как упоминалось выше, устройство может быть выполнено с возможностью изменять разрешение документа, когда дисплей перемещается между зонами близости. Тем не менее, когда дисплеи перемещаются в горячую зону, один из вариантов состоит в том, чтобы немедленного изменения разрешения изображения не происходило. Это позволяет пользователям проверять содержимое теплых и холодных окон отображения без изменения их изображения, по меньшей мере до тех пор, пока не будет иметь место дальнейший ввод от пользователя. Например, пользователи могут использовать касание устройства отображения или изгибание устройства отображения, чтобы изменить изображение в горячей зоне. Например, после перемещения устройства отображения из теплой зоны в горячую зону, пользователи могут переходить от миниатюрного вида к полноэкранному изображению посредством изгибания сторон устройства отображения наружу.

Когда окна отображения перемещаются в другом направлении, то есть, из горячей зоны в теплую зону, устройство предпочтительно меняет разрешение документа. Например, изображение меняется на миниатюрный вид документа в теплой зоне, и документ закрывается, чтобы показать значок файла, в холодной зоне. Перемещение в холодную зону эквивалентно закрыванию окна в ГИП. Окна отображения остаются горячими до тех пор, пока пользователь не отпустит их в теплой или холодной зоне.

ТЕПЛАЯ ЗОНА

В этой зоне, окна отображения находятся на расстоянии руки пользователя. Они эквивалентны свернутым окнам, или окнам, наложенным под верхним окном в ГИП. По существу, документы, содержащиеся в теплых окнах отображения, заблокированы, и не могут прямо редактироваться пользователем. Это позволяет манипулировать ими и складывать в стопки без риска случайного ввода. Они, тем не менее, реагируют на внешние события, такие как уведомления, входящие файлы, электронные письма или редактирования, производимые удаленными пользователями.

Всякий раз, когда окно отображения перемещается в теплую зону, индикатор показывает, что это устройство отображения находится в теплой зоне. Например, индикатор может являться СИДом в верхнем левом углу устройства отображения, который становится желтым.

Как упоминалось выше, устройство может быть выполнено с возможностью изменять разрешение документа, когда дисплей перемещается между зонами близости. Например, когда окно отображения перемещается из холодной зоны в теплую зону, документы в холодном окне отображения открываются в ярлыки, изображающие миниатюрные виды. Это обеспечивает удобный способ открывания множества документов в одном окне отображения. Пользователь может выбирать каждый ярлык посредством касания, когда окно отображения подбирается (то есть, когда пользователь перемещает устройство отображения в горячую зону). В другом примере, когда устройство отображения возвращается в холодную зону из теплой зоны, ярлыки закрываются, чтобы показывать значки файлов. Когда окно отображения в горячей зоне перемещается в теплую зону, это может заставить окно отображения показывать миниатюрный вид этого документа. Например, если пользователь просматривает полноэкранную фотографию в альбоме в горячей зоне, перемещение устройства отображения в теплую зону заставит его отображать миниатюрные виды всех фотографий в альбоме, как показано на фигуре 2a.

Когда документ в теплом окне отображения принимает внешнее обновление, индикатор может уведомить пользователя, например, СИД может начать мигать желтым цветом, чтобы уведомить пользователя. Например, пользователь может держать ящик входящих электронных писем в теплом окне отображения, отображающем список последних электронных писем. Когда приходит новое электронное письмо, индикатор окна отображения начинает мигать. Пользователи могут открывать последнее принятое электронное письмо посредством перемещения окна отображения с входящим документом в горячую зону и касания электронного письма. Перемещение окна отображения с ящиком входящих электронных писем назад в теплую зону закрывает текущее электронное письмо и возвращает окно в его изначальный вид списка. СИД уведомление может прекращать мигать при касании окна отображения.

ХОЛОДНАЯ ЗОНА

В этой зоне, окна отображения находятся вне досягаемости руки пользователя, и все же к ним легко можно получить доступ посредством наклона или вытягивания над столом. Холодные окна отображения позволяют хранить документы отдельно от активных заданий. Они эквивалентны папкам с файлами в системах организации файлов ГИП. Холодная зона обеспечивает пользователей легким способом сохранения документов в файлы и поиска документов. Папки с файлами не могут редактироваться, и реагируют только на касания посредством других окон отображения.

Когда окно отображения перемещается в холодную зону, это перемещение показывается индикатором. Например, СИД в верхнем левом углу устройства отображения может выключаться.

Окно отображения в холодной зоне продолжает реагировать на сенсорный ввод. Устройство отображения окна отображения в холодной зоне отключается, когда с ним не взаимодействуют, и, как и напечатанные документы, не потребляет энергию. Устройства отображения опять включаются, когда их подбирают, касаются другим окном отображения или обновляют извне.

Фигура 2b показывает один из способов взаимодействия друг с другом для устройств отображения. В этом случае, первое устройство 12 отображения в теплой зоне соединяется со вторым устройством 10 отображения в горячей зоне. Такие взаимодействия обеспечивают удобную фокусировку и контекстную навигацию по содержимому в горячих, теплых и холодных окнах отображения с помощью второго окна отображения. Когда горячее окно отображения перемещается в другую зону во время этого взаимодействия, оно остается горячим до тех пор, пока пользователь поддерживает окно отображения.

Как показано, пользователь указывает верхним левым углом горячего устройства отображения на миниатюрный вид на лежащем снизу теплом или холодном окне отображения. Это действие заставляет горячее окно отображения показывать полноэкранное предварительное изображение миниатюрного вида. Это является функциональным эквивалентом «волшебных линз» [28], предварительного просмотра гиперссылок или контекстных меню в ГИП. После предварительного просмотра изображения, пользователь может перманентно переместить его на горячее окно отображения посредством подъема устройства отображения и перемещения его в горячую зону [28], сохраняя подробное изображение. Пользователи также могут указать горячим устройством отображения на другое горячее окно отображения, чтобы получить доступ к информации в документе, отображаемой в этом окне. Например, указывание на URL (унифицированный указатель ресурса) в документе в одном горячем окне отображения показывает полноэкранное предварительное изображение веб-страницы в другом горячем окне отображения. Указывание на местоположение на карте или на элемент в содержании книги может вывести связанную страницу на второй экран. Эта методика предоставляет интересную альтернативу методике подбора и отпускания (Pick and Drop) [26] для множества устройств отображения.

Как упоминалось выше, устройства отображения в холодной зоне могут использоваться, чтобы сохранять документы в файлы. Эти файлы документов могут быть открыты посредством указывания пустым окном отображения на дисплей устройства в холодной зоне. Указывающее действие вызовет отображение списка значков файлов документов внутри папки, которые должны быть представлены на дисплее устройства в холодной зоне. Во время указывания, горячее окно отображения показывает миниатюрный вид содержимого файла документа. Файл может быть открыт посредством выбора одного из этих миниатюрных видов.

Взаимодействие между устройствами также может использоваться, чтобы перемещать документы между устройствами. Например, в холодной зоне, значки файлов могут перемещаться между папками посредством указывания на их миниатюрный вид, подбора их на горячее окно отображения, и, затем, касания третьего окна отображения. Когда пользователь указывает горячим окном отображения на пустое пространство в папке с файлами в холодной зоне, его документ закрывается, и миниатюрный вид перемещается в папку с файлами. Это закрывает окно отображения, очищая его экран.

Пользователи также могут копировать или перемещать документы и объекты данных внутри документов с помощью этой методики. Это действие эквивалентно использованию буфера обмена ГИП для вырезания, копирования и вставки файлов. Например, таким образом пользователи могут добавлять прикрепленные файлы к электронному письму, отображаемому в одном окне отображения, посредством касания его пустого пространства pdf документом на другом окне отображения. В качестве альтернативы, пользователи могут перемещать объекты данных между двумя окнами отображения посредством расположения их рядом друг с другом и перетаскивания объекта данных с одного дисплея на другой с помощью пальца.

Совмещение устройств отображения также может использоваться, чтобы обеспечивать взаимодействие между устройствами. Например, если пустое окно отображения размещается прямо рядом с другим, немного перекрываясь с окном отображения (например, с окном в горячей зоне, отображающим документ), устройство реагирует посредством создания увеличенного вида изначального документа на двух устройствах отображения [14, 16]. В качестве альтернативы, элементы могут перемещаться или копироваться между двумя совмещенными окнами отображения посредством перетаскивания их с помощью касания.

Если совмещенные окна отображения разъединяются, они будут отображать подгруппу среды более крупной графики, которая заключена в рамки двух устройств отображения [9]. Это позволяет просматривать большие графические документы, используя множество окон отображения в качестве «волшебных линз», как описано выше со ссылкой на фигуру 2b. Таким образом, если одно окно отображения, содержащее карту, совмещается с другим, карта расширяется, чтобы охватить область рядом с ней. Теперь, если второе окно отображения смещается в сторону, изображение этого окна отображения будет автоматически прокручиваться на относительное расстояние от изначального окна отображения, таким образом, открывая другие области. Это может быть полезно при планировании подробных маршрутов между городами начала и конца пути. Этот признак также полезен при просмотре больших графических документов, таких как архитектурные чертежи, по всей поверхности стола без масштабирования.

Совмещенные окна отображения могут вновь разъединяться, используя разрывающий жест. Одна из реализаций разрывающего жеста состоит в изгибании верхнего левого угла правого окна отображения вверх, в то же время перемещая устройство отображения вверх. После разрыва создаются два отдельных документа, каждый из которых содержит объекты данных на устройстве отображения. В случае примера карты, это, например, создало бы одно окно отображения с городом начала пути и одно с городом конца пути.

Устройство может дополнительно содержать клавиатуру, например, стандартную беспроводную Bluetooth клавиатуру, чтобы пользователь мог редактировать текст. Местоположение клавиатуры на столе предпочтительно отслеживается, и ввод может автоматически направляться в устройство отображения, которое расположено ближе всех к клавиатуре. Пользователи могут привязывать клавиатуру к конкретному окну отображения посредством нажатия функциональной клавиши на клавиатуре, когда клавиатура находится рядом с конкретным устройством отображения. Когда пользователь впоследствии перемещает окно отображения, ввод продолжает направляться в него.

Другой способ ввода информации в устройство отображения состоит в изгибании устройства. Например, отдельные окна отображения могут реагировать на изгибания в верхнем левом и правом углах устройства отображения, а также всего устройства отображения. Согласно Lahey и др. [18], пользователи предпочитают изгибания верхних углов по сравнению с изгибаниями нижних углов. На основании этих результатов, следующие изгибающие жесты могут быть встроены в изобретение:

Двунаправленные изгибания верхнего правого угла для навигации, и

Двунаправленные изгибания верхнего левого угла для зависящих от приложения задач (например, разрывающий жест, чтобы разъединить два совмещенных окна отображения, или чтобы ответить на электронное письмо).

Изгибания всего устройства отображения используются для увеличения и уменьшения масштаба.

Изгибание верхнего правого угла вниз выбирает документ в следующей вкладке или открывает следующую страницу, в то время как изгибание верхнего правого угла вверх открывает предыдущую страницу [35]. Изгибания также используются, чтобы прокручивать списки, размеры которых превосходят размеры физического устройства отображения. Изгибания, выполненные на двух окнах отображения, копируют выбранную информацию с верхнего окна отображения в нижнее. Пользователи могут складывать окна отображения в стопку и изгибать верхние правые углы внутрь с помощью одного жеста, чтобы создать папку с файлами, содержащую содержимое каждого из окон отображения: папка появляется в верхнем окне отображения, а другие окна отображения становятся пустыми.

Таким образом, резюмируя, взаимодействия с окнами отображения происходят с помощью касания, клавиатуры, близости (к другим окнам отображения, к столу и к пользователю), а также указывания между двумя окнами отображения.

Фигура 3 показывает покомпонентный вид устройства отображения для использования в устройстве, описанном выше. Устройство содержит несколько слоев, некоторые из которых являются гибкими, а другие являются полугибкими, так что само устройство в целом является гибким. Верхний слой является гибким емкостным сенсорным экраном 30. Второй слой является гибким электрофоретическим дисплеем 32. Третий слой предоставляет датчик 34 отслеживания, в то время как четвертый слой содержит полугибкую беспроводную приводную плату 36 дисплея. Пятый слой является датчиком 38 для считывания изгибаний углов устройства отображения. Последний слой (не показан) является схемой, которая обеспечивает емкостное соединение между окнами отображения для указывания. В одном из вариантов осуществления, устройство отображения может иметь толщину, составляющую примерно 3 мм, и вес, составляющий примерно 70 г. Каждое устройство отображения также может являться полнофункциональным компьютером на Android, который взаимодействует с главным ПК только для обмена данными ввода и координатными данными с другими окнами отображения. Больше подробностей подходящих вариантов осуществления разных слоев изложено ниже.

Гибкий емкостный сенсорный экран 30 первого слоя может являться гибким тонкопленочным прозрачным емкостным сенсорным экраном Zytronic [36]. Экран может иметь длину диагонали 25,4 см (10 дюймов). Этот слой соединен с главным ПК с помощью плоского кабеля, по которому он передает события касаний на прикладное программное обеспечение, выполняемое в окне отображения. Сенсорный экран приспособлен, чтобы обеспечивать указывание между несколькими устройствами отображения, как описано выше. Емкостная схема была разработана так, чтобы, когда окно отображения поддерживается рукой пользователя, это переносило емкость пользователя на луженый кончик в верхнем левом углу окна отображения. Это активирует события касаний, когда одно окно отображения касается другого.

Гибкий электрофоретический дисплей 32 второго слоя может представлять гибкий электрофоретический дисплей с большой диагональю 27,2 см (10,7 дюймов) с минимальными кромками. Методики создания такого дисплея описаны в предыдущих заявках настоящего заявителя, все из которых полностью включены в материалы настоящей заявки посредством ссылки, например, в WO 01/47045, WO 2004/070466, WO 01/47043, WO 2006/059162, WO 2006/056808, WO 2006/061658, WO 2006/106365 и PCT/GB2006/050265.

В данном примере, дисплей обладает разрешением в 1280 × 960 пикселей, с полноэкранной скоростью обновления в 700 мс. Дисплей питается с помощью гибкого аккумулятора на полугибкой приводной плате под дисплеем. Приводная плата, выполняющая обычное приложение на Android, соединяется по Wi-Fi с ПК под столом, который предоставляет обновления данных датчиков для каждого окна отображения. Устройство отображения содержит небольшой светоизлучающий диод (СИД), который используется для целей уведомления.

Электромагнитный датчик, установленный на каждое устройство отображения, позволяет отслеживать местоположение и ориентацию относительно других устройств отображения, а также относительно стола и пользователя. В одном из вариантов осуществления, датчик является небольшим зондом датчика trakSTAR, который через провод соединяется с корпусом процессора, расположенным под столом [1]. Датчик вместе с корпусом процессора, таким образом, формируют сенсорное устройство, которое определяет зону близости (горячая, холодная, теплая), внутри которой расположено устройство отображения.

Несмотря на то, что окна отображения можно было бы легко отслеживать беспроводным образом с помощью систем компьютерного зрения, доступных в настоящее время (например, Vicon, Kinect) [16], показанная реализация использует проводную конфигурацию по следующим причинам. Во-первых, системы компьютерного зрения страдают от преграждений, усложняя отслеживание окон отображения, когда они перекрываются. Во-вторых, оказывается, что электромагнитное решение обеспечивает лучшее ценовое предложение для производственных моделей. Наконец, электромагнитный датчик обеспечивает более высокое разрешение по всем 6 степеням свободы (directions of freedom, DOF).

Сенсорное устройство передает 6 DOF координат каждого окна отображения, чтобы определить местоположение окна отображения относительно пользователя, относительно стола и относительно других окон отображения. Окно отображения является горячим, когда оно поднято над столом, или когда оно находится в пределах досягаемости руки от пользователя (70 см). Окно отображения является теплым, когда оно расположено на столе на расстоянии от 70 см до 110 см от пользователя. Все другие окна отображения являются холодными, с выключенными дисплеями. Сенсорное устройство также определяет, когда окна отображения совмещаются, и отслеживает расстояние между датчиками отслеживания на каждом устройстве, когда соединенные окна отображения разводятся в стороны. Наконец, сенсорное устройство определяет, когда окна отображения складываются в стопку, на основании их координаты z, определяемой каждым электромагнитным датчиком каждого устройства отображения.

Приводная плата дисплея из четвертого слоя может являться специализированной платой Plastic Logic Apollo [24], работающей на Android и имеющей процессор ARM Cortex-A8 с частотой 800 МГц, подсистему графики высокого разрешения и Wi-Fi соединение. Плата поддерживает свое состояние, прикладные данные и питание дисплея без привязки к внешнему компьютеру. Приложения на Android, выполняемые на приводной плате, получают ввод касания и изгибания, а также информацию о местоположении для окна отображения с главного ПК через Wi-Fi соединение. Хотя элементы платы Apollo являются жесткими, модульная стратегия установки обеспечивает возможность изгибания всей поверхности устройства отображения примерно на 15° в обоих направлениях, и на 30° в его углах, в которых расположены датчики изгибания. Этот слой также содержит гибкий литий-полимерный аккумулятор, который питает как дисплей, так и приводную плату.

Пятый слой содержит чувствительный к изгибанию слой, который может использовать 2 двунаправленных датчика изгибания FlexPoint [10], установленных на специально построенную гибкую печатную плату, установленную прямо под приводной платой дисплея. Датчики изгибания соединены через плоский кабель с макетной платой Arduino Mega 2560, которая может взаимодействовать с главным ПК для обработки изгибаний.

Нижний слой содержит лишь небольшой провод, соединенный с небольшим металлическим кончиком, который переносит емкость руки пользователя на другое окно отображения с целью активации сенсорной пленки Zytronic. Это используется для фокусировки и контекстного указывания с помощью одного окна отображения на другое, как описано в связи с фигурой 2b.

Примеры заданий, которые могут выполняться посредством системы, включают в себя:

Управление документами: например

подбор текстового документа посредством указывания горячим окном отображения на значки файлов холодного окна отображения.

совмещение пустого окна отображения с горячим окном отображения, чтобы расширить изображение документа.

Просмотр фотографий: например

перемещение теплого окна отображения с миниатюрными видами фотографий в горячую зону и открытие фотографии в полноэкранном виде, используя как сенсорный ввод, так и ввод изгибания всего экрана;

перемещение этого окна отображения назад в теплую зону, чтобы вернуться к миниатюрному виду;

совмещение пустого окна отображения, чтобы перетащить и сбросить фотографии с одного окна отображения на другое;

подбор фотографий с теплого окна отображения посредством указывания с помощью пустого горячего окна отображения.

Ответ на электронное письмо: например

открывание ящика входящих электронных писем посредством указывания на значок электронной почты в холодном окне отображения с помощью горячего окна отображения;

открывание электронного письма посредством в теплое окно отображения с помощью пустого горячего окна отображения;

переход к следующему электронному письму, используя изгибание верхнего правого угла;

изгибание верхнего левого угла, чтобы составить ответ;

набор ответа, используя клавиатуру;

прикрепление pdf документа посредством указывания его окном отображения в область под ответом;

отправка ответа посредством изгибания верхнего левого угла.

Планирование маршрута: например

открывание приложения карты посредством указывания на значок карты в холодном окне отображения с помощью горячего окна отображения;

использование касания, чтобы выполнить прокрутку до конкретного города начала пути;

совмещение второго, пустого окна отображения;

перемещение второго окна отображения по столу, чтобы найти конкретный город конца пути;

разъединение устройств отображения с помощью разрывающего жеста в верхнем левом углу.

Изменения и альтернативы к примеру, описанному выше, обсуждаются ниже.

Теплая зона может также содержать устройства отображения, к которым нет необходимости получать доступ в течение нескольких дней, например, эти устройства отображения (холодные устройства) могут быть сложены в стопку под другим устройством отображения, расположенным в теплой зоне. Это может быть детектировано посредством сенсорного устройства, которое определяет местоположение устройства отображения в теплой зоне, а затем определяет, что устройство отображения находится за другим устройством отображения. Сенсорное устройство затем может определять, что в сущности устройство отображения находится в холодной зоне, то есть, в другой зоне по сравнению с зоной, изначально определенной из данных местоположения.

Также могут встраиваться дополнительные основанные на зонах взаимодействия. Например, может быть определена дополнительная зона близости, например, «зона ящика отправленных электронных писем», и окна отображения могут размещаться в этой зоне, чтобы заставить открытое в настоящий момент электронное письмо быть отправленным. Разные зоны также могут использоваться для разных типов документов. Например, видео могла бы проигрываться в полноэкранном режиме в холодной зоне, останавливаться в теплой зоне и появляться в виде миниатюры с описанием в холодной зоне. Тем не менее, в то же время, пользователи оценили однонаправленность изменений вида для горячих окон отображения. Оказывается, автоматические изменения вида на основании близости являются балансирующим действием, обеспечивающим легкий обзор информации, в то же время оставляя пользователя в управлении видом.

Функциональность указывания (например, как описано в связи с фигурой 2b) может быть расширена, чтобы обеспечить функциональность, часто обеспечиваемую посредством перетаскивания. Перетаскивание вовлекает трение и часто требует, чтобы пользователь сгибался над устройством отображения. Участники посчитали указывание с помощью окна отображения более простым, так как им не приходится волноваться о случайном отпускании операции перетаскивания в неправильном местоположении (несмотря на тот факт, что объекты вернулись бы назад при ошибочном отпускании), и в целом требуется меньше усилий.

Оказывается, указывание с помощью устройства отображения требует меньше фокусировки и движений с менее точной моторикой, чем при перетаскивании.

Тем не менее, указывание с помощью края окна отображения может оказаться сложным в зависимости от местоположения и захвата устройств отображения. Окно отображения, используемое в качестве указывающего устройства, иногда преграждается другим окном отображения, требуя от пользователя поменять положение его тела. Следовательно, активатор также мог бы быть включен в правый верхний угол устройства, так как часто требовалось бы меньше движений, если бы эта функциональность была добавлена.

Несмотря на то, что функциональность окон отображения самостоятельна, окна отображения, такие как используемые на фигуре 1a, страдают от проводной привязки к главному процессору, который используется лишь для целей обработки ввода с окон отображения. Судя по всему, такая привязка обычно не мешает взаимодействию с устройством. Необходимость в привязке может быть устранена посредством введения обработки касания, изгибания и операций отслеживания в самом окне отображения.

Окна отображения также могли бы являться более тонкими и более гибкими. Как показано на фигуре 3, приводная плата расположена между слоями устройства отображения, а не привязана отдельно. Приводная плата содержит жесткие компоненты, что влияет на общую гибкость устройства. Уменьшение размера жестких компонентов на этой плате может увеличить гибкость, и, кроме того, жесткий компонент может быть размещен в отдельном компоненте, например, на островках, которые соединены с главной платой с помощью гибких кабелей.

Несомненно, многие другие эффективные альтернативы придут на ум специалисту в данной области техники. Будет понятно, что изобретение не ограничено описанными вариантами осуществления и охватывает модификации, очевидные специалистам в данной области техники, лежащие в пределах сущности и объема, определенных прилагаемой формулой изобретения.

ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ДОКУМЕНТОВ

Ascension, Inc. trakSTAR. http://www.ascension-tech.com/medicaUtrakSTAR.php

Agrawala, A., и R. Balakrishnan. Поддержка реальности: продвижение модели рабочего стола с помощью физики, стопок и руки (Keepin' it Real: Pushing the Desktop Metaphor with Physics, Piles and the Pen). В Proc. CHI'06, ACM Press (2006), 1283-1292.

Baudisch, P., Good, N.. Bellotti, V., и Schraedley, P. Поддержка элементов в контексте: сравнительное оценивание фокусировки с контекстными экранами, представлений и масштабирования (Keeping things in context: a comparative evaluation of focus plus context screens, overviews, and zooming). В Proc. CHI, ACM (2002), 259-266.

Bier, E. a, Stone, M.C., Pier, K., Buxton, W., и DeRose, T.D. Toolglass и волшебные линзы: видимый насквозь интерфейс (Toolglass and magic lenses: the see-through interface). Proc. SIGGRAPH, (1993), 73-80,

Bush, V. Как нам кажется (As We May Think). The Atlantic Monthly 176, 1 (1945), 101-108.

Cockburn, A. и McKenzie, B. Оценивание эффективности пространственной памяти в 2D и 3D физических и виртуальных средах (Evaluating the effectiveness of spatial memory in 2D and 3D physical and virtual environments). Proc. CHI, (2002), 203.

Cockburn, A. Переосмысление вкладов 2D и 3D в пространственную память (Revisiting 2D vs 3D implications on spatial memory). Proc. AUIC, (2004), 25-31.

Fitts, P.M. Информационная емкость двигательного аппарата человека при управлении амплитудой движения (The information capacity of the human motor apparatus in controlling the amplitude of movement). J Exp Psychol 47, 6 (1954), 381-391.

Fitzmaurice, G.W. Распределенные в пространстве информационные области и пространственно осведомленные портативные компьютеры (Situated information spaces and spatially aware palmtop computers), Communications of the ACM 36, 7 (1993), 39-49.

FlexPoint Inc. http://www.flexpoint.com

Girouard, A., Tarun, A., and Vertegaal, R, DisplayStacks: методики взаимодействия для стопок гибких тонкопленочных устройств отображения (DisplayStacks: interaction techniques for stacks of flexible thin-film displays). В Proc CHI'12. (2012). ACM, New York, NY, 2431-2440.

Greenberg, S., Marquardt, N., Ballendat, Т., Diaz-Marino, R., и Wang, M. Взаимодействия на основе близости: новые ubicomp? взаимодействия (Proxemic interactions: the new ubicomp? interactions) 18, 1 (2011), 42-50.

Guimbretiere, F. Дополненные бумагой цифровые документы (Paper augmented digital documents). Proc. UIST 5, 2 (2003), 51-60.

Hinckley, K., Ramos, G., Guimbretiere, F., Baudisch, P., и Smith, M. Сшивание: жесты ручки, которые охватывают множество устройств отображения (Stitching: pen gestures that span multiple displays). Proc. AVI, (2004), 23-31.

Hinckley, K., Yatani, K., Pahud, M., и др. Ручка + касание = новые инструменты (Pen + Touch = New Tools). Proc. UIST, (2010), 27-36.

Holman, D., Vertegaal, R., Altosaar, M., Troje, N., и Johns, D. PaperWindows: методики взаимодействия для цифровой бумаги (PaperWindows: Interaction Techniques for Digital Paper). Proc. CHI, (2005), 591-599.

Khalilbeigi, M., Steimle, J., и Muhlhauser, M. Методики взаимодействия для гибридных групп документов на интерактивных рабочих столах (Interaction techniques for hybrid piles of documents on interactive tabletops). Расширенные рефераты Proc. CHI , (2010), 3943.

Lahey, В., Girouard, A., Burleson, W., и Vertegaal, R. PaperPhone: понимание использования жестов изгибания в мобильных устройствах с гибкими дисплеями типа электронной бумаги (PaperPhone: Understanding the Use of Bend Gestures in Mobile Devices with Flexible Electronic Paper Displays). Proc. CHI, (2011).

Lee, J.C., Hudson, S.E., и Tse, E. Изгибаемые интерактивные дисплеи (Foldable interactive displays). Proc. UIST, (2008), 287.

Luff, P., Heath, C, Norrie, M., Signer, В., и Herdman, P. Только касание поверхности: создание сходства между цифровым содержимым и бумагой (Only touching the surface: creating affinities between digital content and paper). Proc CSCW, (2004), 523.

Mackay, W.E., Pothier, G., Letondal, C, Bøegh, K., and Sørensen, H.E. Недостающее звено: улучшение ноутбуков в биологической лаборатории (The missing link: Augmenting Biology Laboratory Notebooks). Proc. UIST, (2002).

Merrill, D., Kalanithi, J., и Maes, P. Siftables: в направлении интерфейсов пользователя на основе сенсорной сети (Siftables: towards sensor network user interfaces). Proc. TEI, (2007), 75-78.

Mine, M.R., Brooks, F.P., и Sequin, C.H. Перемещение объектов в пространстве: использование проприоцепции при взаимодействии с виртуальной средой (Moving objects in space: exploiting proprioception in virtual-environment interaction). Proc. SIGGRAPH, (1997), 19-26.

Plastic Logic Inc. (2012). http://www.plastidogic.com

Reilly, D., Rodgers, M., Argue, R., Nunes, M., и Inkpen, K. Размеченные карты: объединение бумажных карт и электронных информационных ресурсов (Marked-up maps: combining paper maps and electronic information resources). Personal and Ubiquitous Computing 10, 4 (2005), 215-226.

Rekimoto, J. Подбор и отпускание: методика прямого манипулирования для множества компьютерных сред (Pick-and-Drop: A Direct Manipulation Technique for Multiple Computer Environments). Proc. UIST, (1997), 31-39.

Rekimoto, J., Ullmer, В., и Oba, H. DataTiles. Proc. CHI, (2001), 269-276.

Rohs, M., Oulasvirta, A., и Suomalainen, T. Взаимодействие с волшебными линзами: проверка в реальном мире модели закона Фиттса (Interaction with magic lenses: real-world validation of a Fitts' Law model). Proc. CHI, (2011), 2725-2728.

Schwesig, C, Poupyrev, I., и Mori, E. Gummi: изгибаемый компьютер (Gummi: a bendable computer). Proc. CHI, (2004), 263 - 270.

Sellen, A.J. и Harper, R.H.R. Миф об отсутствии бумаги в офисе (The Myth of the Paperless Office). MIT Press, 2003.

Terrenghi, L, Kirk, D., Sellen, A.J., и Izadi, S. Возможности манипулирования физическими и цифровыми носителями на интерактивных поверхностях (Affordances for manipulation of physical versus digital media on interactive surfaces) Proc. CHI'07, (2007), 1157-1166.

Vertegaal, R. и I. Poupyrev. Органические интерфейсы пользователя (Organic User Interfaces): Введение в специальное издание Comm of the ACM 51 (6), (2008), 26-30.

Ullmer, В., Ishii, H., и Jacob, R.J.K. Системы меток и ограничений для осязаемого взаимодействия с цифровой информацией (Token+constraint systems for tangible interaction with digital information). TOCHI 12, 1 (2005), 81-118.

Wellner, P. Взаимодействие с бумагой на DigitalDesk (Interacting with paper on the DigitalDesk). Communications of the ACM 36, 7 (1993), 87-96.

Wightman, D., Ginn, Т., и Vertegaal, R. BendFlip: проверка методик ввода для устройств чтения электронных книг с гибкими форм-факторами (BendFlip: Examining Input Techniques for Electronic Book Readers with Flexible Form Factors). Proc. INTERACT, (2011).

Zytronic, PLC . (2012). http://www.zytronic.co.uk

Изобретение относится к устройствам отображения. Технический результат заключается в обеспечении устройства отображения множества электронных документов пользователю. Устройство содержит стол, имеющий множество зон близости, которые содержат по меньшей мере первую зону близости, которая находится рядом с пользователем устройства, и по меньшей мере вторую зону близости, которая находится дальше от упомянутого пользователя. Устройство дополнительно содержит устройство отображения, содержащее дисплей для отображения одного из упомянутого множества электронных документов, и по меньшей мере одно сенсорное устройство для определения зоны близости, в которой находится упомянутое по меньшей мере одно устройство отображения. Функциональность упомянутого устройства отображения определяется зоной близости, в которой оно расположено. 2 н. и 37 з.п. ф-лы, 5 ил.

1. Устройство для отображения множества электронных документов пользователю, причем устройство содержит:

по меньшей мере одно устройство отображения, содержащее дисплей, для отображения одного из упомянутого множества электронных документов;

стол, имеющий множество зон близости на столе, причем множество зон близости содержат по меньшей мере первую зону близости, которая находится рядом с пользователем устройства, и по меньшей мере вторую зону близости, которая находится дальше от упомянутого пользователя, при этом стол содержит поверхность для поддержания по меньшей мере одного устройства отображения, когда они не поддерживаются пользователем; и

по меньшей мере одно сенсорное устройство для определения зоны близости на столе, в которой расположено упомянутое по меньшей мере одно устройство отображения;

причем функциональность упомянутого устройства отображения определяется зоной близости на столе, в которой оно расположено.

2. Устройство по п. 1, содержащее множество устройств отображения, причем функциональность каждого устройства отображения из упомянутого множества устройств отображения определяется зоной близости, в которой оно расположено.

3. Устройство по п. 2, в котором по меньшей мере одно сенсорное устройство определяет близость каждого устройства отображения к другим устройствам из упомянутого множества устройств отображения.

4. Устройство по п. 1, в котором одно или каждое устройство отображения содержит тонкопленочный дисплей.

5. Устройство по п. 4, содержащее электрофоретическое устройство отображения.

6. Устройство по п. 1, в котором первая зона близости содержит все области на столе в пределах примерно 70 см от пользователя.

7. Устройство по п. 1, в котором по меньшей мере одно устройство отображения находится в первой зоне близости, когда по меньшей мере одно устройство отображения поддерживается пользователем.

8. Устройство по п. 1, в котором вторая зона близости содержит все области на столе между примерно 70 см и 110 см от пользователя.

9. Устройство по п. 1, в котором одно или каждое устройство отображения выполнено с возможностью обеспечивать пользователю возможность редактировать документ, отображаемый на упомянутом дисплее, когда упомянутое устройство отображения находится в первой зоне близости.

10. Устройство по п. 1, в котором одно или каждое устройство отображения выполнено с возможностью блокировать документ, когда устройство отображения находится во второй зоне близости.

11. Устройство по п. 1, в котором одно или каждое устройство отображения выполнено с возможностью выключать упомянутый дисплей, когда устройство отображения находится во второй зоне близости.

12. Устройство по п. 1, в котором стол содержит третью зону близости, которая расположена дальше от пользователя, чем вторая зона близости.

13. Устройство по п. 12, в котором одно или каждое устройство отображения выполнено с возможностью выключать упомянутый дисплей, когда устройство отображения находится в третьей зоне близости.

14. Устройство по п. 1, в котором одно или каждое устройство отображения содержит индикатор, чтобы показывать, в какой зоне близости находится каждое устройство отображения.

15. Устройство по п. 14, в котором индикатор содержит источник света первого цвета для упомянутой первой зоны близости и источник света второго цвета для упомянутой второй зоны близости.

16. Устройство по п. 1, в котором разрешение документа, отображаемого на дисплее, определяется зоной близости, в которой находится одно или каждое устройство отображения.

17. Устройство по п. 16, в котором одно или каждое устройство отображения выполнено с возможностью отображать миниатюрные виды файлов для упомянутого документа, когда одно или каждое устройство отображения находится во второй зоне близости.

18. Устройство по п. 16 или 17, в котором одно или каждое устройство отображения выполнено с возможностью отображать полноэкранный вид упомянутого документа, когда одно или каждое устройство отображения находится в первой зоне близости.

19. Устройство по п. 16, в котором разрешение документа, отображаемого на одном или каждом устройстве отображения, изменяется, когда устройство отображения перемещается из первой зоны близости во вторую зону близости.

20. Устройство по п. 16, в котором разрешение документа, отображаемого на упомянутом устройстве отображения, остается неизменным, когда устройство отображения перемещается из второй зоны близости в первую зону близости.

21. Устройство по п. 1, дополнительно содержащее клавиатуру.

22. Устройство по п. 21, в котором сенсорное устройство определяет, какое из устройств отображения находится ближе всех к клавиатуре, при этом действия на клавиатуре вводятся в упомянутое ближайшее устройство отображения.

23. Устройство по п. 21, в котором клавиатура содержит устройство ввода для связывания упомянутой клавиатуры со связанным устройством отображения, при этом действия на клавиатуре вводятся в упомянутое связанное устройство отображения.

24. Устройство по п. 1, в котором по меньшей мере одно из множества устройств отображения является гибким и содержит датчик изгибания для считывания изгибаний упомянутого гибкого устройства отображения.

25. Устройство по п. 24, в котором, в ответ на изгибание упомянутого гибкого устройства отображения, упомянутое устройство отображения выполнено с возможностью увеличивать содержимое, отображаемое на упомянутом устройстве отображения.

26. Устройство по п. 24 или 25, в котором, в ответ на изгибание угла упомянутого гибкого устройства отображения, упомянутое устройство отображения выполнено с возможностью отображать следующую страницу документа, который отображается на упомянутом дисплее.

27. Устройство по п. 1, в котором сенсорное устройство содержит датчик местоположения на каждом устройстве отображения и сенсорный процессор на столе, чтобы обрабатывать данные, принимаемые с датчика.

28. Устройство по п. 1, в котором стол содержит процессор, который выполнен с возможностью принимать и обрабатывать вводы с одного или каждого устройства отображения.

29. Устройство по п. 28, когда он зависит от п. 27, в котором сенсорный процессор выполнен с возможностью отправлять обработанные данные датчиков на процессор, и при этом процессор выполнен с возможностью отправлять координатные данные на устройство отображения.

30. Устройство по п. 28, когда он зависит от п. 24, в котором процессор датчика изгибаний выполнен с возможностью отправлять данные изгибаний на процессор, и при этом процессор выполнен с возможностью обрабатывать упомянутые данные изгибаний и отправлять команды на устройство отображения, чтобы менять дисплей на основании упомянутых обработанных данных изгибаний.

31. Устройство по п. 1, в котором одно или каждое устройство отображения содержит устройство пользовательского ввода в форме сенсорного экрана.

32. Устройство по п. 31, в котором сенсорный экран соединен с активатором, за счет чего, когда пользователь поддерживает устройство отображения и касается устройством отображения второго устройства отображения, активатор активирует сенсорный экран второго устройства отображения.

33. Устройство по п. 31 или 32, в котором сенсорный экран является емкостным датчиком.

34. Устройство по п. 1, в котором по меньшей мере одно устройство отображения содержит датчик близости для определения того, когда по меньшей мере одно устройство отображения располагается рядом со вторым устройством отображения, и при этом второе устройство отображения содержит дисплей для отображения информации, относящейся к документу на по меньшей мере одном устройстве отображения, когда второе устройство отображения располагается рядом с по меньшей мере одним устройством отображения.

35. Устройство по п. 34, в котором датчик близости представлен в форме датчика касания, и второе устройство отображения содержит активатор для активации датчика касания, когда пользователь поддерживает второе устройство отображения.

36. Устройство для отображения множества электронных документов пользователю, причем устройство содержит:

первое устройство отображения, содержащее первый сенсорный экран, для отображения одного из упомянутого множества электронных документов,

второе устройство отображения, содержащее второй сенсорный экран, и

систему активации для определения того, когда упомянутое второе устройство отображения располагается рядом с упомянутым первым устройством отображения, и активации упомянутого второго сенсорного экрана для отображения информации, относящейся к упомянутому документу, на первом сенсорном экране, когда второе устройство отображения располагается рядом с первым устройством отображения,

причем система активации содержит активатор, содержащий металлический выступ на первом устройстве отображения, причем активатор соединен с первым сенсорным экраном и предназначен для активации второго сенсорного экрана, когда пользователь поддерживает первое устройство отображения напротив второго устройства отображения посредством переноса емкости пользователя.

37. Устройство по п. 36, в котором первое устройство отображения отображает миниатюрный вид, а второе устройство отображения отображает полноэкранное предварительное изображение миниатюрного вида.

38. Устройство по п. 36, в котором первое устройство отображения отображает документ, содержащий URL, а второе устройство отображения отображает полноэкранное предварительное изображение веб-страницы, представленной URL.

39. Устройство по п. 36, в котором первое устройство отображения и второе устройство отображения отображают участки карты.