СПОСОБ, УСТРОЙСТВО И КОМПЬЮТЕРНЫЙ ПРОГРАММНЫЙ ПРОДУКТ ДЛЯ ОБЪЕДИНЕНИЯ ДИСПЛЕЕВ МНОЖЕСТВА УСТРОЙСТВ Российский патент 2015 года по МПК G06F3/488 G06F3/486 G06F15/16 G09G5/00 

ОБЛАСТЬ ТЕХНИКИ

[0001] Примеры осуществления настоящего изобретения относятся, в общем, к дисплеям и пользовательским интерфейсам мобильных устройств и, в частности, к совместному использованию множества дисплеев и/или пользовательских интерфейсов для улучшения возможностей мобильных устройств.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0002] Эра современных коммуникаций привела к широкому распространению проводных и беспроводных сетей. Компьютерные сети, телевизионные сети и телефонные сети испытывают беспрецедентный технологический рост, вызываемый потребительским спросом. Беспроводные и мобильные сетевые технологии ориентированы на потребительский спрос и обеспечивают более гибкую и незамедлительную передачу информации.

[0003] Мобильные устройства, такие как сотовые телефоны, становятся меньше и легче, а также приобретают больше возможностей для выполнения задач, которые значительно выходят за рамки традиционного голосового вызова. Мобильные устройства все в большей степени становятся небольшими портативными вычислительными устройствами, которые могут выполнять различные приложения и предоставляют пользователю дисплей, на котором он может смотреть видео, просматривать веб-страницы, играть в интерактивные игры или читать тексты. Устройства часто являются достаточно маленькими, чтобы помещаться в карман для достижения требуемой портативности этих устройств; однако поскольку возможности устройств увеличиваются, дисплеи таких устройств используются для отображения большого количества информации и просмотра объектов, которые традиционно отображались на менее портативных дисплеях большего размера. Желаемым может быть увеличение используемого размера дисплея мобильного устройства при сохранении его портативности.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] В общем, примеры осуществления настоящего изобретения обеспечивают улучшенный способ усовершенствования пользовательского интерфейса мобильного устройства посредством объединения дисплеев множества устройств для их совместного функционирования друг с другом. В частности, способ согласно примеру осуществления настоящего изобретения обеспечивает обнаружение первого события касания или перетаскивания, прием от соседнего устройства сообщения, указывающего второе событие касания или перетаскивания, происходящее во время первого события касания или перетаскивания, формирование события объединения и обеспечение передачи события объединения в упомянутое соседнее устройство. Способ может также включать прием от упомянутого соседнего устройства сообщения, указывающего завершение второго события касания или перетаскивания. Способ также может включать обновление реестра соседних устройств в ответ на прием от упомянутого соседнего устройства сообщения о событии касания или перетаскивания. Событие объединения может включать правила события объединения, а упомянутые правила события объединения могут включать данные о контенте, который должен отображаться на соседнем устройстве. Обнаружение первого события касания или перетаскивания может включать определение направления для события перетаскивания. Способ также может включать обеспечение представления контента на дисплее устройства и обеспечение указания контента, который должен быть представлен на дисплее упомянутого соседнего устройства, при этом упомянутый контент, который должен быть представлен на дисплее упомянутого соседнего устройства, связан с контентом, представленным на дисплее упомянутого устройства.

[0005] В соответствии с другим вариантом осуществления настоящего изобретения предложено устройство. Устройство может включать по меньшей мере один процессор и по меньшей мере одну память, включающую компьютерный программный код. Упомянутая по меньшей мере одна память и упомянутый компьютерный программный код могут быть конфигурированы для обеспечения вместе по меньшей мере с одним процессором обнаружения устройством первого события касания или перетаскивания, приема от соседнего устройства сообщения, указывающего второе событие касания или перетаскивания, происходящее во время упомянутого первого события касания или перетаскивания, формирования события объединения и обеспечения передачи события объединения в упомянутое соседнее устройство. Устройство также может быть конфигурировано для приема от соседнего устройства сообщения, указывающего завершение второго события касания или перетаскивания. Устройство также может быть конфигурировано для обновления реестра соседних устройств в ответ на прием сообщения о событии касания или перетаскивания от соседнего устройства. Событие объединения может включать правила события объединения, которые могут включать данные о контенте, который должен быть отображен на упомянутом соседнем устройстве. Обнаружение первого события касания или перетаскивания может включать определение направления для события перетаскивания. Устройство также может быть конфигурировано для обеспечения представления контента на дисплее устройства и обеспечения указания контента, который должен быть представлен на дисплее упомянутого соседнего устройства, при этом упомянутый контент, который должен быть представлен на дисплее упомянутого соседнего устройства, связан с контентом, представленным на дисплее упомянутого устройства. Обнаружение первого события касания или перетаскивания может включать обнаружение направления касания, перемещающегося из первого положения во второе положение на сенсорном дисплее.

[0006] Другой вариант осуществления настоящего изобретения может включать компьютерный программный продукт, содержащий по меньшей мере один машиночитаемый носитель, включающий хранящиеся на нем исполняемые компьютером инструкции программного кода, которые могут включать инструкции программного кода для обнаружения первого события касания или перетаскивания, приема от соседнего устройства сообщения, указывающего второе событие касания или перетаскивания, происходящее во время упомянутого первого события касания или перетаскивания, формирования события объединения и инструкции программного кода для обеспечения передачи события объединения в упомянутое соседнее устройство. Компьютерный программный продукт может также включать инструкции программного кода для приема от упомянутого соседнего устройства сообщения, указывающего завершение второго события касания или перетаскивания. Компьютерный программный продукт также может включать инструкции программного кода для обновления реестра соседних устройств в ответ на прием от упомянутого соседнего устройства сообщения о событии касания или перетаскивания. Событие объединения может включать правила события объединения, при этом правила события объединения могут включать данные о контенте, который должен отображаться на упомянутом соседнем устройстве. Инструкции программного кода для обнаружения события касания или перетаскивания могут включать инструкции программного кода для определения направления для события перетаскивания. Компьютерный программный продукт может также включать инструкции программного кода для представления контента на дисплее устройства и инструкции программного кода для указания контента, который должен быть представлен на дисплее упомянутого соседнего устройства, причем контент, который должен быть представлен на дисплее соседнего устройства, связан с контентом, представленным на дисплее упомянутого устройства. Инструкции программного кода для обнаружения первого события касания или перетаскивания могут включать инструкции программного кода для обнаружения направления касания, перемещающегося из первого положения во второе положение на сенсорном дисплее.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Выше приведено описание изобретения в общих терминах, теперь ссылка будет сделана на сопровождающие чертежи, которые необязательно изображены в масштабе и на которых:

[0008] на фиг.1 показана система связи в соответствии с примером осуществления настоящего изобретения;

[0009] на фиг.2 представлена блок-схема мобильного устройства в соответствии с примером осуществления настоящего изобретения;

[0010] на фиг.3 показан вариант осуществления способа объединения дисплеев множества мобильных устройств в соответствии с примерами осуществления настоящего изобретения;

[0011] на фиг.4 представлена блок-схема способа объединения дисплеев множества мобильных устройств согласно примеру осуществления настоящего изобретения;

[0012] на фиг.5 показан вариант осуществления способа объединения дисплеев множества мобильных устройств согласно другому примеру осуществления настоящего изобретения;

[0013] на фиг.6 показан вариант осуществления дисплеев множества устройств, объединенных согласно примеру осуществления настоящего изобретения;

[0014] на фиг.7 показано мобильное устройство, конфигурированное для реализации примера осуществления настоящего изобретения;

[0015] на фиг.8 показан вариант осуществления дисплеев двух мобильных устройств, объединенных согласно другому примеру осуществления настоящего изобретения;

[0016] на фиг.9 показан вариант осуществления дисплеев двух мобильных устройств, объединенных согласно еще одному примеру осуществления настоящего изобретения;

[0017] на фиг.10 показан вариант осуществления способа объединения дисплеев трех мобильных устройств согласно примеру осуществления настоящего изобретения;

[0018] на фиг.11 показан вариант осуществления способа объединения дисплеев четырех мобильных устройств согласно другому примеру осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

[0019] Примеры осуществления настоящего изобретения теперь будут описаны более подробно со ссылкой на сопровождающие чертежи, на которых показаны некоторые, но не обязательно все, варианты осуществления настоящего изобретения. Более того, различные варианты осуществления изобретения могут быть осуществлены в различных видах и не должны ограничиваться примерами осуществления, изложенными в настоящем описании; точнее эти варианты осуществления предоставлены для того, чтобы данное описание удовлетворяло применяемым юридическим требованиям. Подобные номера позиций относятся к подобным элементам по всему описанию. Используемые в настоящем описании термины «данные», «контент», «информация» и им подобные могут использоваться взаимозаменяемо в отношении данных, которые могут быть переданы, приняты и/или сохранены в соответствии с вариантами осуществления настоящего изобретения.

[0020] Дополнительно, используемый в настоящем описании термин «схема» относится к а) реализациям схем только с использованием аппаратных средств (например, реализациям в аналоговых схемах и/или цифровых схемах); b) комбинациям схем и компьютерного программного продукта (продуктов), включающего программное обеспечение и/или инструкции программно-аппаратных средств, сохраненные на одном или более машиночитаемых запоминающих устройствах, которые работают совместно для обеспечения выполнения устройством одной или более рассмотренных в настоящем описании функций; и с) схемам, таким как, например, микропроцессор (микропроцессоры) или части микропроцессора (микропроцессоров), которым для работы необходимо программное обеспечение или программно-аппаратные средства, даже если программное обеспечение или программно-аппаратные средства физически не представлены. Это определение «схемы» применимо ко всем использованиям этого термина в описании, включая представленные в пунктах формулы изобретения. В качестве еще одного примера, используемого в настоящем описании, термин «схема» также включает реализацию, включающую один или больше процессоров и/или его часть (части) и сопроводительное программное обеспечение и/или программно-аппаратные средства. В качестве другого примера используемый в настоящем описании термин «схема» также включает, например, интегральную схему для основной полосы частот, или интегральную схему прикладного процессора для мобильного телефона, или аналогичную интегральную схему в сервере, сотовом сетевом устройстве, другом сетевом устройстве и/или другом вычислительном устройстве.

[0021] Как показано на фиг.1, сеанс может поддерживаться сетью 30, которая может включать набор различных узлов, устройств или функций, которые могут быть связаны друг с другом посредством соответствующих проводных и/или беспроводных интерфейсов или могут быть в специализированных сетях, таких как сети, функционирующие по технологии Bluetooth. По существу, фиг.1 следует понимать как пример широкого обзора некоторых элементов системы, которая может включать примеры осуществления настоящего изобретения, и не все включенные или подробные виды системы или сети 30. Хотя это не обязательно, в некоторых примерах осуществления сеть 30 может иметь возможность поддержки связи в соответствии с одним или более из ряда протоколов мобильной связи первого поколения (1G), второго поколения (2G), 2.5G, третьего поколения (3G), 3.5G, 3.9G, четвертого поколения 4G и/или т.п.

[0022] Один или более терминалов связи, например мобильный терминал 10 и второй мобильный терминал 20, могут осуществлять связь друг с другом посредством сети 30, при этом каждый из них может содержать антенну или антенны для передачи сигналов в базовый узел и для приема сигналов из базового узла, который может быть, например, базовой станцией, являющейся частью одной или нескольких сотовых или мобильных сетей или точек доступа, которые могут быть соединены с сетью данных, такой как локальная вычислительная сеть (local area network, LAN), городская вычислительная сеть (metropolitan area network, MAN) и/или глобальная вычислительная сеть (wide area network, WAN), например, Интернет. В свою очередь, с мобильным терминалом 10 и вторым мобильным терминалом 20 по сети 30 могут быть соединены другие устройства (например, персональные компьютеры, серверы и т.п.). Посредством прямого или опосредованного соединения мобильного терминала 10 и второго мобильного терминала 20 и других устройств с сетью 30 мобильный терминал 10 и второй мобильный терминал 20 могут осуществлять связь с другими устройствами или друг с другом, например, по многочисленным протоколам связи, включающим протокол передачи гипертекста (Hypertext Transfer Protocol, HTTP) и т.п., тем самым осуществляя различные виды связи или другие функции мобильного терминала 10 и второго мобильного терминала 20, соответственно.

[0023] В вариантах осуществления любой из мобильных терминалов может быть мобильным или стационарным устройством связи. Таким образом, например, мобильный терминал 10 и второй мобильный терминал 20 могут быть представлены любым из перечисленных устройств: персональные компьютеры (personal computer, PC), персональные цифровые помощники (personal digital assistant, PDA), беспроводные телефоны, настольные компьютеры, портативные компьютеры, мобильные компьютеры, камеры, видеомагнитофоны, аудио/видеопроигрыватели, устройства позиционирования, игровые устройства, телевизионные устройства, радиоустройства или другие устройства или их комбинация.

[0024] Хотя мобильный терминал 10 может быть конфигурирован различными способами, один из примеров мобильного терминала, который может получить преимущество на основе вариантов осуществления данного изобретения, показан в блок-схеме на фиг.2. В настоящем описании для примера может быть проиллюстрирован и описан только ряд вариантов осуществления мобильного терминала, в то время как другие типы мобильных терминалов, такие как портативные цифровые помощники (PDA), пейджеры, мобильные телевизоры, игровые устройства, все типы компьютеров (например, портативные компьютеры или мобильные компьютеры), камеры, аудио/видеопроигрыватели, радио, устройства глобальной системы позиционирования (global positioning system, GPS) или любая комбинация вышеперечисленных устройств, а также другие типы устройств связи также могут использовать варианты осуществления настоящего изобретения. Как было описано, мобильный терминал может включать различные средства для выполнения одной или нескольких функций согласно вариантам осуществления настоящего изобретения, включая те варианты осуществления, которые были рассмотрены и показаны в настоящем описании. Следует понимать, однако, что мобильный терминал может включать альтернативные средства для выполнения одной или нескольких подобных функций без выхода за рамки сущности и объема настоящего изобретения.

[0025] Мобильный терминал 10, проиллюстрированный на фиг.2, может включать антенну 32 (или множество антенн) в функциональной связи с передатчиком 34 и приемником 36. Мобильный терминал может также включать устройство, например процессор 40, который передает и принимает сигналы от передатчика и приемника, соответственно. Сигналы могут включать информацию сигнализации в соответствии со стандартом радиоинтерфейса применяемой сотовой системы и/или также может включать данные, соответствующие речи пользователя, принятые данные и/или сформированные пользователем данные. В этой связи мобильный терминал может иметь возможность работы с использованием одного или более стандартов радиоинтерфейсов, протоколов связи, типов модуляции и типов доступа. В качестве иллюстрации, мобильный терминал может иметь возможность работы в соответствии с любым количеством протоколов связи первого, второго, третьего и/или четвертого поколения и т.п. Например, мобильный терминал может иметь возможность работы согласно беспроводным протоколам связи второго поколения (second-generation, 2G) IS-136, GSM (global system for mobile communications, глобальная система мобильной связи) и IS-95 или беспроводным протоколам связи третьего поколения (third-generation, 3G), таким как UMTS (universal mobile telecommunications system, универсальная система мобильной связи), CDMA2000 (code division multiple access 2000, множественный доступ с кодовым разделением каналов), широкополосный CDMA (wideband CDMA, WCDMA) и синхронный CDMA с временным разделением (time division CDMA, TD-CDMA), согласно беспроводным протоколам связи поколения 3.9G, таким как E-UTRAN (evolved - UMTS terrestrial radio access network, развитая сеть наземного радиодоступа системы UMTS), согласно беспроводным протоколам связи четвертого поколения (fourth-generation, 4G) или т.п.

[0026] Должно быть понятно, что устройство, например процессор 40, может включать схемы, реализующие, среди прочего, звуковые и логические функции мобильного терминала 10. Процессор может быть реализован с использованием ряда различных способов. Например, процессор может быть выполнен в виде различных средств обработки, таких как схемы обработки, сопроцессор, контроллер или различные другие устройства для обработки, включающие интегральные схемы, например специализированную интегральную микросхему (application specific integrated circuit, ASIC), программируемую вентильную матрицу (field programmable gate array, FPGA), аппаратный ускоритель и/или т.п. В примере осуществления процессор может быть конфигурирован для выполнения инструкций, сохраненных в запоминающем устройстве или доступных для процессора иным образом. Как таковой, процессор может быть конфигурирован для выполнения процессов или по меньшей мере их частей, описываемых ниже более подробно со ссылкой на фиг.4. Процессор также может иметь функциональные возможности для сверточного кодирования и чередования сообщения и данных перед модуляцией и передачей. Процессор может дополнительно включать внутренний вокодер, а также внутренний модем для передачи данных.

[0027] Мобильный терминал 10 может также включать пользовательский интерфейс, содержащий устройство вывода, например наушник или динамик 44, вызывное устройство 42, микрофон 46, дисплей 48 и интерфейс пользовательского ввода, который может быть связан с процессором 40. Интерфейс пользовательского ввода, который позволяет мобильному терминалу принимать данные, может включать любое количество устройств, предоставляющих мобильному терминалу возможность принимать данные, например клавиатуру 50, сенсорный дисплей (не показан) или другие устройства ввода. В вариантах осуществления, включающих клавиатуру, клавиатура может включать цифровые (0-9) и связанные с ними клавиши (#, *), а также другие обычные и программируемые клавиши, используемые для работы мобильного терминала 10. Альтернативно, клавиатура может иметь традиционную раскладку QWERTY. Клавиатура также может включать различные программируемые клавиши с соответствующими функциями. Дополнительно или альтернативно, мобильный терминал может включать интерфейсное устройство, например джойстик, или другой интерфейс пользовательского ввода. Мобильный терминал также может содержать аккумулятор 54, например вибрирующий аккумуляторный блок, для подачи питания в различные схемы, используемые для работы мобильного терминала, а также, опционально, для обеспечения вибрации в качестве обнаруживаемого выходного сигнала.

[0028] Мобильный терминал 10 дополнительно может содержать модуль идентификации пользователя (user identity module, UIM) 58, который может быть в общем назван смарт-картой. Модуль UIM может представлять собой запоминающее устройство, включающее встроенный процессор. Модуль DIM может включать, например, модуль идентификации абонента (subscriber identity module, SIM), универсальную карту на интегральных схемах (universal integrated circuit card, UICC), универсальный модуль идентификации абонента (universal subscriber identity module, USIM), съемный модуль идентификации пользователя (removable user identity module, R-UIM) или другие смарт-карты. Модуль UIM может хранить элементы информации о мобильном абоненте. Дополнительно к модулю UIM мобильный терминал может быть оборудован памятью. Например, мобильный терминал может содержать энергозависимую память 60, например энергозависимую оперативную память (Random Access Memory, RAM), включающую область кэша для временного хранения данных. Мобильный терминал может также включать другую энергонезависимую память 62, которая может быть встроенной или съемной. Энергонезависимая память дополнительно или альтернативно может включать электрически стираемую постоянную память (electrically erasable programmable read only memory, EEPROM), флэш-память или т.п.Память может хранить любое количество информации и данных, используемых мобильным терминалом для осуществления его функций. Например, память может содержать идентификатор, например, код международной идентификации мобильного оборудования (international mobile equipment identification, IMEI), который может уникально идентифицировать мобильный терминал. Кроме того, в памяти могут храниться инструкции для определения идентификационной информации о соте. Более конкретно, в памяти может храниться прикладная программа для выполнения процессором 40, которая определяет идентификатор текущей соты, то есть идентификатор соты или идентификационную информацию о соте, с которой мобильный терминал находится во взаимодействии.

[0029] Пример сети связи согласно варианту осуществления настоящего изобретения показан на фиг.1. Блок-схема, иллюстрирующая операции, выполняемые сетью или по отношению к сети согласно варианту осуществления настоящего изобретения, показана на фиг.4 и может быть реализована, например, мобильным терминалом, показанным на фиг.2. Следует понимать, что каждый блок в блок-схемах или комбинация блоков в блок-схемах могут быть реализованы различными средствами, такими как аппаратные средства, программно-аппаратные средства, процессор, схемы и/или другие устройства, связанные с выполнением программного обеспечения, включающего одну или несколько компьютерных программных инструкций. Например, одна или более рассмотренных в настоящем описании процедур могут быть реализованы посредством компьютерных программных инструкций. В этой связи компьютерные программные инструкции, которые осуществляют рассмотренные в настоящем описании процедуры, могут быть сохранены запоминающим устройством 60, 62 данного устройства, таким как клиент, использующий пример осуществления настоящего изобретения и выполняемый процессором 40 в устройстве. Очевидно, что любые такие компьютерные программные инструкции могут быть загружены в компьютер или другое программируемое устройство (например, аппаратные средства), как показано на фиг.2, для формирования машины, так чтобы получившийся в результате компьютер или другое программируемое устройство реализовывало средства для выполнения. функций, заданных в блоке (блоках) блок-схемы. Эти компьютерные программные инструкции могут храниться в машиночитаемой памяти, которая может управлять компьютером или другим программируемым устройством, например хостом наложенной сети, для работы определенным образом, так что инструкции, сохраненные в машиночитаемой памяти, формируют изделие, выполнение которого реализует функцию, заданную в блоке (блоках) блок-схемы. Компьютерные программные инструкции также могут быть загружены в компьютер или другое программируемое устройство, чтобы обеспечить выполнение последовательности операций на компьютере или другом программируемом устройстве для формирования выполняемого компьютером процесса, так что инструкции, которые выполняются в компьютере или другом программируемом устройстве, реализуют функции, заданные в блоке (блоках) блок-схемы.

[0030] В целом, примеры осуществления настоящего изобретения предлагают способ улучшения и/или расширения дисплея и/или пользовательского интерфейса мобильного терминала с использованием соседних мобильных терминалов. Например, первый мобильный терминал может отображать веб-страницу, приложение или другой объект на сенсорном дисплее, и, после обнаружения определенного движения, распознанного первым мобильным терминалом и соседним вторым мобильным терминалом, дисплеи могут быть фактически соединены так, чтобы отображать объект из первого мобильного терминала.

[0031] Примеры осуществления настоящего изобретения рассмотрены в настоящем описании в отношении мобильного терминала, содержащего сенсорный дисплей (например, сенсорный экран), однако варианты осуществления настоящего изобретения могут быть конфигурированы для работы с различными типами мобильных терминалов с сенсорными дисплеями с одиночным или множественным касанием, с дисплеями с отдельными пользовательскими интерфейсами на основе сенсорной панели или другими типами дисплеев.

[0032] Варианты осуществления настоящего изобретения могут включать по меньшей мере две основные операции. Первая операция включает обнаружение действия, которое сигнализирует, что мобильный терминал, например мобильный терминал 10, должен быть объединен со вторым мобильным терминалом. Упомянутое действие может включать объединяющий («щипковый») жест (pinch gesture), при котором пальцы, выполняющие объединяющий жест, контактируют с сенсорными дисплеями двух мобильных терминалов. Вторая операция может предоставить возможность модифицирования пользовательских интерфейсов обоих мобильных терминалов согласно совокупности правил события объединения, которые могут указывать, каким образом выполняется объединение пользовательских интерфейсов на основе первой операции и ориентации мобильных терминалов. Правила события объединения могут быть предписаны приложением (приложениями), используемым в одном или обоих мобильных терминалах.

[0033] Пример осуществления настоящего изобретения показан на фиг.3, где первый мобильный терминал 300 и второй мобильный терминал 310 размещены рядом или в непосредственной близости друг от друга. Пользователь 320 может использовать первый палец 322, например большой палец, и второй палец 324, например указательный палец, при объединяющем движении (показано стрелкой 330) во время контакта с соответствующим сенсорным дисплеем 305, 315. Хотя проиллюстрированный вариант осуществления изображает пальцы 322, 324 пользователя 320, следует понимать, что на сенсорных дисплеях 305, 315 может использоваться любое устройство касания, например стилус. Кроме того, объединяющее действие может также выполняться пальцами двух различных рук (одного и того же или отдельных пользователей) или устройствами касания, принадлежащими двум различным пользователям. Движение пальцев 322, 324 может заставить терминалы объединить сенсорные дисплеи некоторым образом, заданным их ориентацией и способом, которым было осуществлено касание сенсорных дисплеев.

[0034] Пример осуществления способа согласно настоящему изобретению, в котором множество пользовательских интерфейсов объединяют вместе для совместной работы, показан на блок-схеме фиг.4, где два терминала, мобильный терминал А и мобильный терминал В, находятся в непосредственной близости друг от друга и, возможно, физически контактируют. Мобильный терминал А на шаге 401 может обнаружить событие касания в положении с координатами (x1, y1) на сенсорном дисплее (или сенсорном экране) мобильного терминала А. Затем мобильный терминал может передать сетевое сообщение в соседние устройства (например, другие мобильные терминалы) с использованием способа связи ближнего действия (например, Bluetooth или Zigbee). По существу в то же самое время (например, в пределах относительно небольшого периода времени, например, 0,25 с) мобильный терминал В на шаге 402 может обнаружить событие касания в положении с координатами (s1, t1) на сенсорном дисплее мобильного терминала В. Мобильный терминал В может принять сообщение от мобильного терминала А, переданное на шаге 401, которое указывает, что имеется происходящее в текущий момент событие касания в положении с координатами (x1, y1), и мобильный терминал В соответственно на шаге 403 может обновить свой реестр соседних устройств. Мобильный терминал А может принять сообщение от мобильного терминала В, переданное на шаге 402 и указывающее, что имеется происходящее в текущий момент событие касания в положении с координатами (s1, t1), и мобильный терминал А соответственно на шаге 404 может обновить свой реестр соседних устройств. Мобильный терминал А на шаге 405 может обнаружить, что событие касания, обнаруженное на шаге 401, фактически является событием перетаскивания, при котором точка касания перемещается из положения с координатами (x1, y1) в положение с координатами (x2, y2). Мобильный терминал А может определить, по направлению к какому краю экрана перемещается событие перетаскивания: вверх, налево, направо или вниз. Например, если x2-x1>|y2-y1|, может быть сделан вывод, что событие перетаскивания направлено к правому краю экрана, если система координат имеет начало координат в нижнем левом углу экрана, положительная ось х направлена в правую сторону экрана, а положительная ось y направлена к верху экрана. Сетевое событие, сообщающее об этом, может быть передано в другие соседние устройства. Мобильный терминал В может принять сообщение о событии перетаскивания в мобильном терминале А по направлению к правому краю и обновить свой реестр соответственно на шаге 406. Мобильный терминал В на шаге 407 может обнаружить, что событие касания стало событием перетаскивания, если точка касания перемещается из положения с координатами (s1, t1) в положение с координатами (s2, t2). В качестве примера, может быть вычислено, что перемещение направлено в сторону низа экрана. Мобильный терминал А может принять сообщение о событии перетаскивания в мобильном терминале В и обновить реестр состояний соседних устройств соответственно на шаге 408. Мобильный терминал В может распознать, что событие перетаскивание завершилось, когда пользователь поднимает свой палец от дисплея, и может отправить сетевое событие о завершении события перетаскивания в соседние устройства на шаге 409. Затем мобильный терминал может проверить реестр состояний соседних устройств, чтобы определить, происходят ли одновременно другие события перетаскивания в соседних устройствах. Мобильный терминал В может распознать, что в мобильном терминале А одновременно происходит событие перетаскивания и определить направление для события перетаскивания в мобильном терминале А. На шаге 411 мобильным терминалом В может быть сформировано событие объединения и передано в мобильный терминал А. Мобильный терминал А может принять сообщение от мобильного терминала В о том, что событие перетаскивания в мобильном терминале В завершено, и мобильный терминал А может, соответственно, обновить свой реестр. Мобильный терминала А на шаге 412 может также принять событие объединения и правила события объединения от мобильного терминала В. Мобильный терминал А затем может применить событие объединения к своему сенсорному дисплею так, чтобы на шаге 413 сенсорные дисплеи мобильного терминала А и мобильного терминала В были объединены или кооперированы на основе правил, связанных с событием объединения. Мобильный терминал А может распознать, что событие перетаскивания на сенсорном дисплее мобильного терминала А завершилось, и передать сигнал, указывающий об этом событии, в соседние устройства. Мобильный терминал В принимает упомянутое сообщение от мобильного терминала А и обновляет реестр мобильного терминала В, соответственно.

[0035] В описанном выше варианте осуществления событие объединения может быть инициировано тем устройством, которое раньше других обнаруживает подъем пальца и которое затем становится основным устройством. В варианте осуществления, показанном на фиг.4, палец или указывающее устройство был поднят от мобильного терминала В первым, так что мобильный терминал В инициирует событие объединения и становится основным устройством. Мобильный терминал А становится дополнительным устройством, представляющим объект основного устройства согласно правилам события объединения, принятым от основного устройства. В случае, когда оба устройства обнаруживают подъем пальца или завершение соответствующих событий перетаскивания по существу одновременно, одно из событий объединения будет определено как избыточное. В случае избыточных событий объединения запрос на пользовательский ввод для идентификации основного устройства может быть представлен в одном или обоих устройствах. Опционально, управление основным устройством может быть выполнено приложением, используемым в устройствах, участвующих в событии объединения, так что жест объединения не оказывает влияния на определение основного устройства.

[0036] На фиг.4 представлена блок-схема систем, способов и программных продуктов согласно примерам осуществления изобретения. Следует понимать, что каждый блок в блок-схеме и комбинация блоков в блок-схеме могут быть реализованы различными средствами, такими как аппаратные средства, программно-аппаратные средства, процессор, схемы и/или другие устройства, связанные с выполнением программного обеспечения, включающего одну или несколько инструкций компьютерной программы. Например, одна или более процедур, описанных выше, могут быть реализованы с помощью инструкций компьютерной программы. В этой связи, инструкции компьютерной программы, которые осуществляют вышеупомянутые процедуры, могут быть сохранены запоминающим устройством в устройстве, использующем вариант осуществления настоящего изобретения, и выполнены процессором в данном устройстве. Как будет очевидно, любые такие инструкции компьютерной программы могут быть загружены в компьютер или другое программируемое устройство (например, аппаратные средства) с формированием машины, так что получившийся в результате компьютер или другое программируемое устройство реализует средства для выполнения функций, заданных в блоке (блоках) блок-схемы. Эти инструкции компьютерной программы также могут храниться в машиночитаемой памяти, которая может управлять компьютером или другим программируемым устройством для работы определенным образом, так что инструкции, сохраненные в машиночитаемой памяти, формируют изделие, выполнение которого реализует функцию, заданную в блоке (блоках) блок-схемы. Инструкции компьютерной программы также могут быть загружены в компьютер или другое программируемое устройство, чтобы обеспечить выполнение последовательности операций на компьютере или другом программируемом устройстве для формирования выполняемого компьютером процесса, так что инструкции, которые выполняются в компьютере или другом программируемом устройстве, обеспечивают операции для реализации функций, заданных в блоке (блоках) блок-схемы.

[0037] Следовательно, блоки в блок-схеме поддерживают комбинации средств для выполнения заданных функций, комбинации операций для выполнения заданных функций и средства программных инструкций для выполнения заданных функций. Также должно быть понятно, что один или несколько блоков в блок-схеме и комбинации блоков в блок-схеме могут быть осуществлены компьютерными системами на основе аппаратных средств специального назначения, которые выполняют заданные функции, или комбинациями аппаратных средств специального назначения и компьютерных инструкций.

[0038] В примере осуществления устройство для выполнения способов, проиллюстрированных выше на фиг.4, может включать процессор (например, процессор 70), конфигурированный для выполнения некоторых или всех операций (401-413), описанных выше. Процессор может быть конфигурирован, например, для выполнения операций (401-413) путем выполнения аппаратно-реализованных логических функций, исполнения сохраненных инструкций или исполнения алгоритмов для выполнения каждой из операций, описанных выше. В этой связи, согласно примеру осуществления, примеры средств для выполнения операций 401-413 могут включать, например, процессор 70, менеджер 80 ресурсов и/или устройство или схему для исполнения инструкций или исполнения алгоритма для обработки информации, как описано выше.

[0039] Характер события объединения и связанные с ним правила могут зависеть от приложения, чтобы оптимизировать приложение или объект, который отображается на основном устройстве. Если объединяющий жест используется для инициации события объединения, устройства, участвующие в событии объединения, могут быть осведомлены о событиях перетаскивания и о том, по направлению к какой стороне сенсорного дисплея каждое из них произошло. Если событие перетаскивания основного устройства направлено к правой стороне сенсорного дисплея, а событие перетаскивания дополнительного устройства направлено к низу сенсорного дисплея, объединение дисплеев может включать виртуальный интерфейс между правым краем сенсорного дисплея основного устройства и нижним краем сенсорного дисплея дополнительного устройства. Конкретное положение событий перетаскивания на сенсорных дисплеях может включать некоторые события объединения, как показано на фиг.5, в которых событие 512 перетаскивания на основном дисплее 510 к правому краю верхней части сенсорного дисплея 515 и событие 522 перетаскивания к левому краю в нижней части сенсорного дисплея 525 дополнительного устройства 520 могут вызывать ступенчатый виртуальный интерфейс между сенсорными дисплеями. Хотя правила события объединения некоторых приложений могут использовать только сторону сенсорного дисплея, имеющую отношение к событию перетаскивания, и игнорировать точное положение, другие приложения могут использовать точные положения событий перетаскивания, чтобы определить ориентацию устройств, которые должны быть объединены.

[0040] Как указано выше, характер события объединения и правила, связанные с ним, могут зависеть от приложения, так что при определенных условиях мобильные терминалы, которые объединяются, могут находиться не в отношении основной-дополнительный, а скорее в отношении объединения. Приложения, использующие отношение объединения, могут включать игры или приложения, в которых требуются совместные данные или обмен информацией.

[0041] Пример приложения, для которого могут быть реализованы варианты осуществления настоящего изобретения, включает виртуальную интеллект-карту (mind map), отображаемую на первом мобильном терминале, размещенном, например, на поверхности стола. Второй мобильный терминал может быть размещен рядом с первым мобильным терминалом и пользователь может выполнить объединяющий жест между сенсорными дисплеями каждого из мобильных терминалов. Пользователь может указать с помощью объединяющего жеста или с помощью подсказки любого дисплея, что первый мобильный терминал является основным мобильным терминалом. Затем дополнительный терминал может отобразить часть виртуальной интеллект-карты, которая ранее была вне экрана первого мобильного терминал, поскольку второй мобильный терминал может функционировать для расширения области дисплея первого мобильного терминала. Как отмечено выше, на основное устройство может указывать программное приложение, а не объединяющий жест. В примере приложения виртуальной интеллект-карты терминал, отображающий заданный прямоугольник просмотра пространства с контентом, может быть автоматически распознан, поскольку основное устройство при объединении с терминалом демонстрирует общий вид виртуальной интеллект-карты и еще не имеет заданного прямоугольника просмотра пространства с контентом.

[0042] Техническая реализация события объединения вышеупомянутого примера приложения может включать отображение первым мобильным терминалом заданной области большого виртуального пространства, заданного в виде прямоугольника в координатах пространства-контента. Второй мобильный терминал может не иметь такой заданной области и может отображать обзор всего контента. Если между первым мобильным терминалом и вторым мобильным терминалом обнаруживается событие перетаскивания или объединяющий жест и при этом первый мобильный терминал определен в качестве основного устройства, событие объединения передается во второй мобильный терминал. Как было отмечено выше, так как у второго мобильного терминала нет заданной области, приложение может заставить второй мобильный терминал стать дополнительным устройством независимо от характера объединяющего жеста. Правила события объединения могут включать координаты положения, в котором произошло событие перетаскивания или объединяющее событие на первом мобильном терминале, и прямоугольника контент-пространство, отображенного на первом мобильном терминале. Второй мобильный терминал затем может отобразить прямоугольник просмотра контента-пространства, который расположен на одной линии с событием перетаскивания или объединяющим событием, которое произошло между двумя мобильными терминалами и дополняет отображаемый прямоугольник просмотра контента-пространства первого мобильного терминала.

[0043] Примеры осуществления события объединения могут включать правила или параметры события объединения, чтобы дополнительно задать событие объединения и указать, каким образом должны взаимодействовать мобильные терминалы, участвующие в событии объединения. Пример осуществления набора правил события объединения может включать относительные ориентации и контактирующие края. В то время как приложения, такие как средство просмотра карт, могут быть подходящими для вариантов осуществления, которые расширяют видимую область при объединении мобильных терминалов, приложения, включающие средства просмотра карт, могут предложить альтернативные варианты использования для дополнительного устройства. Например, основное устройство может выполнять приложение для отображения карты местоположения. Если основное устройство объединено с дополнительным устройством путем перетаскивания в правую сторону сенсорного дисплея основного устройства (например, дополнительное устройство находится на правой стороне основного устройства), дополнительное устройство может показывать расширенный вид карты, однако, если основное устройство объединено с дополнительным устройством путем перетаскивания в левую сторону сенсорного дисплея основного устройства (например, дополнительное устройство находится на левой стороне основного устройства), дополнительное устройство может отображать опции карты, такие как функции масштабирования, опции поиска местоположения, топографическая информация, демографические статистические данные и т.д. Управление функцией, выполняемой дополнительным устройством в ответ на событие объединения, может определяться тем, каким образом выполнено событие перетаскивания или объединяющее событие, а функция, которую дополнительное устройство должно выполнить, может быть включена в правила события объединения.

[0044] Другой пример осуществления правил события объединения может включать правила события объединения, относящиеся к ориентации устройств, которые объединяются. Например, если первый мобильный терминал содержит прямоугольный сенсорный дисплей, который ориентирован вертикально, а второй мобильный терминал содержит прямоугольный сенсорный дисплей, который ориентирован горизонтально, их относительная ориентация может влиять на то, как формируются и/или осуществляются правила события объединения. Например, как показано на фиг.6, приложение, которое отображает веб-страницу на дисплее 615 первого мобильного терминала 610, может быть объединено с дополнительным мобильным терминалом 620, который ориентирован перпендикулярно первому мобильному терминалу. Второй мобильный терминал может иметь ориентацию, которая лучше подходит для отображения веб-страниц, так что веб-страницы отображаются на дисплее 625 второго мобильного терминала 620, в то время как обзор всей веб-страницы совместно с указанием того, какая область отображается на втором мобильном терминале 620, отображается на первом мобильном терминале 610, например, в виде прямоугольника 630 просмотра согласно проиллюстрированному варианту осуществления. Прокрутка на дисплее дополнительного мобильного терминала 620 может быть выполнена путем нажатия/касания значка 627 «еще» второго мобильного терминала 620 или, альтернативно, путем перетаскивания прямоугольника 630 просмотра в желаемую область просмотра на всей веб-странице, отображаемой на сенсорном дисплее 615 первого мобильного терминала 610. Например, пользователь может коснуться значка 627 «еще» и дополнительная информация будет представлена в разделе веб-страницы, отображаемой на первом мобильном терминале 610 ниже прямоугольника 630 просмотра, и прямоугольник 630 просмотра переместится соответствующим образом. Опционально событие перетаскивания пальца или другого устройства касания по направлению к низу сенсорного дисплея 625 второго мобильного терминала 620 также может осуществить прокрутку веб-страницы вниз.

[0045] Дополнительные примеры осуществления настоящего изобретения проиллюстрированы на фиг.7-9, на которых приложение, например учетная запись в Twitter, представлено на дисплее 715 мобильного терминала 710. Мобильный терминал 810 (основное устройство в проиллюстрированном примере) может быть объединен с дополнительным устройством, мобильным терминалом 820, как показано на фиг.8, с параллельной ориентацией каждого устройства, объединяя основное устройство 810 через низ сенсорного дисплея 815 и дополнительное устройство через верх сенсорного дисплея 825. Ориентация мобильных терминалов 810, 820 и активного приложения на основном устройстве 810 может предписывать правила события объединения, которые передаются в дополнительное устройство 820. В проиллюстрированном варианте осуществления дополнительное устройство расширяет дисплей основного устройства 810 для отображения дополнительной информации и, в текущем примере, дополнительных сообщений, которые ранее были вне экрана основного устройства 810. На фиг.9 показан мобильный терминал 910 в качестве основного устройства, аналогично фиг.7 и 8, однако дополнительное устройство (мобильный терминал 920) ориентировано перпендикулярно основному устройству 910. Если основное устройство 910 объединено через низ сенсорного экрана 915 с левой стороной сенсорного дисплея 925 дополнительного устройства 920, которое ориентировано своей левой стороной по направлению к основному устройству 910, правила события объединения, переданные в дополнительное устройство 920, могут отличаться. В проиллюстрированном варианте осуществления правила события объединения приводят к отображению дополнительным устройством опций, а не к продолжению отображения информации, которая отображается на мобильном терминале 910. Кроме того, правила события объединения могут быть конфигурированы пользователем так, чтобы пользователь определял, каким образом должно происходить событие объединения на основе изменений направления перетаскивания, приложения и относительных ориентаций участвующих устройств.

[0046] В примерах осуществления настоящего изобретения может быть объединено любое количество мобильных терминалов, как показано на фиг.10 и 11. На фиг.10 показаны три мобильных терминала, расположенных рядом друг с другом и объединенных с помощью объединяющего жеста, при этом каждая стрелка указывает направление касания. Порядок, в котором объединены мобильные терминалы, может предписывать, какой мобильный терминал является основным устройством. Например, если мобильный терминал 1010 объединен с мобильным терминалом 1020 и мобильный терминал 1010 является основным устройством, то при объединении мобильного терминала 1030 с мобильным терминалом 1020 мобильный терминал 1010 остается основным устройством и может предписывать правила события объединения на основе приложения, ориентации устройства и любых ранее объединенных устройств, например 1020. В таком варианте осуществления, когда мобильный терминал 1020 обнаруживает событие перетаскивания, происходит передача события перетаскивания как в устройство 1010, так и в устройство 1030 для обновления их реестров. После определения того, что событие объединения инициировано, мобильный терминал 1010 может передавать правила события объединения, поскольку мобильный терминал 1020 уже является дополнительным устройством для мобильного терминала 1010. Опционально, правила события объединения, которые передаются в мобильный терминал 1020, когда событие объединения инициируется между мобильным терминалом 1010 и мобильным терминалом 1020, могут включать правила события объединения для последовательно объединенных мобильный терминалов, так что мобильный терминал 1020 может передать правила события объединения в мобильный терминал 1030. На фиг.11 показан другой пример осуществления, в котором объединены множество устройств посредством более чем одного события объединения.

[0047] Как было описано выше и как понятно специалистам в данной области техники, варианты осуществления настоящего изобретения могут быть конфигурированы в виде системы, способа или электронного устройства. Соответственно, варианты осуществления настоящего изобретения могут содержать различные средства, полностью включающие аппаратные средства или любую комбинацию программного обеспечения и аппаратных средств. Кроме того, варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта на машиночитаемом носителе, содержащем машиночитаемые программные инструкции (например, компьютерное программное обеспечение), сохраненные на упомянутом носителе. Может быть использован любой подходящий машиночитаемый носитель, включая жесткие диски, компакт-диски (CD-ROM), оптические запоминающие устройства или магнитные запоминающие устройства.

[0048] Различные модификации и другие варианты осуществления этих изобретений, изложенных в данном описании, будут очевидны специалистам в данной области техники, к которой они относятся, с получением преимуществ, представленных в предшествующем описании и соответствующих чертежах. Таким образом, должно быть понятно, что данное изобретение не ограничиваются раскрытыми конкретными вариантами осуществления и что модификации и другие варианты осуществления включены в объем приложенной формулы изобретения. Хотя в настоящем описании применены конкретные термины, они используются только в общем описательном смысле и не предназначены для ограничения настоящего изобретения.

Изобретение относится к совместному использованию множества дисплеев и/или пользовательских интерфейсов для улучшения взаимодействия мобильных устройств. Технический результат - улучшение пользовательского интерфейса в мобильном устройстве за счет объединения дисплеев множества устройств для их совместного функционирования. В частности, примеры способов могут обеспечить обнаружение первого события касания или перетаскивания, прием от соседнего устройства сообщения, указывающего второе событие касания или перетаскивания, происходящее во время упомянутого первого события касания или перетаскивания, формирование события объединения и обеспечение передачи упомянутого события объединения в упомянутое соседнее устройство. Способ также может включать обновление реестра соседних устройств в ответ на прием сообщения о событии касания или перетаскивания от соседнего устройства. Способ также может включать обеспечение представления контента на дисплее устройства и указание контента, который должен быть представлен на дисплее упомянутого соседнего устройства, причем контент, который должен быть представлен на дисплее упомянутого соседнего устройства, связан с контентом на дисплее упомянутого устройства. 5 н. и 14 з.п. ф-лы, 11 ил.

1. Способ объединения множества устройств, включающий:
обнаружение первого события перетаскивания, происходящего на первом дисплее устройства;
прием сообщения, указывающего второе событие перетаскивания, происходящее на втором дисплее соседнего устройства во время упомянутого первого события перетаскивания;
формирование события объединения; и
обеспечение передачи события объединения в упомянутое соседнее устройство.

2. Способ по п.1, в котором упомянутые первое событие перетаскивания и второе событие перетаскивания соответствуют выполнению пользователем «щипкового» движения.

3. Способ по п.1 или 2, также включающий прием от упомянутого соседнего устройства сообщения, указывающего завершение второго события перетаскивания.

4. Способ по п 1 или 2, также включающий обновление реестра соседних устройств в ответ на прием сообщения о событии касания или перетаскивания от соседнего устройства.

5. Способ по п.1 или 2, в котором упомянутое событие объединения включает правила события объединения и в котором упомянутые правила события объединения включают данные о контенте, который должен отображаться на упомянутом соседнем устройстве.

6. Способ по п 1 или 2, в котором обнаружение первого события перетаскивания включает определение направления для события перетаскивания.

7. Способ по п 1 или 2, также включающий:
обеспечение представления контента на дисплее устройства; и
обеспечение указания контента, который должен быть представлен на дисплее упомянутого соседнего устройства, причем упомянутый контент, который должен быть представлен на дисплее упомянутого соседнего устройства, связан с контентом, представленным на дисплее упомянутого устройства.

8. Устройство для объединения множества устройств, включающее:
по меньшей мере один процессор и
по меньшей мере одну память, содержащую компьютерный программный код, при этом упомянутая по меньшей мере одна память и упомянутый компьютерный программный код конфигурированы для обеспечения, вместе по меньшей мере с одним процессором, выполнения устройством по меньшей мере следующего:
обнаружения первого события перетаскивания, происходящего на первом дисплее устройства;
приема сообщения, указывающего второе событие перетаскивания, происходящее на втором дисплее соседнего устройства во время упомянутого первого события перетаскивания;
формирования события объединения; и
обеспечения передачи события объединения в соседнее устройство.

9. Устройство по п.8, в котором упомянутые первое событие перетаскивания и второе событие перетаскивания соответствуют выполнению пользователем «щипкового» движения.

10. Устройство по п.8 или 9, в котором упомянутая по меньшей мере одна память и упомянутый компьютерный программный код конфигурированы для обеспечения, вместе по меньшей мере с одним процессором, приема устройством от упомянутого соседнего устройства сообщения, указывающего завершение второго события перетаскивания.

11. Устройство по п.8 или 9, в котором упомянутая по меньшей мере одна память и упомянутый компьютерный программный код конфигурированы для обеспечения, вместе по меньшей мере с одним процессором, обновления устройством реестра соседних устройств в ответ на прием от упомянутого соседнего устройства сообщения о событии касания или перетаскивания.

12. Устройство по п.8 или 9, в котором упомянутое событие объединения включает правила события объединения и в котором упомянутые правила события объединения включают данные о контенте, который должен отображаться на упомянутом соседнем устройстве.

13. Устройство по п.8 или 9, в котором обнаружение первого события перетаскивания включает определение направления для события перетаскивания.

14. Устройство по п. 8 или 9, в котором упомянутая по меньшей мере одна память и упомянутый компьютерный программный код конфигурированы для обеспечения, вместе по меньшей мере с одним процессором, представления контента на дисплее устройства и обеспечения указания контента, который должен быть представлен на дисплее соседнего устройства, при этом упомянутый контент, который должен быть представлен на дисплее упомянутого соседнего устройства, связан с контентом, представленным на дисплее упомянутого устройства.

15. Устройство по п.8 или 9, в котором обнаружение первого события перетаскивания включает обнаружение направления касания, перемещающегося из первого положения во второе положение на сенсорном дисплее.

16. Машиночитаемый носитель, включающий инструкции исполняемого компьютером программного кода, хранящиеся на нем, которые при их выполнении по меньшей мере одним процессором обеспечивают осуществление устройством способа по любому из пп.1-7.

17. Устройство для объединения множества устройств, включающее:
по меньшей мере один процессор и
по меньшей мере одну, память, содержащую компьютерный программный код, при этом упомянутая по меньшей мере одна память и упомянутый компьютерный программный код конфигурированы для обеспечения, вместе по меньшей мере с одним процессором, выполнения устройством по меньшей мере следующего:
обнаружения первого события касания или перетаскивания, происходящего на первом дисплее устройства;
приема сообщения, указывающего второе событие касания или перетаскивания, происходящее на втором дисплее соседнего устройства во время упомянутого первого события касания или перетаскивания;
формирования события объединения;
обеспечения передачи события объединения в упомянутое соседнее устройство, при этом упомянутое соседнее устройство становится присоединенным устройством в ответ на прием упомянутого события объединения; и
распространения информации, представленной на первом дисплее во время первого события касания или перетаскивания, на второй дисплей в ответ на упомянутое событие объединения.

18. Устройство для объединения множества устройств, включающее:
по меньшей мере один процессор и
по меньшей мере одну память, содержащую компьютерный программный код, при этом упомянутая по меньшей мере одна память и упомянутый компьютерный программный код конфигурированы для обеспечения, вместе по меньшей мере с одним процессором, выполнения устройством по меньшей мере следующего:
обнаружения первого события касания или перетаскивания на первом дисплее устройства;
приема сообщения, указывающего второе событие касания или перетаскивания на втором дисплее соседнего устройства, происходящее во время упомянутого первого события касания или перетаскивания;
формирования события объединения, при этом упомянутое событие объединения включает правила события объединения;
обеспечения передачи события объединения в упомянутое соседнее устройство; и
объединения упомянутых первого дисплея и второго дисплея в соответствии с упомянутыми правилами события объединения.

19. Устройство по п 18, в котором упомянутое сообщение указывает на происходящее в данное время второе событие касания или перетаскивания.