СПОСОБ И УСТРОЙСТВО ДЛЯ СОЗДАНИЯ КОМПЛЕКСНОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ Российский патент 2016 года по МПК G06F3/48 

2420-183811RU/031

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в целом относится к Интерфейсу Пользователя (UI), и, в частности, к способу и устройству для создания нового комплексного UI посредством объединения отдельных UI приложений, принимаемых от внешних объектов связи.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

UI является физическим или виртуальным средством, с помощью которого пользователь взаимодействует с электронным устройством. Обычно, UI предоставляет средства ввода, позволяющие пользователю манипулировать устройством, и средства вывода, позволяющие устройству показывать информацию пользователю.

Традиционные UI предлагаются производителями устройств и не предполагают возможности их переделки или изменения, после того, как они сохранены на устройствах.

На сегодняшний день, поскольку устройствами обрабатывается большой объем и широкое многообразие данных, то изучаются и разрабатываются разнообразные UI. В частности, обычные UI, которые предлагают просто изображения и текст, в настоящее время вытеснены более новыми UI, основанными на мультимедийных средствах, в которых различные типы данных, такие как текст, аудио, видео, шрифты, изображения, графика и т.д., предоставляются в качестве комплексного контента.

Двоичный Формат для Сцены (BIFS), Упрощенное Представление Сцены для Приложений (LASeR), и т.д. являются известными международными стандартами, которые относятся к мультимедийным услугам. В частности, спецификация LASeR была разработана, чтобы предложить намного более богатые пользовательские услуги посредством эффективного представления и обеспечения взаимодействия пользователя с помощью различных мультимедийных элементов, таких как описание сцены, видео, аудио, изображение, шрифт, мета данные, сценарии (скрипт) и т.д.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Несмотря на то, что устройство может выполнять различные функции совместно с внешними устройствами, UI каждого отдельного устройства все еще находится на уровне, заданном по умолчанию производителем устройства. Соответственно, возникает потребность в усовершенствованном, гибком, комплексном UI, который позволяет обеспечить расширенное и комплексное управление другими устройствами.

РЕШЕНИЕ ЗАДАЧИ

Настоящее изобретение задумано для решения, по меньшей мере, вышеназванных задач и/или недостатков, и для того чтобы предложить, по меньшей мере, описанные ниже преимущества.

Аспект настоящего изобретения состоит в предоставлении способа и устройства для создания комплексного UI.

В соответствии с аспектом настоящего изобретения предоставлен способ для создания комплексного UI из UI приложений для выполнения конкретных функций. Способ включает в себя этапы, на которых: принимают первый UI приложения от первого устройства предоставления отдельных UI; принимают второй UI приложения от второго устройства предоставления отдельных UI; объединяют первый и второй UI приложений в комплексный UI с единой сценой; и отображают комплексный UI.

В соответствии с другим аспектом настоящего изобретения, предоставлено устройство для создания комплексного UI. Устройство включает в себя модуль связи, который соединен с первым устройством предоставления UI и вторым устройством предоставления UI, и который выполнен с возможностью приема первого UI приложения от первого устройства предоставления UI и второго UI приложения от второго устройства предоставления UI, при этом каждый служит для выполнения конкретной функции; модуль управления, который объединяет первый и второй UI приложения в комплексный UI с единой сценой; и модуль отображения, который отображает комплексный UI.

Другие аспекты, преимущества, и ключевые признаки настоящего изобретения станут очевидны специалисту в соответствующей области из нижеследующего подробного описания, которое, при рассмотрении совместно с прилагаемыми чертежами, раскрывает характерные варианты осуществления изобретения.

ПРЕИМУЩЕСТВЕННЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

Как описано выше, настоящее изобретение может объединять отдельные UI нескольких устройств в единый комплексный UI. Дополнительно, такой комплексный UI, отображаемый на устройстве, может гибко изменяться исходя из изменений в отдельных UI, предлагаемых внешними устройствами, так что пользователь может просто проверять исполняемые функции каждого устройства. Также, данный комплексный UI может обеспечить возможность эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах.

ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ

Вышеупомянутые и прочие аспекты, признаки и преимущества настоящего изобретения станут очевидны из нижеследующего подробного описания, при рассмотрении совместно с сопроводительными чертежами, в которых:

Фиг.1 является блок-схемой, иллюстрирующей поток сигналов между устройством создания комплексного UI и устройствами предоставления отдельных UI, в соответствии с вариантом осуществления настоящего изобретения;

Фиг.2 иллюстрирует устройство создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения;

Фиг.3 иллюстрирует комплексный UI, созданный из двух отдельных UI приложений в соответствии с вариантом осуществления настоящего изобретения; и

Фиг.4 является логической блок-схемой, иллюстрирующей способ для создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Теперь со ссылкой на сопроводительные чертежи более полно будут описаны различные варианты осуществления настоящего изобретения. В описании, хорошо известные или широко используемые методики, элементы, структуры и процессы могут не описываться или не иллюстрироваться в подробностях, чтобы не затенять сущность настоящего изобретения. Несмотря на то, что чертежи представляют конкретные варианты осуществления изобретения, чертежи не обязательно воспроизведены в масштабе и конкретные признаки могут быть преувеличены или опущены для того, чтобы лучше проиллюстрировать или объяснить настоящее изобретение.

Среди приведенных здесь понятий, понятие ″устройство″ относится к части оборудования разработанной для передачи и приема разнообразных данных к и от внешних объектов связи посредством проводного или беспроводного соединения. Например, устройством может быть мобильный телефон, ноутбук, стерео система, ТВ, телевизионная абонентская приставка, сервер сети и т.д. В дополнение, также в качестве описываемого здесь устройства могут использоваться разнообразные портативные устройства, мультимедийные проигрыватели, машины автоматизации офисной деятельности и любые прочие объекты связи. Такое устройство может отображать UI приложения, выбранный для выполнения конкретной функции.

Здесь и далее, устройство будет подразделяться на устройство создания комплексного UI и устройство предоставления отдельных UI. Устройство создания комплексного UI является устройством, которое принимает отдельные UI приложений от других устройств посредством проводного или беспроводного соединения, объединяет принятые отдельные UI приложений в единый UI, т.е., комплексный UI, и затем отображает комплексный UI. Например, устройство создания комплексного UI может играть роль машины управления UI или устройства управления виджетами.

Устройство предоставления отдельных UI является устройством, которое обладает и отображает некоторый UI приложения, а также предоставляет информацию о нем устройству создания комплексного UI посредством проводного или беспроводного соединения.

UI приложения представляет собой конкретную исполняемую функцию устройства, например, при помощи графических изображений, таких как кнопки, пиктограммы, анимированной и векторной графики, и любых других визуальных, звуковых и тактильных элементов. UI приложения также может задействовать некоторые функциональные элементы для исполнения, удаления, добавления и преобразования приложения. Здесь, каждый UI приложения согласуется с отдельным приложением для выполнения конкретной функции. Вследствие этого, если выбран какой-либо UI приложения, то может исполняться конкретное приложение, согласующееся с выбранным UI приложения. Например, UI приложения может быть виджет.

В мобильном устройстве, виджет при помощи пиктограммы представляет часто используемую функцию. Примерами часто используемых в мобильном устройстве виджетов являются виджет погоды, виджет приложения для просмотра изображений, виджет схемы метро и т.д. Если пользователь, например, выбирает виджет погоды, то мобильное устройство может отобразить заданный контент, относящийся к погоде.

Контент относится к данным, которые отображаются применительно к конкретной функции, которая выполняется при выборе UI приложения. Например, контентом, который обычно находится в мобильном устройстве, могут быть: ссылочные данные, такие как номера телефонов, данные изображения, такие как фотографии, текстовые данные, такие как сообщения, и т.д.

Функция относится к конкретному действию, программе и т.д., которые выполняют конкретную операцию в устройстве. Например, обычной функцией, выполняемой в мобильном устройстве, является функция вызова, функция отображения данных и т.д.

Фиг.1 является блок-схемой, иллюстрирующей поток сигналов между устройством создания комплексного UI и устройствами предоставления отдельных UI в соответствии с вариантом осуществления настоящего изобретения.

Обращаясь к Фиг.1, устройство 10 создания комплексного UI соединено с, по меньшей мере, двумя устройствами 20 и 30 предоставления отдельных UI посредством проводной или беспроводной сети. Каждое из устройств 20 и 30 предоставления отдельных UI предоставляет конкретный отдельный UI приложения устройству 10 создания комплексного UI. Вследствие этого, устройство 10 создания комплексного UI создает комплексный UI посредством объединения принятых отдельных UI приложений и затем отображает комплексный UI.

В частности, на этапе 110 устройство 10 создания комплексного UI по запросу пользователя запускает режим отображения комплексного UI. Как описано выше, комплексный UI является единой сценой, включающей в себя объединенные UI приложений, каждый из которых предлагается устройством предоставления отдельных UI, а также используется для выполнения на этом устройстве конкретной функции.

На этапах 115 и 120 устройство 10 создания комплексного UI выполняет поиск устройств 20 и 30 предоставления отдельных UI посредством проводного или беспроводного соединения. На этапах 125 и 130 устройство 10 создания комплексного UI принимает первый UI приложения и второй UI приложения от соответственно первого устройства 20 предоставления отдельных UI и второго устройства 30 предоставления отдельных UI. Здесь, устройства 20 и 30 предоставления отдельных UI также отправляют устройству 10 создания комплексного UI характерную информацию об их соответствующих UI приложений. Характерная информация включает в себя подробности в отношении мультимедийных и графических объектов, которые составляют UI приложения, включая элементы, написанные в объявленном виде, и атрибут каждого элемента, сценарии, информацию о согласующихся приложениях, и т.д.

Впоследствии устройство 10 создания комплексного UI декодирует характерную информацию о каждом принятом UI приложения и затем проверяет соответствующие приложения и объекты для того, чтобы выразить каждый UI приложения при помощи декодированной характерной информации. Например, характерная информация, предлагаемая устройствами 20 и 30 предоставления отдельных UI, может быть записана так, как показано в Таблице 1.

В Таблице 1 атрибут <mw:massageOut> указывает на то, что данный интерфейс может быть выведен в соответствующем приложении, и также имеет атрибут имени (name), который обозначает имя интерфейса. Любой подчиненный интерфейс может быть выражен при помощи параметра вывода <mw:output> и параметра ввода <mw:input>, каждый из которых имеет атрибут name и атрибут scriptParamType.

После проверки характерной информации о принятом UI приложения, на этапе 140 устройство 10 создания комплексного UI объединяет первый и второй UI приложений в комплексный UI при помощи характерной информации, т.е. устройство 10 создания комплексного UI создает комплексный UI.

В частности, устройство 10 создания комплексного UI находит характерную информацию об интерфейсах UI приложений, которую соответственно предлагают устройства 20 и 30 предоставления отдельных UI. Например, найденная характерная информация может включать в себя, но этим не ограничивается, информацию Графического UI (GUI) о размере и цвете модулей, которые составляют каждый UI приложения, и информацию об имени и атрибуте интерфейсов, которые определяют функции таких модулей. Такая характерная информация может обрабатываться в машине представления, специализированном модуле для внешних связей, машине управления UI, интерфейсе прикладного программирования, временной памяти системной библиотеки, или любом их эквиваленте. Машина управления UI часто именуется как средство управления (диспетчер) UI или средство управления виджетами и может быть выполнена с расширенными возможностями в виде мультимедийной машины. Мультимедийная машина является интерактивной мультимедийной машиной, которая может предоставлять динамическую информацию, в которой к аудио и видео применяется графическая или флэш технология. Машина управления UI может быть включена в мультимедийную машину, или может быть независимым модулем, полностью отделенным от мультимедийной машины.

Устройство 10 создания комплексного UI проверяет заранее заданное описание связности между соответствующими устройствами и затем создает комплексный UI при помощи полученной характерной информации о каждом UI приложения. То есть, при помощи ID, категории и т.д. каждого UI приложения, устройство 10 создания комплексного UI получает соединяемые UI приложений из всех UI приложений, которые предлагают соответствующие устройства предоставления отдельных UI.

Затем устройство 10 создания комплексного UI создает комплексный UI посредством объединения полученных UI приложений. Здесь, комплексный UI включает в себя UI приложений, каждый из которых предлагается устройством 20 или 30 предоставления отдельных UI, а также используется для управления конкретной функцией, которая должна быть выполнена на этом устройстве. Соответственно, при объединении первого и второго UI приложений в комплексный UI, устройство 10 создания комплексного UI выполняет сопоставление полученной характерной информации с каждым UI приложения, отображаемым в комплексном UI.

На этапе 150 устройство 10 создания комплексного UI отображает комплексный UI, который включает в себя интерфейсы UI приложений применительно к устройствам 20 и 30 предоставления отдельных UI. Здесь, устройство 10 создания комплексного UI может переконфигурировать позицию, форму и т.д. соответствующего UI приложения в комплексном UI и также может выполнять координацию и управление каждым UI приложения.

На этапах 155 и 160, когда в комплексном UI выбирается каждый из первого и второго UI приложения, устройство 10 создания комплексного UI отправляет сигнал вызова функции каждому из первого и второго устройств 20 и 30 предоставления отдельных UI. Здесь, сигнал вызова функции запускает конкретную функцию в устройстве 20 или 30 предоставления отдельных UI. Соответственно, на этапе 170, после приема сигнала вызова функции, каждое из первого и второго устройств 20 и 30 предоставления отдельных UI запускает выбранную функцию.

Фиг.2 иллюстрирует устройство создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения.

Обращаясь к Фиг.2, устройство 10 создания комплексного UI включает в себя модуль 210 связи, модуль 220 ввода, модуль 230 управления, модуль 240 проверки связности, модуль 250 объединения UI и модуль 260 отображения. Здесь, модуль 240 проверки связности и модуль 250 объединения UI включены в модуль 230 управления.

Модуль 210 связи устанавливает проводное или беспроводное соединение с, по меньшей мере, одним из прочих устройств, т.е., внешними объектами связи, и затем, под управлением модуля 230 управления, отправляет и/или принимает данные к и/или от подсоединенных устройств. В частности, модуль 210 связи принимает сигнал, включающий в себя характерную информацию о, по меньшей мере, одном UI приложения (здесь и далее именуемый как сигнал UI приложения), от, по меньшей мере, одного устройства предоставления отдельных UI, которое предлагает UI приложений. Впоследствии, модуль 210 связи доставляет принятый сигнал UI приложения модулю 230 управления. Модуль 210 связи также может отправлять сигнал вызова функции соответствующему устройству предоставления отдельных UI под управлением модуля 230 управления. Как описано выше, сигнал вызова функции запускает конкретную функцию, соответствующую конкретному выбранному пользователем UI приложения.

Модуль 220 ввода создает различные входные сигналы в зависимости от инструкций пользователя и доставляет различные входные сигналы модулю 230 управления. Модуль 220 ввода может включать в себя, но не ограничиваться этим, сенсорный экран, клавиатуру, пульт дистанционного управления или любое другое эквивалентное устройство. В частности, модуль 220 ввода отправляет входной сигнал, указывающий UI приложения выбранный пользователем, модулю 230 управления.

Модуль 230 управления управляет состоянием и операциями элементов в устройстве 10 создания комплексного UI. В частности, модуль 230 управления создает комплексный UI посредством объединения отдельных UI приложений, принятых от соответствующих устройств предоставления отдельных UI, и затем управляет отображением комплексного UI.

В частности, когда для отображения единой сцены, включающей в себя несколько UI приложений, которые предлагаются соответствующими устройствами предоставления отдельных UI, выбран режим отображения комплексного UI, то модуль 230 управления выполняет поиск устройств предоставления отдельных UI посредством управления модулем 210 связи. Модуль 230 управления принимает, по меньшей мере, один сигнал UI приложения от устройств предоставления отдельных UI через модуль 210 связи. Дополнительно, модуль 230 управления декодирует принятые сигналы UI приложения в характерную информацию UI приложения, объединяет UI приложения, принятые соответственно от устройств предоставления отдельных UI, в комплексный UI при помощи декодированной характерной информации, и отображает комплексный UI на модуле 260 отображения. Вследствие этого, комплексный UI включает в себя UI приложений, каждый из которых используется для выполнения соответствующей функции. Когда один из UI приложений включенных в комплексный UI выбирается при помощи модуля 220 ввода, то модуль 230 управления отправляет сигнал вызова функции, соответствующий выбранному UI приложения, устройству предоставления отдельных UI через модуль 210 связи.

Для того, чтобы отобразить комплексный UI, модуль 230 управления получает характерную информацию о каждом UI приложения. Как описано выше, характерная информация включает в себя графические объекты, информацию о соответствующих приложениях, информацию атрибута и т.д.

Впоследствии, модуль 230 управления проверят отношения связности между устройствами предоставления отдельных UI посредством принятой характерной информации и создает комплексный UI, исходя из описаний связности. Как проиллюстрировано на Фиг.2, модуль управления может включать в себя модуль 240 проверки связности и модуль 250 объединения UI.

Модуль 240 проверки связности может проверять описания связности между устройствами предоставления отдельных UI, предлагающих интерфейсы UI приложений.

Например, модуль 240 проверки связности может проверять связность UI приложений посредством выполнения поиска по списку отношений связности. Данный список может храниться в устройстве 10 создания комплексного UI. Данный список может сохраняться по умолчанию производителем устройства или может заранее предлагаться поставщиком UI приложения, таким как оператор услуги.

Устройство 10 создания комплексного UI может управлять списком отношений связности между устройствами предоставления отдельных UI, а также получать отношение связности посредством заранее определенного интерфейса, как показано ниже в Таблице 2. Таблица 2 направляется устройству 10 создания комплексного UI как устройству управления виджетами, и представляет отдельный UI в качестве виджета.

Метод getInterfaceHandlersByType позволяет объекту Виджет (Widget) получить массив объектов, реализующих интерфейс InterfaceHandler заданного типа, и он представляет собой связанные интерфейсы.

Функция onInterfaceBind может быть задана как функция, которая будет вызываться устройством управления виджетами, при связывании любого интерфейса. Функция onInterfaceUnbind может быть задана как функция, которая будет вызываться устройством управления виджетами, при разрыве связи с любым интерфейсом.

Функция onActivation может быть задана как функция, которая будет вызываться устройством управления виджетами при активации или при сбое активации компонента. Возвращаемый параметр является логическим значением, указывающим на то, была ли активация успешной (истина) или произошел сбой (ложь).

Метод activateComponentWidget вызывается виджетом для того, чтобы инициировать активацию виджета-компонента.

Метод deactivateComponentWidget вызывается виджетом для того, чтобы инициировать деактивацию виджета-компонента.

Устройство управления виджетами предоставляет объект InterfaceHandler из расчета на единицу заданного интерфейса виджета, как показано в Таблице 3.

В Таблице 3 строка «связанный» (bound) указывает адрес (например, IP Адрес, имя хоста, ...) внешнего субъекта связи, соответствующего данному объекту InterfaceHandler.

Строка типа указывает тип внешнего субъекта связи, соответствующего объекту InterfaceHandler.

Сценарий внутри виджета может вызывать процедуру вызова из объекта InterfaceHandler для отправки сообщения соответствующему внешнему субъекту связи. Параметр сообщения указывает объявление интерфейса каждого внешнего субъекта связи, в порядке объявления. Устройство Управления Виджетами инициирует вызов функции callBackFunction при приеме ответа субъекта, выдающую объект MsgHandler, позволяя тем самым сценарию распознавать множество вызовов при обратном вызове.

Когда функции сценариев вызываются при приеме входящего сообщения (т.е., потому что функция объявлена в атрибуте mw:inputAction элемента <mw:messageIn>), то сценарий может отправить ответ исходному субъекту связи.

Метод invokeReply используется для отправки ответа на предшествующее сообщение. При вызове данного метода, Устройство Управления Виджетами должно отправить сообщение обратно субъекту связи. Параметры выходного сообщения сопоставляются с порядком следования аргументов метода.

Например, предположим, что Виджет A определяет метод doSearch (выполнитьПоиск), а Виджет B желает использовать услугу, о которой идет речь, тогда Устройство Управления Виджетами идентифицирует, что виджеты A и B являются совместимыми для осуществления связи и соединяет выход виджета B с входом виджета A. При вызове Виджетом B метода «Search» (Поиск), Устройство Управления Виджетами отправляет сообщение Виджету A, который инициирует вызов метода «SearchFunction» (ПоискФункция). Затем Виджет A выполняет свой поиск, создает и сохраняет объект MsgHandler и выполняет возврат. Когда обработка выполнена, Виджет A вызывает метод invokeReply с объектом MsgHandler и результатом его обработки, отправляя сообщение ответа, которое, в свою очередь, повторно вызывает Виджет B и его метод myProcessSearchResults (моиРезультатыПроцессаПоиска) вместе с результатом (значением URL).

Декларация (манифест) виджета A объявляется в интерфейсе типа «example:search:interface» (пример:поиск:интерфейс), как показано в Таблице 4.

В виджете B сценарий составлен так, как показано в Таблице 6.

В виджете A, сценарий составлен так, как показано в Таблице 7.

Список отношений связности может быть составлен так, как показано в Таблице 8 или 9 ниже.

Таблица 8 организует список вторых UI приложений, соединяемых с каждым из первых UI приложений

Когда список отношений связности определяется, в соответствии с тем, что показано в Таблице 8, то модуль 240 проверки связности определяет, какой из вторых UI приложений, предлагаемых вторым устройством 30 предоставления отдельных UI, может быть объединен с каждым из первых UI приложений, предлагаемых первым устройством 20 предоставления отдельных UI. Например, если первый UI приложения является UI приложения работы с картами, то модуль 240 проверки связности определяет ID, widget_H_Map01, UI приложения работы с картами посредством извлечения характерной информации о первом UI приложения. Впоследствии, модуль 240 проверки связности находит идентификаторы ID соединяемых интерфейсов UI приложений в списке отношений связности. Как показано а Таблице 8, соединяемыми UI приложений являются, например, widget_H_weather01, …, widget_H_weather04, widget_H_cal01 и widget_H_cal02. Дополнительно, модуль 240 проверки связности проверяет характерную информацию о вторых UI приложений, предлагаемых вторым устройством 20 предоставления отдельных UI, а затем получает вторые UI приложений, соответствующие соединяемым UI приложений, включенным в список отношений связности.

Таблица 9 организует группу вторых UI приложений соединяемых с каждым из первых UI приложений.

Когда список отношений связности определяется так, как показано в Таблице 9, то модуль 240 проверки связности проверяет, какая группа вторых UI приложений может быть объединена с каждым из первых UI приложений. Все UI приложений, которые могут быть отображены в устройствах предоставления отдельных UI, включены в группы UI приложений, и каждой группе UI приложений назначен ID. В мобильном устройстве, группы UI приложений могут быть UI игровых приложений, UI приложений погоды, UI приложений работы с календарем, и UI приложений вызова, и т.д.

Нижеследующий пример является способом проверки соединяемых UI приложений посредством групп UI приложений.

Если первый UI приложения является UI приложения работы с календарем, то модуль 240 проверки связности устанавливает ID, widget_S_cal01, UI приложения работы с календарем посредством получения характерной информации о первом UI приложения. Впоследствии, модуль 240 проверки связности находит ID групп соединяемых UI приложений в списке описаний связности. Как показано в Таблице 9, ID группы соединяемых UI приложений является, например, widget_Group_S_01. Дополнительно, модуль 240 проверки связности проверяет характерную информацию о вторых UI приложений, и затем получает вторые UI приложений, соответствующие соединяемой группе UI приложений, включенной в список отношений связности.

Модуль 240 проверки связности может создавать список отношений связности всякий раз при приеме UI приложения от устройства предоставления отдельных UI, и затем проверять отношения связности между UI приложений. Применительно к вышесказанному, устройство предоставления отдельных UI при отправке UI приложений устройству 10 создания комплексного UI включает информацию о соединяемых UI приложений в характерную информацию. Такая информация о соединяемых UI приложений может быть записана в виде «собираемый=T/F» в или с привязкой к полю ID UI приложения. Модуль 240 проверки связности проверяет информацию о соединяемых UI приложений, включенную в характерную информацию, тем самым создавая список отношений связности. Впоследствии, модуль 240 проверки связности находит соединимые UI приложений посредством сравнения характерной информации о каждом UI приложения со списком отношений связности.

Дополнительно, модуль 240 проверки связности может назначить приоритет каждому UI приложения, предлагаемому устройством предоставления отдельных UI. Когда UI приложений объединяются модулем 250 объединения UI в комплексный UI, то UI приложений могут выборочно сохраняться в порядке приоритетности. Данная приоритетность может быть по умолчанию определена заранее производителем устройства или может меняться, исходя из частоты использования.

После проверки модулем 240 проверки связности, информация отношений связности о соединяемых UI приложений может формироваться в качестве мультимедийных данных, сохраняться как отдельные данные, относящиеся к отношениям связности, или включаться в характерную информацию об интерфейсах UI приложений.

Модуль 250 объединения UI объединяет UI-интерфейсы приложений, предложенные устройствами предоставления отдельных UI, в комплексный UI при помощи информации отношений связности, проверенной модулем 240 проверки связности. Например, модуль 250 объединения UI проверяет характерную информацию о соединяемых UI приложений, как показано в Таблице 10.

В Таблице 10 атрибут <mw:interface> описывает способности виджета к осуществлению связи применительно к конкретному типу связи. Дополнительно, подчиненные атрибуты могут включать в себя, но этим не ограничиваться: тип, идентифицирующий тип интерфейса; атрибут mw:bindAction/mw:unbindAction, указывающий конструкцию сцены для изменения или инициирования, или имя функции сценария для вызова при успешном связывании данного интерфейса; атрибут mw:serviceProvider, который позволяет выполнить внешний поиск данного интерфейса; атрибут mw:connectTo, указывающий отношения связности с данным интерфейсом; атрибут mw:multipleBindings, указывающий возможность соединения данного интерфейса с другими интерфейсами; и атрибут mw:required, указывающий интерфейс, необходимый при активации.

Характерная информация может включать в себя особенности представления и конфигурации, такие как: графические объекты, условия активации функций в комплексном UI, и информацию о переносимых областях, объектах, атрибутах, частях, функциях и т.д. Такая характерная информация может быть записана в самом UI приложения или декларации, или, в качестве альтернативы, может быть сформирована как отдельный файл или данные.

Нижеследующее является описанием соответствующей характерной информации в предположении, что устройство 10 создания комплексного UI является устройством управления виджетами, а отдельный UI является виджетом.

После загрузки данной декларации, Устройство Управления Виджетами извлекает декларацию виджетов-компонентов, которые выделяются атрибутом mw:src, или пытается найти виджет, который совпадает с интерфейсами, которые объявляются элементами <mw:requiredInterface>, фактически не активируя виджет-компонент. Если ни один из доступных виджетов не совпадает с требуемым интерфейсом, то порядок поведения, и, в частности, загрузка основного виджета, зависят от варианта реализации. Если совпадающий виджет найден, то должны инициироваться события для связывания данного компонента после того, как инициируются события для активации данного виджета.

В зависимости от фактической ситуации, могут быть не приняты сообщения activatedAction и deactivatedAction, например, когда компонент был уже активирован до того, как родительский элемент запросил активацию компонента.

В нижеследующем примере, компоненты могут использоваться для создания виджетов-шаблонов. Виджет A относится к сцене, обладающей возможностью визуально группировать два объекта. Декларация виджета A использует два компонента B и C, указывающие либо на конкретные виджеты, либо на обычные интерфейсы. После активации B и C, может быть активирован A и его сцена может указывать устройству управления виджетами то, каким образом визуально сгруппировать B и C, как показано в Таблице 11.

Модуль 250 объединения UI может задать информацию о позициях отображения UI приложений в комплексном UI, функции, сопоставленные с интерфейсами UI приложений и т.д. при помощи полученной характерной информации UI приложения. Также, модуль 250 объединения UI может задать сценарий работы интерфейсов UI приложений в комплексном UI при помощи, например, рабочей таблицы.

Когда интерфейсы UI приложений объединяются в комплексный UI, модуль 250 объединения UI может задать характерную информацию, которая должна быть сохранена или которая не должна использоваться совместно, из расчета на UI приложения, а также может задать те UI приложений, которые должны быть удалены или включены. В дополнение, модуль 250 объединения UI может в зависимости от приоритета определить, какие UI приложений назначить заранее в качестве основных или подчиненных. Также модуль 250 объединения UI может выполнить комплексное или индивидуальное администрирование применительно к информации об устройствах предоставления отдельных UI, которые предлагают соответствующие UI приложений, включенные в комплексный UI. Данная информация может использоваться, при расформировании или повторном объединении комплексного UI.

Также включенным в рассмотрение является сценарий, при котором устройство управления виджетами управляет независимыми UI приложений как комплексным UI. Например, устройство управления виджетами объединяет UI (A) приложения, предлагаемый кондиционером воздуха, с другим UI (B) приложения для предоставления информации о погоде, а затем рассматривает его как независимый UI приложения, объединенный модулем 250 объединения UI. В данном случае, если определенное событие происходит в UI (B) приложения погоды, то устройство управления виджетами или UI (B) приложения погоды может отправить данное событие UI (A) приложения кондиционера воздуха.

Кроме того, модуль 230 управления управляет модулем 260 отображения таким образом, чтобы предоставить возможность отображения комплексного UI. Здесь, отображаемый комплексный UI включает в себя интерфейсы UI приложений, каждый из которых соответствует конкретной функции устройства предоставления отдельных UI, которое предложило UI приложения. При выборе определенного UI приложения, модуль 230 управления определяет функцию, которая должна выполняться в зависимости от выбранного UI приложения, и затем отправляет сигнал вызова функции соответствующему одному из устройств предоставления отдельных UI посредством модуля 210 связи.

Модуль 260 отображения представляет информацию в зависимости от состояний и операций устройства 10 создания комплексного UI. В частности, модуль 260 отображения отображает комплексный UI, созданный из, по меньшей мере, одного UI приложения под управлением модуля 230 управления.

Фиг.3 иллюстрирует комплексный UI, составленный из двух отдельных UI приложений в соответствии с вариантом осуществления настоящего изобретения. В примере, проиллюстрированном на Фиг.3, устройство 10 создания комплексного UI является мобильным устройством, первое устройство 20 предоставления отдельных UI является принтером, а второе устройство 30 предоставления отдельных UI является фотоаппаратом.

Обращаясь к Фиг.3, принтер 20 отображает UI 310 приложения печати для выполнения функции печати и UI приложения настройки для настройки режимов печати. В дополнение, фотоаппарат 30 отображает UI 320 приложения просмотра фотографий для показа хранящихся фото изображений и UI 330 приложения увеличения для увеличения выбранного фото изображения. Когда мобильное устройство 10 отправляет сигнал, запрашивающий интерфейсы UI приложений, то принтер 20 передает мобильному устройству 10 UI 310 приложения печати и UI приложения настройки, а фотоаппарат 30 передает мобильному устройству 10 UI приложения просмотра фотографий и UI 330 приложения увеличения.

Мобильное устройство 10 принимает UI 310 приложения печати, UI приложения настройки, UI 320 приложения просмотра фотографий и UI 330 приложения увеличения от принтера 20 и фотоаппарата 30, а затем получает характерную информацию о принятых UI приложений. Дополнительно, мобильное устройство 10 проверяет отношение связности посредством ID каждого UI приложения в полученной характерной информации. Здесь предполагается, что UI 310 приложения печати, UI 320 приложения просмотра фотографий и UI 330 приложения увеличения являются соединяемыми UI приложений, и приоритет назначен в порядке: UI 320 приложения просмотра фотографий, UI 310 приложения печати и UI 330 приложения увеличения.

Мобильное устройство 10 создает комплексный UI при помощи характерной информации, полученной из UI приложений, принятых от принтера 20 и фотоаппарата 30. Посредством проверки информации отношений связности мобильное устройство 10 выясняет, что UI 310 приложения печати, UI 320 приложения просмотра фотографий и UI 330 приложения увеличения являются соединяемыми, а UI 320 приложения просмотра фотографий имеет наивысший приоритет. Вследствие этого, мобильное устройство 10 объединяет вышеупомянутые соединяемые UI приложений в комплексный UI, а затем отображает комплексный UI в модуле отображения.

Впоследствии, когда в комплексном UI выбирается любой UI приложения, мобильное устройство 10 отправляет сигнал вызова функции соответствующему устройству предоставления отдельных UI, так чтобы начать выполнение конкретной функции, соответствующей выбранному UI приложения. Если в UI 320 приложения просмотра фотографий выбрано любое фото изображение, а затем дополнительно выбрано UI 310 приложения печати, то мобильное устройство 10 отправляет сигнал вызова функции, запрашивающей выбранное фото изображение, фотоаппарату 30, который предложил UI 320 приложения просмотра фотографий с более высоким приоритетом. Дополнительно, мобильное устройство 10 отправляет сигнал вызова функции для вывода на печать выбранного фото изображения принтеру 20, который предложил UI 310 приложения печати со следующим приоритетом. Вследствие этого, фотоаппарат 30 отправляет выбранное фото изображение мобильному устройству 10, а затем мобильное устройство 10 отправляет принятое фото изображение принтеру 20. Вследствие этого притер 20 печатает принятое фото изображение.

Дополнительно, мобильное устройство 10 может заранее принять данные фото изображения, отображаемого в UI 320 приложения просмотра фотографий, от камеры 30 и затем, быстро реагируя на выбор, может отправить выбранные фото данные на принтер 20. В качестве альтернативы, мобильное устройство 10 может передать IP адрес или другую идентификационную информацию принтера 20 фотоаппарату 30, и затем фотоаппарат 30 может отправить выбранные фото данные принтеру 20 при помощи IP адреса или другой идентификационной информации принтера 20.

Описанный выше способ для объединения интерфейсов UI приложений, предлагаемых устройствами предоставления отдельных UI, в комплексный UI не ограничивается частичной передачей функций и характерной информации приложений, а также может включать в себя способ комплексного управления применительно к соответствующим устройствам предоставления отдельных UI при помощи независимого UI приложения. Например, если первый устройство 20 предоставления отдельных UI предлагает первой UI приложения для управления кондиционером воздуха, и если второе устройство 30 предоставления отдельных UI предлагает второй UI приложения для выполнения функции термометра, то устройство 10 создания комплексного UI создает комплексный UI посредством объединения первого и второго UI приложений. Впоследствии, если посредством второго UI приложения обнаруживается изменение в температуре, то устройство 10 создания комплексного UI может отправить обнаруженное значение температуры первому устройству 20 предоставления отдельных UI и тем самым выполнить управление кондиционером воздуха.

Дополнительно, данный способ позволяет нескольким устройствам совместно друг с другом использовать журнал регистрации или данные UI приложения, так что комплексный UI может использоваться в качестве третьего приложения. Например, такой журнал регистрации или данные UI приложения могут использоваться посредством другого UI приложения.

Фиг.4 является логической блок-схемой, иллюстрирующей способ для создания комплексного UI в соответствии с вариантом осуществления настоящего изобретения.

Обращаясь к Фиг.4, на этапе 410 устройство 10 создания комплексного UI запускает режим отображения комплексного UI. Например, режим отображения комплексного UI может выбираться посредством заданного меню или функциональной клавиши. Если любой UI приложения отображаемый в устройстве создания комплексного UI объединен в комплексный UI, то устройство создания комплексного UI может предложить всплывающее окно, указывающее на то, что отображаемый UI приложения доступен применительно к комплексному UI. В ответ на выбор со стороны пользователя меню отображения комплексного UI, устройство создания комплексного UI может начать режим отображения комплексного UI. В качестве альтернативы, при приеме, по меньшей мере, одного UI приложения от по меньшей мере одного устройства предоставления отдельных UI, устройство создания комплексного UI может предлагать всплывающее окно, позволяющее пользователю выбрать режим отображения комплексного UI.

На этапе 420 устройство создания комплексного UI выполняет поиск устройств предоставления отдельных UI посредством проводного или беспроводного соединения. Несмотря на то, что не проиллюстрировано, устройство 10 создания комплексного UI может отправить сигнал запроса в отношении UI приложений каждому устройству предоставления отдельных UI. Данный сигнал может быть запросом в отношении интерфейсов UI приложений, которые в настоящий момент отображаются на каждом устройстве предоставления отдельных UI или в отношении выборочных UI приложений среди всех приложений, хранящихся на каждом устройстве предоставления отдельных UI.

На этапе 430 устройство создания комплексного UI принимает, по меньшей мере, один из первых UI приложений от первого устройства предоставления отдельных UI и, по меньшей мере, один из вторых UI приложений от второго устройства предоставления отдельных UI. На этапе 440 устройство создания комплексного UI проверяет отношения связности первого и второго устройств предоставления отдельных UI посредством принятых первого и второго UI приложений. В частности, устройство создания комплексного UI определяет соединяемые UI приложений посредством сравнения заранее определенного списка отношений связности с характерной информацией о каждом UI приложения. В дополнение, устройство создания комплексного UI определяет приоритет каждого UI приложения. Несмотря на то, что не проиллюстрировано, устройство создания комплексного UI может информировать пользователя о наличии соединяемых UI приложений при помощи, например, всплывающего окна или другого сообщения, в том случае если соединяемые UI приложений отсутствуют.

На этапе 450 устройство создания комплексного UI объединяет первый и второй UI приложений в комплексный UI, исходя из отношений связности. Устройство 10 создания комплексного UI отображает комплексный UI в модуле отображения на этапе 460, и отправляет сигнал вызова каждому устройству предоставления отдельных UI на этапе 470. Устройство создания комплексного UI может отправить сигналы вызова в порядке приоритетности выбранных UI приложений, т.е. сигнал вызова сначала передается устройству предоставления отдельных UI, которое имеет UI приложения с более высоким приоритетом, чем у других устройств предоставления отдельных UI.

Несмотря на то, что описанное выше устройство создания комплексного UI объединяет UI приложений, принятые от устройств предоставления отдельных UI, устройство создания комплексного UI также может объединять свои собственные UI приложений в комплексный UI. Например, мобильное устройство может объединить UI приложения обмена сообщениями с UI приложения отображения изображений в комплексный UI, а затем отобразить его как единую сцену. Аналогичным образом, UI приложения планирования и UI приложения памяток могут быть объединены и отображаться в качестве комплексного UI.

Как описано выше, настоящее изобретение может объединять отдельные UI разных устройств в единый комплексный UI. Дополнительно, такой комплексный UI, отображаемый на устройстве, может гибко меняться, исходя из изменений в отдельных UI, предлагаемых внешними устройствами, таким образом, что пользователь может легко проверить исполняемые функции каждого устройства. Также, данный комплексный UI может предоставить возможность эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах.

Несмотря на то, что настоящее изобретение было, в частности, показано и описано со ссылкой на определенные его варианты осуществления, специалисту в соответствующей области должно быть понятно, что могут быть выполнены различные изменения по форме и в деталях при этом, не отступая от сущности и объема настоящего изобретения, как определено прилагаемой формулой изобретения.

Изобретение относится к средствам создания комплексного Интерфейса Пользователя (UI) посредством объединения отдельных UI-интерфейсов приложений. Технический результат заключается в обеспечении возможности эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах. Принимают первый UI приложения от первого устройства. Принимают второй UI приложения от второго устройства. Определяют, являются ли первый UI приложения и второй UI приложения связываемыми в виде комплексного UI на основе заранее определенного списка отношений связности. Объединяют первый UI приложения и второй UI приложения в комплексный UI, если первый UI приложения и второй UI приложения являются связываемыми в виде комплексного UI на основе упомянутого списка отношений связности. Отображают комплексный UI. 2 н. 4 з.п. ф-лы, 4 ил. 11 табл.

1. Способ создания комплексного интерфейса пользователя (UI) из UI-интерфейсов приложений для выполнения конкретных функций, содержащий этапы, на которых:
принимают первый UI приложения от первого устройства;
принимают второй UI приложения от второго устройства;
определяют, являются ли первый UI приложения и второй UI приложения связываемыми в виде комплексного UI на основе заранее определенного списка отношений связности;
объединяют первый UI приложения и второй UI приложения в комплексный UI, если первый UI приложения и второй UI приложения являются связываемыми в виде комплексного UI на основе упомянутого списка отношений связности; и
отображают комплексный UI.

2. Способ по п. 1, в котором этап, на котором объединяют первый UI приложения и второй UI приложения, содержит этапы, на которых:
получают характерную информацию из множества UI-интерфейсов приложений, при этом характерная информация включает в себя по меньшей мере одно из графического объекта, информации о соответствующем приложении и идентификационных данных UI приложения;
выбирают связываемые UI-интерфейсы приложений из этого множества UI-интерфейсов приложений посредством сравнения полученной характерной информации с заранее определенным списком отношений связности; и
создают комплексный UI из выбранных связываемых UI-интерфейсов приложений.

3. Способ по п. 1, дополнительно содержащий этапы, на которых:
выбирают по меньшей мере один из первого UI приложения и второго UI приложения, включенных в комплексный UI; и
отправляют сигнал вызова функции одному из первого и второго устройств, чтобы выполнить конкретную функцию, соответствующую выбранному UI приложения.

4. Устройство для создания комплексного Интерфейса Пользователя (UI), содержащее:
модуль связи, который принимает первый UI приложения для выполнения первой функции от первого устройства и второй UI приложения для выполнения второй функции от второго устройства;
модуль управления, выполненный с возможностью определять, являются ли первый UI приложения и второй UI приложения связываемыми в виде комплексного UI на основе упомянутого списка отношений связности, и объединять первый UI приложения и второй UI приложения в комплексный UI, если первый UI приложения и второй UI приложения являются связываемыми в виде комплексного UI на основе заранее определенного списка отношений связности; и
модуль отображения, который отображает комплексный UI.

5. Устройство по п. 4, в котором модуль управления получает характерную информацию из множества UI-интерфейсов приложений, при этом характерная информация включает в себя по меньшей мере одно из графического объекта, информации о соответствующем приложении и идентификационных данных UI приложения, чтобы выбрать связываемые UI-интерфейсы приложений из этого множества UI-интерфейсов приложений посредством сравнения полученной характерной информации с заранее определенным списком отношений связности, и создает комплексный UI из выбранных связываемых UI-интерфейсов приложений.

6. Устройство по п. 4, в котором модуль управления отправляет сигнал вызова функции одному из первого и второго устройств, чтобы выполнить одну из первой и второй функций, соответствующую выбору одного из первого UI приложения и второго UI приложения из комплексного UI.