АВТОМОБИЛЬНЫЙ МУЛЬТИМОДАЛЬНЫЙ ИНТЕРФЕЙС Российский патент 2019 года по МПК G06F3/16 

УРОВЕНЬ ТЕХНИКИ

[1] На сегодняшний день, водители и другие пользователи испытывают разочарование от многих автомобильных информационных/развлекательных систем по причинам, включающим в себя трудность, связанную с использованием систем, а также несогласованность между системами для разных автомобилей. Таким образом, пользовательское восприятие было не настолько хорошим, как могло бы быть, и сохраняется потребность в усовершенствованных автомобильных системах, которые обеспечивают безопасные, стойкие и желательные ощущения пользователя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[2] Это краткое изложение сущности изобретения приведено для введения в упрощенной форме основных принципов, которые дополнительно описаны в нижеследующем подробном описании. Данное краткое изложение сущности изобретения не призвана идентифицировать ключевые признаки или существенные признаки заявленного изобретения, и также не подлежит использованию для помощи в определении объема заявленного изобретения.

[3] Различные варианты осуществления допускают сопряжение мобильных устройств, например телефонов и пр., с автомобильной информационной/развлекательной системой, чтобы предоставить пользователю возможность управлять автомобильной информационной/ развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля. Прочие варианты осуществления позволяют обеспечивать автомобильное восприятие посредством облачной службы.

[4] По меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение, жесты, жесты NUI, взгляд, и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста.

[5] Другие варианты осуществления позволяют адаптировать чисто речевое восприятие на основе сценариев вождения и когнитивной нагрузки пользователя. Прочие варианты осуществления позволяют адаптировать пользовательское восприятие для модальностей поворотного переключателя, жестов, взгляда и сенсорного экрана. Дополнительные варианты осуществления могут обеспечивать адаптивный пользовательский интерфейс, включающий в себя адаптивный пользовательский интерфейс, который может работать совместно с несколькими различными типами экранов, например, экраном телефона, кластерным экраном, экраном консоли и экраном дисплея на лобовом стекле (HUD) и пр. Прочие варианты осуществления обеспечивают универсальную модель команд/управления для множественных типов физического ввода, включающих в себя кнопочные переключатели, емкостные круговые переключатели, механические клавиши, панели и пр.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[6] Подробное описание приведено со ссылкой на прилагаемые чертежи. На фигурах, самая левая цифра(ы) ссылочной позиции идентифицирует фигуру, в которой впервые появляется ссылочная позиция. Использование одинаковых ссылочных позиций в разных местах описания и разных фигурах может указывать аналогичные или идентичные элементы.

[7] Фиг. 1 демонстрирует иллюстративное операционное окружение в соответствии с одним или более вариантами осуществления.

[8] Фиг. 2 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[9] Фиг. 3 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[10] Фиг. 4 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[11] Фиг. 5 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[12] Фиг. 6 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[13] Фиг. 7 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[14] Фиг. 8 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[15] Фиг. 9 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[16] Фиг. 10 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[17] Фиг. 11 - схема, которая демонстрирует вербальный диалог между пользователем и автомобильной системой в соответствии с одним или более вариантами осуществления.

[18] Фиг. 12 - схема, которая демонстрирует вербальный диалог между пользователем и автомобильной системой в соответствии с одним или более вариантами осуществления.

[19] Фиг. 13 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[20] Фиг. 14 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[21] Фиг. 15 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[22] Фиг. 15A - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[23] Фиг. 16 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[24] Фиг. 17 демонстрирует аспекты системы в соответствии с одним или более вариантами осуществления.

[25] Фиг. 18 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[26] Фиг. 19 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[27] Фиг. 19A - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[28] Фиг. 20 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[29] Фиг. 21 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[30] Фиг. 22 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[31] Фиг. 22A - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[32] Фиг. 23 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[33] Фиг. 24 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[34] Фиг. 25 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[35] Фиг. 26 демонстрирует систему в соответствии с одним или более вариантами осуществления.

[36] Фиг. 27 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.

[37] Фиг. 28 демонстрирует иллюстративное вычислительное устройство, которое можно использовать для реализации различных описанных здесь вариантов осуществления.

ПОДРОБНОЕ ОПИСАНИЕ

Обзор

[38] Различные варианты осуществления допускают сопряжение мобильных устройств, например телефонов и пр., с автомобильной информационной/развлекательной системой, чтобы пользователь мог управлять автомобильной информационной/развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля. Прочие варианты осуществления позволяют обеспечивать автомобильное восприятие посредством облачной службы.

[39] По меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение, жесты, жесты NUI, взгляд и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста.

[40] Другие варианты осуществления позволяют адаптировать чисто речевое восприятие на основе сценариев вождения и когнитивной нагрузки пользователя. Прочие варианты осуществления позволяют адаптировать пользовательское восприятие для модальностей поворотного переключателя и сенсорного экрана. Дополнительные варианты осуществления могут обеспечивать адаптивный пользовательский интерфейс, включающий в себя адаптивный пользовательский интерфейс, который может работать совместно с несколькими различными типами экранов, например, экраном телефона, кластерным экраном, экраном консоли и экраном дисплея на лобовом стекле (HUD). Прочие варианты осуществления обеспечивают универсальную модель команд/управления для множественных типов физического ввода, включающих в себя кнопочные переключатели, емкостные круговые переключатели, механические клавиши, панели и пр.

[41] В нижеследующем рассмотрении, сначала описано иллюстративное окружение, способное применять описанные здесь методы. Методы могут применяться в иллюстративном окружении, а также в других окружениях.

Иллюстративное окружение

[42] Фиг. 1 демонстрирует иллюстративное окружение 100 в иллюстративной реализации, которое способно применять описанные здесь методы. Проиллюстрированное окружение 100 включает в себя автомобиль 102, мобильное вычислительное устройство в форме телефона 104 и автомобильную консоль 106, имеющую устройство 108 отображения. Консоль 106 показана удаленной от автомобиля 102 в целях нижеследующего описания. Консоль 106 обычно располагается на приборной панели или чуть ниже между водительским креслом и передним пассажирским креслом. Устройство 108 отображения консоли имеет или может иметь тактильные возможности, позволяющие ему принимать тактильный ввод, например, чтобы пользователь мог выбирать контент. Под консолью 106 предусмотрено несколько кнопок, показанных в целом позицией 110. Кроме того, автомобиль 102 может включать в себя поворотный переключатель 112, который может служить в качестве устройства ввода для консоли 106. Поворотный переключатель 112 можно использовать для навигации и выбора контента для контента, который отображается на устройстве 108 отображения. Поворотный переключатель можно поворачивать в направлении по часовой стрелке и в направлении против часовой стрелки в и из плоскости страницы, на которой изображен поворотный переключатель, как указано двумя изогнутыми стрелками. Вращая поворотный переключатель таким образом, пользователь может осуществлять навигацию по контенту, отображаемому на устройстве 108 отображения. Кроме того, поворотный переключатель также включает в себя механизм, который можно нажимать вниз в направлении стрелки, направленной вниз, чтобы производить выбор.

[43] Следует признавать и понимать, что в нижеприведенном описании, хотя мобильное устройство в форме телефона используется для описания контекста вариантов осуществления изобретения, можно использовать другие мобильные устройства, не выходя за рамки сущности и объема заявленного объекта.

[44] Соответственно, для отображаемой конфигурации контента, например, плиток, пиктограмм, объектов и пр., вращение поворотного переключателя позволяет осуществлять навигацию по отображаемому контенту, и нажатие поворотного переключателя позволяет выбирать конкретную деталь контента. Так, например, если устройство 108 отображения отображает список воспроизведения, имеющий несколько разных песен, пользователь может осуществлять навигацию по песням с использованием поворотного переключателя и, найдя конкретную интересующую его песню, пользователь, нажатием поворотного переключателя, может выбирать песню для воспроизведения.

[45] В ходе эксплуатации, телефон 104 может соединяться с консолью 106, чтобы пользователь мог взаимодействовать с контентом посредством консоли. Можно использовать соединение любого подходящего типа. В проиллюстрированном и описанном варианте осуществления, телефон 104 может соединяться с консолью 106 посредством беспроводного соединения, например, соединения Wi-Fi или Bluetooth. Альтернативно или дополнительно, телефон 104 может соединяться с консолью 106 посредством соединения USB, как указано на фигуре.

[46] Будучи соединен с консолью 106, мобильный телефон может объединяться с информационной/развлекательной системой автомобиля, чтобы пользователь мог управлять автомобильной информационной/развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля, что будет пояснено ниже.

Фиг. 2 демонстрирует телефон 104 в вычислительном окружении 200, которое может включать в себя автомобиль 102 (не показан) и связанную с ним консоль 106. Вычислительное окружение 200 также включает в себя один или более серверов 202 и сеть 204 (проиллюстрированную как "облако"), через которую могут осуществлять связь телефон 104, консоль 106 и серверы 202. Сеть, например, может облегчать связь с различными субъектами, например, компаниями, предоставляющими услуги обеспечения контента, OEM и любыми другими субъектами, соединенными посредством интернета.

[47] В проиллюстрированном и описанном примере, телефон 104 включает в себя, помимо других компонентов, один или более процессоров 206, одну или более компьютерно-считываемых сред 208 хранения, модуль 210 взаимодействия, различные приложения 212 и модуль 214 драйвера дисплея.

[48] В проиллюстрированном и описанном примере, модуль 210 взаимодействия включает в себя функциональные возможности, которые позволяют распознавать речь пользователя и обращаться к нему голосом. Модуль взаимодействия обеспечивает персонального помощника для помощи пользователю при выполнении задач. Так, например, модуль 210 взаимодействия может распознавать слова, произносимые пользователем, например, команды, запросы и пр. Кроме того, модуль 210 взаимодействия включает в себя функциональные возможности, которые позволяют предпринимать действия в отношении элементов принимаемой им передачи. Например, пользователь может обращаться к своему телефону со словами "Скажи, пожалуйста, запланированы ли у меня сегодня какие-нибудь встречи?". Получив этот запрос, модуль 210 взаимодействия, совместно, например, с приложением календаря, может устанавливать, запланированы ли на сегодня какие-либо встречи, и вербально отвечать пользователю "Сегодня у тебя не запланировано никаких встреч".

[49] Приложения 212 могут содержать приложение любого подходящего типа, которое может располагаться на телефоне 104. Такие приложения включают в себя, в порядке примера, но не ограничения, приложения социальных сетей, приложения электронной почты, приложения редактирования текста, приложения календаря, приложения медиапроигрывателя, приложения новостей, спорта и погоды и пр.

[50] Модуль 214 драйвера дисплея включает в себя функциональные возможности, которые позволяют визуализировать дисплей на телефоне 104, а также на устройстве 108 отображения консоли. В ходе эксплуатации, модуль 214 драйвера дисплея может устанавливать свойства, ассоциированные с устройством 108 отображения консоли (например, размеры устройства отображения), и принимать решения по визуализации на основе установленных свойств, что будет пояснено ниже.

[51] Серверы 202 проиллюстрированы как включающие в себя платформу 216 для веб-служб 218. Веб-службы 218 могут включать в себя веб-службу любого подходящего типа. Серверы 202 и ассоциированные с ними веб-службы 218 могут генерировать передачи, которые направляются на телефон 104 посредством сети 204. Принятые передачи обрабатываются телефоном 104 и/или соответствующим приложением, выполняющимся на телефоне, и пользователь может получать уведомление о передаче.

[52] Платформа 216 обобщает основные функциональные возможности оборудования (например, серверов) и программные ресурсы облака и, таким образом, может действовать как ʺоблачная операционная системаʺ. Например, платформа 216 может обобщать ресурсы для обеспечения связи между различными вычислительными устройствами. Платформа 216 также может служить для обобщения масштабирования ресурсов для обеспечения соответствующего уровня масштаба выявленным потребностям в веб-службах 218, реализованных посредством платформы 216. Также могут рассматриваться различные другие примеры, например, выравнивание нагрузки серверов на ферме серверов, защита от злонамеренных сторон (например, спама, вирусов и других вредоносных программ), и т.д.

[53] Таким образом, облако включено как часть стратегии, которая относится к программным и аппаратным ресурсам, поступающим в распоряжение вычислительных устройств через интернет или другие сети.

[54] В целом, любую из описанных здесь функций можно реализовать с использованием программного обеспечения, программно-аппаратного обеспечения, аппаратного обеспечения (например, фиксированной логической схемы), ручной обработки или комбинации этих реализаций. Используемые здесь термины ʺмодульʺ, ʺфункциональные возможностиʺ и ʺлогикаʺ, в целом, представляют программное обеспечение, программно-аппаратное обеспечение, аппаратное обеспечение или их комбинацию. В случае программной реализации, модуль, функциональные возможности или логика представляет программный код, который осуществляет указанные задачи при выполнении на процессоре или процессором (например, CPU или нескольких CPU). Программный код может храниться в одном или более компьютерно-считываемых запоминающих устройствах.

[55] Например, телефон также может включать в себя сущность (например, программную), которая предписывает аппаратным или виртуальным машинам, например, процессорам, функциональным блокам, и т.д. вычислительного устройства осуществлять операции Например, вычислительное устройство может включать в себя компьютерно-считываемую среду, которая может быть выполнена с возможностью поддерживать инструкции, которые предписывают вычислительному устройству и, в частности, операционной системе и соответствующему оборудованию вычислительного устройства осуществлять операции. Таким образом, инструкции функционируют для конфигурирования операционной системы и соответствующего оборудования для осуществления операций, что приводит к преобразованию операционной системы и соответствующего оборудования для осуществления функций. Инструкции могут обеспечиваться компьютерно-считываемой средой вычислительному устройству посредством разнообразных конфигураций.

[56] Одной такой конфигурацией компьютерно-считываемой среды является среда переноса сигнала, что позволяет ей передавать инструкции (например, в качестве несущей волны) на вычислительное устройство, например, через сеть. Компьютерно-считываемая среда также может быть сконфигурирована как машиночитаемый носитель данных и, таким образом, не является средой переноса сигнала. Примеры машиночитаемых носителей данных включают в себя оперативную память (RAM), постоянную память (ROM), оптический диск, флэш-память, жесткий диск и другие запоминающие устройства, которые могут использовать магнитные, оптические и другие технологии хранения инструкций и других данных.

[57] В нижеследующем рассмотрении, в разделе под названием "Выполнение задачи посредством мультимодального ввода" описано, как можно плавно выполнять задачи с использованием различных типов модального ввода в соответствии с одним или более вариантами осуществления. После этого, в разделе под названием "Адаптация чисто речевых вариантов восприятия" описано, как можно обеспечивать чисто речевые варианты восприятия в соответствии с одним или более вариантами осуществления. Затем, в разделе под названием "Адаптация пользовательского восприятия для поворотного переключателя и сенсорного экрана" описано, как пользовательское восприятие можно приспосабливать или иным образом адаптировать для различных типов модальных вводов. После этого, в разделе под названием "Адаптивный пользовательский интерфейс" описан адаптивный пользовательский интерфейс в соответствии с одним или более вариантами осуществления. Затем, в разделе под названием " Адаптивный пользовательский интерфейс с использованием множественных экранов" описано, как можно адаптировать пользовательские интерфейсы в соответствии с множественными экранами. После этого, в разделе под названием "Универсальная модель команд/управления" описана модель, которая использует универсальные команды и средства управления, в соответствии с одним или более вариантами осуществления. Наконец, в разделе под названием ʺИллюстративное устройствоʺ описаны аспекты иллюстративного устройства, которое можно использовать для реализации одного или более вариантов осуществления.

[58] Рассмотрев иллюстративное операционное окружение, рассмотрим понятие мультимодального ввода для выполнения задачи в соответствии с одним или более вариантами осуществления.

Выполнение задачи посредством мультимодального ввода

[59] Как упомянуто выше, по меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение, жесты, жесты NUI, взгляд и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста. Это позволяет пользователю естественным образом переходить между этими разными модальностями ввода в любой подходящей комбинации. Например, пользователь может плавно переходить между (1) речью и прикосновением, (2) речью и поворотным переключателем, (3) речью, прикосновением и поворотным переключателем или любой комбинацией этих и других модальностей.

[60] Следует признавать и понимать, что действия, ассоциированные с конкретной задачей, могут осуществляться с использованием разных модальностей в зависимости от контекста пользователя. Например, одна задача может предусматривать определенное действие. Это действие может осуществляться с использованием речевой модальности, например, "Воспроизводить следующую музыкальную дорожку". Альтернативно или дополнительно, это действие может осуществляться с использованием тактильного ввода, например тактильного выбора пользователем следующей музыкальной дорожки, отображаемой на устройстве отображения консоли. Альтернативно или дополнительно, это действие может осуществляться пользователем путем навигации к следующей музыкальной дорожке с помощью поворотного переключателя с последующим нажатием поворотного переключателя для выбора следующей музыкальной дорожки. В зависимости от контекста пользователя, пользователь может использовать любую модальность по своему выбору. Так, например, в условиях плотного движения пользователь делать свой выбор просто с использованием речевой модальности. С другой стороны, если пользователь стоит на запрещающем сигнале светофора или на парковке, он может выбрать использовать тактильный ввод или поворотный переключатель для совершения или осуществления того же действия.

Речь и прикосновение

[61] В порядке примера, рассмотрим фиг. 3, в котором аналогичные ссылочные позиции были использованы для изображения аналогичных компонентов. В этом примере, пользователь садится в машину и подключает свой телефон 104 к консоли 106 посредством соединения USB. После этого, появляется так называемый инструментарий 300 "режим вождения" в форме круга. Инструментарий режим вождения позволяет пользователю совершать тактильный выбор устройства отображения консоли для взаимодействия с функциональными возможностями режима вождения. На устройстве отображения консоли также появляется начальный экран, который включает в себя несколько объектов, которые, в этом примере, содержат плитки. Следует признавать и понимать, что на устройстве отображения консоли могут отображаться объекты любого подходящего типа. Таким образом, плитки составляют лишь один пример такого объекта.

[62] В этом примере, пользователь произносит "Позвонить Майку Джонсону". Этот аудиоввод принимается модулем 210 взаимодействия (фиг. 2) на телефоне 104. В результате, модуль взаимодействия взаимодействует с приложением "Контакты" на телефоне 104 для извлечения контактной информации Майка Джонсона. При этом модуль взаимодействия обнаруживает, что в контактах пользователя присутствуют две записи Майк Джонсон. Затем модуль 210 взаимодействия обращается к пользователю со словами "Здесь два Майка Джонсона - кому из них позвонить?" Совместно с этим аудиообращением, модуль 214 драйвера дисплея телефона 104 может предписывать отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог выбрать нужного вызываемого абонента. В порядке примера, рассмотрим фиг. 4, где показан пользовательский интерфейс, который включает в себя категорию "People" (люди) с несколькими тактильно выбираемыми вариантами выбора, включающими в себя "recent" (недавние), "inner circle" (ближайший круг), "friends" (друзья), "work" (работа) и "all" (все). Кроме того, в части 400 дисплея перечислены две выбираемые записи "Майк Джонсон". Соответственно, пользователь может тактильно выбирать правильного Майка Джонсона для инициирования восприятия вызова. Это может включать в себя последующее представление пользовательского интерфейса, позволяющего пользователю производить тактильный выбор, позвонить ли по номеру мобильного телефона, рабочего телефона или голосовой связи по IP (VoIP).

[63] Соответственно, в этом конкретном примере, пользователь использовал речевой ввод для предписания поиска в своем телефоне 104. Поиск контактов пользователя на телефоне привел к неопределенности. Затем телефон 104 предписал отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог устранять неопределенность посредством тактильного ввода. Таким образом, для выполнения задачи совместно использовались разные модальности ввода.

Речь и поворотный переключатель

[64] Функциональные возможности, аналогичные описанным выше, могут обеспечиваться совместно с поворотным переключателем вместо тактильного ввода. В порядке примера, рассмотрим фиг. 5, в котором аналогичные ссылочные позиции были использованы для изображения аналогичных компонентов.

[65] Аналогично вышеприведенному примеру, пользователь произносит "Позвонить Майку Джонсону". Этот аудиоввод принимается модулем 210 взаимодействия (фиг. 2) на телефоне 104. В результате, модуль взаимодействия взаимодействует с приложением "Контакты" на телефоне 104 для извлечения контактной информации Майка Джонсона. При этом модуль взаимодействия обнаруживает, что в контактах пользователя присутствуют две записи Майк Джонсон. Затем модуль 210 взаимодействия обращается к пользователю со словами "Здесь два Майка Джонсона - кому из них позвонить?" Совместно с этим аудиообращением, модуль 214 драйвера дисплея телефона 104 может предписывать отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог выбрать нужного вызываемого абонента, как показано на фиг. 5. В этом конкретном примере, сначала "Майк Джонсон", который появляется в списке, заключается в рамку с помощью инструментария пользовательского интерфейса - в данном случае, прямоугольную - указывающую, что его можно выбирать. Вращая поворотный переключатель, пользователь перевел инструментарий пользовательского интерфейса от первого в списке "Майк Джонсон" (указанного пунктирным прямоугольником) ко второму в списке "Майк Джонсон" (указанному сплошным прямоугольником). Теперь пользователь может просто выбрать второго в списке "Майк Джонсон" нажатием поворотного переключателя в направлении стрелки вниз. Это может инициировать вызов нужного вызываемого абонента. Альтернативно или дополнительно, может обеспечиваться последующее пользовательское восприятие, которое может включать в себя последующее представление пользовательского интерфейса, позволяющего пользователю производить тактильный выбор, позвонить ли по номеру мобильного телефона, рабочего телефона или голосовой связи по IP (VoIP).

[66] Соответственно, в этом конкретном примере, пользователь использовал речевой ввод для предписания поиска в своем телефоне 104. Поиск контактов пользователя на телефоне привел к неопределенности. Затем телефон 104 предписал отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог устранять неопределенность путем использования поворотного переключателя. Таким образом, для выполнения задачи совместно использовались разные модальности ввода.

Речь, прикосновение и поворотный переключатель

[67] По меньшей мере, в некоторых вариантах осуществления, пользователь может свободно переходить между модальностями ввода, которые включают в себя речь, прикосновение и поворотный переключатель. В порядке примера, рассмотрим фиг. 6, где пользователь тактильно выбрал пользовательский инструментарий 300 режима вождения для входа в режим вождения. После входа в режим вождения система вербально обращается к пользователю со словами "How may I help you?" (Чем могу помочь?), как показано на фиг. 7.

[68] Водитель отвечает: "Воспроизводить какую-нибудь музыку наподобие Coldplay". Модуль 210 взаимодействия принимает этот ввод и, совместно с приложением воспроизведения медиа на телефоне 104, идентифицирует несколько песен, возвращенных в соответствующем запросе. В порядке примера, рассмотрим фиг. 8.

[69] В данном случае обнаружено три разные песни, перечисленные как показано. Затем пользователь может использовать поворотный переключатель для перебора вариантов выбора и выбирать выделенную песню с использованием поворотного переключателя, как описано выше, или совершать тактильный выбор, касаясь экрана, как показано в иллюстрации. Теперь песня будет воспроизводиться на акустической системе автомобиля.

[70] Затем система собирает сведения о ДТП на маршруте пользователя. Система может делать это, осуществляя связь с облачной службой через облако 204 (фиг. 2). Собрав сведения о ДТП, система может вербально обращаться к пользователю, чтобы установить, желает ли пользователь изменить маршрут. В порядке примера, рассмотрим фиг. 9. В данном случае, система вербально обращается к пользователю и обеспечивает пользовательский инструментарий, который может выбирать пользователь. В этом конкретном случае, пользователь тактильно выбрал "Reroute" (смену маршрута), чтобы объехать место ДТП. Затем пользователь может принимать как звуковые указания, так и визуальные указания, которые обеспечиваются на карте, отображаемой на устройстве отображения консоли. Таким образом, действия, ассоциированные с одной конкретной задачей, могут прерываться, когда контекст пользователя указывает, что выполнимые действия, ассоциированные с другой задачей, доступны для осуществления.

[71] Теперь предположим, что пользователь желает сменить музыкальную дорожку, которую он слушает. Для этого можно просто выбрать прикосновением инструментарий 300 пользовательского интерфейса и, аналогично описанному на фиг. 7, выслушать вербальное обращение системы. Затем пользователь может обеспечить речевой ввод "Воспроизводить следующую дорожку", и система будет автоматически воспроизводить следующую дорожку.

[72] Соответственно, в этом конкретном примере, пользователь использовал три разные модальности ввода для взаимодействия с информационной/развлекательной системой своего автомобиля посредством своего телефона.

[73] На фиг. 10 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В блок-схеме операций существует два столбца - один обозначенный "мобильное устройство" и другой обозначенный "автомобильная информационная/развлекательная система". Это указывает, что некоторые действия осуществляются мобильным устройством, и другие действия осуществляются увеселительной системой автомобиля.

[74] На этапе 1000 устанавливается соединение между мобильным устройством и автомобильной информационной/развлекательной системой. Можно использовать любое подходящее мобильное устройство, включающее в себя, в порядке примера, но не ограничения, мобильный телефон. Кроме того, между мобильным устройством и развлекательной системой может устанавливаться соединение любого подходящего типа. Кроме того, аспекты этого этапа может осуществляться как мобильным устройством, так и развлекательной системой. Например, устройство и система могут, посредством подходящего согласования, соединяться друг с другом в ходе работы. В вышеприведенном примере для установления связи между мобильным устройством и развлекательной системой использовалось соединение USB.

[75] На этапе 1002 принимается ввод, имеющий модальность первого типа. Ввод ассоциирован с конкретной задачей и тем, что пользователь желает осуществить. Конкретная задача может иметь несколько разных действий, подлежащих осуществлению для выполнения задачи. Может приниматься любой подходящий тип модальности, включающий в себя, в порядке примера, но не ограничения, речь, прикосновение, и/или ввод, принятый через средство управления, например поворотный переключатель. В проиллюстрированных выше примерах, ввод, который инициирует пользовательское восприятие, содержит речевой ввод. В ответ на прием ввода, имеющего модальность первого типа, на этапе 1004 осуществляется связь с развлекательной системой. Может осуществляться любой подходящий тип связи. Например, по меньшей мере, в некоторых вариантах осуществления, первый ввод может предписывать мобильному устройству и, в частности, одному или более модулям, выполняющимся на мобильном устройстве, координировать свои действия с одним или более приложениями, которые располагаются на мобильном устройстве. Приложения могут содержать приложение любого подходящего типа. Например, согласно вышеприведенному примеру, если пользователь желает осуществлять связь с конкретной стороной, модуль, выполняющийся на мобильном устройстве, может устанавливать, из приложения контактов устройства, информацию, ассоциированную с нужным вызываемым абонентом. Затем эта информация может передаваться увеселительной системе совместно с информацией и данными, позволяющими визуализировать пользовательский интерфейс, который затем позволяет пользователю устанавливать вызов.

[76] На этапе 1006 принимается передача от мобильного устройства. Передача может включать в себя информацию и данные, позволяющие визуализировать пользовательский интерфейс на визуальной консоли или устройстве отображения увеселительной системы. На этапе 1008 осуществляется одно или более действий, ассоциированных со связью и осуществление задачи. Могут осуществляться любые подходящие действия, включающие в себя, в порядке примера, но не ограничения, обработку данных и информации, обеспеченных мобильным устройством для визуализации пользовательского интерфейса, позволяющего пользователю взаимодействовать с развлекательной системой с использованием одного или более различных типов модальности.

[77] На этапе 1010 принимается ввод, имеющий модальность второго типа, который связан с осуществлением задачи. В проиллюстрированном и описанном примере, модальность второго типа отличается от модальности первого типа. Можно использовать любой подходящий тип модальности, примеры которых приведены выше. В ответ на прием ввода, имеющего модальность второго типа, на этапе 1012 осуществляется одно или более действий, ассоциированных с принятым вводом. Могут осуществляться любые подходящие действия. В проиллюстрированном и описанном примере, эти действия могут быть ассоциированы с задачей, инициированной действиями, осуществляемыми на этапе 1008. Альтернативно или дополнительно, действия, осуществляемые на этапе 1012, могут быть ассоциированы с задачей, которая отличается от задачи, ассоциированной с действиями, осуществляемыми на этапе 1008.

[78] На этапе 1016 принимается ввод, имеющий модальность третьего типа. В проиллюстрированном и описанном примере, модальность третьего типа отличается как от модальности первого типа, так и от модальности второго типа. Можно использовать любой подходящий тип модальности, примеры которых приведены выше. В ответ на прием ввода, имеющего модальность третьего типа, на этапе 1018 осуществляется одно или более действий, ассоциированных с принятым вводом. Могут осуществляться действия любых подходящих типов. В проиллюстрированном и описанном примере, эти действия могут быть ассоциированы с задачей, инициированной действиями, которые осуществлялись на этапе 1008, и действиями, которые осуществлялись на этапе 1012. Альтернативно или дополнительно, эти действия могут быть ассоциированы с задачей, которая отличается от задач, ассоциированных с действиями, осуществляемыми на этапах 1008 и/или 1012. Затем способ предусматривает продолжение приема вводов первого, второго и/или третьего типов модальности и осуществление дополнительных действий, ассоциированных с теми же или другими задачами.

[79] Таким образом, пользователь может выполнять единственную задачу или различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста. Так, например, если пользователь инициирует задачу с использованием речевой модальности и обнаруживает, что находится в условиях напряженного движения, он может продолжать выполнять задачу с использованием речевой модальности, пока не станет меньше занят вождением, например, на запрещающем сигнале светофора или в условиях свободного движения. Это позволяет пользователю естественным образом переходить между этими разными модальностями ввода в любой подходящей комбинации. Например, пользователь может плавно переходить между (1) речью и прикосновением, (2) речью и поворотным переключателем, (3) речью, прикосновением и поворотным переключателем или любой их комбинацией.

[80] Рассмотрев, как задача может выполняться посредством мультимодального ввода, рассмотрим аспекты адаптации чисто речевых вариантов восприятия на основе контекста пользователя.

Адаптация чисто речевых вариантов восприятия

[81] В одном или более вариантах осуществления, чисто речевые варианты восприятия могут адаптироваться на основе контекста пользователя. Контекст пользователя может включать в себя, в порядке примера, но не ограничения, сценарий вождения пользователя, когнитивную нагрузку и пр. Таким образом, речевое восприятие можно динамически адаптировать для приспособления контекста пользователя таким образом, чтобы повысить безопасность вождения. Кроме того, посредством речевого взаимодействия пользователю может предлагаться использовать конкретный тип ответа. Таким образом, пользователь может на свое усмотрение выбирать тип ответа, наиболее подходящий для его текущего контекста.

[82] В порядке примера, рассмотрим фиг. 11, где показан пользователь, ведущий машину и участвующий в диалоге со своим модулем взаимодействия или персональным помощником. В этом примере пользователь садится в машину и соединяет свое мобильное устройство с развлекательной системой автомобиля. Соответственно, мобильное устройство знает, что пользователь ведет машину.

[83] В этом примере модуль взаимодействия представлен пиктограммой в виде концентрических окружностей, и пользователь представлен пиктограммой пользователя. Заведя машину, пользователь вступает в общение с модулем взаимодействия, который, в свою очередь отвечает: "Чем могу помочь?" Пользователь отвечает: "Какие планы на день?" В ответ на этот вопрос, модуль взаимодействия устанавливает, из приложения календаря пользователя, наметил ли пользователь какие-либо встречи, и отвечает: "У Вас встреча в 10 часов с банкиром. Что-нибудь еще?" Затем пользователь отвечает: "Спасибо, нет".

[84] Некоторое время спустя, пользователь принимает текстовое сообщение, и модуль взаимодействия извещает об этом пользователя, говоря: "Вам написал брат. Прочитать текст?" Спрашивая пользователя, хочет ли он прослушать текстовое сообщение, и поскольку мобильное устройство знает, что пользователь ведет машину, модуль взаимодействия обеспечивает возможность более безопасной модальности, чем отображение сообщения на экране мобильного устройства или устройства отображения консоли. Пользователь отвечает "Нет".

[85] Некоторое время спустя пользователь принимает вызов, и модуль взаимодействия извещает об этом пользователя, говоря "Входящий вызов от Вашей жены. Ответить?" Пользователь отвечает "Да" и коротко говорит с женой. В ходе разговора, пользователь узнает, что его брат пытался связаться с ним. Затем пользователь вступает в общение с модулем взаимодействия, который отвечает "Чем могу помочь?" Пользователь говорит модулю взаимодействия: "Прочесть последнее сообщение от брата". Модуль взаимодействия отвечает '"Привет, братан! Давай вместе поужинаем." Ответить, перезвонить, или ничего не делать?' В этом конкретном случае модуль взаимодействия обращается к пользователю с вопросом, желает ли пользователь использовать конкретный тип ответа, т.е. текстовый ответ или телефонный вызов. Соответственно, модуль взаимодействия дает пользователю возможность выбора наиболее удобной среды передачи данных, исходя из конкретного контекста вождения. В ответ на это обращение, пользователь произносит "ответить". Затем модуль взаимодействия спрашивает пользователя: "Каков Ваш ответ?", на что пользователь отвечает: "Конечно. В восемь. Я забронирую столик и дам тебе знать".

[86] Подтвердив содержание ответа, модуль взаимодействия спрашивает: " Отправить в таком виде, дописать или переписать заново?" Пользователь отвечает "Отправить в таком виде", после чего модуль взаимодействия подтверждает "Ваше сообщение отправлено".

[87] Некоторое время спустя в ходе вождения, пользователь вступает в общение с модулем взаимодействия, и модуль взаимодействия отвечает: "Чем могу помочь?" Пользователь отвечает: "Напомни мне забронировать столик на ужин, когда я приеду на работу". Модуль взаимодействия отвечает "Хорошо. Напомнить Вам забронировать столик на ужин, когда Вы приедете на работу. Правильно?" Пользователь отвечает: "Да", на что модуль взаимодействия отвечает: " Отлично. Напоминание добавлено".

[88] В порядке другого примера, рассмотрим фиг. 12, где показан пользователь, ведущий машину и участвующий в диалоге со своим модулем взаимодействия или персональным помощником. В этом конкретном примере, пользователь активирует свой персональный помощник или модуль взаимодействия. Модуль взаимодействия отвечает: "Чем могу помочь?" Пользователь отвечает: "Воспроизводить какую-нибудь музыку наподобие Coldplay". Модуль взаимодействия отвечает: "Хорошо. Воспроизводить Вашу музыку Coldplay на Xbox music".

[89] Некоторое время спустя модуль взаимодействия прерывает воспроизведение и сообщает пользователю: "На маршруте Вашего движения ДТП привело к большой пробке. Не хотите ли объехать по SR-123, чтобы сэкономить 15 минут?" Пользователь отвечает "Да". Затем модуль взаимодействия отвечает: "Отлично. Прокладываю новый маршрут. Воспользуйтесь съездом, обозначенным 162B, в одной миле от Вас".

[90] Некоторое время спустя модуль взаимодействия вновь активируется и отвечает: "Чем могу помочь?" Пользователь спрашивает: "Когда следующий поворот?" Модуль взаимодействия отвечает: " Через две мили поверните направо на Мерсер Стрит". Некоторое время спустя модуль взаимодействия вновь активируется и отвечает: "Чем могу помочь?" Пользователь говорит: "следующая дорожка", чтобы перейти к следующей песне. Модуль взаимодействия отвечает: "Да. Следующая дорожка".

[91] В вышеописанном примере модуль взаимодействия предоставляет пользователю проактивную помощь. В частности, извещая пользователя о ДТП на маршруте движения, модуль взаимодействия позволяет пользователю заранее принимать решение в отношении маршрута своего движения. Кроме того, модуль взаимодействия заранее определяет объезд, рекомендуемый пользователю. Этот пример также демонстрирует контекстную осведомленность мобильного устройства о ситуации вождения пользователя. Таким образом, будучи контекстуально осведомленным, модуль взаимодействия способен обеспечивать разумные предложения и позволяет улучшить восприятие пользователя. Кроме того, этот пример демонстрирует способность системы поддерживать понимание контекста восприятия пользователя, чтобы можно было точно действовать на последующем вводе в отношении восприятия пользователя. Например, пользователь инициирует восприятие путем воспроизведения музыки, которое затем прерывается системой для извещения о ДТП. В ходе пользовательского восприятия, ассоциированного с приемом информации смены маршрута, пользователь вступает в диалог с системой для перехода к следующей дорожке. Соответственно, система поддерживает понимание контекста восприятия пользователя и способна возобновлять музыкальное восприятие пользователя с того места, где оно было остановлено. Таким образом, система позволяет прерывать выполнение первой задачи, ассоциированной с первым приложением (например, воспроизведение музыки с использованием приложения медиапроигрывателя) в пользу второй другой задачи, ассоциированной со вторым другим приложением (например, перенаправленным приложением карты). Пользователь может взаимодействовать с приложением с использованием нескольких разных модальностей и может плавно переходить между текущей задачей и последующей задачей и обратно.

[92] В порядке другого примера контекстной осведомленности рассмотрим следующее. Предположим, что пользователь движется по магистрали в час пик. Таким образом, движение плотное. Зная, что пользователь движется по конкретной магистрали в конкретное время, модуль взаимодействия может принимать решения в отношении того, как представлять пользовательское восприятие. Так, например, если пользователь принимает текстовое сообщение, модуль взаимодействия может откладывать извещение пользователя на более позднее время, когда пользователь выберется из плотного движения. То же самое справедливо в отношении извещений или обращений любого типа. Этот пример также демонстрирует, как восприятие персонального помощника может адаптироваться к мобильным и немобильным сценариям. В частности, в немобильных сценариях извещения могут обеспечиваться сразу после наступления события, например, приема текстового сообщения. Однако в мобильных сценариях такие извещения нужно модифицировать в отношении хронирования.

[93] В порядке другого примера контекстной осведомленности рассмотрим следующее. Предположим, что пользователь ведет машину в пригородах Сиэтла вблизи Pike's Place Market и ищет автостоянку. Система знает, из календаря пользователя, что пользователь назначил встречу поблизости. Пользователь также сообщает системе, что он пытается найти автостоянку. Система советует: "Возможно, лучше запарковаться сейчас, поскольку, если Вы запаркуетесь, Вам не придется искать более удобную парковку, и нужно будет пройти пешком лишь пять минут вместо того, чтобы 15 минут стоять в пробке, пытаясь найти другое место".

[94] В порядке другого примера, предположим, что пользователь обнаруживает, что в баке мало бензина, находясь в потоке машин. Пользователь может быть подписан на услугу станционного обслуживания "Shell". Зная текущее местоположение и что в баке осталось мало бензина, а также о подписке на станционное обслуживание "Shell", модуль взаимодействия может посоветовать "Вам нужно как можно скорее заправиться. Станция Shell на следующем съезде". Таким образом, модуль взаимодействия способен работать совместно с другими приложениями, выполняющимися на мобильном телефоне пользователя и/или приложениями, выполняющимися удаленно, например, в "облаке", и делать соответствующие контексту предложения на основе информации, полученной от этих других приложений.

[95] В порядке другого примера, система может заметить, что пользователю нравится альтернативная музыка. Когда пользователь ведет машину по Южной Калифорнии, система может сообщать пользователю: "Эй, тебе нравится слушать альтернативную музыку и ездить по Южной Калифорнии? Здесь есть некоторые великолепные местные группы, о которых тебе будет интересно узнать. Желаешь послушать про них?"

[96] На фиг. 13 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном.

[97] На этапе 1300 устанавливается, что мобильный телефон движется в автомобиле. Этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления этап может осуществляться, когда между мобильным телефоном и развлекательной системой автомобиля установлено оперативное соединение. В ответ на установление того, что мобильный телефон движется в автомобиле, на этапе 1302 модифицируется восприятие персонального помощника, ассоциированное с мобильным телефоном. Это может осуществляться любым подходящим образом. Например, этот этап может осуществляться с использованием речевой модальности для извещений, а не других модальностей, например, экрана дисплея телефона. Например, в немобильных сценариях извещения могут обеспечиваться просто отображением извещения на экране дисплея телефона или, возможно, с использованием бейджа или пиктограммы. Однако в мобильных сценариях речевые извещения можно использовать вместо или помимо визуальных извещений, чтобы способствовать безопасности вождения. Таким образом, пользователю не нужно смотреть на экран телефона, чтобы принимать извещение. Этот этап также может осуществляться за счет предложения типов ответов, которые делают их более безопасными для сценария вождения. Например, в ответ на прием текстового сообщения и извещение пользователя, персональный помощник может предложить типы ответов, которые не требуют, чтобы пользователь отвлекался от дороги, например, текстовый ответ, телефонный вызов, вызов голосовой связи по IP и пр. Далее, этап может осуществляться путем регулировки хронирования извещений. В частности, согласно вышеприведенному примеру, если пользователь едет в час пик, извещение может откладываться до тех пор, пока пользователь не выберется из плотного движения.

[98] На фиг. 14 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном.

[99] На этапе 1400 устанавливается, что мобильный телефон движется в автомобиле. Примеры того, как это может осуществляться, приведены выше. На этапе 1402 устанавливается текущий контекст вождения. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления мобильный телефон может устанавливать текущий контекст вождения (например, текущее местоположение, условия движения, погодные условия, конструкцию дороги и пр.) на основе связи с удаленным источником, например веб-службой. В ответ на установление текущего контекста вождения, на этапе 1404 обеспечивается проактивное извещение, ассоциированное с текущим контекстом вождения. Так, например, на основе текущего местоположения и условий движения, персональный помощник телефонного устройства может рекомендовать альтернативные маршруты. Альтернативно или дополнительно, на основе текущих погодных условий, персональный помощник может выдавать предупреждения, ассоциированные с погодой, например, "В Вашем текущем местоположении объявлена угроза торнадо. Найдите безопасное место, например эстакаду, чтобы съехать с дороги".

[100] Рассмотрев различные варианты осуществления, связанные с адаптацией чисто речевого восприятия, рассмотрим возможности адаптации пользовательского интерфейса для поворотного переключателя и сенсорного экрана.

Адаптация пользовательского интерфейса для поворотного переключателя и сенсорного экрана

[101] Одно из соображений, принимаемых во внимание при проектировании механизмов ввода для поворотного переключателя и сенсорного экрана, состоит в том, что, ввиду его тактильной природы, поворотный переключатель обычно труднее проектировать. В то же время, если, помимо ввода через поворотный переключатель, подлежит рассмотрению тактильный ввод, цель ввода должна быть сконструирована для применения обоих. Таким образом, она должна быть сконструирована для облегчения прикосновения для тактильного ввода, а также облегчения навигации для ввода через поворотный переключатель. В проиллюстрированном и описанном варианте осуществления, цели включают в себя объекты, которые могут быть снабжены сквозной системой обозначений для ввода через поворотный переключатель, и размерами для приспособления к тактильному вводу. Можно использовать объекты любого подходящего типа, примеры которых включают в себя плитки или пиктограммы.

[102] В порядке примера, рассмотрим фиг. 15, где показана консоль 106 из фиг. 3, причем аналогичные ссылочные позиции используются для изображения аналогичных компонентов. Показано, что консоль 106 отображает отдельные плитки. Плитки имеют такие размеры, чтобы пользователь мог легко выбирать их прикосновением. В то же время, поворотный переключатель 112 позволяет облегчать навигацию по плиткам благодаря сквозному режиму обозначений. В частности, навигация может начинаться с верхней левой плитки, и вращение поворотного переключателя в направлении по часовой стрелке позволяет переходить к следующей вправо плитке. Это может продолжаться, пока не будет достигнут конец первой строки (т.е. самая правая вкладка в первой строке), после чего дальнейшее вращение поворотного переключателя в направлении по часовой стрелке приведет к переходу к самой левой плитке во второй строке и т.д. Использование единственного линейного направления навигации с помощью поворотного переключателя облегчает пользователю управление навигацией предсказуемым образом. Дело в том, что перебор целей навигации происходит последовательно, упорядоченно и предсказуемо. В этом конкретном примере, навигация по объектам происходит слева направо и сверху вниз.

[103] Кроме того, как описано выше в разделе "Мультимодальный ввод адресации", ввод для выполнения конкретной задачи может предсказуемо и плавно переключаться между поворотным переключателем и прикосновением. Например, предположим, что пользователь тактильно выбрал карту для облегчения своей навигации. Он желает увеличить масштаб карты для получения более детальной визуализации своего текущего местоположения. Хотя инструментарий пользовательского интерфейса на карте позволяет пользователю выполнять множественные тактильные вводы для изменения масштаба карты, в порядке альтернативы можно использовать поворотный переключатель. Это избавляет пользователя от необходимости отвлекаться от дороги каждый раз, когда требуется изменить масштаб тактильными средствами. В частности, выбрав карту, пользователь может просто повернуть поворотный переключатель по часовой стрелке для увеличения масштаба или против часовой стрелки для уменьшения масштаба. Таким образом, пользователю не нужно отводить взгляд от дороги, чтобы изменить масштаб карты.

[104] По меньшей мере, в некоторых вариантах осуществления, когда масштабируемый контент, например, карта или другой интерактивный объект представлен на дисплее консоли, ввод масштабирования может быть зафиксирован на поворотном переключателе чтобы гарантировать, что в случае, когда пользователь пожелает выполнить операцию масштабирования, он будет делать это с использованием наиболее безопасной модальности, т.е. той, которая не требует отводить взгляд от дороги. Таким образом, фиксацию одной из модальностей ввода можно отменять в пользу другой, на основе контекста взаимодействия пользователя с отображаемым контентом, например, объектами, отображаемыми на консоли.

[105] Альтернативно или дополнительно, пользователь может выбрать масштабируемый контент с использованием поворотного переключателя, нажимая на поворотный переключатель в присутствие отображаемого контента. Когда масштабируемый контент отображается, его масштаб можно изменять с использованием тактильного ввода, например, щипкового жеста двумя пальцами.

[106] В других вариантах осуществления, когда масштабируемый контент отображается, поворотный переключатель можно использовать для переключения между отображаемыми средствами управления для выбора модальности масштабирования, нажимать на него, и затем, возможно, отображать средство управления типа ползунок, который можно регулировать посредством прикосновения или поворотного переключателя.

[107] Способы в соответствии с вышеописанными вариантами осуществления, могут осуществляться аналогично описанному в связи с фиг. 10. Таким образом, ввод может приниматься посредством модальностей, отличных от поворотного переключателя, для инициирования задачи или осуществления действий в задаче. Затем пользователь может, при необходимости, переходить к поворотному переключателю для обеспечения ввода. Например, в ряде случаев, ввод можно фиксировать таким образом, что в некоторые конкретные моменты в ходе осуществления задачи, ввод может обеспечиваться только посредством поворотного переключателя. Альтернативно или дополнительно, поворотный переключатель можно использовать при осуществлении задачи для навигации между различными средствами управления, после чего можно использовать ввод посредством других модальностей ввода для осуществления дальнейших действий в задаче.

[108] На фиг. 15A показана блок-схема операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется системой, которая включает в себя надлежащим образом сконфигурированное мобильное устройство, например, мобильный телефон, и автомобильную информационную/развлекательную систему.

[109] На этапе 1500 отображается массив объектов на консоли автомобильной информационной/увеселительной системы. Этап может осуществляться любым подходящим образом с использованием объектов любого подходящего типа. Например, дисплей консоли может возбуждаться контентом и приложениями, которые располагаются на мобильном телефоне. Отображаемые объекты могут содержать объектов любых подходящих типов, примеры которых включают в себя плитки, пиктограммы и пр. В примере, приведенном на фиг. 15, массив объектов содержит совокупность плиток, которые отображаются строками и столбцами. На этапе 1502 разрешается взаимодействие с массивом объектов посредством поворотного переключателя или тактильного ввода. Таким образом, пользователь получает возможность взаимодействовать с массивом объектов с использованием любой модальности. На этапе 1504 принимается ввод для осуществления задачи с помощью одного из поворотного переключателя или прикосновения. Можно осуществлять задачу любого подходящего типа. В вышеприведенных примерах, задачи могут включать в себя осуществление навигации по массиву объектов с целью, в конце концов, сделать выбор. На этапе 1506 осуществляется по меньшей мере, одно действие, ассоциированное с принятым вводом. С использованием примера навигации, такое действие может включать в себя визуальное осуществление навигации по объектам, позволяющей пользователю производить выбор. На этапе 1508 принимается ввод для выполнения задачи с помощью другого из поворотного переключателя или прикосновения. Таким образом, пользователь может плавно переходить между модальностями для осуществления одной и той же задачи. Например, если первый ввод был принят посредством поворотного переключателя, навигация будет осуществляться для перехода между отдельными объектами массива. Достигнув интересующего объекта, пользователь может прикоснуться к объекту, чтобы выбрать его. На этапе 1510 осуществляется, по меньшей мере, одно дополнительное действие, ассоциированного с другим принятым вводом. Это может включать в себя, например, запуск контента, ассоциированного с выбранным объектом.

[110] В прочих вариантах осуществления, пользовательский интерфейс, отображаемый на консоли, может адаптироваться для облегчения навигации и потребления контента с использованием поворотного переключателя и сенсорного экрана.

[111] Одну такую адаптацию можно использовать совместно со списками, которые могут иметь большую длину. В порядке примера, рассмотрим фиг. 16, где показана часть списка контактов пользователя. Список контактов имеет много записей, и если пользователь желает вызвать конкретный контакт, находясь за рулем, он сталкивается с проблемой осуществления навигации по большому количеству записей списка контактов для нахождения конкретного интересующего его контакта. В этом примере, предположим, что поворотный переключатель недоступен для использования. В этом случае, список организован так, что включает в себя интерактивный объект, который позволяет пользователю осуществлять алфавитный поиск.

[112] В этом конкретном примере, алфавитным поиском можно пользоваться, выбирая конкретную букву, как показано на фигуре. В данном случае пользователь тактильно выбрал букву "a".

[113] В ответ на тактильный выбор конкретной буквы при отображающихся контактах, обеспечивается сетка из выбираемых букв, позволяющая пользователю переходить к конкретной букве. В порядке примера, рассмотрим фиг. 17, где, ввиду пространственных ограничений, сетка букв показана отдельно от консоли. В этом примере, пользователь тактильно выбрал букву "m". В ответ на тактильный выбор буквы "m", происходит навигация к контактам, начинающихся с буквы "m", например, показанных на фиг. 18. В данном случае пользователь может выбирать конкретный контакт, например, "Mandrake Short", чтобы связаться с ним. После выбора контакта, пользователю может быть представлено несколько вариантов осуществления связи, например, показанных на фиг. 19.

[114] На фиг. 19A показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном и автомобильной развлекательной/информационной системой.

[115] На этапе 1900 отображается часть обходимого списка. Обходимый список может включать в себя контент из мобильного телефона. В частности, в этом конкретном примере, мобильный телефон подключается в ходе работы к автомобильной развлекательной/информационной системе, как описано выше. Таким образом, контент мобильного телефона может отображаться на консоли автомобиля. Может обеспечиваться обходимый список любого подходящего типа, примером которого является вышеописанный список контактов пользователя.

[116] На этапе 1902 принимается выбор объекта списка. Предметом принятого выбора может быть объект списка любого подходящего типа. Например, в вышеприведенном примере списка контактов, был принят выбор в отношении конкретной отображаемой буквы. По меньшей мере, в некоторых вариантах осуществления, обходимый список может включать в себя объекты списка, которые обеспечивают навигацию в другие места в списке, и объекты списка, которые включают в себя контент списка. В примере списка контактов, объекты списка, которые обеспечивают навигацию в другие места, включают в себя отображаемые буквы, тогда как объекты, которые включают в себя контент списка, включают в себя отдельные контакты пользователя. В ответ на прием выбора объекта списка, на этапе 1904 осуществляется или разрешается навигация к другой части обходимого списка. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления, этап может осуществляться отображением массива или сетки объектов, которые обеспечивают навигацию к разным частям обходимого списка. В вышеприведенном иллюстративном контексте, массив или сетка объектов, которые обеспечивают навигацию в двух разных частях списка, включает в себя отдельные буквы, которые можно выбирать. В ответ на прием выбора одного из отображаемых объектов массива или сетки, на этапе 1904 осуществляется навигация к части списка, соответствующей выбранной букве. На этапе 1906 принимается выбор объекта списка. Этот этап может осуществляться путем приема выбора объекта списка, который включает в себя контент списка. Например, в примере списка контактов, этот этап может осуществляться путем приема выбора отдельного контакта, который появляется в списке. В ответ на прием выбора объекта списка, на этапе 1908 осуществляются функции, ассоциированные со списком. Могут осуществляться функции любого подходящего типа. В вышеприведенном примере списка контактов, такие функции могут включать в себя представление нескольких разных вариантов осуществления связи, которые пользователь может выбирать для осуществления связи с выбранным контактом.

[117] Теперь предположим, что поворотный переключатель доступен, и плитки с буквами, используемые для алфавитного поиска, как в предыдущем примере, отключаются для обеспечения более плавного восприятия. В этом случае, интерактивный объект алфавитного поиска выглядит, как одна крупная буква, заменяющая список, когда пользователь быстро вращает поворотный переключатель.

[118] В порядке примера, рассмотрим фиг. 20. Здесь отображается крупная буква "e". Быстро вращая поворотный переключатель, можно быстро осуществлять навигацию по буквам, пока не появится нужная буква, например, буква "h", как показано на фиг. 21. Теперь, нажимая поворотный переключатель, пользователь возвращается к месту в списке, соответствующему выбранной букве, например, показанному на фиг. 22.

[119] Аналогичным образом, достигнув нужной буквы в списке, пользователь может быстро осуществлять навигацию по записям в списке практически так же, как при осуществлении навигации к отдельным буквам. Таким образом, когда пользователь быстро вращает поворотный переключатель, предполагается, что пользователь желает пропустить много записей в списке и, таким образом, пользователь получает возможность скачкообразно перемещаться по списку и обходить много записей. Альтернативно, медленно вращая поворотный переключатель, пользователь может последовательно перебирать все отображаемые имена. Таким образом, в этом примере, поворотный переключатель может начинать с выбора первого имени в списке, и, медленно вращая поворотный переключатель, пользователь может последовательно перебирать все отображаемые имена. Теперь предположим, что пользователь быстро вращает поворотный переключатель. Это позволяет быстро обходить список и пропускать множественные записи списка, достигая записи, расположенной на несколько записей ниже в списке.

[120] На фиг. 22A показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном и автомобильной развлекательной/информационной системой.

[121] На этапе 2200 отображается, на автомобильной консоли, одна или более букв. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления, может отображаться одна буква. Альтернативно или дополнительно, по меньшей мере, в некоторых вариантах осуществления, могут отображаться множественные буквы, например, последовательность из трех или четырех букв. Этап 2202 принимает пользовательский ввод через поворотный переключатель. Этот ввод может приниматься в результате вращения пользователем поворотного переключателя в конкретном направлении, например, по часовой стрелке или против часовой стрелки. На этапе 2204 осуществляется перебор букв как функция скорости вращения поворотного переключателя. В проиллюстрированном и описанном примере, перебор букв может включать в себя кратковременное последовательное отображение отдельных букв до появления нужной буквы. На этапе 2206 принимает выбор буквы через поворотный переключатель. Этот этап может осуществляться, например, путем приема пользовательского ввода, состоящего в нажатии поворотного переключателя или иной манипуляции с поворотным переключателем для указания желания выбрать букву. В ответ на прием выбора буквы, на этапе 2208 отображается часть списка, начинающаяся с записей, соответствующих выбранной букве. Например, в примере, приведенном на фиг. 22, могут отображаться записи, начинающиеся с выбранной буквы "H". После этого, поворотный переключатель можно использовать для навигации по части списка, вперед и назад, для достижения нужной записи. После выбора нужной записи, функциональные возможности, включающие в себя функциональные возможности связи-пять, могут представляться пользователю, чтобы он мог осуществлять связь с выбранной записью.

Адаптивный пользовательский интерфейс

[122] Ввиду самой природы различий между мобильным устройством и устройством отображения консоли, восприятие пользовательского интерфейса в отношении их может различаться. Тому может быть несколько причин, не последней из которых является безопасность. Аналогично, если пользователь пользуется своим мобильным устройством вне контекста автомобиля, можно предположить, что внимание пользователя приковано к его восприятию пользовательского интерфейса с мобильным устройством. С другой стороны, когда пользователь сидит в машине, используя свое мобильное устройство для взаимодействия с консолью автомобиля, внимание пользователя менее приковано к восприятию пользовательского интерфейса с консолью.

[123] С учетом этого, различные варианты осуществления адаптируются к восприятию пользовательского интерфейса мобильного устройства для представления контента от мобильного устройства на устройстве отображения консоли таком образом, чтобы пользователь мог отчетливо видеть контент и повышать безопасность.

[124] В порядке примера, рассмотрим фиг. 23, где показано сравнение путем расположения рядом восприятия пользовательского интерфейса мобильного устройства с восприятием пользовательского интерфейса устройства отображения консоли.

[125] Рассмотрим сначала средство управления Pivot на мобильном устройстве, обозначенный, в целом, позицией 2300. Здесь средство управления Pivot организовано в форме горизонтально прокручиваемого списка элементов Pivot, например, ʺplaylistsʺ (списки воспроизведения), ʺgenresʺ (жанры) и пр. Когда пользователь пользуется своим мобильным устройством вне контекста автомобиля, он может просто прокручивать различные элементы Pivot для их отображения на дисплее.

[126] Рассмотрим адаптацию средства управления Pivot для использования совместно с консолью автомобиля, обозначенной, в целом, позицией 2302. Когда контент мобильного устройства проецируется на устройство отображения консоли, средство управления Pivot может адаптироваться для представления контента в режиме, более подходящем для окружения, в котором пользователь может не полностью посвящать свое внимание восприятию пользовательского интерфейса. В частности, первая из адаптаций состоит в том, что средство управления Pivot представлено как вертикальный список вкладок, которые выкладываются со всеми видами, видимый с одного взгляда. В этом состоит отличие от средство управления Pivot на мобильном устройстве, поскольку в этом конкретном случае, пользователю не нужно обеспечивать ввод посредством любой модальности ввода, чтобы видеть все элементы Pivot. Элементы Pivot также представляются увеличенным размером текста, чем используется на мобильном устройстве. Это повышает потребление пользователем с первого взгляда. Кроме того, представлены более крупные цели прикосновения, которые, например, обозначены поздней 2304.

[127] Рассмотрим средство управления списком на мобильном устройстве, обозначенный, в целом, позицией 2306. В этом случае, средство управления списком отображает достаточное количество элементов списка для заполнения дисплея мобильного устройства. В этом конкретном случае, в зависимости от размера текста, это может включать в себя отображение восьми, девяти, 10 или более элементов. Когда пользователь пользуется своим мобильным устройством вне контекста автомобиля, в действительности нет никакой связи безопасности пользователя с количеством отображаемых элементов списка. Дело в том, что предполагается, что пользователь посвящает все свое внимание восприятию пользовательского интерфейса на своем мобильном устройстве. Кроме того, на мобильном устройстве, средство управления списком прокручивается, а именно, прокручивается в вертикальном направлении, для осуществления доступа к неотображаемым элементам, которые расположенные ниже по списку. С другой стороны, когда контент мобильного устройства проецируется на устройство отображения консоли, производятся адаптации средства управления списком.

[128] Например, рассмотрим средство управления списком 2308. Различные варианты осуществления отображают заранее заданное количество элементов списка, которое меньше количества элементов списка, которое отображаются на мобильном устройстве. Так, например, если мобильное устройство отображает 10 элементов, устройство отображения консоли может отображать только шесть элементов для повышения способности бросать взгляд и облегчения потребления. Кроме того, по меньшей мере, в некоторых вариантах осуществления, средство управления списком, отображаемое на консоли, не прокручивается непрерывно, но, вместо этого, использует страничную модель, чтобы пользователь мог пролистывать сразу несколько элементов списка. Кроме того, другие адаптации могут включать в себя использование больших размеров текста и больших размеров целей для элементов, входящих в список консоли. Также обеспечивается видимый фокус для ввода через поворотный переключатель. В порядке примера, элемент "список воспроизведения" может выделяться таким образом, чтобы пользователю было легко визуально устанавливать местоположение в средстве управления Pivot, и может обеспечивать ввод через поворотный переключатель для перемещения вверх и вниз по элементам в средстве управления Pivot.

[129] Можно производить другие адаптации в отношении других вариантов восприятия пользовательского интерфейса. В порядке примера, рассмотрим фиг. 24, где показаны средство 2400 управления медиаэлементами на мобильном устройстве и средство 2402 управления медиаэлементами на устройстве отображения консоли. Тогда как на мобильном устройстве, средство управления медиаэлементами позволяет пользователю воспроизводить аудио- и видеоконтента. Средство управления медиаэлементами на консоли может быть выполнено с возможностью обеспечивать воспроизведение только аудио, но не видеоконтент. Кроме того, обеспечиваются более крупные цели прикосновения, например, кнопки воспроизведения и паузы и видимый фокус для ввода через поворотный переключатель. Опять же, такие адаптации упрощают потребление и повышают безопасность.

[130] Можно производить другие адаптации в отношении других вариантов восприятия пользовательского интерфейса. Например, на мобильном устройстве, на телефоне может обеспечиваться средство управления Panorama, чтобы пользователь мог панорамировать контент или элементы. По меньшей мере, в некоторых вариантах осуществления, всякий раз, когда восприятие пользовательского интерфейса на мобильном устройстве разрешает средство управления Panorama, средство управления Panorama запрещается на консоли и, альтернативно, заменяется средством управления Pivot. Одна причина замены средства управления Panorama средством управления Pivot состоит в том, что средства управления Panorama в основном опираются на использовании маховых жестов и анимации. Благодаря замене средства управления Panorama средством управления Pivot, пользователь может уделять меньше внимания контенту, который появляется в средстве управления Pivot, для осуществления выбора или навигации.

[131] Другие адаптации можно производить в отношении так называемых средств сеточного управления. В частности, некоторые приложения на мобильных устройствах используют сетку для представления контента. Пример сетки показан на фиг. 3. Средства сеточного управления демонстрируют хорошую работу в контексте мобильных устройств, когда пользователь может обращать внимание на восприятие навигации. Варианты восприятия навигации по средству сеточного управления выглядят достаточно свободными, непредсказуемыми и динамичными. Например, обычно пользователь может, посредством различных типов маховых жестов, перемещаться по сетке, казалось бы, непредсказуемым образом для осуществления доступа к контенту сетки. В контексте консоли автомобиля, пользовательское восприятие средства сеточного управления мобильного устройства можно заменить восприятием списочного типа, например, показанным на фиг. 23. Восприятие списка, в контексте устройства отображения консоли, может способствовать более предсказуемому и стойкому восприятию обхода, в частности, в отношении ввода через поворотный переключатель.

[132] На фиг. 25 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Этапы можно реализовать совместно с любым подходящим аппаратным обеспечением, программным обеспечением, программно-аппаратным обеспечением или их комбинацией. По меньшей мере, в некоторых вариантах осуществления, способ можно реализовать посредством надлежащим образом сконфигурированной системы, например, мобильного устройства и автомобильной информационной/развлекательной системы.

[133] На этапе 2500 мобильное устройство соединяется с автомобильной информационной/развлекательной системой. На этапе 2502 восприятие пользовательского интерфейса, ассоциированное с мобильным устройством, адаптируется к восприятию пользовательского интерфейса, ассоциированному с автомобильной информационной/развлекательной системой. Адаптации могут осуществляться любым подходящим образом. Например, средство управления Pivot на мобильном устройстве может адаптироваться от использования прокручиваемого средство элементов Pivot к использованию визуализации списочного типа, в которой все виды наблюдаются одновременно. Альтернативно или дополнительно, средства управления списком на мобильном устройстве могут адаптироваться от использования прокручиваемого списка к использованию страничной модели, чтобы пользователь мог пролистывать сразу несколько элементов. Дополнительные адаптации могут включать в себя, в порядке примера, но не ограничения, ограничение средств управления медиаэлементами от разрешения воспроизведения аудио и видео на мобильном устройстве до разрешения воспроизведения только аудио на консоли автомобильной информационной/увеселительной системы. Альтернативно или дополнительно, можно производить различные адаптации средства сеточного управления для адаптации восприятия навигации по средству сеточного управления от достаточно свободного и непредсказуемого восприятия на мобильном устройстве к более линейному, последовательному и предсказуемому восприятию навигации, как упомянуто выше.

Адаптивный пользовательский интерфейс с использованием множественных экранов

[134] В одном или более вариантах осуществления, мобильное устройство способно визуализировать несколько различных типов экрана, которые могут входить в состав оборудования автомобиля. Например, различные типы экрана могут включать в себя, в порядке примера, но не ограничения, типы экрана, ассоциированные с консолью, например, описанные выше, так называемый кластер, который может включать в себя один или более подэкранов, дисплей на лобовом стекле (HUD), в котором контент визуализируется на лобовом стекле автомобиля и пр. В порядке примера, рассмотрим фиг. 26.

[135] Здесь система в соответствии с одним или более вариантами осуществления обозначена, в целом, ссылочной позицией 2600. Система 2600 включает в себя мобильное устройство 2602, которое включает в себя, помимо других компонентов, одно или более приложений 2604, обработчик 2606 правил, модуль 2608 драйвера дисплея и различные типы экрана, включающие в себя, в порядке примера, но не ограничения, консоль 2610, кластер 2612 (обычно на приборной панели, включающий в себя спидометр и другие приборы), подэкран 2614 в кластере 2612 и дисплей 2616 на лобовом стекле.

[136] В этом примере, приложения 2604 могут быть написаны независимыми от типа экрана. Это означает, что разработчики приложений могут писать свои приложения для осуществления различных типов функциональных возможностей, позволяющих создавать визуализируемый контент. Визуализируемый контент можно визуализировать на нескольких различных типах экранов в соответствии со свойствами и характеристиками, ассоциированными с экранами.

[137] В ходе эксплуатации, обработчик 2606 правил обеспечивает контейнер, который включает в себя различные правила, ассоциированные с типами экрана, которые присутствуют на конкретном автомобиле. Отдельные правила могут указывать свойства и характеристики, ассоциированные с контентом, который подлежит визуализации на экране любого конкретного типа. Они могут включать в себя, в порядке примера, но не ограничения, правила форматирования контента, эстетические правила, правила визуального проектирования, правила, относящиеся к культуре, правила, относящиеся к географии, правила, зависящие от языка, правила направления чтения (например, правила справа налево, правила слева направо), правила конфигурации водительского кресла (например, левостороннее/правостороннее расположение водительского кресла), правила речевого взаимодействия и пр.

[138] Когда приложение, например, приложение медиапроигрывателя, подключено к автомобильной информационной/развлекательной системе, оно создает визуализируемый контент, который можно визуализировать на нескольких различных типах экранов. Обработчик 2606 правил может обеспечивать набор правил, которые приложение может использовать для форматирования контента для визуализации на нескольких различных типах экранов. Альтернативно, модуль 2608 драйвера дисплея принимает данные и информацию от приложения и работает в согласовании с обработчиком 2606 правил для возбуждения дисплея на одном или более из конкретных типов экрана.

[139] Например, медиаконтент может отображаться на устройстве отображения консоли 2610, тогда как извещения, предупреждения и обращения могут поступать на кластер 2612 и отображаться им. Обработчик 2606 правил содержит правила для каждого конкретного типа экрана и, соответственно, может предписывать приложению или модулю 2608 драйвера дисплея форматировать данные надлежащим образом для отображения на различных типах экранов. Таким образом, разработчики приложений могут писать приложения просто для создания визуализируемого контента независимо от типа экрана, на котором нужно визуализировать контент. Обработчик 2606 правил и приложение или модуль 2608 драйвера дисплея действуют совместно, чтобы гарантировать, что контент, создаваемый любым конкретным приложением, может надлежащим образом визуализироваться на различных экранах в формате, подходящем для этого типа экрана.

[140] Рассмотрев адаптивный пользовательский интерфейс, ассоциированный с множественными экранами, рассмотрим универсальную модель команд/управления в соответствии с одним или более вариантами осуществления.

Универсальная модель команд/управления

[141] В предыдущем разделе, понятие адаптивного пользовательского интерфейса было описано в связи с визуализируемым контентом. Адаптивный пользовательский интерфейс можно дополнительно распространить на понятие так называемых универсальных средств управления. Таким образом, используя модель адаптивного пользовательского интерфейса, разработчики приложений могут разрабатывать свои приложения таким образом, чтобы они не зависели от того, как визуализируются средства управления. Таким образом, средства управления могут включать в себя как аппаратные средства управления, так и программные средства управления. Такие средства управления могут включать в себя списки, варианты выбора, меню, кнопки, панели, поворотные переключатели и пр.

[142] Когда мобильное устройство подключено к автомобильной информационной/развлекательной системе, и приложение запускается, правила от обработчика 2806 правил указывают приложению ограничения, свойства и характеристики средств управления, которые подлежат визуализации на различных типах экрана. Например, правила могут указывать, сколько средств управления подлежит визуализации, размеры средств управления, размеры шрифта и пр. Используя информацию, полученную от обработчика правил, приложение получает возможность адаптировать свои средства управления для согласования с размерами экрана, заданными правилами, которые оно принимает. Это означает, что приложение не нужно писать под заказ и, как в вышеприведенном примере, значительно облегчает работу разработчика приложений при написании приложений. Таким образом, приложения можно писать для универсальных размеров экрана, которые составляют часть телефона и системы автомобиля. Наглядный пример адаптируемости средств управления представлен на фиг. 23 и 24 и связанном с ними описанием.

[143] В связи с этим, использование обработчика правил также повышает гибкость в адаптации элементов пользовательского интерфейса, например средств управления, в случае изменения положений, регулирующих пользовательские интерфейсы автомобиля. Например, в случаях изменения законодательства, связанного с изменением требований к пользовательским интерфейсам автомобиля, может происходить простое изменение правил, вырабатываемых обработчиком 2606 правил, без необходимости переписать какие-либо приложения. Таким образом, разработчики приложений могут писать свои приложения для "универсального средства управления", а не для конкретных применимых положений.

[144] На фиг. 27 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Этапы можно реализовать совместно с любым подходящим аппаратным обеспечением, программным обеспечением, программно-аппаратным обеспечением или их комбинацией. По меньшей мере, в некоторых вариантах осуществления, способ можно реализовать посредством надлежащим образом сконфигурированной системы, например, мобильного устройства и автомобильной информационной/развлекательной системы.

[145] На этапе 2700 мобильное устройство соединяется с автомобильной информационной/развлекательной системой автомобиля. На этапе 2702 запускается приложение на мобильном устройстве. На этапе 2704 устанавливаются одно или более правил, ассоциированных с визуализацией контента и/или средств управления на одном или более типах экрана, ассоциированных с транспортным средством. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления, этап может осуществляться приложением, выполняющимся на мобильном устройстве. Альтернативно или дополнительно, этот этап может осуществляться модулем драйвера дисплея, который работает в согласовании с приложением для обеспечения контента и средств управления, которые подлежат визуализации на типах экрана. На этапе 2706 правила используются для адаптации контента и/или средства управления, которые подлежат визуализации на типах экрана. На этапе 2708 обеспечивают визуализацию адаптированных контента и/или средств управления на типах экрана.

[146] Рассмотрев различные вышеописанные варианты осуществления, рассмотрим иллюстративное устройство, которое можно использовать для реализации вышеописанных вариантов осуществления. Различные элементы, описанные ниже, можно использовать для реализации как мобильного устройства, так и аспектов автомобильного информационного/развлекательного устройства.

Иллюстративное устройство

[147] Фиг. 28 демонстрирует различные компоненты иллюстративного устройства 2800, которое можно реализовать как вычислительное устройство любого типа, которое можно использовать совместно с вышеописанные варианты осуществления.

[148] Устройство 2800 включает в себя устройства 2802 связи, которые обеспечивают проводную и/или беспроводную передачу данных 2804 устройства (например, принятых данных, принимаемых данных, данных, запланированных для вещания, пакетов данных, содержащих данные и т.д.). Данные 2804 устройства или другой контент устройства могут включать в себя настройки конфигурации устройства, медиаконтент, хранящийся на устройстве, и/или информацию, ассоциированную с пользователем устройства. Медиаконтент 2800, хранящийся на устройстве, могут включать в себя любой тип аудио, видео и/или данных изображения. Устройство 2800 включает в себя один или более вводов 2806 данных, через которые может приниматься любой тип данных, медиаконтент, и/или такие вводы, как выбираемые пользователем вводы, сообщения, музыка, телевизионный медиаконтент, записанный видеоконтент и любой другой типа аудио, видео, и/или данных изображения, принятых из любого источника контента и/или данных.

[149] Устройство 2800 также включает в себя интерфейсы 2808 связи, которые можно реализовать в виде любого одного или более из последовательного и/или параллельного интерфейса, беспроводного интерфейса, любого типа сетевого интерфейса, модема, и в виде любого другого типа интерфейса связи. Интерфейсы 2808 связи обеспечивают соединение и/или линии связи между устройством 2800 и сетью связи, посредством которой другие электронные, вычислительные и коммуникационные устройства обмениваются данными с устройством 2800.

[150] Устройство 2800 включает в себя один или более процессоров 2810 (например, любой из микропроцессоров, контроллеров и пр.), которые обрабатывают различные компьютерноисполняемые инструкции для управления работой устройства 2800 и для реализации вариантов осуществления описанных здесь методов. Альтернативно или дополнительно, устройство 2800 можно реализовать посредством любого одного или комбинации из оборудования, программно-аппаратного обеспечения или фиксированной логической схемы, которая реализована совместно со схемами обработки и управления, которые, в целом, обозначены позицией 2812. Хотя это не показано, устройство 2800 может включать в себя системную шину или систему переноса данных, которая связывает различные компоненты в устройстве. Системная шина может включать в себя любую одну или комбинацию из различных шинных структур, например, шину памяти или контроллер памяти, периферийную шину, универсальную последовательную шину, и/или процессорную или локальную шину, которая использует любую из различных шинных архитектур.

[151] Устройство 2800 также включает в себя компьютерно-считываемые среды 2814, например, один или более компонентов памяти, примеры которых включают в себя оперативную память (RAM), энергонезависимую память (например, любую одну или более из постоянной памяти (ROM), флэш-памяти, EPROM, EEPROM и т.д.), и дисковое запоминающее устройство. Дисковое запоминающее устройство может быть реализовано как любой тип магнитного или оптического запоминающего устройства, например, жесткий диск, записываемый и/или перезаписываемый компакт-диск (CD), любой тип цифрового универсального диска (DVD) и пр. Устройство 2800 также может включать в себя устройство 2816 хранения данных большой емкости.

[152] Компьютерно-считываемые среды 2814 обеспечивает механизмы хранения данных для хранения данных 2804 устройства, а также различные приложения 2818 устройства и любые другие типы информации и/или данных, связанных с аспектами работы устройства 2800. Например, операционная система 2820 может поддерживаться как компьютерное приложение с помощью компьютерно-считываемых сред 2814 и выполняться на процессорах 2810. Приложения 2818 устройства могут включать в себя диспетчер устройств (например, управляющее приложение, прикладная программа, модуль обработки и управления сигналом, внутренний код конкретного устройства, аппаратный уровень абстракции для конкретного устройства и т.д.). Приложения 2818 устройства также включают в себя любые системные компоненты или модули для реализации вариантов осуществления описанных здесь методов. В этом примере, приложения 2818 устройства включают в себя приложение 2822 интерфейса и драйвер 2824 захвата жестов, которые показаны как программные модули и/или компьютерные приложения. Драйвер 2824 захвата жестов является примером программного обеспечения, которое используется для обеспечения интерфейса с устройством, выполненным с возможностью захвата жеста, например, сенсорным экраном, сенсорной панелью, камерой и т.д. Альтернативно или дополнительно, приложение 2822 интерфейса и драйвер 2824 захвата жестов можно реализовать как аппаратное обеспечение, программное обеспечение, программно-аппаратное обеспечение или любую их комбинацию. Дополнительно, компьютерно-считываемые среды 2814 могут включать в себя веб-платформу 2825, которая обеспечивает функциональные возможности браузера.

[153] Устройство 2800 также включает в себя систему 2826 ввода/вывода аудио и/или видео, которая выдает аудиоданные на аудиосистему 2828 и/или выдает видеоданные на систему 2830 отображения. Аудиосистема 2828 и/или система 2830 отображения могут включать в себя любые устройства, которые обрабатывают, отображают и/или иным образом воспроизводят аудио, видео и данные изображения. Видеосигналы и аудиосигналы могут передаваться от устройства 2800 на аудио-устройство и/или на устройство отображения по RF (радиочастотной) линии связи, линии связи S-video (S-видео), линии связи композитного видео, линии связи компонентного видео, DVI (цифровой видеоинтерфейс), аналоговому аудио-соединению или другой аналогичной линии связи. Согласно варианту осуществления, аудиосистема 2828 и/или система 2830 отображения реализованы как компоненты, внешние по отношению к устройству 2800. Альтернативно, аудиосистема 2828 и/или система 2830 отображения реализованы как компоненты, встроенные в иллюстративное устройство 2800.

Заключение

[154] Различные варианты осуществления допускают сопряжение мобильных устройств, например телефонов и пр., с автомобильной информационной/развлекательной системой, чтобы пользователь мог управлять автомобильной информационной/развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля.

[155] По меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста.

[156] Другие варианты осуществления позволяют адаптировать чисто речевое восприятие на основе сценариев вождения и когнитивной нагрузки пользователя. Прочие варианты осуществления позволяют адаптировать пользовательское восприятие для модальностей поворотного переключателя и сенсорного экрана. Дополнительные варианты осуществления могут обеспечивать адаптивный пользовательский интерфейс, включающий в себя адаптивный пользовательский интерфейс, который может работать совместно с несколькими различными типами экранов, например, экраном телефона, кластерным экраном, экраном консоли и экраном дисплея на лобовом стекле (HUD) и пр. Прочие варианты осуществления обеспечивают универсальную модель команд/управления для множественных типов физического ввода, включающих в себя кнопочные переключатели, емкостные круговые переключатели, механические клавиши, панели и пр.

[157] Хотя варианты осуществления были описаны в отношении структурных признаков и/или этапов способов, следует понимать, что варианты осуществления, заданные в нижеследующей формуле изобретения, не обязательно ограничиваются описанными конкретными признаками или этапами. Напротив, конкретные признаки и этапы раскрыты как иллюстративные формы реализации заявленных вариантов осуществления.

Изобретение относится к автомобильному мультимодальному интерфейсу. Технический результат - обеспечение возможности управления автомобильной информационной/развлекательной системой мобильным устройством. Принимают от мобильного устройства ввод, имеющий модальность первого типа, соответствующую речевой передаче, который содержит запрос и относится к выполнению задачи воспроизведения музыки; формируют список из множества песен, удовлетворяющих запросу; принимают ввод, имеющий модальность второго типа, которая отличается от модальности первого типа, который выбирает песню из упомянутого множества песен, и относится к выполнению задачи воспроизведения музыки; выполняют задачу воспроизведения музыки, которая содержит воспроизведение упомянутой песни; и во время выполнения упомянутой задачи прерывают эту задачу и представляют пользовательский интерфейс, содержащий средство, выбираемое посредством модальности третьего типа, соответствующей прикосновению, которая отличается от модальностей первого и второго типа в автомобильной информационной/развлекательной системе и относится к другой задаче; и в ответ на прием выбора упомянутого средства посредством модальности третьего типа, выполняют упомянутую другую задачу. 3 н. и 13 з.п. ф-лы, 31 ил.

1. Компьютерно-реализуемый способ управления автомобильной информационной/развлекательной системой посредством мобильного устройства, содержащий этапы, на которых:

устанавливают соединение между мобильным устройством и автомобильной информационной/развлекательной системой;

принимают передачу от мобильного устройства, каковая передача ассоциирована с вводом, имеющим модальность первого типа, соответствующую речевой передаче, которая была принята мобильным устройством, причем данный ввод содержит запрос и относится к выполнению задачи воспроизведения музыки;

формируют список из множества песен, удовлетворяющих данному запросу;

принимают ввод, имеющий модальность второго типа, которая отличается от модальности первого типа, причем данный ввод, имеющий модальность второго типа, выбирает песню из упомянутого множества песен, удовлетворяющих запросу, и относится к выполнению задачи воспроизведения музыки;

выполняют задачу воспроизведения музыки, каковая задача содержит воспроизведение упомянутой песни; и

во время выполнения упомянутой задачи прерывают эту задачу и представляют пользовательский интерфейс, содержащий средство, выбираемое посредством модальности третьего типа, соответствующей прикосновению, которая отличается от модальностей первого и второго типа в автомобильной информационной/развлекательной системе и относится к другой задаче; и

в качестве реакции на прием выбора упомянутого средства посредством модальности третьего типа выполняют упомянутую другую задачу,

при этом упомянутые три разные модальности ввода – модальность первого типа, соответствующая речевой передаче, модальность второго типа и модальность третьего типа, соответствующая прикосновению, - используются для взаимодействия с автомобильной информационной/развлекательной системой посредством мобильного телефона.

2. Компьютерно-реализуемый способ по п. 1, в котором ввод, имеющий модальность второго типа, представляет собой ввод через поворотный переключатель, принятый через поворотный переключатель, связанный с консолью автомобильной информационной/развлекательной системы.

3. Компьютерно-реализуемый способ по п. 1, в котором, по меньшей мере, некоторые действия могут осуществляться с использованием модальности первого типа либо одной или более из модальности второго типа и модальности третьего типа.

4. Компьютерно-реализуемый способ по п. 1, в котором по меньшей мере одна из модальностей первого, второго и третьего типов позволяет осуществлять навигацию по объектам, которые визуализируются на консоли автомобильной информационной/развлекательной системы.

5. Компьютерно-реализуемый способ по п. 1, в котором по меньшей мере одна из модальностей первого, второго и третьего типов позволяет осуществлять навигацию по объектам, которые визуализируются на консоли автомобильной информационной/развлекательной системы, каковые объекты представляют собой плитки.

6. Компьютерно-реализуемый способ по п. 1, в котором ввод, имеющий модальность второго типа, приспособлен устранять неопределенность, связанную с вводом, имеющим модальность первого типа.

7. Компьютерно-реализуемый способ по п. 1, в котором автомобильная информационная/развлекательная система выполнена с возможностью позволять прерывать действия, связанные с одной конкретной задачей, когда контекст пользователя указывает, что выполнимые действия, связанные с другой задачей, доступны для осуществления.

8. Компьютерно-реализуемый способ по п. 1, дополнительно содержащий этапы, на которых:

сохраняют информацию контекста в отношении упомянутой задачи; и

после прерывания этой задачи возобновляют данную задачу с того места, где эта задача была остановлена, с помощью сохраненной информации контекста.

9. Компьютерно-реализуемый способ по п. 6, в котором упомянутая неопределенность соответствует тому, что множество контактов удовлетворяют поиску.

10. Машиночитаемый носитель, хранящий машиноисполняемые инструкции, которые при их исполнении осуществляют операции, содержащие:

установление соединения между мобильным устройством и автомобильной информационной/развлекательной системой транспортного средства;

прием передачи от мобильного устройства, каковая передача ассоциирована с вводом, имеющим модальность первого типа, который был принят мобильным устройством, причем данный ввод относится к выполнению задачи;

выполнение одного или более действий, связанных с этой задачей;

обеспечение, посредством мобильного устройства, появления пользовательского интерфейса на автомобильной информационной/развлекательной системе;

прием, от мобильного устройства посредством автомобильной информационной/развлекательной системы через данный пользовательский интерфейс, ввода, имеющего модальность второго типа, которая отличается от модальности первого типа, каковой ввод, имеющий модальность второго типа, относится к выполнению упомянутой задачи; и

выполнение одного или более действий, связанных с вводом, имеющим модальность второго типа, для выполнения этой задачи, при этом

автомобильная информационная/развлекательная система выполнена с возможностью принимать ввод, имеющий, по меньшей мере, модальность третьего типа, которая отличается от модальностей первого и второго типа, для выполнения одного или более действий, связанных с упомянутой задачей, либо одного или более действий, связанных с другой задачей, и

ввод, имеющий модальность первого типа, содержит речевой ввод, и ввод, имеющий модальность второго типа, приспособлен для устранения неопределенности между двумя контактами, совпадающими при поиске, который приводит в результате к неопределенности и выполняется посредством ввода, имеющего модальность первого типа.

11. Машиночитаемый носитель по п. 10, при этом ввод, имеющий модальность второго типа, представляет собой ввод прикосновением, принимаемый посредством консоли автомобильной информационной/развлекательной системы.

12. Машиночитаемый носитель по п. 10, при этом ввод, имеющий модальность второго типа, представляет собой ввод через поворотный переключатель, принятый через поворотный переключатель, связанный с консолью автомобильной информационной/развлекательной системы.

13. Машиночитаемый носитель по п. 10, при этом, по меньшей мере, некоторые действия могут осуществляться с использованием модальности первого типа либо одной или более из модальности второго типа и модальности третьего типа.

14. Машиночитаемый носитель по п. 10, при этом по меньшей мере одна из модальностей первого, второго и третьего типов позволяет осуществлять навигацию по объектам, которые визуализируются на консоли автомобильной информационной/развлекательной системы.

15. Машиночитаемый носитель по п. 10, в котором операции дополнительно содержат:

определение, посредством мобильного устройства, состояния вождения; и

для конкретной задачи, возникающей во время состояния вождения и обычно осуществляемой посредством предоставления модальности ввода на экране мобильного устройства или устройстве отображения из состава автомобильной информационной/развлекательной системы, в качестве реакции на определение состояния вождения, реализацию модальности, соответствующей речевому вводу, для этой конкретной задачи.

16. Транспортное средство, содержащее:

автомобильную информационную/развлекательную систему, содержащую экран устройства отображения и выполненную с возможностью, при функционировании, соединяться с мобильным устройством и, будучи соединенной с мобильным устройством, выполнять операции, содержащие:

прием передачи от мобильного устройства, каковая передача ассоциирована с вводом, имеющим модальность первого типа, который был принят мобильным устройством, причем данный ввод относится к выполнению задачи, каковая задача содержит воспроизведение музыки, причем модальность первого типа представляет собой речевой ввод, и этот речевой ввод содержит запрос, относящийся к воспроизведению музыки,

формирование списка из множества песен, удовлетворяющих данному запросу,

обеспечение, посредством мобильного устройства, появления пользовательского интерфейса на автомобильной информационной/развлекательной системе;

прием, от мобильного устройства посредством автомобильной информационной/развлекательной системы через данный пользовательский интерфейс, ввода, имеющего модальность второго типа, которая отличается от модальности первого типа, причем данный ввод, имеющий модальность второго типа, выбирает песню из упомянутого множества песен, удовлетворяющих запросу, и относится к выполнению упомянутой задачи, причем модальность второго типа представляет собой ввод через поворотный переключатель,

выполнение задачи воспроизведения музыки, каковая задача содержит воспроизведение песни, выбранной посредством модальности второго типа,

во время выполнения упомянутой задачи, прерывание этой задачи и представление пользовательского интерфейса, содержащего средство, выбираемое посредством модальности третьего типа, соответствующей прикосновению, которая отличается от модальностей первого и второго типа в автомобильной информационной/развлекательной системе и относится к другой задаче; и

в качестве реакции на прием выбора упомянутого средства посредством модальности третьего типа выполнение упомянутой другой задачи.