ЭЛЕКТРОННОЕ УСТРОЙСТВО И СПОСОБ ДЛЯ ПРЕДОСТАВЛЕНИЯ ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА ДЛЯ НЕГО Российский патент 2017 года по МПК G06F3/16 G06F3/01 G06F3/482 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[1] Способы и устройства в соответствии с примерными вариантами осуществления относятся к электронному устройству и способу для предоставления пользовательского интерфейса (UI) для него, а более конкретно, к электронному устройству, которое допускает распознавание пользовательской голосовой команды и жеста на основе пользовательского движения и предоставляет UI, который отображает выполняемый значок приложения, которое является управляемым через распознавание голоса, и название выполняемого значка отдельно от выполняемого значка (и названия выполняемого значка) приложения, которое является неуправляемым через распознавание голоса, а также к способу для предоставления UI для него.

УРОВЕНЬ ТЕХНИКИ

[2] В качестве способа взаимодействия между электронным устройством и пользователем, часто используется пульт дистанционного управления, который использует клавишу, предоставляемую на панели электронного устройства, либо управляет электронным устройством на удаленном расстоянии. С развитием технологий электронные устройства оснащаются большим разнообразием функций и за счет этого позволяют выполнять различный контент (например, движущиеся изображения, фотографии, приложения и т.д.) или просмотр Интернета. Тем не менее, вследствие ограниченного размера или функций пульта дистанционного управления, трудно управлять всеми сложными и разнообразными функциями электронных устройств на удаленном расстоянии.

[3] Электронное устройство может управляться посредством распознавания голоса. Кроме того, электронное устройство может управляться посредством распознавания движения.

[4] Электронное устройство, которое допускает распознавание пользовательской голосовой команды, может управлять некоторой функцией (такой как управление каналами) через распознавание голоса. Кроме того, электронное устройство, которое допускает распознавание жеста на основе пользовательского движения, может управлять некоторой функцией (такой как управление каналами) через распознавание движения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[5] Один или более примерных вариантов осуществления могут преодолевать вышеуказанные недостатки и другие недостатки, не описанные выше. Тем не менее, следует понимать, что один или более примерных вариантов осуществления не обязательно должны преодолевать недостатки, описанные выше, и могут не преодолевать ни одну из проблем, описанных выше.

[6] Один или более примерных вариантов осуществления предоставляют электронное устройство, которое допускает распознавание голоса и движения и предоставляет UI, который отображает значок горячей клавиши приложения, которое является управляемым через распознавание голоса, и название значка горячей клавиши отдельно от значка горячей клавиши приложения, которое является неуправляемым через распознавание голоса, и названия значка горячей клавиши, а также способ для предоставления UI для него.

РЕШЕНИЕ ЗАДАЧИ

[7] Согласно аспекту примерного варианта осуществления, предусмотрен способ для предоставления UI электронного устройства, которое допускает распознавание голоса и жеста, содержащий распознавание команды начала голосового управления (инициирования голоса) в ответ на распознанную команду начала управления на основе распознавания голоса, отображение набора команд, который является управляемым через распознавание голоса, на экране отображения электронного устройства, распознавание голоса первой команды, соответствующего первой команде из набора команд, и в ответ на голос первой команды, отображение первого значка горячей клавиши первого приложения, которое является управляемым через распознавание голоса, отдельно от второго значка горячей клавиши второго приложения, которое является неуправляемым через распознавание голоса, на экране отображения.

[8] Первый значок горячей клавиши может быть комбинацией исходного значка горячей клавиши первого приложения и дополнительного значка, который отображается на одной стороне исходного значка горячей клавиши.

[9] Название первого значка горячей клавиши может отображаться отдельно от названия второго значка горячей клавиши.

[10] Способ дополнительно может содержать, если первое приложение управляется через распознавание голоса, отображение первого значка горячей клавиши отдельно от второго значка горячей клавиши.

[11] Способ дополнительно может содержать, в ответ на распознанную команду начала управления на основе распознавания голоса, отображение первой обратной связи на одной стороне экрана отображения.

[12] Способ дополнительно может содержать распознавание голоса второй команды, соответствующего названию первого значка горячей клавиши, отображаемого в UI, и название первого значка горячей клавиши отображается на одной стороне первого значка горячей клавиши.

[13] Способ дополнительно может содержать, в ответ на голос второй команды, отображение первого приложения на экране отображения.

[14] Прием и распознавание голоса второй команды может содержать, если множество приложений соответствует голосу второй команды, отображение списка приложений, соответствующего множеству приложений, на одной стороне UI.

[15] Третий значок горячей клавиши третьего приложения, которое является управляемым через распознавание голоса, может отображаться на UI, и название третьего значка горячей клавиши отображается на одной стороне третьего значка горячей клавиши, и если название третьего значка горячей клавиши превышает предварительно определенную длину, может отображаться только часть названия третьего значка горячей клавиши.

[16] Способ дополнительно может содержать распознавание голоса третьей команды, соответствующего части названия третьего значка горячей клавиши, и в ответ на голос третьей команды, третье приложение может отображаться на экране отображения.

[17] Набор команд может содержать команду возврата, и если распознается голос четвертой команды, соответствующий команде возврата, электронное устройство может возвращаться на предыдущий экран, который отображается до того, как отображается UI, в ответ на голос четвертой команды.

[18] Способ дополнительно может содержать вывод видео, аудио и управляющих данных, соответствующих принимаемому широковещательному сигналу, через экран отображения или динамик.

[19] Способ дополнительно может содержать распознавание команды начала управления на основе распознавания движения (инициирования движения), в ответ на распознанную команду начала управления на основе распознавания движения отображение набора движений, который является управляемым через распознавание движения, на экране отображения, и отображение первого значка горячей клавиши аналогично второму значку горячей клавиши.

[20] Способ дополнительно может содержать, в ответ на распознанную команду начала управления на основе распознавания движения, отображение второй обратной связи на одной стороне экрана отображения.

[21] Согласно аспекту примерного варианта осуществления, предусмотрен способ для предоставления UI электронного устройства, которое допускает распознавание голоса и жеста, содержащий распознавание команды начала голосового управления, в ответ на команду начала голосового управления, отображение набора команд, содержащего команду по первому значку горячей клавиши первого приложения, которое является управляемым через распознавание голоса, на одной стороне экрана отображения электронного устройства, распознавание голоса команды, соответствующего команде, и в ответ на голос команды, отображение первого значка горячей клавиши отдельно от второго значка горячей клавиши второго приложения, которое является неуправляемым через распознавание голоса, на экране отображения, и первый значок горячей клавиши является комбинацией исходного значка горячей клавиши первого приложения и дополнительного значка, который отображается на одной стороне исходного значка горячей клавиши.

[22] Способ дополнительно может содержать, если распознается команда начала управления на основе распознавания движения, отображение первого значка горячей клавиши аналогично второму значку горячей клавиши.

[23] Согласно аспекту примерного варианта осуществления, предусмотрено электронное устройство, которое допускает распознавание голоса и жеста, содержащее блок отображения, блок голосового ввода, который принимает голос, и контроллер, который управляет блоком отображения и блоком голосового ввода, и контроллер распознает команду начала голосового управления, принимаемую через блок голосового ввода, и отображает набор команд, который является управляемым через распознавание голоса, на блоке отображения, контроллер распознает голос первой команды, принимаемый через блок голосового ввода, и управляет блоком отображения таким образом, что он отображает UI, содержащий первый значок горячей клавиши первого приложения, которое является управляемым через распознавание голоса, и UI отображает первый значок горячей клавиши отдельно от второго значка горячей клавиши второго приложения, которое является неуправляемым через распознавание голоса.

[24] Контроллер может управлять отображением первого значка горячей клавиши, который является комбинацией исходного значка горячей клавиши первого приложения и дополнительного значка, который отображается на одной стороне исходного значка горячей клавиши.

[25] Контроллер может распознавать голос второй команды, соответствующий названию первого значка горячей клавиши, принимаемого через блок голосового ввода, и управлять блоком отображения таким образом, что он отображает первое приложение в ответ на распознанный голос второй команды.

[26] Электронное устройство дополнительно может содержать блок ввода движения, который принимает пользовательское движение, и контроллер может управлять блоком ввода движения и распознавать команду начала управления на основе распознавания движения, принимаемую через блок ввода движения, и отображать набор движений, который является управляемым через распознавание движения, на блоке отображения, и UI может отображать первый значок горячей клавиши и второй значок горячей клавиши аналогичным образом.

[27] Электронное устройство дополнительно может содержать сетевой интерфейсный блок, который является подключаемым к внешнему устройству проводным или беспроводным способом, и контроллер может управлять сетевым интерфейсным блоком, чтобы загружать третье приложение, которое является управляемым через распознавание голоса, из внешнего устройства.

[28] Согласно аспекту примерного варианта осуществления, предусмотрен способ для предоставления UI электронного устройства, содержащий переход в режим распознавания голоса и отображение первого значка горячей клавиши, соответствующего первому приложению, которое является управляемым через распознавание голоса, отдельно от второго значка горячей клавиши второго приложения, которое является неуправляемым через распознавание голоса, на экране отображения в режиме распознавания голоса.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[29] Как описано выше, пользователь может управлять электронным устройством 100 более эффективно и интуитивно через одно из пользовательского голоса и пользовательского движения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[30] Вышеуказанные и/или другие аспекты должны становиться более очевидными посредством подробного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи, на которых:

[31] Фиг. 1-3 являются блок-схемами для того, чтобы пояснять конфигурацию электронного устройства согласно различным примерным вариантам осуществления;

[32] Фиг. 4 и 5 являются видами, иллюстрирующими кнопки пульта дистанционного управления, соответствующие задаче на основе распознавания голоса и задаче на основе распознавания движения;

[33] Фиг. 6-32 поясняют различные примеры способа для выполнения задачи на основе распознавания голоса;

[34] Фиг. 33-58 поясняют различные примеры способа для выполнения задачи на основе распознавания движения;

[35] Фиг. 59 и 60 являются блок-схемами последовательности операций способа для того, чтобы пояснять способ управления электронным устройством, который управляет задачами посредством разделения задач на задачу на основе распознавания движения и задачу на основе распознавания голоса согласно различным примерным вариантам осуществления;

[36] Фиг. 61 и 62 являются видами, иллюстрирующими UI голоса, связанный с задачей на основе распознавания голоса электронного устройства согласно примерному варианту осуществления;

[37] Фиг. 63 является видом, иллюстрирующим UI движения, связанный с задачей на основе распознавания движения электронного устройства согласно примерному варианту осуществления;

[38] Фиг. 64-66 являются видами, иллюстрирующими визуальную обратную связь распознавания голоса или распознавания движения согласно примерному варианту осуществления;

[39] Фиг. 67-69 являются блок-схемами последовательности операций способа для того, чтобы пояснять способ управления электронным устройством, который предоставляет UI голоса и UI движения согласно различным примерным вариантам осуществления;

[40] Фиг. 70-78 поясняют способ для отображения UI электронного устройства, чтобы пояснять специальный значок для голосового приложения согласно различным примерным вариантам осуществления;

[41] Фиг. 79 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для отображения UI электронного устройства согласно примерному варианту осуществления;

[42] Фиг. 80-91 являются видами, иллюстрирующими экран, который изменяется в соответствии с пользовательским движением в направлениях вверх, вниз, влево и вправо согласно различным примерным вариантам осуществления;

[43] Фиг. 92 и 93 являются блок-схемами последовательности операций способа для того, чтобы пояснять способ управления электронным устройством, в котором экран изменяется в соответствии с пользовательским движением согласно различным примерным вариантам осуществления;

[44] Фиг. 94-97 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять способ для осуществления режима дистанционного управления, режима выполнения задач на основе распознавания движения и режима выполнения задач на основе распознавания голоса согласно различным примерным вариантам осуществления;

[45] Фиг. 98 является блок-схемой последовательности операций способа для того, чтобы пояснять распознавание голоса с использованием мобильного устройства согласно примерному варианту осуществления;

[46] Фиг. 99-104 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять режим наведения указателя согласно примерному варианту осуществления;

[47] Фиг. 105-108 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять способ отображения, если движение вводится в режиме наведения указателя согласно примерному варианту осуществления;

[48] Фиг. 109-111 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять способ для отображения элемента в режиме выполнения задач на основе распознавания голоса согласно примерному варианту осуществления;

[49] Фиг. 112-115 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять UI, имеющие отличный друг от друга цветовой тон согласно примерному варианту осуществления;

[50] Фиг. 116-118 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять выполнение задачи, соответствующей команде, отличной от голосового элемента отображения согласно примерному варианту осуществления;

[50] Фиг. 119-121 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять команду начала управления на основе распознавания движения, чтобы переключать текущий режим на режим выполнения задач на основе распознавания движения с использованием обеих рук согласно примерному варианту осуществления;

[52] Фиг. 122 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для осуществления режима выполнения задач на основе распознавания движения, если вводится команда начала управления на основе распознавания движения от множества пользователей согласно примерному варианту осуществления;

[53] Фиг. 123-126 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять способ для выполнения задачи синфазно с использованием распознавания голоса согласно примерному варианту осуществления;

[54] Фиг. 127-129 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять выполнение выполняемого значка, название которого отображается частично согласно примерному варианту осуществления;

[55] Фиг. 130-134 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять выполнение задачи в соответствии со специальным жестом согласно примерному варианту осуществления;

[56] Фиг. 135-137 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять значок, отображаемый по-разному в зависимости от способа голосового ввода согласно примерному варианту осуществления;

[57] Фиг. 138-142 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять способ для отображения меню ввода текста согласно примерному варианту осуществления;

[58] Фиг. 143 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для выполнения задачи на основе распознавания голоса с использованием внешнего устройства согласно примерному варианту осуществления;

[59] Фиг. 144-146 являются видами и блок-схемой последовательности операций способа для того, чтобы пояснять способ для выполнения задачи на основе распознавания голоса, если произносимая команда отображается на экране отображения согласно примерному варианту осуществления;

[60] Фиг. 147 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для автоматического распознавания голоса согласно примерному варианту осуществления;

[61] Фиг. 148 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для отображения списка вариантов согласно примерному варианту осуществления; и

[62] Фиг. 149 является блок-схемой последовательности операций способа для того, чтобы пояснять UI, чтобы выдавать инструкции по ошибке распознавания голоса согласно примерному варианту осуществления.

ОПТИМАЛЬНЫЙ РЕЖИМ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[63] В дальнейшем в этом документе подробнее описываются примерные варианты осуществления со ссылкой на прилагаемые чертежи.

[64] В нижеприведенном описании, идентичные ссылочные позиции используются для идентичных элементов, когда они проиллюстрированы на различных чертежах. Аспекты, указываемые в описании, такие как детальная конструкция и элементы, предоставлены для пояснения примерных вариантов осуществления. Таким образом, очевидно, что примерные варианты осуществления могут быть выполнены без этих конкретно заданных аспектов. Кроме того, функции или элементы, известные в предшествующем уровне техники, не описываются подробно, чтобы не затруднять понимание примерных вариантов осуществления из-за необязательных деталей.

[65] Фиг. 1 является принципиальной блок-схемой, иллюстрирующей электронное устройство 100 согласно примерному варианту осуществления.

[66] Ссылаясь на фиг. 1, электронное устройство 100 включает в себя блок 110 голосового ввода, блок 120 ввода движения, блок 130 хранения и блок 140 управления. Электронное устройство 100 может быть реализовано посредством, но не только, интеллектуального телевизионного приемника (телевизора), абонентской приставки, персонального компьютера (PC) или цифрового телевизионного приемника, который является подключаемым к внешней сети.

[67] Блок 110 голосового ввода принимает ввод голоса, который произносится пользователем. Блок 110 голосового ввода преобразует введенный голосовой сигнал в электрический сигнал и выводит электрический сигнал в блок 140 управления. Например, блок 110 голосового ввода может быть реализован посредством микрофона. Кроме того, блок 110 голосового ввода может быть реализован посредством внутреннего компонента в электронном устройстве 100 или внешнего устройства. Блок 110 голосового ввода в форме внешнего устройства может подключаться к электронному устройству 100 через проводное или беспроводное подключение либо через сеть.

[68] Блок 120 ввода движения принимает сигнал изображения (например, непрерывный кадр), который получается посредством фотографирования пользовательского движения, и предоставляет сигнал изображения в блок 140 управления. Например, блок 120 ввода движения может быть реализован посредством блока, включающего в себя линзу и датчик изображений. Блок 120 ввода движения может быть реализован посредством внутреннего компонента в электронном устройстве 100 или внешнего устройства. Блок 120 ввода движения в форме внешнего устройства может подключаться к электронному устройству 100 по проводному или беспроводному подключению либо по сети.

[69] Блок 130 хранения сохраняет различные данные и программы для активации и управления электронным устройством 100. Блок 130 хранения сохраняет модуль распознавания голоса, который распознает голосовой ввод через блок 110 голосового ввода, и модуль распознавания движения, который распознает ввод движения через блок 120 ввода движения.

[70] Блок 130 хранения может включать в себя базу голосовых данных и базу данных движения. База голосовых данных означает базу данных, в которой записываются предварительно определенный голос и задача на основе распознавания голоса, сопоставленная с предварительно определенным голосом. База данных движения означает базу данных, в которой записываются предварительно определенное движение и задача на основе распознавания движения, сопоставленная с предварительно определенным движением.

[71] Блок 140 управления управляет блоком 110 голосового ввода, блоком 120 ввода движения и блоком 130 хранения. Блок 140 управления может включать в себя аппаратный процессор, к примеру, центральный процессор (CPU), и постоянное запоминающее устройство (ROM) и оперативное запоминающее устройство (RAM) для того, чтобы сохранять модули и данные для управления электронным устройством 100.

[72] Если голос вводится через блок 110 голосового ввода, блок 140 управления распознает голос с использованием модуля распознавания голоса и базы голосовых данных. Распознавание голоса может быть разделено на распознавание изолированных слов, которое распознает произнесенный голос посредством различения слов в соответствии с формой введенного голоса, распознавание слитной речи, которое распознает слитное слово, слитное предложение и диалогический голос, и опознавание по ключевым словам, которое представляет собой промежуточный тип между распознаванием изолированных слов и распознаванием слитной речи и распознает голос посредством обнаружения предварительно заданного ключевого слова. Если вводится пользовательский голос, блок 140 управления определяет голосовую секцию посредством обнаружения начала и конца голоса, произнесенного пользователем, из введенного голосового сигнала. Блок 140 управления вычисляет энергию введенного голосового сигнала, классифицирует энергетический уровень голосового сигнала в соответствии с вычисленной энергией и обнаруживает голосовую секцию через динамическое программирование. Блок 140 управления формирует данные фонем посредством обнаружения фонемы, которая является наименьшей единицей голоса, из голосового сигнала в обнаруженной голосовой секции на основе акустической модели. Блок 140 управления формирует текстовую информацию посредством применения скрытой марковской модели (HMM) к сформированным данным фонем. Тем не менее, вышеописанный способ распознавания голоса представляет собой просто пример, и могут быть использованы другие способы распознавания голоса. В вышеописанном способе, блок 140 управления распознает пользовательский голос, включенный в голосовой сигнал.

[73] Если движение вводится через блок 120 ввода движения, блок 140 управления распознает движение с использованием модуля распознавания движения и базы данных движения. Распознавание движения разделяет изображение (например, непрерывный кадр), соответствующее пользовательскому движению, вводимому через блок 120 ввода движения, на фон и область для рук (например, разведение пальцев или сжимание кулака посредством складывания чашечкой руки) и распознает непрерывное движение руками. Если вводится пользовательское движение, блок 140 управления сохраняет принимаемое изображение на основе кадров и считывает объект (например, руку пользователя) пользовательского движения с использованием сохраненного кадра. Блок 140 управления обнаруживает объект посредством считывания, по меньшей мере, одного из формы, цвета и движения объекта, включенного в кадр. Блок 140 управления может отслеживать движение объекта с использованием местоположений объекта, включенного во множество кадров.

[74] Блок 140 управления определяет движение в соответствии с формой и движением отслеживаемого объекта. Например, блок 140 управления определяет пользовательское движение с использованием, по меньшей мере, одного из изменения формы, скорости, местоположения и направления объекта. Пользовательское движение включает в себя движение захвата со сжиманием одной руки, движение перемещения при наведении указателя с перемещением отображаемого курсора одной рукой, движение шлепка с перемещением одной руки в одном направлении с предварительно определенной скоростью или выше, движение встряски со встряской одной рукой горизонтально или вертикально и движение поворота с поворотом одной рукой. Техническая идея настоящего раскрытия может применяться к другим движениям. Например, пользовательское движение дополнительно может включать в себя движение разведения с разведением одной руки.

[75] Блок 140 управления определяет то, выходит или нет объект из предварительно определенной области (например, квадрата 40×40 см) в рамках предварительно определенного времени (например, 800 мс), чтобы определять то, является пользовательское движение движением перемещения при наведении указателя или движением шлепка. Если объект не выходит из предварительно определенной области в рамках предварительно определенного времени, блок 140 управления может определять то, что пользовательское движение является движением перемещения при наведении указателя. Если объект выходит из предварительно определенной области в рамках предварительно определенного времени, блок 140 управления может определять то, что пользовательское движение является движением шлепка. В качестве другого примера, если скорость объекта ниже предварительно определенной скорости (например, 30 см/с), блок 140 управления может определять то, что пользовательское движение является движением перемещения при наведении указателя. Если скорость объекта превышает предварительно определенную скорость, блок 140 управления определяет то, что пользовательское движение является движением шлепка.

[76] Как описано выше, блок 140 управления выполняет задачу электронного устройства 100 с использованием распознанного голоса и движения. Задача электронного устройства включает в себя, по меньшей мере, одну из функций, выполняемых посредством электронного устройства 100, таких как переключение канала, регулирование громкости, воспроизведение контента (например, движущихся изображений, музыки или фотографий) или просмотр Интернет-страниц.

[77] Ниже поясняется подробный способ для управления электронным устройством 100 посредством блока 140 управления.

[78] Фиг. 2 является блок-схемой, иллюстрирующей электронное устройство 100 согласно примерному варианту осуществления. Ссылаясь на фиг. 2, электронное устройство 100 включает в себя блок 110 голосового ввода, блок 120 ввода движения, блок 130 хранения, блок 140 управления, блок 150 приема широковещательной передачи, блок 160 ввода из внешних контактных выводов, блок 170 приема сигналов дистанционного управления, сетевой интерфейсный блок 180 и блок 190 вывода изображений. Как показано на фиг. 2, электронное устройство 100 может быть реализовано посредством абонентской приставки, персонального компьютера и т.д.

[79] Блок 110 голосового ввода, блок 120 ввода движения, блок 130 хранения и блок 140 управления по фиг. 2 являются идентичными блоку 110 голосового ввода, блоку 120 ввода движения, блоку 130 хранения и блоку 140 управления по фиг. 1, и в силу этого их подробное описание опускается.

[80] Блок 150 приема широковещательной передачи принимает широковещательный сигнал из внешнего источника проводным или беспроводным способом. Широковещательный сигнал включает в себя видеоданные, аудиоданные и дополнительные данные (например, электронное расписание программ (EPG)). Блок 150 приема широковещательной передачи может принимать широковещательный сигнал из различных источников, таких как наземная широковещательная передача, кабельная широковещательная передача, спутниковая широковещательная передача, широковещательная передача по Интернету и т.д.

[81] Блок 160 ввода из внешних контактных выводов принимает видеоданные (например, движущиеся изображения или фотографии) и аудиоданные (например, музыки) из внешнего источника. Блок 160 ввода из внешних контактных выводов может включать в себя, по меньшей мере, один из входного контактного вывода для мультимедийного интерфейса высокой четкости (HDMI), компонентного входного контактного вывода, входного контактного вывода для PC, входного контактного вывода для USB и т.д. Блок 170 приема сигналов дистанционного управления принимает сигнал дистанционного управления из внешнего пульта дистанционного управления. Блок 170 приема сигналов дистанционного управления может принимать сигнал дистанционного управления в режиме выполнения задач на основе распознавания голоса или режиме выполнения задач на основе распознавания движения электронного устройства 100. Сетевой интерфейсный блок 180 может подключать электронное устройство 100 к внешнему устройству (например, серверу) под управлением блока 140 управления. Блок 140 управления может загружать приложение из внешнего устройства, подключенного через сетевой интерфейсный блок 180, или может выполнять просмотр веб-страниц. Сетевой интерфейсный блок 180 может предоставлять, по меньшей мере, одно из Ethernet, беспроводной LAN 182, технологии Bluetooth и т.д.

[82] Блок 190 вывода изображений выводит внешний широковещательный сигнал, принимаемый через блок 150 приема широковещательной передачи, видеоданные, вводимые из блока 160 ввода из внешних контактных выводов, или видеоданные, сохраненные в блоке 130 хранения, во внешнее устройство отображения (например, монитор или телевизор). Блок 190 вывода изображений может включать в себя выходной контактный вывод, такой как HDMI, компонентный, композитный, по стандарту видеографической матрицы (VGA), по стандарту цифрового видеоинтерфейса (DVI), по стандарту интерфейса S-Video и т.д.

[83] Фиг. 3 является блок-схемой, иллюстрирующей электронное устройство 100 согласно еще одному другому примерному варианту осуществления. Как показано на фиг. 3, электронное устройство 100 включает в себя блок 110 голосового ввода, блок 120 ввода движения, блок 130 хранения, блок 140 управления, блок 150 приема широковещательной передачи, блок 160 ввода из внешних контактных выводов, блок 170 приема сигналов дистанционного управления, сетевой интерфейсный блок 180, блок 193 отображения и блок 196 аудиовывода. Электронное устройство 100 может представлять собой, но не только, цифровой телевизионный приемник.

[84] Блок 110 голосового ввода, блок 120 ввода движения, блок 130 хранения, блок 140 управления, блок 150 приема широковещательной передачи, блок 160 ввода из внешних контактных выводов, блок 170 приема сигналов дистанционного управления и сетевой интерфейсный блок 180 по фиг. 3 являются идентичными блокам, которые имеют идентичные ссылочные позиции на фиг. 1 и 2, и в силу этого их подробное описание опускается.

[85] Блок 193 отображения отображает изображение, соответствующее широковещательному сигналу, принимаемому через блок 150 приема широковещательной передачи. Блок 193 отображения может отображать данные изображений (например, движущиеся изображения), вводимые через блок 160 ввода из внешних контактных выводов, или видео, сохраненное в блоке хранения. Блок 193 отображения может отображать вспомогательную информацию по голосу для выполнения задачи на основе распознавания голоса и вспомогательную информацию по движению для выполнения задачи на основе распознавания движения под управлением блока 140 управления.

[86] Блок 196 аудиовывода выводит аудио, соответствующее широковещательному сигналу, под управлением блока 140 управления. Блок 196 аудиовывода может включать в себя, по меньшей мере, одно из динамика 196a, выходного контактного вывода 196b для наушников и выходного контактного вывода 163c для S/PDIF. Блок 130 хранения включает в себя модуль 130a управления питанием, модуль 130b управления каналом, модуль 130c регулирования громкости, модуль 130d управления внешним вводом, модуль 103e управления экрана, модуль 130f управления аудио, модуль 130g управления Интернетом, модуль 130h выполнения приложений, модуль 130i управления поиском, модуль 130j обработки пользовательского интерфейса (UI), модуль 130k распознавания голоса, модуль 130l распознавания движения, базу 130m голосовых данных и базу 130n данных движения. Эти модули 130a-130n могут быть реализованы посредством программного обеспечения, чтобы выполнять функцию управления питанием, функцию управления каналом, функцию регулирования громкости, функцию управления внешним вводом, функцию управления экрана, функцию управления аудио, функцию управления Интернетом, функцию выполнения приложений, функцию управления поиском и функцию UI-обработки. Блок 140 управления выполняет соответствующую функцию посредством выполнения программного обеспечения, сохраненного в блоке 130 хранения.

[87] В дальнейшем в этом документе поясняются различные примерные варианты осуществления со ссылкой на прилагаемые чертежи.

[88] Если пользовательский голос распознается через модуль 130k распознавания голоса, блок 140 управления выполняет задачу на основе распознавания голоса, соответствующую распознанному пользовательскому голосу, из числа задач, которые являются управляемыми посредством пульта дистанционного управления. Если пользовательское движение распознается через модуль 130l распознавания движения, блок 140 управления выполняет задачу на основе распознавания движения, соответствующую распознанному пользовательскому движению, из числа задач, которые являются управляемыми посредством пульта дистанционного управления. Задача на основе распознавания голоса и задача на основе распознавания движения могут привязываться посредством классификации по кнопкам на пульте дистанционного управления.

[89] Задача на основе распознавания голоса означает задачу, которая является управляемой в соответствии с голосом, распознанным через модуль распознавания голоса. Например, задача на основе распознавания голоса может включать в себя, по меньшей мере, одну из функций выключения электронного устройства 100, быстрого перехода к каналу, отключения звука, изменения внешнего контактного вывода, настройки уровня громкости, ввода текста и воспроизведения/остановки изображения. Иными словами, различные задачи, имеющие название или идентификатор, который может быть произнесен посредством пользовательского голоса, или задача, требующая ввода текста, могут задаваться как задача на основе распознавания голоса.

[90] Задача на основе распознавания движения означает задачу, которая является управляемой в соответствии с движением, распознанным через модуль распознавания движения. Например, задача на основе распознавания движения может включать в себя переключение канала, регулирование уровня громкости, навигацию по экрану, управление ползунком и наведение курсора. Иными словами, различные задачи, которые могут управляться синхронно в соответствии с типом и направлением пользовательского движения, и задачи с использованием курсора могут задаваться как задача на основе распознавания движения.

[91] Если пользовательский голос распознается через модуль распознавания голоса, блок 140 управления выполняет задачу на основе распознавания голоса, непосредственно соответствующую произнесению, включенному в пользовательский голос.

[92] Например, блок 140 управления распознает идентификатор канала из голоса, произнесенного пользователем. Идентификатор канала служит для того, чтобы идентифицировать канал, и может включать в себя, по меньшей мере, одно из названия канала, номера канала и названия программы.

[93] Если идентификатор канала сохраняется в базе голосовых данных, сохраненной в блоке 130 хранения, как описано выше, блок 140 управления выполняет быстрый переход к каналу, соответствующему распознанному идентификатору канала, с использованием базы голосовых данных. Иными словами, если пользователь произносит "11" блок 140 управления подтверждает то, записана или нет задача на основе распознавания голоса, соответствующая "11", в базе голосовых данных. Если задача на основе распознавания голоса, соответствующая "11", является функцией быстрого перехода к каналу, чтобы выбирать канал 11, блок 140 управления выполняет быстрый переход к каналу 11.

[94] Если пользовательское движение распознается через модуль распознавания движения, блок 140 управления выполняет задачу на основе распознавания движения, соответствующую пользовательскому движению, в соответствии с направлением пользовательского движения.

[95] Например, если движение шлепка в направлении вверх распознается через модуль распознавания движения, блок 140 управления может подтверждать задачу на основе распознавания движения, соответствующую движению шлепка в направлении вверх, из базы данных движения и может выполнять переключение канала, чтобы переключать текущий канал на канал, номер которого увеличивается на предварительно определенное число (например, 1). Если движение шлепка в направлении вниз распознается через модуль распознавания движения, блок 140 управления может идентифицировать задачу на основе распознавания движения, соответствующую движению шлепка в направлении вниз, из базы данных движения и может выполнять переключение канала, чтобы переключать текущий канал на канал, номер которого уменьшается на предварительно определенное число (например, 1).

[96] Задачи на основе распознавания голоса и задачи на основе распознавания движения могут привязываться посредством классификации по кнопкам на пульте дистанционного управления, как показано на фиг. 4 и 5.

[97] Фиг. 4 иллюстрирует кнопки на пульте дистанционного управления, соответствующие команде для того, чтобы выполнять, по меньшей мере, одну задачу на основе распознавания голоса. Иными словами, задача, выполняемая, если распознается голосовой ввод, может соответствовать задаче, которая выполняется посредством одной из кнопок на пульте дистанционного управления. Например, задача, которая выполняется посредством кнопки 401 включения питания на пульте дистанционного управления, соответствует задаче, которая выполняется, если распознается голос "слово для вызова" (например, "Ginny") или "Питание". Соответственно, кнопка 402 внешнего ввода соответствует голосу "Внешний ввод". Кроме того, кнопка 403 с числом соответствует произнесенному числу. Кроме того, кнопка 404 предыдущего канала соответствует голосу "Предыдущий канал". Кнопка 405 отключения звука соответствует голосу "Отключение звука" или "Включение звука". Кроме того, кнопка 406 списка каналов соответствует голосу "Список каналов". Кнопка 407 отображения интеллектуального центра управления/меню/поиска/меню быстрого вызова/информации, кнопка 408 возврата, кнопка 409 выхода, кнопка 410 вызова социальной сети/предоставления трехмерных изображений, кнопка 411 справки и кнопка 412 воспроизведения/паузы/остановки/записи соответствуют голосам согласно их соответствующим названиям.

[98] Фиг. 5 иллюстрирует кнопки на пульте дистанционного управления, соответствующие движению для того, чтобы выполнять, по меньшей мере, одну задачу на основе распознавания движения. Иными словами, задача, которая выполняется, если распознается ввод движения, может соответствовать задаче, которая выполняется в соответствии с одной из кнопок на пульте дистанционного управления. Например, как показано на фиг. 5, задача, которая выполняется в соответствии с кнопкой повышения/понижения громкости и кнопкой 421 увеличения/уменьшения номера канала, соответствует задаче, которая выполняется, если распознаются движения шлепка в направлениях вверх, вниз, вправо и влево. Соответственно, кнопки 422 направлений вверх, вниз, влево и вправо соответствуют движениям шлепка в направлениях вверх, вниз, влево и вправо. Кнопка 423 выбора может соответствовать движению захвата. Функциональная кнопка 425 может соответствовать движению наведения указателя для соответствующей клавиши, если экранное меню (OSD) включает в себя инструкции по клавишам.

[99] Задача на основе распознавания голоса и задача на основе распознавания движения могут изменять настройки электронного устройства 100 независимо без комбинирования друг с другом. Иными словами, задача на основе распознавания голоса может изменять настройки электронного устройства 100 с использованием пользовательского голоса, распознанного посредством модуля 130k распознавания голоса, а задача на основе распознавания движения может изменять настройки электронного устройства 100 с использованием пользовательского движения, распознанного посредством модуля 130l распознавания движения.

[100] Блок 140 управления распознает одно из пользовательского голоса и пользовательского движения через одно из модуля 130k распознавания голоса и модуля 130l распознавания движения. Если пользовательский голос распознается через модуль 130k распознавания голоса, блок 140 управления выполняет контент, имеющий идентификатор контента, соответствующий распознанному пользовательскому голосу, из множества контента, имеющего идентификаторы контента, соответственно. Если пользовательское движение распознается через модуль 130l распознавания движения, блок 140 управления переключает множество контента в соответствии с направлением пользовательского движения.

[101] Контент, изложенный в данном документе, может быть широковещательным контентом. В частности, если пользовательский голос распознается через модуль 130k распознавания голоса, блок 140 управления переключает текущий широковещательный канал на широковещательный канал, имеющий идентификатор широковещательного канала, соответствующий распознанному пользовательскому голосу, из множества широковещательных каналов, имеющих идентификаторы широковещательных каналов, соответственно. Идентификатор канала может включать в себя, по меньшей мере, одно из номера канала, названия канала и названия программы.

[102] Если пользовательское движение распознается через модуль 130l распознавания движения, блок 140 управления переключает множество широковещательных каналов синхронно в соответствии с направлением пользовательского движения. Пользовательское движение может включать в себя движение шлепка. Например, если распознанное пользовательское движение является движением шлепка в направлении вверх, блок 140 управления выполняет переключение канала таким образом, что текущий широковещательный канал переключается на широковещательный канал, номер которого увеличивается на предварительно определенное число. Если распознанное пользовательское движение является движением шлепка в направлении вниз, блок 140 управления выполняет переключение канала таким образом, что текущий широковещательный канал переключается на широковещательный канал, номер которого уменьшается на предварительно определенное число.

[103] Контент может быть одним из контента изображений, музыкального контента и фотоконтента. Если контент является одним из контента изображений, музыкального контента и фотоконтента, идентификатор контента может быть названием контента.

[104] Если контент является одним из контента изображений, музыкального контента и фотоконтента, пользовательское движение может включать в себя движение шлепка. Например, если распознанное пользовательское движение является движением шлепка в направлении вправо, блок 140 управления может изменять текущий контент на следующий контент в списке контента, включающем в себя множество контента, который должен быть воспроизведен, а если распознанное пользовательское движение является движением шлепка в направлении влево, блок 140 управления может изменять текущий контент на предыдущий контент в списке контента.

[105] Если команда начала управления на основе распознавания голоса распознается через модуль 130k распознавания голоса, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, распознанным через модуль 130k распознавания голоса. Если команда начала управления на основе распознавания движения распознается через модуль 130l распознавания движения, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором электронное устройство 100 управляется в соответствии с пользовательским движением, распознанным через модуль 130l распознавания движения.

[106] В частности, блок 140 управления может работать в одном из режима дистанционного управления, в котором электронное устройство 100 управляется посредством устройства дистанционного управления (например, пульта дистанционного управления), режима выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с голосом, и режима выполнения задач на основе распознавания движения, в котором электронное устройство 100 управляется в соответствии с движением. Если вводится команда для того, чтобы начинать другой режим, блок 140 управления может переключать текущий режим на соответствующий режим.

[107] Если команда начала управления на основе распознавания голоса (инициирования голоса) распознается через модуль 130k распознавания голоса, в то время как электронное устройство 100 находится в режиме дистанционного управления или режиме выполнения задач на основе распознавания движения, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса. Команда начала управления на основе распознавания голоса является командой, которая включает в себя слово, сопоставленное с операцией перехода в режим выполнения задач на основе распознавания голоса. Например, если слово "Ginny" задается как команда начала управления на основе распознавания голоса, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, когда распознается слово "Ginny". Слово, связанное с командой начала управления на основе распознавания голоса, может быть непосредственно изменено пользователем в режиме конфигурирования электронного устройства 100 либо может быть фиксированной командой, которая задается как значение по умолчанию во время изготовления электронного устройства 100.

[108] В режиме выполнения задач на основе распознавания голоса блок 140 управления выполняет задачу на основе распознавания голоса, соответствующую слову, включенному в голос, произнесенный пользователем, с использованием базы голосовых данных.

[109] Блок 140 управления может поддерживать режим выполнения задач на основе распознавания голоса до тех пор, пока не будет распознана команда начала, чтобы возвращаться в режим дистанционного управления, команда отмены режима или команда начала управления на основе распознавания движения, чтобы переключаться на режим выполнения задач на основе распознавания движения. Если голос не распознается в течение предварительно определенного времени (например, 5 минут) после того, как режим переключен на режим выполнения задач на основе распознавания голоса, блок 140 управления может автоматически возвращаться в режим дистанционного управления.

[110] Если команда начала управления на основе распознавания движения (инициирования движения) распознается через модуль 130l распознавания движения в общем режиме или режиме выполнения задач на основе распознавания голоса, блок 140 управления может переключать текущий режим на режим выполнения задач на основе распознавания движения. Команда начала управления на основе распознавания движения является предварительно установленным движением, чтобы переходить в режим выполнения задач на основе распознавания движения. Например, если движение встряски одной рукой горизонтально 3-4 раза задается как команда начала управления на основе распознавания движения, блок 140 управления переключает режим на режим выполнения задач на основе распознавания движения, когда распознается такое движение. Движение, связанное с командой начала управления на основе распознавания движения, может быть непосредственно изменено пользователем в режиме конфигурирования либо может быть фиксированным движением, которое задается как значение по умолчанию во время изготовления электронного устройства 100.

[111] В режиме выполнения задач на основе распознавания движения блок 140 управления выполняет задачу на основе распознавания движения, соответствующую пользовательскому движению, с использованием базы данных движения. Блок 140 управления может поддерживать режим выполнения задач на основе распознавания движения до тех пор, пока не будет распознана команда начала, чтобы возвращаться в режим дистанционного управления, команда отмены режима или команда начала управления на основе распознавания голоса, чтобы переключаться на режим выполнения задач на основе распознавания голоса. Если движение не распознается в течение предварительно определенного времени (например, 5 минут) после того, как режим переключен на режим выполнения задач на основе распознавания движения, блок 140 управления может автоматически возвращаться в режим дистанционного управления.

[112] Блок 140 управления отображает одну из вспомогательной информации по голосу, включающей в себя голосовой элемент, чтобы выдавать инструкции по распознаванию голоса, и вспомогательной информации по движению, включающей в себя элемент движения, чтобы выдавать инструкции по распознаванию движения. Если распознается одна из команд, соответствующих голосовым элементам, включенным во вспомогательную информацию по голосу, блок 140 управления выполняет задачу на основе распознавания голоса, соответствующую распознанной команде. Если распознается одно из движений, соответствующих элементу движения, включенному во вспомогательную информацию по движению, блок 140 управления выполняет задачу на основе распознавания движения, соответствующую распознанному движению.

[113] В частности, если команда начала управления на основе распознавания голоса распознается через модуль 130k распознавания голоса, блок 140 управления может управлять отображением голосовых элементов, связанных с задачами на основе распознавания голоса, которые являются управляемыми посредством пользовательского голоса. Голосовые элементы могут отображать команды, соответствующие различным задачам на основе распознавания голоса. Соответственно, если пользователь произносит определенную команду, пользователь может легко распознавать то, какая задача на основе распознавания голоса должна быть выполнена, и за счет этого может проще выполнять задачу на основе распознавания голоса.

[114] Если команда начала управления на основе распознавания движения распознается через модуль 130l распознавания движения, блок 140 управления может управлять отображением элемента движения, связанного с задачами на основе распознавания движения, которые являются управляемыми посредством пользовательского движения. Элемент движения может отображать движения, соответствующие различным задачам на основе распознавания движения. Соответственно, если пользователь выполняет определенное движение, пользователь может легко распознавать то, какая задача на основе распознавания движения должна быть выполнена, и за счет этого может проще выполнять задачу на основе распознавания движения.

[115] Голосовой элемент или элемент движения может отображаться в идентичной области экрана отображения (например, в нижней части экрана). Область, в которой отображаются голосовой элемент или элемент движения, может перекрываться с отображаемым изображением. Тем не менее, это представляет собой просто пример, и голосовой элемент и элемент движения могут отображаться в других местоположениях или другими способами. Например, голосовой элемент или элемент движения может отображаться в правой части или левой части экрана отображения.

[116] Задача электронного устройства 100 может быть разделена на задачу на основе распознавания голоса, которая управляется посредством пользовательского голоса, и задачу на основе распознавания движения, которая управляется посредством пользовательского движения, следующим образом:

[117]

Таблица 1 Задача на основе распознавания голоса Управление питанием, быстрый переход к каналу, настройка уровня громкости, отключение звука, изменение внешнего ввода, поиск, выполнение функции (если название объекта является определенным), отмена функции, ввод текста

Задача на основе распознавания движения Переключение канала, регулирование уровня громкости, выполнение функции (если название объекта является неопределенным), управление воспроизведением, управление ползунком, наведение курсора

[118] Задача на основе распознавания голоса, показанная в таблице 1, может быть выполнена в режиме выполнения задач на основе распознавания голоса, который выполняется посредством команды начала управления на основе распознавания голоса, а задача на основе распознавания движения, показанная в таблице 1, может быть выполнена в режиме выполнения задач на основе распознавания движения, который выполняется посредством команды начала управления на основе распознавания движения.

[119] В дальнейшем в этом документе поясняются задачи на основе распознавания голоса, которые управляются в соответствии с пользовательским голосом, со ссылкой на фиг. 6-32, и поясняются задачи на основе распознавания движения, которые управляются в соответствии с пользовательским движением, со ссылкой на фиг. 33-58.

[120] Фиг. 6 и 7 поясняют включение питания с использованием распознавания голоса согласно примерному варианту осуществления. Как показано на фиг. 6, в режиме ожидания, в котором изображение не выводится, но питание подается на блок 110 голосового ввода и блок 140 управления, если "Включение питания" распознается через модуль 130k распознавания голоса, электронное устройство 100 включается, как показано на фиг. 7.

[121] Фиг. 8-10 поясняют выключение питания с использованием распознавания голоса согласно примерному варианту осуществления. Как показано на фиг. 8, если электронное устройство 100 переходит в режим выполнения задач на основе распознавания голоса и отображает вспомогательную информацию по голосу в нижней части экрана отображения, и "Выключение питания", соответствующее голосовому элементу 811, распознается через модуль 130k распознавания голоса, электронное устройство 100 отображает область 920 отображения инструкций, чтобы подтверждать то, выключать или нет электронное устройство 100 снова, в информации голосовых инструкций, как показано на фиг. 9. Если "Да", соответствующее голосовому элементу 922, распознается через модуль 130k распознавания голоса, электронное устройство 100 выключается, как показано на фиг. 10.

[122] Фиг. 11 и 12 поясняют интеллектуальное включение питания с использованием распознавания голоса согласно примерному варианту осуществления. Интеллектуальное включение питания является функцией, которая включает электронное устройство 100 и одновременно переключает текущий канал на канал, требуемый пользователем. Как показано на фиг. 11, в режиме ожидания, в котором изображение не выводится, но питание подается на блок 110 голосового ввода и блок 140 управления, если "Ginny" и "канал 6" непрерывно распознаются через модуль 130k распознавания голоса, электронное устройство 100 включается и отображает канал 6, как показано на фиг. 12.

[123] Фиг. 13-16 поясняют быстрый переход к каналу с использованием распознавания голоса, включающий в себя номер канала согласно примерному варианту осуществления. Если электронное устройство 100 переходит в режим выполнения задач на основе распознавания голоса и отображает вспомогательную информацию по голосу в нижней части экрана отображения, и "Канал", соответствующий голосовому элементу 812, распознается через модуль 130k распознавания голоса, как показано на фиг. 13, электронное устройство 100 отображает область 830 отображения инструкций, чтобы выдавать инструкции по номеру канала и названию канала во вспомогательной информации по голосу, в нижнем конце экрана отображения, как показано на фиг. 14. Если отображается область 830 отображения инструкций, и голос "семь" распознается через модуль 130k распознавания голоса, электронное устройство 100 переключает канал, чтобы настраиваться на канал 7.

[124] Если существует канал, включающий в себя "семь", распознанное через модуль 130k распознавания голоса, или существует группа вариантов, аналогичная "семь", электронное устройство 100 отображает список группы 1100 вариантов голоса и инструкции 1510 по выбору группы вариантов, чтобы выдавать инструкции по способу ввода группы вариантов голоса, как показано на фиг. 15.

[125] Если отображается список группы 1100 вариантов голоса, и "номер 1", соответствующий элементу 1101 номер один в списке группы вариантов голоса, распознается через модуль 130k распознавания голоса, электронное устройство 100 настраивается на канал 7, как показано на фиг. 16.

[126] Фиг. 17-20 поясняют быстрый переход к каналу с использованием распознавания голоса, включающий в себя название канала согласно примерному варианту осуществления. Если электронное устройство 100 переходит в режим выполнения задач на основе распознавания голоса и отображает вспомогательную информацию по голосу в нижней части экрана отображения, и "Канал", соответствующий голосовому элементу 812, распознается через модуль 130k распознавания голоса, как показано на фиг. 17, электронное устройство 100 отображает область 830 отображения инструкций, чтобы выдавать инструкции по номеру канала и названию канала во вспомогательной информации по голосу, как показано на фиг. 18. Если отображается область 830 отображения инструкций, и голос "MBC" распознается через модуль 130k распознавания голоса, электронное устройство 100 настраивается на канал 11, имеющий название канала "MBC", как показано на фиг. 20.

[127] Если существует канал, включающий в себя "MBC", распознанное через модуль 130k распознавания голоса, или существует группа вариантов, аналогичная "MBC", электронное устройство 100 отображает список группы 1900 вариантов голоса и инструкции 1910 по выбору группы вариантов, чтобы выдавать инструкции по способу ввода группы вариантов голоса, как показано на фиг. 19. Если отображается список группы 1900 вариантов голоса, и голос "номер 11", соответствующий элементу 1901 номер один в списке группы 1900 вариантов голоса, распознается через модуль 130k распознавания голоса, электронное устройство 100 настраивается на канал 11, имеющий название канала "MBC", как показано на фиг. 20.

[128] Фиг. 21-23 поясняют отключение звука с использованием распознавания голоса согласно примерному варианту осуществления. Как показано на фиг. 21, если вспомогательная информация по голосу отображается в нижней части экрана отображения, и "Отключение звука", соответствующее голосовому элементу 813, распознается через модуль 130k распознавания голоса, электронное устройство 100 управляет блоком 196 аудиовывода таким образом, что он не выводит аудио. Кроме того, как показано на фиг. 22, электронное устройство 100 отображает значок 2200 отключения звука на экране отображения. В это время, область 2210 отображения инструкций отображает команду включения 2213 звука вместо команды отключения 813 звука.

[129] Если "Включение звука" распознается через модуль 130k распознавания голоса, электронное устройство 100 управляет блоком 196 аудиовывода так, что он выводит аудио на предыдущем уровне, который действовал перед отключением звука. Кроме того, как показано фиг. 23, электронное устройство 100 удаляет значок 2200 отключения звука на экране отображения.

[130] Фиг. 24-26 поясняют изменение внешнего ввода с использованием распознавания голоса согласно примерному варианту осуществления. Как показано на фиг. 24, если электронное устройство 100 переходит в режим выполнения задач на основе распознавания голоса и отображает вспомогательную информацию по голосу в нижней части экрана отображения, и "Внешний ввод", соответствующий голосовому элементу 814, распознается через модуль 130k распознавания голоса, электронное устройство 100 отображает список 2500 внешних вводов и инструкции 2510, чтобы выдавать инструкции по выбору внешнего ввода, как показано на фиг. 25. Список 2500 внешних вводов наглядно отображает внешний контактный вывод для USB, внешний контактный вывод для AV1 и внешний контактный вывод для PC, которые подключаются к блоку 160 ввода из внешних контактных выводов, и бледно отображает HDMI 1 и HDMI 2, которые не подключаются к блоку 160 ввода из внешних контактных выводов. Если отображается список 2500 внешних вводов, и "PC" распознается через модуль 130 распознавания голоса, электронное устройство 100 отображает состояние подключения к внешнему вводу "PC" на экране отображения.

[131] Фиг. 27 и 29, иллюстрирующий задачу выполнения функции, имеющую точное название, которое должно быть произнесено, согласно примерному варианту осуществления. Как показано на фиг. 27, если вводится пользовательская команда для того, чтобы отображать список контента, чтобы выполнять интеллектуальные функции (например, функции осуществления доступа в Интернет, выполнения приложения, воспроизведения движущегося изображения и прослушивания музыки), отображается интеллектуальный центр 2700 управления. Интеллектуальный центр 2700 управления является UI, выступающим в качестве центра управления функциями, поддерживаемыми посредством электронного устройства 100, и является UI, который отображает выполняемые значки, соответствующие множеству функций, поддерживаемых посредством электронного устройства 100 (например, функциям просмотра видео, прослушивания музыки и осуществления доступа в Интернет). Кроме того, интеллектуальный центр 2700 управления представляет собой является UI, который отображает выполняемые значки, соответствующие контенту, сохраненному в блоке 130 хранения электронного устройства 100 (например, фотографиям, музыке и видео), выполняемые значки, соответствующие контенту, принимаемому из внешних источников (например, фотографиям, музыке и видео), и выполняемые значки, соответствующие приложениям, подключаемым наружу (например, Интернет-обозревателю).

[132] Если "Ginny" распознается через модуль 130k распознавания голоса, чтобы переходить в режим выполнения задач на основе распознавания голоса, электронное устройство 100 отображает голосовой GUI в нижней части экрана отображения и переходит в режим выполнения задач на основе распознавания голоса, как показано на фиг. 28. При переходе в режим выполнения задач на основе распознавания голоса электронное устройство 100 подчеркивает названия выполняемых значков интеллектуального центра 2700 управления так, что интеллектуальный центр 2700 управления отображает выполняемые значки, выбираемые посредством пользовательского голоса.

[133] Как показано на фиг. 28, если отображается вспомогательная информация по голосу, и голос "Ваше видео" распознается через модуль 130k распознавания голоса, электронное устройство 100 выполняет движущееся изображение, включенное в "Ваше видео" интеллектуального центра 2700 управления, как показано на фиг. 29. Если одно движущееся изображение включается в "Ваше видео", движущееся изображение быстро выполняется, а если множество движущихся изображений включается в "Ваше видео", отображается список движущихся изображений, включенных в "Ваше видео".

[134] Фиг. 30-32 поясняют функцию воспроизведения изображений и функцию остановки изображений с использованием распознавания голоса согласно примерному варианту осуществления. Как показано на фиг. 30, если воспроизводится изображение (например, движущееся изображение, сохраненное в блоке 130 хранения), и "Ginny" распознается через модуль 130k распознавания голоса, чтобы переходить в режим выполнения задач на основе распознавания голоса, электронное устройство 100 переходит в режим выполнения задач на основе распознавания голоса и отображает вспомогательную информацию по голосу в нижней части экрана отображения, как показано на фиг. 31.

[135] В этом состоянии, если "Пауза" распознается через модуль 130k распознавания голоса, электронное устройство 100 временно останавливает воспроизведение текущего изображения и отображает значок паузы на экране отображения, как показано на фиг. 32. Если "Воспроизведение" распознается через модуль 130k распознавания голоса, электронное устройство 100 воспроизводит поставленное на паузу изображение, как показано на фиг. 31.

[136] Команда паузы/остановки может отображаться во вспомогательной информации по голосу в то время, когда изображение воспроизводится, и команда воспроизведения может отображаться в то время, когда изображение ставится на паузу.

[137] Как описано выше, поскольку задача на основе распознавания голоса, которая управляется в соответствии с пользовательским голосом, распознанным через модуль 130k распознавания голоса, является задачей, которая имеет произносимый идентификатор, или задачей, которая требует ввода текста, пользователь может через голос проще и удобнее управлять задачей на основе распознавания голоса.

[138] Фиг. 33 и 34 поясняют переключение канала с использованием распознавания движения согласно примерному варианту осуществления. Если электронное устройство 100 переходит в режим выполнения задач на основе распознавания движения и отображает вспомогательную информацию по движению в нижней части экрана отображения, как показано на фиг. 33, и движение шлепка с перемещением руки пользователя в направлении вправо, которое соответствует элементу 3313 движения, распознается через модуль 130l распознавания движения, электронное устройство 100 настраивается на следующий канал по отношению к текущему каналу, т.е. канал 7, который увеличивается с текущего канала 6 на 1, как показано на фиг. 34. С другой стороны, если отображается канал 7, как показано на фиг. 34, и распознается движение шлепка с перемещением руки пользователя в направлении влево из текущего местоположения, которое соответствует элементу 3313 движения, электронное устройство 100 настраивается на предыдущий канал, т.е. канал 6, который уменьшается с текущего канала 7 на 1, как показано на фиг. 33.

[139] Фиг. 35 и 37 поясняют регулирование уровня громкости с использованием распознавания движения согласно примерному варианту осуществления. Если электронное устройство 100 переходит в режим выполнения задач на основе распознавания движения и отображает вспомогательную информацию по движению в нижней части экрана отображения, как показано на фиг. 35, и движение шлепка с перемещением руки пользователя в направлении вверх, которое соответствует элементу 3312 движения, распознается через модуль 130l распознавания движения, электронное устройство 100 отображает панель 3600 регулирования уровня громкости, отображающую уровень громкости, и выводит громкость следующего уровня в 10, который увеличивается с текущего уровня громкости в 9 на один уровень, как показано на фиг. 36. Если пользовательское движение не распознается в течение предварительно определенного времени (например, 5 секунд) после того, как панель 3600 регулирования уровня громкости отображена, электронное устройство 100 удаляет панель 3600 регулирования уровня громкости с экрана отображения и выводит аудио в соответствии с отрегулированным уровнем громкости.

[140] Фиг. 38-41 поясняют переключение канала с использованием движения наведения указателя пользователя согласно примерному варианту осуществления. Если пользователь вводит команду для формирования списка 3800 каналов (например, кнопку списка каналов на пульте дистанционного управления), чтобы выбрать канал, и список 3800 каналов отображается на экране отображения, как показано на фиг. 38, и движение, чтобы перейти в режим выполнения задач на основе распознавания движения, распознается через модуль 130l распознавания движения (например, встряска рукой пользователя 3-4 раза), электронное устройство 100 формирует курсор 3910 и отображает вспомогательную информацию по движению в нижней части экрана отображения, как показано на фиг. 39.

[141] Если отображается вспомогательная информация по движению, и движение перемещения руки из текущего местоположения в направлении влево и вниз, чтобы перемещать курсор 3910, распознается через модуль 130l распознавания движения, электронное устройство 100 перемещает курсор 2010 на "11-1 MBC" в соответствии с движением, как показано на фиг. 40.

[142] Если движение захвата, которое соответствует элементу 3314 движения, распознается через модуль 130l распознавания движения, электронное устройство 100 настраивается на "11-1 MBC" и отображает канал "11-1 MBC", как показано на фиг. 41.

[143] Фиг. 42-45 поясняют выполнение приложения с использованием движения наведения указателя пользователя согласно примерному варианту осуществления. Если интеллектуальный центр управления отображается на экране отображения, как показано на фиг. 42, и движение (например, встряска рукой 3-4 раза), чтобы переходить в режим выполнения задач на основе распознавания движения, распознается через модуль 130l распознавания движения, электронное устройство 100 формирует и отображает курсор 4305 и отображает вспомогательную информацию 4310 по движению в нижней части экрана отображения, как показано на фиг. 43.

[144] Если движение перемещения руки из текущего местоположения в направлении влево и вниз распознается через модуль 130l распознавания движения, электронное устройство 100 перемещает курсор 4305 на "Прил2" в соответствии с движением, как показано на фиг. 44.

[145] Если движение захвата, которое соответствует элементу движения 4311, распознается через модуль 130l распознавания движения, электронное устройство 100 выполняет "Прил2", как показано на фиг. 45. В это время, электронное устройство 100 может отображать экран, указывающий выполнение выбранного приложения, вместо экрана, отображающего интеллектуальный центр управления, как показано на фиг. 45. Тем не менее, это представляет собой просто пример, и электронное устройство 100 может отображать выполнение приложения на экране в интеллектуальном центре управления, который меньше экрана интеллектуального центра управления.

[146] Фиг. 46-48 поясняют навигацию в области отображения приложения интеллектуального центра управления с использованием пользовательского движения согласно примерному варианту осуществления. Если интеллектуальный центр управления отображается на экране отображения, как показано на фиг. 46, и движение встряски рукой 3-4 раза, чтобы переходить в режим выполнения задач на основе распознавания движения, распознается через модуль 130l распознавания движения, электронное устройство 100 формирует курсор 4710 и отображает вспомогательную информацию по движению в нижней части экрана отображения, как показано на фиг. 47.

[147] Если курсор 4710 находится в области навигации (например, в области, в которой отображаются клавиши 4713 и 4716 направления перемещения влево и вправо), и движение шлепка с перемещением руки из текущего местоположения в направлении вправо распознается через модуль 130l распознавания движения, электронное устройство 100 перемещает область 4720 отображения приложения, в которой находится курсор 4710, в направлении влево, как показано на фиг. 48.

[148] Фиг. 49-52 поясняют выполнение значка, имеющего неопределенное название, с использованием распознавания движения согласно примерному варианту осуществления. Если экран веб-страницы отображается на экране отображения, как показано на фиг. 49, и движение встряски рукой 3-4 раза, чтобы переходить в режим выполнения задач на основе распознавания движения, распознается через модуль 130l распознавания движения, электронное устройство формирует курсор 5005 и отображает вспомогательную информацию 5010 по движению в нижней части экрана отображения, как показано на фиг. 50.

[149] Если движение перемещения руки из текущего местоположения в направлении влево вверх, чтобы перемещать курсор 5005, распознается через модуль 130l распознавания движения, электронное устройство 100 перемещает курсор 5005 на значок "Закладка" в соответствии с движением, как показано на фиг. 51.

[150] Если движение захвата распознается через модуль 130l распознавания движения, электронное устройство 100 отображает выполнение закладки 5220, указывающей закладку веб-страницы, в данный момент отображаемой на экране отображения, как показано на фиг. 52.

[151] Фиг. 53-55 поясняют задачу управления воспроизведением с использованием распознавания движения согласно примерному варианту осуществления. Если изображение контента (например, движущееся изображение, сохраненное в блоке 130 хранения, или движущееся изображение, принимаемое из внешнего источника), отображается на экране отображения, как показано на фиг. 53, и движение встряски рукой 3-4 раза, чтобы переходить в режим выполнения задач на основе распознавания движения, распознается через модуль 130l распознавания движения, электронное устройство 100 формирует панель 5410 управления воспроизведением и отображает вспомогательную информацию по движению в нижней части экрана отображения, как показано на фиг. 54. В это время, панель 5410 управления воспроизведением отображается на экране отображения, если распознается команда начала управления на основе распознавания движения. Панель 5410 управления воспроизведением может отображаться на экране отображения, если принимается дополнительный пользовательский ввод (например, кнопка дистанционного управления).

[152] Если движение шлепка в направлении влево распознается через модуль 130l распознавания движения, электронное устройство 100 переходит назад от текущего изображения на предварительно определенное время (например, 10 минут) и воспроизводит изображение. Предварительно определенное время может быть изменено через конфигурацию.

[153] Фиг. 56-58 поясняют задачу управления воспроизведением с использованием другого распознавания движения согласно примерному варианту осуществления. Если изображение (например, движущееся изображение, сохраненное в блоке 130 хранения, или движущееся изображение, принимаемое из внешнего источника), отображается на экране отображения, как показано на фиг. 56, и движение встряски рукой 3-4 раза, чтобы перейти в режим выполнения задач на основе распознавания движения, распознается через модуль 130l распознавания движения, электронное устройство 100 формирует панель 5710 управления воспроизведением и отображает вспомогательную информацию по движению в нижней части экрана отображения, как показано на фиг. 57. В это время, панель 5710 управления воспроизведением отображается на экране отображения, если распознается команда начала управления на основе распознавания движения. Панель 5710 управления воспроизведением может отображаться на экране отображения, если принимается дополнительный пользовательский ввод (например, кнопка дистанционного управления).

[154] Если движение захвата распознается через модуль 130l распознавания движения, электронное устройство 100 выбирает значок 5715, указывающий текущее местоположение воспроизведения, а если движение перемещения в направлении влево распознается через модуль 130l распознавания движения позднее, электронное устройство 100 возвращается к местоположению точно в предварительно определенное время, соответствующее движению перемещения в направлении влево. Значок 5715 также перемещается назад точно согласно движению перемещения в направлении влево. Если движение отпускания захвата распознается через модуль 130l распознавания движения (например, движение разведения руки), электронное устройство 100 воспроизводит изображение от местоположения, в которое перемещается значок 5715, как показано на фиг. 58. Тем не менее, это представляет собой просто пример. Если движение перемещения в направлении вправо распознается после захвата, электронное устройство 100 переходит вперед точно в предварительно определенное время, соответствующее движению перемещения в направлении вправо. Значок 5715 также перемещается вперед точно согласно движению перемещения в направлении вправо.

[155] Как описано выше, поскольку задача на основе распознавания движения, которая управляется в соответствии с пользовательским движением, распознанным через модуль 130l распознавания движения, является задачей, значение настройки которой изменяется синфазно, или задачей, которая использует курсор, пользователь может проще и удобнее управлять задачей на основе распознавания движения.

[156] Фиг. 59 и 60 являются блок-схемами последовательности операций, иллюстрирующими способ для управления электронным устройством, который управляет всей задачей посредством ее разделения на задачу на основе распознавания движения и задачу на основе распознавания голоса согласно различным примерным вариантам осуществления.

[157] Фиг. 59 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для управления электронным устройством 100 согласно примерному варианту осуществления.

[158] Электронное устройство 100 распознает пользовательский голос или пользовательское движение (S5910). Пользовательский голос вводится через микрофон и распознается посредством модуля распознавания голоса, и пользовательское движение фотографируется посредством камеры и распознается посредством модуля распознавания движения.

[159] Если пользовательский ввод распознается через одно из модуля распознавания голоса или модуля распознавания движения (S5910), электронное устройство 100 выполняет одно из задачи на основе распознавания голоса или задачи на основе распознавания движения в соответствии с пользовательским вводом (S5920). Задача на основе распознавания голоса является задачей, которая включает в себя идентификатор, соответствующий пользовательскому голосу, из числа задач для управления электронным устройством 100, а задача на основе распознавания движения является задачей, которая выполняется синхронно в соответствии с пользовательским движением из числа задач для управления электронным устройством 100.

[160] Как описано выше, пользователь может управлять электронным устройством 100 более эффективно с использованием голоса и движения.

[161] Фиг. 60 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для управления электронным устройством согласно примерному варианту осуществления.

[162] Электронное устройство 100 распознает команду начала через одно из модуля распознавания голоса и модуля распознавания движения (S6005). Команда начала может быть командой начала управления на основе распознавания голоса, которая распознается через модуль распознавания голоса, или командой начала управления на основе распознавания движения, которая распознается через модуль распознавания движения.

[163] Если распознанная команда начала является командой начала управления на основе распознавания голоса (S6010-Y), электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса (S6015). Режим выполнения задач на основе распознавания голоса является режимом, в котором задача выполняется в соответствии с пользовательским голосом, распознанным через модуль распознавания голоса.

[164] Если режим переключается на режим выполнения задач на основе распознавания голоса, электронное устройство 100 формирует вспомогательную информацию по голосу, включающую в себя голосовые элементы (S6020). Например, отображается вспомогательная информация по голосу, включающая в себя голосовые элементы для выполнения задач на основе распознавания голоса, как показано на фиг. 61.

[165] В режиме выполнения задач на основе распознавания голоса электронное устройство 100 определяет то, распознается или нет пользовательский голос (S6030). Если определено то, что пользовательский голос распознается (S6030-Y), электронное устройство выполняет задачу на основе распознавания голоса, соответствующую распознанному пользовательскому голосу (S6035). Например, задача на основе распознавания голоса выполняется, как пояснено выше со ссылкой на фиг. 6-32.

[166] Задача на основе распознавания голоса может включать в себя, по меньшей мере, одну из функций управления питанием, быстрого перехода к каналу, настройки уровня громкости, отключения звука, изменения внешнего ввода, ввода текста и воспроизведения/остановки электронного устройства.

[167] Определяется то, распознается или нет команда начала управления на основе распознавания движения в режиме выполнения задач на основе распознавания голоса (S6040). Если команда начала управления на основе распознавания движения распознается (S6040-Y), электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения (S6045). Например, если команда начала управления на основе распознавания движения распознается в режиме выполнения задач на основе распознавания голоса, электронное устройство 100 переключает режим на режим выполнения задач на основе распознавания движения и отображает вспомогательную информацию по движению, включающую в себя элементы движения, как показано на фиг. 62.

[168] Если команда начала управления на основе распознавания движения не распознается (S6040-N), электронное устройство 100 поддерживает текущий режим выполнения задач, т.е. режим выполнения задач на основе распознавания голоса (S6070). Если первоначально распознанная команда начала является командой начала управления на основе распознавания движения, а не командой начала управления на основе распознавания голоса (S6010-N), электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения (S6045). Режим выполнения задач на основе распознавания движения является режимом, в котором задача выполняется только посредством пользовательского движения, распознанного через модуль 130l распознавания движения.

[169] Если режим электронного устройства 100 переключается на режим выполнения задач на основе распознавания движения, электронное устройство 100 формирует вспомогательную информацию по движению, включающую в себя элемент движения (S6050). Например, как показано на фиг. 62, отображается вспомогательная информация по движению, включающая в себя элемент движения для управления задачей на основе распознавания движения.

[170] Электронное устройство 100 определяет то, распознается или нет пользовательское движение (S6055). Если определено то, что пользовательское движение распознается (S6055-Y), электронное устройство 100 выполняет задачу на основе распознавания движения, соответствующую распознанному пользовательскому движению (S6060). Например, задача на основе распознавания движения выполняется, как пояснено выше со ссылкой на фиг. 33-58.

[171] Задача на основе распознавания движения может включать в себя, по меньшей мере, одно из переключения канала, регулирования уровня громкости, навигации по экрану, управления ползунком и наведения курсора.

[172] Определяется то, распознается или нет команда начала управления на основе распознавания голоса в режиме выполнения задач на основе распознавания движения (S6065), и если команда начала управления на основе распознавания голоса распознается (S6065-Y), электронное устройство 100 переключает режим на режим выполнения задач на основе распознавания голоса (S6010). Например, если команда начала управления на основе распознавания голоса распознается в режиме выполнения задач на основе распознавания движения, электронное устройство 100 переключает режим на режим выполнения задач на основе распознавания голоса и отображает вспомогательную информацию по голосу, включающую в себя голосовые элементы, как показано на фиг. 60.

[173] Если команда начала управления на основе распознавания голоса не распознается (S6040-N), электронное устройство 100 поддерживает текущий режим выполнения задач, т.е. режим выполнения задач на основе распознавания движения (S6070).

[174] Как описано выше, электронное устройство 100 может выполнять различные задачи в соответствии с пользовательским движением или пользовательским голосом, и за счет этого может повышаться удобство пользователя.

[175] Блок 140 управления может управлять отображением вспомогательной информации по голосу для выполнения задач на основе распознавания голоса в режиме выполнения задач на основе распознавания голоса, в котором, по меньшей мере, одна из задач на основе распознавания голоса выполняется в соответствии с распознанным голосом. Например, если команда начала управления на основе распознавания голоса распознается через модуль распознавания голоса, блок 140 управления может управлять отображением вспомогательной информации по голосу для выполнения задач на основе распознавания голоса, которые являются управляемыми в соответствии с пользовательским голосом. По меньшей мере, один голосовой элемент, соответствующий различным задачам на основе распознавания голоса, может отображаться в качестве вспомогательной информации по голосу. По меньшей мере, один голосовой элемент может быть произносимой командой. Соответственно, пользователь может легко идентифицировать распознаваемую команду в режиме выполнения задач на основе распознавания голоса. Кроме того, если произносится соответствующая команда, пользователь может легко распознавать то, какая задача на основе распознавания голоса должна быть выполнена.

[176] Блок 140 управления может распознавать первый голос, соответствующий первому голосовому элементу, из числа, по меньшей мере, одного голосового элемента, отображаемого в качестве вспомогательной информации по голосу в режиме выполнения задач на основе распознавания голоса. Блок 140 управления определяет то, существует или нет дополнительная информация элемента, связанная с первым голосовым элементом, соответствующим распознанному первому голосу. Если дополнительная информация элемента не существует, блок 140 управления может выполнять задачу, соответствующую первому голосовому элементу. Если вспомогательная информация по голосу должна быть изменена, блок 140 управления может управлять блоком отображения (не показан) таким образом, что он отображает измененную вспомогательную информацию по голосу. Если дополнительная информация элемента существует, блок 140 управления может управлять отображением дополнительной информации элемента, связанной с первым голосовым элементом, соответствующим распознанному первому голосу. Блок 140 управления может распознавать второй голос, соответствующий дополнительной информации элемента. Блок 140 управления может выполнять задачу, соответствующую первому голосовому элементу и второму голосу, из числа задач на основе распознавания голоса.

[177] Блок 140 управления может управлять отображением вспомогательной информации по движению для выполнения задач на основе распознавания движения в режиме выполнения задач на основе распознавания движения, в котором, по меньшей мере, одна из задач на основе распознавания движения выполняется в соответствии с распознанным движением. Например, если команда начала управления на основе распознавания движения распознается через модуль распознавания движения, блок 140 управления управляет отображением вспомогательной информации по движению для выполнения задач на основе распознавания движения, которые являются управляемыми в соответствии с пользовательским движением. По меньшей мере, один элемент движения, соответствующий различным задачам на основе распознавания движения, может отображаться в качестве вспомогательной информации по движению. По меньшей мере, один элемент движения может включать в себя изображение для движения, указывающее распознаваемое движение в режиме выполнения задач на основе распознавания движения, и задачу, соответствующую распознаваемому движению. Соответственно, пользователь может легко идентифицировать распознаваемое движение в режиме выполнения задач на основе распознавания движения и может легко распознавать то, какая задача на основе распознавания движения должна быть выполнена, согласно тому, какое движение выполняет пользователь. Следовательно, пользователь может легко выполнять задачу на основе распознавания движения.

[178] Блок 140 управления может распознавать первое движение, соответствующее первому элементу движения, из числа, по меньшей мере, одного элемента движения, отображаемого в качестве вспомогательной информации по движению в режиме выполнения задач на основе распознавания движения. Блок 140 управления может определять то, существует или нет дополнительная информация элемента, связанная с первым движением, соответствующим распознанному первому движению. Если дополнительная информация элемента не существует, блок 140 управления может выполнять задачу, соответствующую первому элементу движения. Кроме того, если вспомогательная информация по движению должна быть изменена, блок 140 управления может управлять блоком отображения (не показан) таким образом, что он отображает измененную вспомогательную информацию по движению. Если дополнительная информация элемента существует, блок 140 управления может управлять отображением дополнительной информации элемента, связанной с первым элементом движения, соответствующим распознанному первому движению. Блок 140 управления может распознавать второе движение, соответствующее дополнительной информации элемента. Блок 140 управления может выполнять задачи, соответствующие первому элементу движения и распознанному второму движению, из числа задач на основе распознавания движения. Вспомогательная информация по голосу, вспомогательная информация по движению, дополнительная информация элемента, связанная с голосовым элементом, или дополнительная информация элемента, связанная с элементом движения, могут отображаться в идентичной области (в нижней части) экрана отображения. Вышеописанная информация может отображаться в предварительно установленной области или в динамически изменяемой области. Например, вспомогательная информация по голосу или вспомогательная информация по движению может отображаться в верхней, нижней, правой или левой части экрана отображения и может быть динамически изменяемой согласно изображению, отображаемому на экране.

[179] Вспомогательная информация по голосу, вспомогательная информация по движению, дополнительная информация элемента, связанная с голосовым элементом, или дополнительная информация элемента, связанная с элементом движения, могут отображаться вместе с отображаемым или воспроизведенным изображением, приложением, OSD или вариантом распознавания либо могут отображаться независимо. Область, в которой отображается вышеуказанная информация, может перекрываться с областью, в которой отображается изображение, приложение, OSD или вариант распознавания. По меньшей мере, часть вспомогательной информации по голосу или вспомогательной информации по движению может отображаться прозрачно или полупрозрачно. Прозрачность может регулироваться согласно пользовательскому выбору.

[180] Вспомогательная информация по голосу и вспомогательная информация по движению, описанная выше, могут предоставляться пользователю в различных формах. В дальнейшем в этом документе подробнее поясняется вспомогательная информация по голосу, дополнительная информация элемента, связанная с голосовым элементом, и вспомогательная информация по движению со ссылкой на фиг. 61-63.

[181] Фиг. 61 иллюстрирует вспомогательную информацию по голосу, отображаемую на блоке 193 отображения в режиме выполнения задач на основе распознавания голоса согласно примерному варианту осуществления.

[182] Как показано на фиг. 61, блок 193 отображения может отображать, по меньшей мере, один голосовой элемент 811, 812, 813, 814, 815, 816, 817 и 818 в режиме выполнения задач на основе распознавания голоса в качестве вспомогательной информации по голосу. Каждый из голосовых элементов может быть произносимой командой. Кроме того, вспомогательная информация по выдаваемым инструкциям может включать в себя изображение режима или текст, указывающий режим выполнения задач на основе распознавания голоса. Вспомогательная информация по голосу может включать в себя область 810 отображения инструкций, включающую в себя, по меньшей мере, один голосовой элемент, или область 820 отображения режима, отображающую обозначенный режим (например, режим выполнения задач на основе распознавания голоса или режим выполнения задач на основе распознавания движения) электронного устройства 100. Область 820 отображения режима может включать в себя, по меньшей мере, одно из изображения режима и текста, указывающего обозначенный режим из режима выполнения задач на основе распознавания голоса и режима выполнения задач на основе распознавания движения. Кроме того, область 810 отображения инструкций и область 820 отображения режима могут отдельно отображаться так, как показано на фиг. 61, либо могут отображаться без проведения границы между двумя областями. Область 820 отображения режима может исключаться. Местоположение каждой из области 810 отображения инструкций и области 820 отображения режима может задаваться во время изготовления электронного устройства 100 или может произвольно задаваться пользователем, либо область 810 отображения инструкций и область 820 отображения режима могут располагаться динамически согласно изображению, отображаемому вдоль UI. Например, если отображается OSD, местоположение каждой из области 810 отображения инструкций и области 820 отображения режима может быть переключено на определенное местоположение вне области, в которой отображается OSD, так что отображение OSD подсвечивается. Область 810 отображения инструкций может отображаться в нижней части экрана отображения, а область 820 отображения режима может отображаться внизу в центре экрана отображения. Кроме того, местоположение области 820 отображения режима может быть переключено на другое местоположение, такое как нижняя правая часть, независимо от области 810 отображения инструкций согласно конфигурации.

[183] В режиме выполнения задач на основе распознавания голоса область 810 отображения инструкций включает в себя, по меньшей мере, один голосовой элемент 811, 812, 813, 814, 815, 816, 817 и 818. Например, каждый, по меньшей мере, из одного голосового элемента может быть командой для того, чтобы выполнять задачу на основе распознавания голоса. По меньшей мере, одна команда, включенная в область 810 отображения инструкций, может включать в себя отключение 811 питания, канал 812, отключение 813 звука, внешний ввод 814, интеллектуальный центр 815 управления, приложения 816, поиск 817 или "Все" 818. Отключение 811 питания является командой для того, чтобы выключать электронное устройство 100. Канал 812 является командой для того, чтобы выполнять быстрый переход к каналу. Отключение 813 звука является командой для того, чтобы выполнять отключение звука. Внешний ввод 814 является командой для того, чтобы изменять внешний ввод. Интеллектуальный центр 815 управления является командой для того, чтобы выполнять задачу перехода к интеллектуальной функции, такой как Интернет-функция, функция предоставления приложений и функция предоставления мультимедиа (например, движущихся изображений, музыки и фотографий) электронного устройства 100. Приложения 816 является командой для того, чтобы выполнять задачу поиска приложения электронного устройства 100. Поиск 817 является командой для того, чтобы выполнять поиск контента, поиск приложений и веб-поиск, предоставляемый посредством электронного устройства 100. "Все" 818 является командой для того, чтобы отображать все команды. Область 818 отображения инструкций может включать в себя "Еще" в качестве команды вместо "Все" 818. Иными словами, "Все" 818 и "Еще" могут быть голосовыми элементами для отображения элементов, отличных, по меньшей мере, от одного голосового элемента 811, 812, 813, 814, 815, 816, 817 и 818, из числа голосовых элементов, соответствующих задачам на основе распознавания голоса. Кроме того, если электронное устройство 100 отображает другие элементы, электронное устройство 100 может быть выполнено с возможностью не использовать предварительно установленный таймер. Предварительно установленный таймер является таймером, чтобы прекращать режим выполнения задач на основе распознавания голоса, если, по меньшей мере, один из отображаемых голосовых элементов 811, 812, 813, 814, 815, 816, 817 и 818 не распознается в течение предварительно установленного времени. Если режим выполнения задач на основе распознавания голоса прекращается, вспомогательная информация по голосу может исчезать, и режим может быть переключен на режим, в котором электронное устройство 100 управляется посредством общего пульта дистанционного управления. Кроме того, если режим выполнения задач на основе распознавания голоса прекращается, выполнение задачи на основе распознавания голоса может быть ограничено до тех пор, пока электронное устройство 100 не перейдет повторно в режим выполнения задач на основе распознавания голоса согласно команде начала управления на основе распознавания голоса. Кроме того, если OSD или вариант распознавания отображается на экране вместе со вспомогательной информацией по голосу, вспомогательной информацией по движению и дополнительной информацией элемента, предварительно установленный таймер для того, чтобы прекращать обозначенный режим, не может активироваться независимо от обозначенного режима. Кроме того, область 810 отображения инструкций может включать в себя команды, отличные от вышеописанных команд.

[184] По меньшей мере, один голосовой элемент 811, 812, 813, 814, 815, 816, 817, 818, который отображается в качестве вспомогательной информации по голосу, может быть сконфигурирован по-разному согласно текущей выполняемой функции. Иными словами, по меньшей мере, одна команда, отображаемая в области 810 отображения инструкций, может быть сконфигурирована по-разному согласно текущей выполняемой функции. В частности, по меньшей мере, один из голосовых элементов, соответствующих задачам на основе распознавания голоса, может быть избирательно конфигурирован согласно, по меньшей мере, одному из приложения, OSD и варианта, отображаемого вместе со вспомогательной информацией по голосу. Например, если интеллектуальная функция в данный момент выполняется в электронном устройстве 100, может отображаться вспомогательная информация по голосу, включающая в себя команду "Возврат", чтобы возвращаться к функции приема широковещательной передачи. Вариант распознавания может включать в себя, по меньшей мере, одно из названия, имеющего, по меньшей мере, одно из числа или текста, аналогичного распознанному голосу, команды, аналогичной распознанному голосу, задачи, соответствующей аналогичной команде, движения, аналогичного распознанному движению, и задачи, соответствующей аналогичному движению. Например, варианты, аналогичные распознанному голосу, могут отображать список идентификаторов каналов, аналогичных распознанному голосу во всплывающем окне. OSD может включать в себя текущую информацию настроек электронного устройства 100 и меню настроек электронного устройства 100, за исключением варианта распознавания. Например, в качестве OSD может отображаться идентификатор текущего канала (номер канала или название канала), либо может отображаться список внешних вводов или список каналов.

[185] Блок 140 управления может распознавать первый голос, соответствующий первому голосовому элементу, из, по меньшей мере, одного голосового элемента 811, 812, 813, 814, 815, 816, 817, 818, отображаемого в качестве вспомогательной информации по голосу. Блок 140 управления может управлять отображением дополнительной информации элемента, связанной с первым голосовым элементом, соответствующим распознанному первому голосу. Дополнительная информация элемента, связанная с первым голосовым элементом, может включать в себя дополнительную команду, связанную с первым голосовым элементом, сообщение с инструкциями или пример произнесения. Например, если "Канал" распознается через модуль 130k распознавания голоса в качестве голоса, соответствующего голосовому элементу 812, отображаемому в области 810 отображения инструкций, и задачей, соответствующей голосовому элементу 812, является быстрый переход к каналу, блок 193 отображения может отображать дополнительную информацию элемента, включающего в себя сообщение с инструкциями, пример произнесения или дополнительную команду (например, "Предыдущий") для произнесения, по меньшей мере, одного идентификатора из названия канала, названия программы и номера канала, как показано на фиг. 62. "Предыдущий" в данном документе может быть командой для того, чтобы снова отображать UI, включающий в себя область 810 отображения инструкций по фиг. 61. Дополнительная информация элемента может включать в себя область 830 отображения инструкций, включающую в себя дополнительную команду, сообщение с инструкциями или пример произнесения, и область 820 отображения режима. Например, сообщение с инструкциями может отображаться в левой части области 830 отображения инструкций, и дополнительная команда или пример произнесения может отображаться в правой части области 830 отображения инструкций.

[186] Блок 140 управления может распознавать второй голос, соответствующий дополнительной информации элемента. Блок 140 управления может выполнять задачу, соответствующую первому голосовому элементу и второму голосу, из числа задач на основе распознавания голоса. Например, если первый голосовой элемент является голосовым элементом 812, и "MBC" распознается в качестве второго голоса, соответствующего дополнительной информации элемента по фиг. 60, блок 140 управления может выполнять быстрый переход к каналу, чтобы переключать текущий канал на канал, соответствующий идентификатору канала, включающему в себя "MBC". Иными словами, дополнительная информация элемента, связанная с первым голосовым элементом, может быть информацией для выдачи инструкций по произнесению второго голоса, чтобы запрашивать то, следует выполнять задачу, соответствующую первому голосовому элементу, или дополнительно получать информацию, необходимую для выполнения задачи.

[187] Фиг. 63 является видом, иллюстрирующим вспомогательную информацию по движению, отображаемую на блоке 193 отображения электронного устройства 100 в режиме выполнения задач на основе распознавания движения согласно примерному варианту осуществления.

[188] Как показано на фиг. 63, блок 193 отображения может отображать, по меньшей мере, один элемент 3311, 3312, 3313 и 3314 движения в качестве вспомогательной информации по движению в режиме выполнения задач на основе распознавания движения. Каждый, по меньшей мере, из одного элемента движения может включать в себя изображение для движения, указывающее движение, распознаваемое в режиме выполнения задач на основе распознавания движения, или текст, указывающий задачу, соответствующую распознаваемому движению (или изображению для движения). Вспомогательная информация по движению может включать в себя изображение режима или текст, указывающий режим выполнения задач на основе распознавания движения. Вспомогательная информация по движению может включать в себя область 3310 отображения инструкций, включающую в себя, по меньшей мере, один элемент движения, и область 3320 отображения режима, отображающую режим электронного устройства 100. Область 3320 отображения режима может включать в себя, по меньшей мере, одно из изображения режима и текста, указывающего обозначенный режим из режима выполнения задач на основе распознавания голоса и режима выполнения задач на основе распознавания движения. Область 3310 отображения инструкций и область 3320 отображения режима могут отдельно отображаться так, как показано на фиг. 63, либо могут отображаться без проведения границы между двумя областями. Кроме того, область 3320 отображения режима может исключаться. Например, область 3310 отображения инструкций может отображаться в нижней части экрана отображения, а область 3320 отображения режима может отображаться в центре нижней части экрана отображения. Местоположение области 3320 отображения режима может быть изменено согласно конфигурации (например, на правую нижнюю часть).

[189] В режиме выполнения задач на основе распознавания движения область 3310 отображения инструкций включает в себя, по меньшей мере, один элемент 3311, 3312, 3313, 3314 движения. Например, каждый, по меньшей мере, из одного элемента движения может включать в себя изображение для движения и текст, указывающий задачу, соответствующую изображению для движения. По меньшей мере, один элемент движения, включенный в область 3310 отображения инструкций, может включать в себя элемент 3311 движения, указывающий то, что движение поворота в направлении против часовой стрелки соответствует "Назад", чтобы вернуться к предыдущей настройке, элемент 3312 движения, указывающий то, что движения шлепка в направлении вверх/вниз соответствуют "Повышение/понижение громкости", чтобы управлять уровнем громкости, элемент 3313 движения, указывающий то, что движения шлепка в направлениях влево/вправо соответствуют "Увеличение/уменьшение номера канала", чтобы выполнять переключение канала, и элемент 3314 движения, указывающий то, что движение захвата соответствует "Воспроизведение", чтобы воспроизводить изображение. Область 3310 отображения инструкций может отображать элементы движения, отличные от вышеописанных элементов движения. Изображение для движения, включенное в каждый из вышеописанных, по меньшей мере, одного элемента движения и текста, соответствующих изображению для движения, может быть изменено согласно настройкам привязки между распознаваемым движением и задачей, соответствующей распознаваемому движению. Например, область 3310 отображения инструкций может включать в себя элемент движения, указывающий то, что движения шлепка в направлении вверх/вниз соответствуют увеличению/уменьшению номера канала, чтобы выполнять переключение канала, и элемент движения, указывающий то, что движения шлепка в направлениях влево/вправо соответствуют повышению/понижению громкости, чтобы управлять уровнем громкости.

[190] По меньшей мере, один элемент 3311, 3312, 3313, 3314 движения, отображаемый в качестве вспомогательной информации по движению, может быть сконфигурирован по-разному согласно текущей выполняемой функции. Иными словами, по меньшей мере, один элемент 3311, 3312, 3314, 3314 движения, отображаемый в области 3310 отображения инструкций, может быть сконфигурирован по-разному согласно текущей функции электронного устройства 100. Например, по меньшей мере, один из элементов движения, соответствующих задачам на основе распознавания движения, может быть избирательно конфигурирован согласно, по меньшей мере, одному из приложения, OSD и варианта распознавания, отображаемого вместе со вспомогательной информацией по движению.

[191] Блок 140 управления может распознавать первое движение, соответствующее первому элементу движения, из, по меньшей мере, одного элемента 3311, 3312, 3313, 3314 движения, отображаемого в качестве вспомогательной информации по движению. Если дополнительная информация элемента существует, блок 140 управления может управлять отображением дополнительной информации элемента, связанной с первым элементом движения, соответствующим распознанному первому движению. Например, если распознается движение захвата, соответствующее элементу 3314 движения, может отображаться дополнительная информация элемента, включающая в себя сообщение с инструкциями, запрашивающее то, воспроизводить или нет выбранный элемент или файл изображений, либо элемент движения, указывающий то, что движения шлепка в направлениях влево/вправо соответствуют ответу "Да/Нет".

[192] Блок 140 управления может распознавать второе движение, соответствующее дополнительной информации элемента. Блок 140 управления может выполнять задачу, соответствующую первому элементу движения и распознанному второму движению, из числа задач на основе распознавания движения. Например, если первый элемент движения является элементом 3314 движения, и движение шлепка в направлении влево распознается в качестве второго движения, соответствующего дополнительной информации элемента, включающей в себя сообщение с инструкциями, запрашивающее то, воспроизводить или нет обозначенный файл изображений, и элемент движения, указывающий то, что движения шлепка в направлениях влево/вправо соответствуют ответу "Да/Нет", воспроизводится обозначенный файл изображений. Как описано выше, дополнительная информация элемента, связанная с первым элементом движения, может быть информацией для выдачи инструкций по второму движению, чтобы запрашивать то, следует выполнять задачу, соответствующую первому элементу движения, или дополнительно получать информацию, необходимую для выполнения задачи.

[193] Если возникает ошибка при распознавании движения, может отображаться вспомогательная информация по движению, указывающая ошибку. Например, вспомогательная информация по движению может включать в себя сообщение с инструкциями "Жест не распознан. Введите снова" или изображение ладони, которое привязывается к тексту, указывающему повторный ввод. Кроме того, вспомогательная информация по движению может включать в себя сообщение с инструкциями "Распознавание обеих рук сейчас невозможно" или сообщение с инструкциями "Доступно только в режимах "Веб-обозреватель", "Просмотр фотографий" и "Программа Google Map"". Распознавание обеих рук может быть выполнено, чтобы выполнять задачу развертывания экрана или свертывания экрана, в ответ на движение обособленного перемещения обеих рук или приближения обеих рук друг к другу. Кроме того, в качестве части вспомогательной информации по движению, изображение или текст, указывающий ошибку, может отображаться в области отображения режима.

[194] В дальнейшем в этом документе поясняется пользовательский интерфейс (UI) для предоставления обратной связи в соответствии с распознаванием голоса или распознаванием движения электронного устройства 100 со ссылкой на фиг. 64-66.

[195] Как показано на фиг. 64, вспомогательная информация по голосу, включающая в себя область 810 отображения инструкций и область 820 отображения режима, может отображаться в режиме выполнения задач на основе распознавания голоса. Область 810 отображения инструкций и область 820 отображения режима могут отображаться с визуальным эффектом, который приводит к тому, что область 810 отображения инструкций и область 820 отображения режима выглядят так, словно они поднимаются от нижнего края экрана. Например, область 810 отображения инструкций и область 820 отображения режима могут отображаться в форме анимации в течение предварительно определенного времени (например, в течение 3 секунд). Например, часть области 810 отображения инструкций и области 820 отображения режима быстро поднимается от нижнего конца, а затем медленно поднимается. Анимация подъема завершается, когда область 810 отображения инструкций и область 820 отображения режима полностью отображаются, как показано на фиг. 64. Когда электронное устройство 100 переходит в режим выполнения задач на основе распознавания движения, вспомогательная информация по движению может отображаться в форме анимации, описанной выше. Если отображаемый UI конкретного режима исчезает, либо если режим переключается на конкретный режим, могут выводиться различные визуальные или акустические эффекты, отличные от вышеописанного визуального эффекта.

[196] Если электронное устройство 100 распознает первый голос, соответствующий первому голосовому элементу, электронное устройство 100 может предоставлять, по меньшей мере, одну из визуальной обратной связи и звуковой обратной связи, соответствующей уровню точности распознавания, в соответствии с точностью распознавания первого голоса. Если электронное устройство 100 распознает первое движение, соответствующее первому элементу движения, электронное устройство 100 может предоставлять, по меньшей мере, одну из визуальной обратной связи и звуковой обратной связи, соответствующей уровню точности распознавания, в соответствии с точностью распознавания первого движения. Точность распознавания в данном документе может указывать уровень, на основе которого определяется то, является или нет первый голос (или первое движение) голосом (или движением), распознаваемым посредством электронного устройства 100, или может указывать уровень, на основе которого идентифицируется то, соответствует или нет распознанный голос (или движение) одной из предварительно установленных команд (или предварительно установленных движений). Точность распознавания может быть индексом, изменяющимся согласно тому, сколько времени требуется для того, чтобы идентифицировать задачу, соответствующую распознанному голосу или движению.

[197] Например, если "Интеллектуальный центр управления" распознается в качестве голоса, соответствующего голосовому элементу 815, электронное устройство 100 может определять точность распознавания посредством стохастического вычисления возможности идентифицировать голос в качестве одной из, по меньшей мере, одной команды 811, 812, 813, 814, 815, 816, 817, 818, включенной в область 810 отображения инструкций. Электронное устройство 100 может сравнивать точность распознавания и предварительно установленное пороговое значение и может по-разному отображать визуальный эффект согласно тому, выше или ниже точность распознавания предварительно установленного порогового значения. Например, как показано на фиг. 65, анимация вращения в направлении по часовой стрелке может отображаться на части фона изображения в области 6520 отображения режима, указывающей режим выполнения задач на основе распознавания голоса, согласно точности распознавания голоса. Если точность распознавания ниже порогового значения, скорость поворота изображения анимации является невысокой, а если точность распознавания выше порогового значения, скорость поворота изображения является высокой. Когда вышеописанная визуальная обратная связь предоставляется согласно точности распознавания, звуковая обратная связь также может предоставляться.

[198] Анимация, которая отображается в области 820 отображения режима в качестве визуальной обратной связи, отображается в течение периода времени до тех пор, пока не будет активирован интеллектуальный центр 6600 управления по фиг. 66, и отображается после того, как распознан голос, соответствующий голосовому элементу, и может вообще не иметь отношения к точности распознавания.

[199] Если электронное устройство 100 распознает первый голос, соответствующий первому голосовому элементу, электронное устройство 100 может предоставлять визуальную обратную связь или звуковую обратную связь, указывающую, по меньшей мере, одно из первого голосового элемента и задачи, соответствующей первому голосовому элементу. Если электронное устройство 100 распознает первое движение, соответствующее первому элементу движения, электронное устройство 100 может предоставлять визуальную обратную связь или звуковую обратную связь, указывающую, по меньшей мере, одно из первого элемента движения и задачи, соответствующей первому элементу движения.

[200] Например, если "Интеллектуальный центр управления" распознается в качестве голоса, соответствующего голосовому элементу 815, "Интеллектуальный центр управления" может отображаться в области 6530 отображения обратной связи, указывающей голосовой элемент 815 или задачу, соответствующую голосовому элементу 815, как показано на фиг. 65. Визуальная обратная связь может отображаться в предварительно определенном местоположении экрана без помещения в пределы области 6530 отображения обратной связи. Кроме того, звуковая обратная связь "Вы произнесли "Интеллектуальный центр управления"" может выводиться вместе с визуальной обратной связью, отображаемой в области 6530 отображения обратной связи.

[201] Если движение шлепка в направлении вправо распознается в качестве движения, соответствующего элементу 813, электронное устройство 100 может отображать визуальную обратную связь (например, "Вы выполнили увеличение номера канала"), указывающую задачу, соответствующую одному из элементов движения, в области 6530 отображения обратной связи, либо может выполнять управление таким образом, чтобы выводить звуковую обратную связь с использованием модуля преобразования текста в речь (TTS) (не показан) электронного устройства 100.

[202] Фиг. 67-69 являются блок-схемами последовательности операций способа для того, чтобы пояснять способ управления электронным устройством, который предоставляет вспомогательную информацию по голосу и вспомогательную информацию по движению согласно различным примерным вариантам осуществления.

[203] Фиг. 67 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100 согласно примерному варианту осуществления.

[204] Электронное устройство 100 может распознавать пользовательский ввод (голос или движение) с использованием одного из модуля распознавания голоса или модуля распознавания движения (S6710). Пользовательский голос может вводиться через микрофон, и введенный голос может быть распознан посредством модуля распознавания голоса, и пользовательское движение может быть сфотографировано посредством камеры, и сфотографированное движение может быть распознано посредством модуля распознавания движения.

[205] Электронное устройство 100 может выполнять одно из задачи на основе распознавания голоса или задачи на основе распознавания движения в соответствии с принимаемым пользовательским вводом (S6720). Иными словами, электронное устройство 100 может работать в соответствии с обозначенным режимом из режима выполнения задач на основе распознавания голоса и режима выполнения задач на основе распознавания движения. Например, если распознается команда начала управления на основе распознавания голоса или команда начала управления на основе распознавания движения, обозначается режим, соответствующий распознанной команде начала.

[206] Режим выполнения задач на основе распознавания голоса является режимом, в котором, по меньшей мере, одна из первых задач (т.е. задач на основе распознавания голоса) выполняется в соответствии с распознанным голосом, и режим выполнения задач на основе распознавания движения является режимом, в котором, по меньшей мере, одна из вторых задач (т.е. задач на основе распознавания движения) выполняется в соответствии с распознанным движением. Задачи на основе распознавания голоса указывают задачи, которые выполняются в соответствии с распознанным голосом, а задачи на основе распознавания движения указывают задачи, которые выполняются в соответствии с распознанным движением. Задачи на основе распознавания голоса и задачи на основе распознавания движения могут отличаться друг от друга.

[207] Фиг. 68 и 69 являются блок-схемами последовательности операций способа, иллюстрирующими способ управления электронным устройством 100 согласно примерному варианту осуществления.

[208] Электронное устройство 100 может идентифицировать то, какой из режима выполнения задач на основе распознавания голоса и режима выполнения задач на основе распознавания движения обозначается (S6805). Хотя только режим выполнения задач на основе распознавания голоса или режим выполнения задач на основе распознавания движения отображается в настоящем примерном варианте осуществления, идентифицируемые режимы дополнительно могут включать в себя режим, в котором электронное устройство 100 управляется посредством пульта дистанционного управления. Если обозначается режим выполнения задач на основе распознавания движения, электронное устройство 100 переходит к этапу S6910 по фиг. 69 и продолжает операцию управления электронным устройством 100 согласно настоящему примерному варианту осуществления.

[209] Если обозначается режим выполнения задач на основе распознавания голоса, электронное устройство 100 может отображать вспомогательную информацию по голосу для выполнения первых задач в режиме выполнения задач на основе распознавания голоса, в котором, по меньшей мере, одна из первых задач выполняется в соответствии с распознанным голосом (S6810).

[210] Электронное устройство 100 может распознавать первый голос, соответствующий первому голосовому элементу, из, по меньшей мере, одного голосового элемента, отображаемого в качестве вспомогательной информации по голосу (S6815).

[211] Электронное устройство 100 может определять то, существует или нет дополнительная информация элемента, связанная с первым голосовым элементом, соответствующим распознанному первому голосу (S6820). Если дополнительная информация элемента, связанная с первым голосовым элементом, не существует, электронное устройство 100 может выполнять задачу, соответствующую первому голосовому элементу (S6825). Кроме того, если вспомогательная информация по голосу должна быть изменена, электронное устройство 100 может отображать измененную вспомогательную информацию по голосу. Например, если отключение звука распознается в качестве голоса, соответствующего голосовому элементу 813, электронное устройство 100 выполняет отключение звука и изменяет голосовой элемент 813 на голосовой элемент 2213 и отображает измененную вспомогательную информацию по голосу, как показано на фиг. 22.

[212] Если дополнительная информация элемента, связанная с первым голосовым элементом, существует, электронное устройство 100 может отображать дополнительную информацию элемента, связанную с первым голосовым элементом, соответствующим распознанному первому голосу (S6830). Например, если "Канал" распознается в качестве голоса, соответствующего голосовому элементу, может отображаться дополнительная информация элемента, включающая в себя сообщение с инструкциями или пример произнесения.

[213] Электронное устройство 100 может распознавать второй голос, соответствующий дополнительной информации элемента (S6835).

[214] Электронное устройство 100 может выполнять задачу, соответствующую первому голосовому элементу и распознанному второму голосу, из числа первых задач (S6840). Например, если первый голосовой элемент является голосовым элементом 812, и второй голос представляет собой "семь", электронное устройство 100 может выполнять быстрый переход к каналу, чтобы переключать текущий канал на канал, имеющий идентификатор канала "7".

[215] Если обозначается режим выполнения задач на основе распознавания движения, электронное устройство 100 может отображать вспомогательную информацию по движению для выполнения вторых задач в режиме выполнения задач на основе распознавания движения, в котором, по меньшей мере, одна из вторых задач выполняется в соответствии с распознанным движением (S6910 по фиг. 69).

[216] Электронное устройство 100 может распознавать первое движение, соответствующее первому элементу движения из, по меньшей мере, одного элемента движения, отображаемого в качестве вспомогательной информации по движению (S6915).

[217] Электронное устройство 100 может определять то, существует или нет дополнительная информация элемента, связанная с первым элементом движения, соответствующим распознанному первому движению (S6920). Если дополнительная информация элемента, связанная с первым элементом движения, не существует, электронное устройство 100 может выполнять задачу, соответствующую первому элементу движения (S6925). Например, если движение шлепка в направлении вправо распознается в качестве движения, соответствующего элементу 3313 движения на фиг. 33, электронное устройство 100 переключает текущий канал (канал 6) на следующий канал (канал 7), который находится после текущего канала (канала 6) согласно предварительно установленному порядку, в соответствии с увеличением номера канала. Кроме того, если вспомогательная информация по движению должна быть изменена, электронное устройство может отображать измененную вспомогательную информацию по движению.

[218] Если дополнительная информация элемента, связанная с первым элементом движения, существует, электронное устройство 100 может отображать дополнительную информацию элемента, связанную с первым элементом движения, соответствующим распознанному первому движению (S6930). Например, если распознается движение захвата, соответствующее элементу движения, может отображаться дополнительная информация элемента, включающая в себя сообщение с инструкциями, запрашивающее, воспроизводить или нет выбранный элемент или файл изображений, либо элемент движения, указывающий, что движения шлепка в направлениях влево/вправо соответствуют ответу "Да/Нет".

[219] Электронное устройство 100 может распознавать второе движение, соответствующее дополнительной информации элемента (S6935).

[220] Электронное устройство 100 может выполнять задачу, соответствующую первому элементу движения и распознанному второму движению, из числа вторых задач (S6940). Например, если первый элемент движения является элементом движения для воспроизведения изображения, и второе движение является движением шлепка в направлении влево, электронное устройство 100 может воспроизводить обозначенный файл изображений.

[221] Блок 140 управления может отдельно отображать выполняемый значок контента, который является управляемым через распознавание голоса, и выполняемый значок контента, который является неуправляемым через распознавание голоса, с использованием модуля 130j UI-обработки.

[222] Блок 140 управления может определять, поддерживается или нет контент посредством распознавания голоса, с использованием заголовка (не показан) контента, сохраненного в электронном устройстве 100, или отдельного конфигурационного файла (не показан), включенного в контент.

[223] Если определено, что контент является управляемым через распознавание голоса, блок 140 управления комбинирует дополнительный значок, сохраненный в блоке хранения, и исходный выполняемый значок контента с использованием модуля 130j UI-обработки и отображает комбинированный значок. Пользователь может знать, что контент является управляемым через распознавание голоса, на основе присутствия дополнительного значка, отображаемого на экране отображения.

[224] Множество дополнительных значков может быть сохранено в блоке 130 хранения. Пользователь может изменять дополнительный значок, который должен быть комбинирован с исходным выполняемым значком, через конфигурацию.

[225] Кроме того, блок 140 управления может отдельно отображать название контента, который является управляемым через распознавание голоса, и название контента, который является неуправляемым через распознавание голоса, с использованием модуля 130j UI-обработки, например, посредством подчеркивания и отображения названия полужирным. Пользователь может знать, что контент является управляемым через распознавание голоса, на основе названия выполняемого значка, подчеркнутого и отображаемого полужирным.

[226] Блок 140 управления может отображать выполняемый значок контента, который является управляемым через распознавание голоса, и название выполняемого значка отдельно от выполняемого значка контента, который является неуправляемым через распознавание голоса, и названия выполняемого значка с использованием модуля 130j UI-обработки.

[227] Блок 140 управления или контент может отдельно отображать меню, которое является управляемым через распознавание голоса, и меню, которое является неуправляемым через распознавание голоса, из числа меню панели инструментов, отображаемой в UI выполняемого контента (например, меню "Следующий", "Предыдущий" или "Открыть").

[228] В дальнейшем в этом документе поясняется способ для отображения выполняемого значка приложения, которое является управляемым через распознавание голоса, и названия выполняемого значка отдельно от выполняемого значка приложения, которое является неуправляемым через распознавание голоса, и названия выполняемого значка согласно различным примерным вариантам осуществления, со ссылкой на фиг. 70-79.

[229] Ссылаясь на фиг. 70, блок 140 управления электронного устройства 100 выводит видео, аудио и управляющие данные (например, электронное расписание программ (EPG)), соответствующие широковещательному сигналу, принимаемому из блока 150 приема широковещательной передачи, в блок 196 аудиовывода и экран 7000 отображения блока 193 отображения.

[230] Блок 140 управления распознает команду начала управления на основе распознавания голоса (инициирования голоса), произнесенную пользователем, с использованием блока 110 голосового ввода, модуля 130k распознавания голоса и базы 130m голосовых данных. Блок 140 управления переключается на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 является управляемым через распознавание голоса, посредством распознанной команды начала управления на основе распознавания голоса (например, "Ginny"). Блок 140 управления сравнивает команду начала управления на основе распознавания голоса, распознанную через блок 110 голосового ввода и модуль 130k распознавания голоса, и команду начала управления на основе распознавания голоса, предварительно сохраненную в базе 130m голосовых данных. Если голос распознается в качестве команды начала управления на основе распознавания голоса в результате сравнения, электронное устройство 100 переключается на режим выполнения задач на основе распознавания голоса под управлением блока 140 управления. База 130m голосовых данных может сохранять первую команду, соответствующую голосу, который является распознаваемым через блок 110 голосового ввода и модуль 130k распознавания голоса (например, команду, соответствующую Переключение в режим выполнения задач на основе распознавания голоса", или команду, соответствующую "Переключение канала"). Блок 140 управления может выполнять задачу на основе распознавания голоса электронного устройства 100, соответствующую первой команде. Команда начала управления на основе распознавания голоса или команда, предварительно сохраненная в базе 130m голосовых данных, может изменяться (например, может добавляться, изменяться или удаляться) через конфигурацию. Распознавание введенной команды начала управления на основе распознавания голоса может быть понятным для специалистов в данной области техники.

[231] Ссылаясь на фиг. 71, блок 140 управления отображает вспомогательную информацию 7110 по голосу для осуществления режима выполнения задач на основе распознавания голоса на экране 400 отображения, на котором отображается изображение. Блок 140 управления может отображать вспомогательную информацию 7110 по голосу так, что она перекрывается с отображаемым изображением. Блок 140 управления может отображать вспомогательную информацию 7110 по голосу в нижней части экрана 400 отображения. Вспомогательная информация 7110 по голосу может включать в себя область 7111 отображения команд/инструкций, область 7120 и 7120a отображения режима и область 7230 отображения первой обратной связи (см. фиг. 72). Ссылаясь на фиг. 72, область 7230 отображения первой обратной связи может отображаться в одной боковой части области 7120 отображения режима. Область 7230 отображения первой обратной связи может включать в себя первую визуальную обратную связь 7230a (см. фиг. 72). Блок 140 управления выводит распознанную первую команду на динамик 161 электронного устройства 100, тем самым предоставляя первую звуковую обратную связь (не показана) пользователю. Электронное устройство 100 может предоставлять одну из визуальной обратной связи и звуковой обратной связи или предоставлять как визуальную обратную связь, так и звуковую обратную связь.

[232] Ссылаясь на фиг. 73, если распознается первая команда, блок 140 управления отображает список контента, соответствующий первой команде (в дальнейшем в этом документе, называемый интеллектуальным центром 7300 управления). Интеллектуальный центр 7300 управления является UI, выступающим в качестве центра управления различными функциями, поддерживаемыми посредством электронного устройства 100. Интеллектуальным центром 7300 управления является UI, в котором отображаются выполняемые значки, соответствующие различным функциям, поддерживаемым посредством электронного устройства 100 (например, функциям просмотра движущихся изображений, прослушивания музыки, осуществления доступа в Интернет). Кроме того, интеллектуальным центром 7300 управления является UI, в котором отображаются выполняемые значки контента, сохраненного в блоке 130 хранения электронного устройства 100 (например, фотографии, музыка, движущиеся изображения), выполняемые значки, соответствующие контенту, принимаемому из внешних источников (например, фотографиям, музыке, движущимся изображениям), и выполняемые значки выполняемых приложений (например, веб-обозревателя).

[233] Интеллектуальный центр 7300 управления может включать в себя множество областей из числа области 7310 поиска, которая выполняет поиск в различных видах контента, в приложениях или в Интернет-информации с использованием голоса (например, режим выполнения задач на основе распознавания голоса) или движения (например, режим выполнения задач на основе распознавания движения), области 7320 широковещательной передачи, которая находится в одной боковой части области 7310 поиска и отображает уменьшенное широковещательное изображение, области 7330 "Ваше видео", которая находится под областью 7310 поиска и отображает выполняемый значок, соответствующий движущемуся изображению, сохраненному в блоке 130 хранения, области 7340 отображения информации, которая находится под областью 7310 поиска и показывает уведомление или оповещение от изготовителя электронного устройства 100, области 7350 приложений, которая находится под областью 7310 поиска и отображает выполняемые значки приложений, соответствующих различным бесплатным или платным услугам, предоставляемым посредством изготовителя электронного устройства 100, области 7360 рекомендованных услуг, которая находится под областью 7310 поиска и отображает услугу, рекомендованную посредством изготовителя электронного устройства 100, и области 7370 списка приложений, которая находится под областью 7310 поиска и отображает выполняемый значок, соответствующий приложению, выполняемому в электронном устройстве 100. Специалисты в данной области техники должны понимать, что множество областей 7310-7370, отображаемых в интеллектуальном центре 7300 управления, может добавляться или удаляться согласно производительности или функции электронного устройства.

[234] Интеллектуальный центр 7300 управления может отображать вспомогательную информацию 7110 по голосу, соответствующую режиму выполнения задач на основе распознавания голоса. Кроме того, интеллектуальный центр 7300 управления может отображать вспомогательную информацию 7720 по движению, соответствующую режиму выполнения задач на основе распознавания движения. Вспомогательная информация 7110 по голосу или вспомогательная информация 7720 по движению (см. фиг. 77) может перекрываться с интеллектуальным центром 7300 управления. Ссылаясь на фиг. 73, интеллектуальный центр 7300 управления отображает информацию 7110 голосовых инструкций, соответствующую режиму выполнения задач на основе распознавания голоса.

[235] В режиме выполнения задач на основе распознавания голоса интеллектуальный центр 7300 управления отображает выполняемый значок (например, 7371), соответствующий контенту, который является управляемым через распознавание голоса (например, приложение и движущиеся изображения), отдельно от выполняемого значка (например, 7372), соответствующего контенту, который является неуправляемым через распознавание голоса. Выполняемый значок 7371, соответствующий контенту, который является управляемым через распознавание голоса, может быть комбинацией исходного выполняемого значка 7371a, соответствующего контенту, который является управляемым через распознавание голоса, и дополнительного значка 7371b (одного из неподвижного изображения, движущегося изображения и текста), расположенного в одной боковой части исходного выполняемого значка 7371a. Дополнительный значок 7371b может отображаться так, что он перекрывается с исходным выполняемым значком 7371a, или отдельно от исходного выполняемого значка 7371a. Дополнительный значок добавляется к одной стороне выполняемого значка, соответствующего контенту, согласно тому, распознается голос или нет. Тем не менее, это представляет собой просто пример. Специалисты в данной области техники должны понимать, что выполняемый значок, соответствующий контенту, может отдельно отображаться различными способами согласно тому, распознается голос или нет, например, посредством изменения местоположения или размера дополнительного значка 7371b.

[236] Название 7371c выполняемого значка, соответствующего контенту, который является управляемым через распознавание голоса, может отображаться отдельно от названия 7372a выполняемого значка, соответствующего контенту, который является неуправляемым через распознавание голоса (например, подчеркнутым и полужирным). Тем не менее, различение названия выполняемого значка, соответствующего контенту, согласно тому, является или нет голос распознаваемым, посредством подчеркивания названия и вставки полужирного шрифта представляет собой просто пример. Специалисты в данной области техники должны понимать, что название выполняемого значка, соответствующего контенту, может отображаться отдельно различными способами согласно тому, является или нет голос распознаваемым, например, посредством изменения шрифта или цвета.

[237] Если название выполняемого значка имеет букв больше, чем число букв, заданное в интеллектуальном центре 7300 управления (например, 15 букв на английском языке и 8 букв на корейском языке) (например, название 7373c), может отображаться только часть названия выполняемого значка. Например, оставшаяся часть названия выполняемого значка, которая не отображается, может отображаться в качестве многоточия.

[238] Команда, отображаемая во вспомогательной информации 7110 по голосу интеллектуального центра 7300 управления, может быть изменена. Если интеллектуальный центр 7300 управления отображается в ответ на голос первой команды, отображается команда (возврат 7111i), чтобы возвращаться к предыдущему изображению, которое отображено до того, как отображается интеллектуальный центр 7300 управления. Команда для возврата может добавляться к вспомогательной информации 7110 по голосу (например, всего 9 команд отображаются) или может быть заменена одной из отображаемых команд (например, командой "Все") (например, всего 8 команд отображаются).

[239] Блок 140 управления распознает голос второй команды, произнесенный пользователем, с использованием блока 110 голосового ввода, модуля 130k распознавания голоса и базы 130m голосовых данных (например, название приложения 7371c "Захватывающая электронная книга"). Блок 140 управления сравнивает голос второй команды, распознанный через блок 110 голосового ввода и модуль 130k распознавания голоса, и голос второй команды, предварительно сохраненный в базе 130m голосовых данных. Если голос распознается в качестве второй команды в результате сравнения, блок 140 управления отображает третью визуальную обратную связь (например, "Вы произнесли "Захватывающая электронная книга"" (не показана)), соответствующую распознанной второй команде, в области 7230 отображения первой обратной связи. Третья визуальная обратная связь (не показана) может предоставляться в течение предварительно определенного времени (например, 500 мс). Предварительно определенное время может быть изменено через конфигурацию.

[240] Блок 140 управления может выводить распознанную вторую команду на динамик 161 электронного устройства, тем самым предоставляя третью звуковую обратную связь (не показана) пользователю.

[241] Если голос не распознается в качестве второй команды в результате сравнения, блок 140 управления может предоставлять четвертую визуальную обратную связь (например, "Повторите" (не показана)) в области 7230 отображения первой обратной связи. Блок 140 управления может предоставлять четвертую звуковую обратную связь (например, "Повторите" (не показана)), чтобы распознавать голос второй команды.

[242] Если множество названий приложений соответствует распознанной второй команде, блок 140 управления может отображать всплывающее окно 7314 вариантов, отображающее множество названий приложений, в интеллектуальном центре 7300 управления.

[243] Ссылаясь на фиг. 74, если вторая команда (например, включающая в себя часть названия приложения "Захватывающий") распознается через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных, блок 140 управления отображает список множества приложений, соответствующих второй команде, во всплывающем окне 7414 вариантов. Например, всплывающее окно 7414 вариантов отображает (1) "Захватывающая электронная книга" 7414a и (2) "Захватывающий фестиваль ударных инструментов" 7414b. Если всплывающее окно 7414 вариантов отображается в интеллектуальном центре 7300 управления, команда в области 7111 отображения команд/инструкций, отображаемой в нижней части интеллектуального центра 7300 управления, изменяется. Например, область 7111 отображения команд/инструкций отображает "Произнесите номер элемента, который Вы хотите выбрать" 7111j в левой части области 7112 отображения режима и отображает "Примеры>1,2" 7111k и "Возврат" 7111i в правой части. Если голос, соответствующий номеру (например, "один"), распознается через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных, блок 140 управления выбирает (1) "Захватывающая электронная книга" 7414a во всплывающем окне 7414 вариантов. Блок 140 управления может отображать название приложения, выбранного во всплывающем окне 7414 вариантов, отдельно от названия невыбранного приложения.

[244] Кроме того, если распознается голос, соответствующий полному названию приложения, отображаемого во всплывающем окне 7414 вариантов, блок 140 управления может отдельно отображать (1) "Захватывающая электронная книга" во всплывающем окне 7414 вариантов.

[245] Ссылаясь на фиг. 75, блок 140 управления выполняет приложение "Захватывающая электронная книга", соответствующее второй команде (например, "Захватывающая электронная книга"), распознанной через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных. Блок 140 управления отображает UI 7500 выполняемого "Захватывающая электронная книга". Блок 140 управления отображает UI 7500 "Захватывающая электронная книга" так, что он перекрывается с интеллектуальным центром 7300 управления. Блок 140 управления может отображать UI 7500 "Захватывающая электронная книга" с полноэкранным размером посредством замены интеллектуального центра 7300 управления на UI 7500.

[246] UI 7500 "Захватывающая электронная книга" отображает выполняемые значки 7501-7504, соответствующие множеству электронных книг, сохраненных в блоке хранения электронного устройства 100, и названия 7501a-7504a выполняемых значков. Блок 140 управления может отображать названия 7501a-7504a выполняемых значков, соответствующих множеству электронных книг, отдельно друг от друга согласно тому, является или нет голос распознаваемым. Например, блок 140 управления отображает название 7501a выполняемого значка, соответствующего электронной книге, который является управляемым через распознавание голоса отдельно от названия 7502a выполняемого значка, соответствующего электронной книге, который является неуправляемым через распознавание голоса. Кроме того, блок 140 управления или приложение ("Захватывающая электронная книга") может отдельно отображать меню, которое является управляемым через распознавание голоса, и меню, которое является неуправляемым через распознавание голоса, из числа меню в области инструментов (не показана) "Захватывающая электронная книга" (например, меню "Следующий", "Предыдущий" или "Открыть" (не показано)). Различение названия 7501a выполняемого значка, соответствующего электронной книге, который является управляемым через распознавание голоса, посредством подчеркивания названия и вставки полужирного шрифта представляет собой просто пример. Специалисты в данной области техники должны понимать, что название выполняемого значка, соответствующего электронной книге, может отображаться отдельно различными способами согласно тому, является или нет голос распознаваемым, например, посредством изменения шрифта или цвета. Блок 140 управления может загружать электронную книгу, которая является распознаваемой посредством голоса, с внешнего сервера в сетевой интерфейсный блок 180.

[247] Если название 7501a выполняемого значка, соответствующего электронной книге, который является управляемым через распознавание голоса, распознается через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных, блок 140 управления выполняет и отображает электронную книгу 7501. Пользователь может управлять электронной книгой, отображаемой через распознавание голоса (например, изменение страницы).

[248] Блок 140 управления распознает команду 700 начала управления на основе распознавания движения с использованием блока 120 ввода движения, модуля 130l распознавания движения и базы 130n данных движения. Ссылаясь на фиг. 76, команда 7600 начала управления на основе распознавания движения является движением встряски разведенными пальцами пользователя горизонтально 3-4 раза напротив блока 120 ввода движения. Блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором электронное устройство 100 является управляемым через распознавание движения, согласно распознанной команде начала управления на основе распознавания движения. Блок 140 управления сравнивает команду начала управления на основе распознавания движения, распознанную через блок 120 ввода движения и модуль 130l распознавания движения, и команду начала управления на основе распознавания движения, предварительно сохраненную в базе 130n данных движения. Если движение распознается в качестве команды начала управления на основе распознавания движения в результате сравнения, электронное устройство 100 переключается с режима выполнения задач на основе распознавания голоса на режим выполнения задач на основе распознавания движения посредством блока 140 управления. База 130n данных движения может сохранять вторую команду, соответствующую движению, которое является распознаваемым через блок 120 ввода движения и модуль 130l распознавания движения (например, команду, соответствующую "Предыдущий", или команду, соответствующую "Воспроизведение"). Блок 140 управления может выполнять задачу на основе распознавания движения электронного устройства 100, соответствующую второй команде. Команда начала управления на основе распознавания движения, предварительно сохраненная в базе 130n данных движения, может изменяться через конфигурацию (например, может добавляться, изменяться или удаляться).

[249] Интеллектуальный центр управления отображает вспомогательную информацию по движению и одновременно отображает выполняемый значок приложения, которое является управляемым через распознавание голоса, и выполняемый значок приложения, которое является неуправляемым через распознавание голоса.

[250] Ссылаясь на фиг. 77, блок 140 управления отображает вспомогательную информацию 7720 по движению и курсор 7725, соответствующий режиму выполнения задач на основе распознавания движения, в интеллектуальном центре 7300 управления. Блок 140 управления может перекрывать вспомогательную информацию 7720 по движению с интеллектуальным центром 7300 управления. Блок 140 управления может отображать вспомогательную информацию 7720 по движению в нижней части интеллектуального центра 7300 управления. Вспомогательная информация 7720 по движению может включать в себя область 7721 отображения движения/инструкций, область 7722 отображения режима и область отображения второй обратной связи (не показана).

[251] Блок 140 управления отображает вспомогательную информацию 7720 по движению в интеллектуальном центре 7300 управления и одновременно отображает выполняемый значок приложения, которое является управляемым через распознавание голоса, и выполняемый значок приложения, которое является неуправляемым через распознавание голоса.

[252] Ссылаясь на фиг. 74, блок 140 управления распознает голос третьей команды, произнесенный пользователем (например, полное название приложения "Захватывающий фестиваль ударных инструментов" или часть названия), с использованием блока 110 голосового ввода, модуля 130k распознавания голоса и базы 130m голосовых данных. Блок 140 управления сравнивает третью команду, распознанную через блок 110 голосового ввода и модуль 130k распознавания голоса, и третью команду, предварительно сохраненную в базе 130m голосовых данных. Если голос распознается в качестве третьей команды в результате сравнения, блок 140 управления может отображать шестую визуальную обратную связь (например, "Вы произнесли "Захватывающий фестиваль ударных инструментов"" (не показана)), соответствующую распознанной третьей команде, в области 7413 отображения первой обратной связи. Шестая визуальная обратная связь (не показана) может предоставляться в течение предварительно определенного времени (например, 500 мс).

[253] Если не распознается третья команда, блок 140 управления может отображать седьмую визуальную обратную связь (например, "Повторите" (не показана)) в области 7413 отображения первой обратной связи. Блок 140 управления может предоставлять шестую звуковую обратную связь (например, "Повторите"), чтобы распознавать голос третьей команды.

[254] Ссылаясь на фиг. 74, если множество названий приложений соответствует третьей команде (например, включающей в себя часть названия приложения, которое должно быть выбрано "Захватывающий"), блок 140 управления может отображать всплывающее окно 7414 вариантов, отображающее множество названий приложений, в интеллектуальном центре 7400 управления. Если голос, соответствующий номеру (например, "два"), распознается через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных, блок 130 управления выбирает (2) "Захватывающий фестиваль ударных инструментов" 414b во всплывающем окне 7414 вариантов.

[255] Ссылаясь на фиг. 78, блок 140 управления выполняет приложение "Захватывающий фестиваль ударных инструментов", соответствующее третьей команде (например, "Захватывающий фестиваль ударных инструментов"), распознанной через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных. Блок 140 управления отображает UI 7800 выполняемого "Захватывающий фестиваль ударных инструментов". Блок 140 управления может отображать UI 7800 "Захватывающий фестиваль ударных инструментов" так, что он перекрывается с интеллектуальным центром 7300 управления. Блок 140 управления может отображать UI 7800 "Захватывающий фестиваль ударных инструментов" с полноэкранным размером посредством замены интеллектуального центра 7300 управления на UI 7800.

[256] Барабаны 7801-7809, отображаемые в UI 7800 "Захватывающий фестиваль ударных инструментов", могут воспроизводиться посредством распознавания пользовательского голоса или пульта дистанционного управления. Барабаны 7801-7809 в "Захватывающий фестиваль ударных инструментов" могут воспроизводиться через распознавание движения (например, движение захвата) в режиме выполнения задач на основе распознавания движения.

[257] Фиг. 79 является блок-схемой последовательности операций, иллюстрирующей способ для отображения UI электронного устройства согласно примерному варианту осуществления.

[258] Электронное устройство 100 включается S7901. Например, если нажимается кнопка включения питания (не показана), расположенная на электронном устройстве 100, если выбирается клавиша включения питания (не показана) электронного устройства 100, расположенного на пульте дистанционного управления, (например, клавиша нажимается), или если распознается пользовательский голос (например, "Включение питания") через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных электронного устройства 100, электронное устройство 100 может быть включено.

[259] Широковещательная передача выводится (S7902). Например, электронное устройство 100 выводит изображение, соответствующее широковещательному сигналу, принимаемому из блока 150 приема широковещательной передачи, как показано на фиг. 70.

[260] Команда начала управления на основе распознавания голоса распознается (S7903). Иными словами, электронное устройство 100 распознает команду начала управления на основе распознавания голоса, произнесенную пользователем, с использованием блока 110 голосового ввода, модуля 130k распознавания голоса и базы 130m голосовых данных. Электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 является управляемым через распознавание голоса, в соответствии с распознанной командой начала управления на основе распознавания голоса.

[261] Набор команд отображается (S7904). Например, электронное устройство 100 отображает набор команд 7110, соответствующих режиму выполнения задач на основе распознавания голоса, на экране 7000 отображения, на котором отображается изображение, как показано на фиг. 71.

[262] Голос первой команды распознается (S7905). В частности, электронное устройство 100 распознает голос первой команды (например, "Интеллектуальный центр управления"), произнесенный пользователем, с использованием блока 110 голосового ввода, модуля 130k распознавания голоса и базы 130m голосовых данных. Если голос распознается в качестве первой команды, электронное устройство 100 отображает первую визуальную обратную связь, соответствующую распознанной первой команде, в области 7230 отображения первой обратной связи, как показано на фиг. 72.

[263] UI отображается (S7906). Например, если распознается первая команда, электронное устройство 100 отображает интеллектуальный центр 7300 управления, соответствующий первой команде, как показано на фиг. 73.

[264] Голос второй команды распознается (S7907). В частности, электронное устройство 100 распознает голос второй команды (например, название приложения "Захватывающая электронная книга" 7371c), произнесенный пользователем, с использованием блока 110 голосового ввода, модуля 130k распознавания голоса и базы 130m голосовых данных. Если множество названий приложений соответствует распознанной второй команде, электронное устройство 100 может отображать всплывающее окно 7414 вариантов, отображающее множество названий приложений, как показано на фиг. 74.

[265] Первое приложение выполняется (S7908). Например, электронное устройство 100 выполняет приложение "Захватывающая электронная книга", соответствующее второй команде, как показано на фиг. 75.

[266] Команда начала управления на основе распознавания движения (инициирования движения) распознается (S7909). В частности, электронное устройство 100 распознает команду 7600 начала управления на основе распознавания движения пользователя с использованием блока 120 ввода движения, модуля 130l распознавания движения и базы 130n данных движения. Например, команда 7600 начала управления на основе распознавания движения является движением встряски разведенными пальцами пользователя горизонтально 3-4 раза напротив блока 120 ввода движения, как показано на фиг. 76.

[267] Элементы движения отображаются в интеллектуальном центре управления, и одновременно отображаются выполняемый значок приложения, которое является управляемым через распознавание голоса, и выполняемый значок приложения, которое является неуправляемым через распознавание голоса. Например, электронное устройство 100 отображает вспомогательную информацию 7720 по движению и курсор 7725, соответствующий режиму выполнения задач на основе распознавания движения, в интеллектуальном центре 7300 управления, как показано на фиг. 77.

[268] Если вторая команда не распознается на этапе S7907, выполняется этап S7911.

[269] Третья команда распознается (S7911). Блок 140 управления распознает голос третьей команды, произнесенный пользователем, с использованием блока 110 голосового ввода, модуля 130k распознавания голоса и базы 130m голосовых данных. Если множество названий приложений соответствует третьей команде, блок 140 управления может отображать всплывающее окно 7414 вариантов, отображающее множество названий приложений, в интеллектуальном центре 500 управления, как показано на фиг. 74.

[270] Третье приложение выполняется (S7912). Например, электронное устройство 100 выполняет приложение "Захватывающий фестиваль ударных инструментов", соответствующее третьей команде, распознанной через блок 110 голосового ввода, модуль 130k распознавания голоса и базу 130m голосовых данных, как показано на фиг. 78.

[271] Если не распознается третья команда на этапе S7911, работа завершается.

[272] Блок 140 управления может предоставлять один из множества широковещательных сигналов, принимаемых через блок 150 приема широковещательной передачи, и один из сохраненного контента в блок 190 вывода изображений или на блок 193 отображения. Блок 193 отображения может отображать принимаемый один широковещательный сигнал или сохраненный контент. Сохраненный контент включает в себя весь контент, который сохраняется в электронном устройстве 100 постоянно, моментально или временно. Например, контент может быть сохранен в блоке 130 хранения электронного устройства 100 постоянно до тех пор, пока не будет принят пользовательский запрос на удаление. Кроме того, если часть блока 130 хранения электронного устройства 100 служит в качестве буфера, контент может быть сохранен в блоке 130 хранения моментально или временно. В частности, если ввод контента из блока 160 ввода из внешних контактных выводов или сетевого интерфейсного блока 180 предоставляется в блок 190 вывода изображений или на блок 193 отображения в реальном времени, блок 140 управления может сохранять контент в части блока 130 хранения моментально или временно, так что скорость ввода контента практически равна скорости вывода контента.

[273] Блок 140 управления может распознавать пользовательское движение с использованием модуля 130l распознавания движения и может изменять состояние предоставляемого широковещательного сигнала или контента в ответ на распознанное пользовательское движение. Если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может управлять уровнем громкости широковещательного сигнала или может предоставлять другой широковещательный сигнал из множества широковещательных сигналов в ответ на распознанное пользовательское движение. Если блок 140 управления предоставляет контент, блок 140 управления может изменять, по меньшей мере, часть экрана, на котором отображается контент, в ответ на распознанное пользовательское движение.

[274] Например, если контент (например, изображение, включающее в себя множество страниц, или документ, включающий в себя множество страниц) включает в себя множество страниц, и одна из множества страниц отображается на экране, блок 140 управления может изменять экран, на котором отображается множество страниц, на экран, на котором отображается другая страница. В частности, блок 140 управления может изменять экран, на котором отображается множество страниц, на экран, на котором отображается одна из страниц, расположенных в верхней, нижней, левой или правой части одной страницы из множества страниц, в ответ на распознанное пользовательское движение.

[275] В качестве другого примера, если контент (например, веб-страница) включает в себя одну страницу, блок 140 управления может изменять экран, на котором отображается часть страницы, на экран, на котором отображается другая часть страницы.

[276] Кроме того, блок 140 управления может изменять экран, на котором отображается предоставляемый контент (например, изображение или движущиеся изображения), на экран, на котором отображается контент, отличающийся от контента.

[277] Блок 140 управления может распознавать пользовательский голос с использованием модуля 130k распознавания голоса и может предоставлять один из множества широковещательных сигналов в соответствии с распознанным пользовательским голосом. Например, если идентификатор канала распознается через модуль 130k распознавания голоса, блок 140 управления может предоставлять широковещательный сигнал, имеющий распознанный идентификатор канала из множества широковещательных сигналов, с использованием модуля 130b управления каналом.

[278] В другом примерном варианте осуществления, блок 140 управления может выбирать один широковещательный сигнал из множества широковещательных сигналов в ответ на пользовательское движение, распознанное с использованием модуля 130l распознавания движения. Блок 140 управления может предоставлять выбранный широковещательный сигнал в блок 190 вывода изображений или на блок 193 отображения. Блок 193 отображения может отображать предоставляемый широковещательный сигнал. Затем, блок 140 управления может прекращать предоставление широковещательного сигнала в блок 190 вывода изображений или на блок 193 отображения. Например, блок 140 управления может прекращать предоставление широковещательного сигнала в ответ на пользовательский ввод, принимаемый через модуль 130l распознавания движения, модуль 130k распознавания голоса или пульт дистанционного управления. Блок 140 управления может предоставлять контент, сохраненный в электронном устройстве 100.

[279] Когда блок 140 управления предоставляет сохраненный контент в блок 193 отображения, блок 140 управления может повторно распознавать пользовательское движение, которое имеет форму, идентичную форме пользовательского движения, когда выбирается один из множества широковещательных сигналов. Пользовательское движение идентичной формы включает в себя пользовательское движение, имеющее практически идентичную форму. Например, если формы объектов множества пользовательских движений являются идентичными, формы объектов перемещаются в идентичном направлении, и скорости перемещения форм объектов выше предварительно определенной скорости, блок 140 управления может распознавать множество пользовательских движений в качестве пользовательского движения с идентичной формой. Например, если пользовательское движение для того, чтобы выбирать один широковещательный сигнал, и повторно распознанное пользовательское движение являются движениями шлепка, и движения шлепка перемещаются в идентичном направлении, блок 140 управления может распознавать пользовательское движение для того, чтобы выбирать один широковещательный сигнал, и повторно распознанное пользовательское движение в качестве пользовательского движения с идентичной формой. Кроме того, если пользовательское движение для того, чтобы выбирать один широковещательный сигнал, является движением шлепка в направлении вверх, и пользовательское движение для того, чтобы изменять, по меньшей мере, часть экрана, на котором отображается предоставляемый контент, также является движением шлепка в направлении вверх, блок 140 управления может распознавать эти два движения в качестве пользовательского движения с идентичной формой.

[280] Затем, блок 140 управления может изменять, по меньшей мере, часть экрана, на котором отображается предоставляемый контент, в ответ на повторно распознанное пользовательское движение.

[281] В другом примерном варианте осуществления, блок 130 управления может предоставлять первые данные изображений в блок 190 вывода изображений или на блок 193 отображения. Блок 130 управления может предоставлять аудиоданные для первых данных изображений в блок 196 аудиовывода. Первые данные изображений, например, могут быть данными изображений широковещательного сигнала, и аудиоданные для первых данных изображений могут быть аудиоданными широковещательного сигнала. Блок 140 управления может управлять уровнем громкости аудиоданных в ответ на распознанное пользовательское движение. Например, блок 140 управления может управлять уровнем громкости аудиоданных для первых данных изображений. Затем, блок 140 управления может прекращать предоставление первых данных изображений и аудиоданных для первых данных изображений и может предоставлять вторые данные изображений. Вторые данные изображений, например, могут быть данными изображений контента, сохраненного в электронном устройстве 100. Затем, блок 140 управления может повторно распознавать пользовательское движение с формой, практически идентичной форме пользовательского движения, распознанного, чтобы управлять уровнем громкости аудиоданных. Блок 140 управления может изменять, по меньшей мере, часть экрана, на котором отображаются вторые данные изображений, в ответ на повторно распознанное пользовательское движение.

[282] В другом примерном варианте осуществления, блок 140 управления может предоставлять одни из первых данных изображений из числа данных изображений, предоставляемых из множества источников, соответственно, и вторых данных изображений из множества данных изображений, предоставляемых из одного источника, в блок 190 вывода изображений или на блок 193 отображения. Блок 193 отображения отображает первые данные изображений или вторые данные изображений. Например, первые данные изображений из числа данных изображений, предоставляемых из множества источников, соответственно, могут быть данными изображений широковещательного сигнала, который принимается через канал, выбранный посредством тюнера, включенного в блок 210 приема широковещательной передачи, из числа данных изображений множества широковещательных сигналов, принимаемых через множество каналов. Например, вторые данные изображений из множества данных изображений, предоставляемых из одного источника, могут быть данными изображений одного контента из множества контента, предоставляемого из блока 130 хранения электронного устройства 100, внешнего устройства, подключенного к блоку 200 ввода из внешних контактных выводов, или сервера, подключенного к сетевому интерфейсному блоку 180. Затем, блок 140 управления может распознавать пользовательское движение через модуль 130l распознавания движения. Если блок 140 управления предоставляет первые данные изображений, блок 140 управления может предоставлять данные изображений, предоставляемые из источника, отличающегося от источника первых данных изображений, в ответ на распознанное пользовательское движение. Если блок 140 управления предоставляет вторые данные изображений, блок 140 управления может предоставлять данные изображений, которые отличаются от второго изображения, из множества данных изображений, предоставляемых из одного источника.

[283] В другом примерном варианте осуществления, блок 140 управления может предоставлять одни из первых данных изображений, которые быстро воспроизводятся, когда питание подается в электронное устройство 100, и вторых данных изображений, которые воспроизводятся после того, как электронное устройство 100 переходит в режим после того, как питание подается в электронное устройство 100, в блок 190 вывода изображений или на блок 193 отображения. Блок 193 отображения может отображать первое изображение или вторые данные изображений. Первые данные изображений, которые быстро воспроизводятся, когда питание подается в электронное устройство 100, могут быть широковещательным сигналом, который быстро воспроизводится, когда включается телевизионный приемник, если электронное устройство 100 представляет собой, например, телевизионный приемник. Вторые данные изображений, которые воспроизводятся после того, как электронное устройство 100 переходит в режим после того, как питание подается в электронное устройство 100, могут быть контентом, который воспроизводится после того, как телевизионный приемник переходит в режим в соответствии с пользовательским вводом через блок 110 голосового ввода, блок 120 ввода движения или пульт дистанционного управления после того, как включается телевизионный приемник, если электронное устройство представляет собой, например, телевизионный приемник. Затем, если предоставляются первые данные изображений, блок 140 управления может предоставлять другие данные изображений, которые быстро воспроизводятся, когда подается питание (например, данные изображений широковещательного сигнала другого канала), в ответ на пользовательское движение, распознанное через модуль 130l распознавания движения. Если предоставляются вторые данные изображений, блок 140 управления может предоставлять другие данные изображений, которые воспроизводятся после того, как электронное устройство 100 переходит в режим (например, данные изображений контента, сохраненного в блоке 130 хранения, либо данные изображений контента, принимаемого из блока 160 ввода из внешних контактных выводов или сетевого интерфейсного блока 180), в ответ на пользовательское движение, распознанное через модуль 130l распознавания движения.

[284] В другом примерном варианте осуществления, блок 140 управления может предоставлять одно из множества движущихся изображений или одно из множества изображений в блок 190 вывода изображений или на блок 193 отображения. Блок 193 отображения может отображать движущееся изображение или изображение. Например, одно из множества движущихся изображений может указывать изображение, которое изменяется со временем, в качестве одного из множества широковещательных сигналов. Кроме того, одно из множества изображений может быть одним из множества сохраненных изображений. Затем, если предоставляется движущееся изображение, блок 140 управления может предоставлять движущееся изображение, которое отличается от предоставляемого движущегося изображения, из множества движущихся изображений (например, широковещательный сигнал другого канала), в ответ на пользовательское движение, распознанное через модуль 130l распознавания движения. Если предоставляется изображение, блок 140 управления может предоставлять изображение, которое отличается от предоставляемого изображения, из множества изображений, в ответ на пользовательское движение, распознанное через модуль распознавания движения 1031.

[285] В дальнейшем в этом документе поясняется экран, который изменяется в ответ на пользовательское движение, со ссылкой на фиг. 80-91.

[286] Фиг. 80 и 81 являются видами, иллюстрирующими экран, который изменяется в ответ на пользовательское движение в направлении вверх согласно различным примерным вариантам осуществления.

[287] На фиг. 80, блок 140 управления может распознавать движение шлепка в направлении вверх в качестве пользовательского движения. Обращаясь к 8010 и 8020 по фиг. 80, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может прекращать предоставление широковещательного сигнала на экране и может предоставлять широковещательный сигнал, номер канала которого увеличивается с номера канала прекращенного широковещательного сигнала в ответ на движение шлепка в направлении вверх. Например, широковещательный сигнал, имеющий номер канала "7", переключается на широковещательный сигнал, имеющий номер канала "8". Обращаясь к 8030 и 8040 по фиг. 80, если блок 140 управления предоставляет контент, включающий в себя множество страниц, блок 140 управления может изменять экран, на котором отображается одна из множества страниц, на экран, на котором отображается страница, расположенная под одной страницей из множества страниц, в ответ на движение шлепка в направлении вверх. Например, экран, на котором отображается вторая страница, см. 8030, может быть переключен на экран, на котором отображается третья страница, см. 8040.

[288] На фиг. 81, блок 140 управления может распознавать движение шлепка в направлении вверх в качестве пользовательского движения. Обращаясь к 8110 и 8120 по фиг. 81, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления прекращает предоставление широковещательного сигнала на экране и может предоставлять широковещательный сигнал, номер канала которого увеличивается с номера канала прекращенного широковещательного сигнала в ответ на движение шлепка в направлении вверх. Обращаясь к 8130 и 8140 по фиг. 81, если блок 140 управления предоставляет контент, включающий в себя одну страницу, блок 140 управления может изменять часть одной страницы на экране на другую часть, расположенную под частью одной страницы, в ответ на движение шлепка в направлении вверх.

[289] Фиг. 82 и 83 являются видами, иллюстрирующими экран, который изменяется в ответ на пользовательское движение в направлении вниз согласно различным примерным вариантам осуществления.

[290] На фиг. 82, блок 140 управления может распознавать движение шлепка в направлении вниз в качестве пользовательского движения. Обращаясь к 8210-8220 по фиг. 82, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления прекращает предоставление широковещательного сигнала на экране и может предоставлять широковещательный сигнал, номер канала которого уменьшается с номера канала прекращенного широковещательного сигнала в ответ на движение шлепка в направлении вниз. Например, широковещательный сигнал, имеющий номер канала "8", переключается на широковещательный сигнал, имеющий номер канала "7". Обращаясь к 8230 и 8240 по фиг. 82, если блок 140 управления предоставляет контент, включающий в себя множество страниц, блок 140 управления может изменять экран, на котором отображается одна из множества страниц, на экран, на котором отображается страница, расположенная выше одной страницы из множества страниц, в ответ на движение шлепка в направлении вниз. Например, экран, на котором отображается вторая страница, см. 8230, может быть переключен на экран, на котором отображается первая страница, см. 8240.

[291] На фиг. 83, блок 140 управления может распознавать движение шлепка в направлении вниз в качестве пользовательского движения. Обращаясь к 8310 и 8320 по фиг. 83, если блок 140 управления может предоставлять широковещательный сигнал, блок 140 управления прекращает предоставление широковещательного сигнала на экране и может предоставлять широковещательный сигнал, номер канала которого уменьшается с номера канала прекращенного широковещательного сигнала в ответ на движение шлепка в направлении вниз. Обращаясь к 8330 и 8340, если блок 140 управления предоставляет контент, включающий в себя одну страницу, блок 140 управления может изменять часть одной страницы на экране на другую часть, расположенную выше части одной страницы, в ответ на движение шлепка в направлении вниз.

[292] Фиг. 84-87 являются видами, иллюстрирующими экран, который изменяется в ответ на пользовательское движение в направлении влево согласно различным примерным вариантам осуществления.

[293] На фиг. 84, блок 140 управления может распознавать движение шлепка в направлении влево в качестве пользовательского движения. Обращаясь к 8410 и 8420, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может уменьшать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении влево. Например, уровень громкости широковещательного сигнала может быть уменьшен с "14" до "13". Обращаясь к 8430 и 8440, если блок 120 управления предоставляет контент, включающий в себя множество страниц, блок 140 управления может изменять экран, на котором отображается одна из множества страниц, на экран, на котором отображается страница, расположенная в правой части одной страницы из множества страниц, в ответ на движение шлепка в направлении влево. Например, экран, на котором отображается вторая страница, см. 8430, может быть переключен на экран, на котором отображается третья страница, см. 8440.

[294] На фиг. 85, блок 140 управления может распознавать движение шлепка в направлении влево в качестве пользовательского движения. Обращаясь к 8510-8520 по фиг. 85, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может уменьшать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении влево. Обращаясь к 8530 и 8540 по фиг. 85, если блок 140 управления предоставляет контент, включающий в себя одну страницу, блок 140 управления может изменять экран, на котором отображается часть одной страницы, на экран, на котором отображается другая часть, расположенная в правом участке части, в ответ на движение шлепка в направлении влево.

[295] На фиг. 86, блок 140 управления может распознавать движение шлепка в направлении влево в качестве пользовательского движения. Обращаясь к 8610 и 8620 по фиг. 86, если блок управления предоставляет широковещательный сигнал, блок 140 управления может уменьшать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении влево. Обращаясь к 8630 и 8640 по фиг. 86, блок 140 управления может изменять экран, на котором отображается второй контент, на экран, на котором отображается третий контент, который находится после второго контента, в ответ на движение шлепка в направлении влево.

[296] На фиг. 87, блок 140 управления может распознавать движение шлепка в направлении влево в качестве пользовательского движения. Обращаясь к 8710 и 8720 по фиг. 87, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может уменьшать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении влево. Обращаясь к 8730 и 8740 по фиг. 87, если блок 140 управления предоставляет, по меньшей мере, один контент в первой области 8731 и второй области 8735 на экране, соответственно, блок 140 управления может убирать контент 8751 из второй области 8735 и вместо этого может отображать другой контент 8752 во второй области 8735 в ответ на движение шлепка в направлении влево.

[297] На фиг. 88, блок 140 управления может распознавать движение шлепка в направлении вправо в качестве пользовательского движения. Обращаясь к 8810 и 8820 по фиг. 88, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может увеличивать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении вправо. Например, уровень громкости широковещательного сигнала может быть увеличен с "14" до "15". Обращаясь к 8830-8840 по фиг. 88, если блок 140 управления предоставляет контент, включающий в себя множество страниц, блок 140 управления может изменять экран, на котором отображается одна из множества страниц, на экран, на котором отображается страница, расположенная в левой части одной страницы из множества страниц, в ответ на движение шлепка в направлении вправо. Например, экран, на котором отображается вторая страница, см. 8830, может быть переключен на экран, на котором отображается первая страница, см. 8840.

[298] На фиг. 89, блок 140 управления может распознавать движение шлепка в направлении вправо в качестве пользовательского движения. Обращаясь к 8910 и 8920 по фиг. 89, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может увеличивать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении вправо. Обращаясь к 8930 и 8940 по фиг. 89, если блок 140 управления предоставляет контент, включающий в себя одну страницу, блок 140 управления может изменять экран, на котором отображается часть одной страницы, на экран, на котором отображается другая часть, расположенная в левом участке части, в ответ на движение шлепка в направлении вправо.

[299] На фиг. 90, блок 140 управления может распознавать движение шлепка в направлении вправо в качестве пользовательского движения. Обращаясь к 9010-9020 по фиг. 90, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может увеличивать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении вправо. Обращаясь к 9030 и 9040 по фиг. 90, если блок 140 управления предоставляет второй контент, блок 140 управления может изменять экран, на котором отображается второй контент, на экран, на котором отображается первый контент, который находится перед вторым контентом, в ответ на движение шлепка в направлении вправо.

[300] На фиг. 91, блок 140 управления может распознавать движение шлепка в направлении вправо в качестве пользовательского движения. Обращаясь к 9110 и 9120 по фиг. 91, если блок 140 управления предоставляет широковещательный сигнал, блок 140 управления может увеличивать уровень громкости широковещательного сигнала, предоставляемого в ответ на движение шлепка в направлении вправо. Обращаясь к 9130 и 9140 по фиг. 91, если блок 140 управления предоставляет, по меньшей мере, один контент в первой области 9131 и второй области 9135 на экране, соответственно, блок 140 управления может убирать контент 9151 из второй области 9135 и вместо этого может отображать другой контент 9152 во второй области 9135 в ответ на движение шлепка в направлении вправо.

[301] Фиг. 92 и 93 являются блок-схемами последовательности операций способа, иллюстрирующими способ управления электронным устройством, который изменяет экран в ответ на пользовательское движение согласно различным примерным вариантам осуществления.

[302] Ссылаясь на фиг. 92, электронное устройство 100 выбирает один широковещательный сигнал из множества широковещательных сигналов в ответ на распознанное пользовательское движение (S9212). Распознанное пользовательское движение может вводиться через блок 120 ввода движения и может быть распознано посредством модуля 130l распознавания движения. Электронное устройство 100 предоставляет выбранный широковещательный сигнал (S9214). Широковещательный сигнал может предоставляться в блок 190 вывода изображений или на блок 193 отображения. Затем, в случае, если электронное устройство 100 прекращает предоставление выбранного широковещательного сигнала и предоставляет сохраненный контент (S9216), электронное устройство 100 может повторно распознавать пользовательское движение, имеющее форму, практически идентичную форме распознанного пользовательского движения (S9218). Сохраненный контент может быть контентом, который сохраняется в блоке 130 хранения либо принимается из блока 160 ввода из внешних контактных выводов или сетевого интерфейса 180. Повторно распознанное пользовательское движение может вводиться через блок 120 ввода движения и может быть распознано посредством модуля 130l распознавания движения. В ответ на повторно распознанное пользовательское движение электронное устройство 100 может изменять, по меньшей мере, часть экрана, на котором отображается предоставляемый контент (S9220).

[303] Ссылаясь на фиг. 93, электронное устройство 100 предоставляет одно из одного широковещательного сигнала из множества широковещательных сигналов и сохраненного контента (S9312). Электронное устройство 100 распознает пользовательское движение через модуль 130l распознавания движения (S9314). Электронное устройство 100 может определять то, является предоставленный сигнал широковещательным сигналом или контентом, в ответ на пользовательское движение (S9316). Если предоставляется широковещательный сигнал, электронное устройство 100 может управлять уровнем громкости широковещательного сигнала или предоставлять другой широковещательный сигнал из множества широковещательных сигналов (S9318). Если предоставляется контент, электронное устройство 100 изменяет, по меньшей мере, часть экрана, на котором отображается предоставляемый контент (S9320).

[304] Как описано выше, пользователь может управлять электронным устройством 100 более эффективно и интуитивно с использованием пользовательского движения.

[305] Блок 140 управления управляет электронным устройством 100 в соответствии с сигналом дистанционного управления, принимаемым из блока 170 приема сигналов дистанционного управления, пользовательским голосом, вводимым через блок 110 голосового ввода, и пользовательским движением, вводимым через блок 120 ввода движения. Пульт дистанционного управления, изложенный в данном документе, может быть обычным пультом дистанционного управления, но это не должно считаться ограничением. Пульт дистанционного управления может быть пультом дистанционного управления, который включает в себя сенсорную панель.

[306] В частности, если команда начала управления на основе распознавания голоса, вводимая через блок 110 голосового ввода, распознается в режиме дистанционного управления, в котором электронное устройство 100 управляется в соответствии с сигналом дистанционного управления, принимаемым в блоке 170 приема сигналов дистанционного управления, блок 140 управления переключает режим на режим выполнения задач на основе распознавания голоса, чтобы выполнять задачу на основе распознавания голоса, которая управляется посредством пользовательского голоса, вводимого через блок 110 голосового ввода.

[307] Если режим переключается на режим выполнения задач на основе распознавания голоса, блок 140 управления может управлять блоком 193 отображения так, что он отображает значок, указывающий то, что режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, и вспомогательную информацию по голосу, включающую в себя голосовой элемент, выдающий инструкции по задаче на основе распознавания голоса.

[308] Если выбирается первая кнопка из числа кнопок на пульте дистанционного управления, чтобы переключаться на режим дистанционного управления в режиме выполнения задач на основе распознавания голоса, блок 170 приема сигналов дистанционного управления принимает первый сигнал дистанционного управления, соответствующий первой кнопке. Блок 140 управления переключает режим электронного устройства 100 на режим дистанционного управления, в котором электронное устройство 100 управляется посредством пульта дистанционного управления, в ответ на первый сигнал дистанционного управления. Первая кнопка может быть кнопкой переключения на режим дистанционного управления, чтобы переключать режим на режим дистанционного управления. Тем не менее, это представляет собой просто пример, и первая кнопка может быть конкретной кнопкой из числа кнопок на пульте дистанционного управления. Если первая кнопка является конкретной кнопкой, блок 140 управления переключает режим на режим дистанционного управления при приеме первого сигнала дистанционного управления, соответствующего первой кнопке, и затем выполняет задачу, соответствующую первой кнопке. Например, если первая кнопка является кнопкой отключения звука, блок 140 управления переключает режим с режима выполнения задач на основе распознавания голоса на режим дистанционного управления и затем выполняет отключение звука.

[309] Если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения в режиме выполнения задач на основе распознавания голоса, блок 140 управления распознает команду начала управления на основе распознавания движения с использованием модуля 130l распознавания движения. Если распознается команда начала управления на основе распознавания движения, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором электронное устройство 100 управляется посредством пользовательского движения, вводимого через блок 120 ввода движения.

[310] Если команда начала управления на основе распознавания движения, вводимая через блок 120 ввода движения распознается в режиме дистанционного управления, в котором электронное устройство 100 управляется в соответствии с сигналом дистанционного управления, принимаемым в блоке 170 приема сигналов дистанционного управления, блок 140 управления переключает режим на режим выполнения задач на основе распознавания движения, чтобы выполнять задачу на основе распознавания движения, которая управляется посредством пользовательского движения, вводимого через блок 120 ввода движения.

[311] Если режим переключается на режим выполнения задач на основе распознавания движения, блок 140 управления может управлять блоком 193 отображения так, что он отображает значок, указывающий то, что режим электронного устройства 100 является режимом выполнения задач на основе распознавания движения, и вспомогательной информации по движению, включающей в себя элемент движения, выдающий инструкции по задаче на основе распознавания движения.

[312] Если выбирается первая кнопка из числа кнопок на пульте дистанционного управления, чтобы переключаться на режим дистанционного управления в режиме выполнения задач на основе распознавания движения, блок 170 приема сигналов дистанционного управления принимает первый сигнал дистанционного управления, соответствующий первой кнопке. Блок 140 управления переключает режим электронного устройства 100 на режим дистанционного управления, в котором электронное устройство 100 управляется посредством пульта дистанционного управления, в ответ на первый сигнал дистанционного управления. Первая кнопка может быть кнопкой переключения на режим дистанционного управления, чтобы переключаться на режим дистанционного управления. Тем не менее, это представляет собой просто пример, и первая кнопка может быть конкретной кнопкой из числа кнопок на пульте дистанционного управления. Если первая кнопка является конкретной кнопкой, блок 140 управления переключает режим на режим дистанционного управления при приеме первого сигнала дистанционного управления, соответствующего первой кнопке, и затем выполняет задачу, соответствующую первой кнопке. Например, если первая кнопка является кнопкой отключения звука, блок 140 управления переключает режим электронного устройства 100 с режима выполнения задач на основе распознавания голоса на режим дистанционного управления и затем выполняет отключение звука.

[313] Если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода в режиме выполнения задач на основе распознавания движения, блок 140 управления распознает команду начала управления на основе распознавания голоса с использованием модуля 130k распознавания голоса. Если распознается команда начала управления на основе распознавания голоса, блок 140 управления может переключать режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода.

[314] В дальнейшем в этом документе поясняется способ для переключения на режим дистанционного управления, режим выполнения задач на основе распознавания движения и режим выполнения задач на основе распознавания голоса согласно примерному варианту осуществления, со ссылкой на фиг. 94-97.

[315] В частности, после того, как электронное устройство 100 включается, блок 140 управления, в общем, работает в режиме дистанционного управления, в котором электронное устройство 100 управляется посредством сигнала дистанционного управления. В режиме дистанционного управления отдельный UI не отображается, как показано на фиг. 94. Тем не менее, это представляет собой просто пример, и блок 140 управления может отображать UI, указывающий режим дистанционного управления, в режиме дистанционного управления.

[316] Если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода в режиме дистанционного управления, блок 140 управления распознает команду начала управления на основе распознавания голоса и переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода. При переключении на режим выполнения задач на основе распознавания голоса блок 140 управления может отображать вспомогательную информацию по голосу, как показано на фиг. 95.

[317] Если выбирается первая кнопка на пульте дистанционного управления в режиме выполнения задач на основе распознавания голоса, блок 110 управления принимает первый сигнал дистанционного управления, соответствующий первой кнопке, через блок 170 приема сигналов дистанционного управления и переключает режим электронного устройства 100 на режим дистанционного управления снова, как показано на фиг. 94. Первая кнопка на пульте дистанционного управления может быть кнопкой переключения на режим дистанционного управления. Тем не менее, это представляет собой просто пример, и первая кнопка может быть конкретной кнопкой на пульте дистанционного управления.

[318] Если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения в режиме выполнения задач на основе распознавания голоса, блок 140 управления распознает команду начала управления на основе распознавания движения и переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором электронное устройство 100 управляется в соответствии с пользовательским движением, вводимым через блок 120 ввода движения. При переключении на режим выполнения задач на основе распознавания движения блок 140 управления может отображать вспомогательную информацию 3310 по движению, как показано на фиг. 96.

[319] Если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения в режиме дистанционного управления, блок 140 управления распознает команду начала управления на основе распознавания движения и переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором электронное устройство 100 управляется в соответствии с пользовательским движением, вводимым через блок 120 ввода движения. При переключении на режим выполнения задач на основе распознавания движения блок 140 управления может отображать вспомогательную информацию 3310 по движению, как показано на фиг. 96.

[320] Если выбирается первая кнопка на пульте дистанционного управления в режиме выполнения задач на основе распознавания движения, блок 140 управления принимает первый сигнал дистанционного управления, соответствующий первой кнопке, через блок 170 приема сигналов дистанционного управления и переключает режим электронного устройства 100 на режим дистанционного управления снова, как показано на фиг. 94. Первая кнопка на пульте дистанционного управления может быть кнопкой переключения на режим дистанционного управления. Тем не менее, это представляет собой просто пример, и первая кнопка может быть конкретной кнопкой на пульте дистанционного управления.

[321] Если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода в режиме выполнения задач на основе распознавания движения, блок 140 управления распознает команду начала управления на основе распознавания голоса и переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода. При переключении на режим выполнения задач на основе распознавания голоса блок 140 управления может отображать вспомогательную информацию по голосу, как показано на фиг. 95.

[322] Как описано выше, электронное устройство 100 может быть переключено на режим дистанционного управления, режим выполнения задач на основе распознавания голоса и режим выполнения задач на основе распознавания движения с использованием сигнала дистанционного управления, команды начала управления на основе распознавания голоса и команды начала управления на основе распознавания движения, соответственно.

[323] Фиг. 97 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для переключения на режим дистанционного управления, режим выполнения задач на основе распознавания движения и режим выполнения задач на основе распознавания голоса согласно примерному варианту осуществления.

[324] Электронное устройство 100 включается и затем переходит в режим дистанционного управления, в котором электронное устройство 100 управляется посредством пульта дистанционного управления (S9710).

[325] Электронное устройство 100 остается в режиме дистанционного управления (S9710), если только не вводится команда начала управления на основе распознавания голоса или команда начала управления на основе распознавания движения.

[326] Электронное устройство 100 определяет, вводится или нет команда начала управления на основе распознавания голоса (S9720). Если команда начала управления на основе распознавания голоса вводится (S9720-Y), электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода (S9730). При переходе в режим выполнения задач на основе распознавания голоса электронное устройство 100 может отображать вспомогательную информацию по голосу, как показано на фиг. 95.

[327]

[328] Электронное устройство 100 определяет, вводится или нет команда начала управления на основе распознавания движения (S9740). Если вводится команда начала управления на основе распознавания движения в режиме выполнения задач на основе распознавания голоса (S9740-Y), электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором электронное устройство 100 управляется в соответствии с пользовательским движением, вводимым через блок 120 ввода движения (S9750).

[329] Если электронное устройство 100 находится либо в режиме выполнения задач на основе распознавания голоса, либо в режиме выполнения задач на основе распознавания движения, блок 140 управления определяет, следует или нет возвращаться в режим дистанционного управления (S9760). Как описано выше, блок 140 управления может возвращаться в режим дистанционного управления, если распознается команда начала, чтобы возвращаться в режим дистанционного управления, или команда отмены режима. Кроме того, если электронное устройство 100 находится в режиме выполнения задач на основе распознавания голоса, блок 140 управления может автоматически возвращаться в режим дистанционного управления, если голос не распознается в течение предварительно определенного времени (например, 5 минут). Аналогично, если электронное устройство 100 находится в режиме выполнения задач на основе распознавания движения, блок 140 управления может автоматически возвращаться в режим дистанционного управления, если движение не распознается в течение предварительно определенного времени (например, 5 минут).

[330] Как показано на фиг. 97, электронное устройство 100 работает в режиме дистанционного управления (S9710), режиме выполнения задач на основе распознавания голоса (S9730) и режиме выполнения задач на основе распознавания движения (S9750). Во всех трех режимах блок 140 управления определяет, переключаться ли на режим выполнения задач на основе распознавания голоса (S9720-Y), переключаться ли на режим выполнения задач на основе распознавания движения (S9740-Y), переключаться ли на режим дистанционного управления (S9760-Y) или оставаться в текущем режиме (S9720-N, S9740-N, S9760-N). Хотя описан способ со ссылкой на фиг. 97, это представляет собой просто пример, и техническая идея настоящего раскрытия может применяться к любому способу для переключения из/на режим дистанционного управления, режим выполнения задач на основе распознавания голоса и режим выполнения задач на основе распознавания движения.

[331] Как описано выше, режим электронного устройства 100 переключается на режим дистанционного управления, режим выполнения задач на основе распознавания голоса и режим выполнения задач на основе распознавания движения, так что пользователь может управлять электронным устройством 100 согласно режиму, требуемому пользователем.

[332] Блок 140 управления может управлять электронным устройством 100 через распознавание голоса с использованием внешнего мобильного устройства.

[333] В частности, если пользовательский голос вводится через микрофон, включенный во внешнее мобильное устройство, блок 140 управления принимает ввод пользовательского голоса через блок 110 голосового ввода, распознает введенный пользовательский голос и выполняет задачу на основе распознавания голоса электронного устройства 100 в соответствии с распознанным пользовательским голосом. Мобильное устройство может представлять собой, но не только, пульт дистанционного управления, мобильный телефон, персональное цифровое устройство (PDA) и ноутбук. Блок 110 голосового ввода может быть блоком связи для приема пользовательского голосового сигнала из внешнего мобильного устройства.

[334] Приложение для распознавания голоса выполняется во внешнем мобильном устройстве, и вводится пользовательский голос. Если мобильное устройство распознает пользовательский голос, формирует управляющий сигнал, соответствующий пользовательскому голосу, и затем передает управляющий сигнал в электронное устройство 100, блок 140 управления может выполнять задачу на основе распознавания голоса электронного устройства 100 в соответствии с управляющим сигналом, вводимым из мобильного устройства.

[335] Если приложение для распознавания голоса выполняется в мобильном устройстве, и вводится пользовательский голос, вводимый в микрофон, включенный в мобильное устройство, блок 140 управления распознает введенный пользовательский голос и выполняет задачу на основе распознавания голоса электронного устройства 100 в соответствии с пользовательским голосом.

[336] Если выбирается первая кнопка, включенная в мобильное устройство, после того, как приложение для распознавания голоса выполнено в мобильном устройстве, блок 140 управления принимает первый сигнал, соответствующий первой кнопке, через блок связи (не показан) и переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса в ответ на первый сигнал. Режим выполнения задач на основе распознавания голоса, который переключается посредством выбора первой кнопки, включенной в мобильное устройство, является режимом, в котором задача на основе распознавания голоса выполняется в соответствии с пользовательским голосом, вводимым из микрофона, включенного в мобильное устройство. Выход из режима выполнения задач на основе распознавания голоса, который переключается посредством выбора первой кнопки, включенной в мобильное устройство, может осуществляться, если выбирается одна из первой кнопки и второй кнопки на мобильном устройстве. Первая кнопка и вторая кнопка могут представлять собой физическую кнопку, включенную в мобильное устройство. Тем не менее, это представляет собой просто пример, и первая кнопка и вторая кнопка могут представлять собой UI, который отображается на мобильном устройстве после того, как приложение для распознавания голоса выполнено.

[337] Блок 140 управления может принимать ввод пользовательского голоса из мобильного устройства в то время, когда выбирается вторая кнопка на мобильном устройстве в режиме выполнения задач на основе распознавания голоса. Блок 140 управления может отображать UI, указывающий то, что пользовательский голос может вводиться на мобильном устройстве в то время, когда выбирается вторая кнопка на мобильном устройстве. Соответственно, пользователь может знать, что можно вводить голос через UI, отображаемый на мобильном устройстве.

[338] Если пользовательский голос вводится в мобильное устройство, блок 140 управления не принимает пользовательский голос через микрофон, включенный в электронное устройство 100.

[339] Микрофон, включенный в мобильное устройство, может быть использован, когда мобильное устройство осуществляет телефонный вызов. Иными словами, если мобильное устройство выполняет общую функцию телефонных вызовов, микрофон принимает ввод голоса для телефонного вызова от пользователя. Если мобильное устройство выполняет приложение для распознавания голоса, мобильное устройство может принимать ввод голоса, чтобы управлять электронным устройством 100, от пользователя.

[340] Фиг. 98 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для распознавания пользовательского голоса с использованием внешнего мобильного устройства согласно примерному варианту осуществления.

[341] Мобильное устройство выполняет приложение для голосового ввода (S9810). Мобильное устройство может быть мобильным телефоном.

[342] После того, как приложение для голосового ввода выполнено в мобильном устройстве, мобильное устройство принимает ввод пользовательского голоса через микрофон, включенный в мобильное устройство (S9820). Микрофон, включенный в мобильное устройство, может быть микрофоном для осуществления телефонного вызова.

[343] Электронное устройство 100 принимает пользовательский голос, вводимый во внешнее мобильное устройство, из мобильного устройства (9830).

[344] Если пользовательский голос принимается из мобильного устройства, электронное устройство 100 распознает пользовательский голос с использованием модуля 130k распознавания голоса (S9840).

[345] Электронное устройство 100 выполняет задачу на основе распознавания голоса в соответствии с распознанным пользовательским голосом с использованием базы голосовых данных (S9850).

[346] В вышеуказанном примерном варианте осуществления, мобильное устройство принимает ввод пользовательского голоса и передает пользовательский голос в электронное устройство 100. Тем не менее, это представляет собой просто пример, и мобильное устройство может непосредственно распознавать пользовательский голос, может формировать управляющий сигнал, соответствующий пользовательскому голосу, и затем может передавать управляющий сигнал в электронное устройство 100.

[347] Как описано выше, задача на основе распознавания голоса электронного устройства 100 выполняется с использованием мобильного устройства, такого как мобильный телефон, так что пользователь может проще управлять электронным устройством с использованием распознавания голоса.

[348] Согласно примерному варианту осуществления, режим выполнения задач на основе распознавания движения может быть одним из режима движения и режима наведения указателя согласно тому, требуется или нет указатель для того, чтобы выполнять задачу. В частности, режим движения является режимом, в котором задача изменять настройки электронного устройства 100 управляется в соответствии с предварительно установленным движением (например, движением шлепка в направлении вверх, вниз, влево или вправо, движением захвата или движением поворота в направлении против часовой стрелки). Например, если вводится команда начала управления на основе распознавания движения, в то время как электронное устройство 100 выполняет функцию приема широковещательной передачи, блок 140 управления может переключать режим электронного устройства 100 на режим движения. Соответственно, электронное устройство 100 может выполнять такую задачу, как регулирование громкости или переключение канала, в ответ на пользовательское движение, сопоставленное с предварительно установленным движением.

[349] Режим наведения указателя является режимом, в котором указатель используется для того, чтобы выполнять задачу. Например, если вводится команда начала управления на основе распознавания движения, когда электронное устройство 100 отображает один из списков, включающих в себя множество выбираемых элементов (например, список контента, список каналов, электронное расписание программ, или EPG, и веб-страницу), блок 140 управления может переключать режим электронного устройства 100 на режим наведения указателя. В режиме наведения указателя блок 140 управления отображает указатель в центре экрана отображения. Указатель может отображаться в верхней позиции центра экрана отображения вследствие присутствия вспомогательной информации по движению.

[350] В дальнейшем в этом документе подробнее поясняется режим наведения указателя.

[351] Если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения, в то время как электронное устройство 100 отображает одно из списка контента, включающего в себя множество выполняемых значков для выполнения приложений (например, интеллектуальный центр управления), и веб-страницы, блок 140 управления переключает режим электронного устройства 100 на режим наведения указателя и отображает указатель в центре экрана отображения.

[352] В режиме наведения указателя электронное устройство 100 может отображать вспомогательную информацию по движению для выполнения задачи на основе распознавания движения в нижней части экрана отображения. Отображаемая вспомогательная информация по движению может отличаться от вспомогательной информации по движению режима движения.

[353] Если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения, в то время как электронное устройство 100 отображает список контента, блок 140 управления переключает режим электронного устройства 100 на режим наведения указателя. В режиме наведения указателя, если указатель находится на первом выполняемом значке списка контента согласно пользовательскому движению, вводимому в блок 120 ввода движения, блок 140 управления отображает первый выполняемый значок отдельно от других выполняемых значков. Если вводится команда для того, чтобы завершать экран списка контента в режиме наведения указателя, блок 140 управления может убирать не только список контента, но также и указатель из экрана отображения.

[354] Если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения, в то время как электронное устройство 100 отображает веб-страницу, блок 140 управления переключает режим электронного устройства 100 на режим наведения указателя. Веб-страница может включать в себя множество гиперссылок. В режиме наведения указателя, если указатель находится на первой гиперссылке веб-страницы согласно пользовательскому движению, вводимому через блок 120 ввода движения, блок 140 управления отображает первую гиперссылку отдельно от других гиперссылок. Если указатель находится на первой гиперссылке, и первое пользовательское движение (например, движение захвата) вводится через блок 120 ввода движения, блок 140 управления выполняет первую гиперссылку.

[355] В дальнейшем в этом документе подробнее поясняется режим наведения указателя со ссылкой на фиг. 99-103.

[356] Если отображается список контента, включающий в себя выполняемые значки для выполнения приложений, как показано на фиг. 99, и команда начала управления на основе распознавания движения вводится через блок 120 ввода движения, блок 140 управления может отображать вспомогательную информацию по движению и указатель 10010, как показано на фиг. 100. Указатель 10010 может отображаться в центре экрана отображения.

[357] Если движение перемещения в направлении влево и вниз вводится через блок 120 ввода движения, чтобы помещать указатель 10010 на выполняемый значок "Прил2", блок 140 управления помещает указатель 10010 на выполняемый значок "Прил2". Если указатель 10010 находится на выполняемом значке "Прил2", блок 140 управления подсвечивает выполняемый значок "Прил2" и название выполняемого значка сильнее по сравнению с другими значками, как показано на фиг. 101.

[358] Если указатель 10010 находится на выполняемом значке "Прил2", и первое пользовательское движение (например, движение захвата) вводится через блок 120 ввода движения, блок 120 управления выполняет выполняемый значок "Прил2", как показано на фиг. 102.

[359] Если отображается список контента, и вводится команда закрытия списка контента (например, движение поворота в направлении против часовой стрелки или кнопка пульта дистанционного управления) от пользователя, как показано на фиг. 100, блок 140 управления убирает список контента и указатель из экрана отображения и отображает экран приема широковещательной передачи, как показано на фиг. 103.

[360] Хотя в вышеуказанном примерном варианте осуществления отображается список контента, техническая идея настоящего раскрытия сущности может применяться, если отображается веб-страница, включающая в себя множество гиперссылок.

[361] Фиг. 104 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для предоставления режима наведения указателя согласно примерному варианту осуществления.

[362] Электронное устройство 100 отображает одно из списка контента и веб-страницы (S10410). Список контента может включать в себя множество выполняемых значков для выполнения приложений, и веб-страница может включать в себя множество гиперссылок.

[363] Электронное устройство 100 определяет то, вводится или нет команда начала управления на основе распознавания движения (S10420).

[364] Если вводится команда начала управления на основе распознавания движения (S10420-Y), электронное устройство 100 переключает режим электронного устройства 100 на режим наведения указателя (S10430). Режим наведения указателя является режимом для того, чтобы выполнять задачу, требующую указателя (например, выполнение приложения и "серфинг" по веб-странице).

[365] Если режим переключается на режим наведения указателя, электронное устройство 100 отображает указатель на экране отображения (S10440). Указатель может отображаться в центре экрана отображения.

[366] Как описано выше, электронное устройство 100 переключается на режим наведения указателя, чтобы выполнять задачу, требующую указателя, так что пользователь может проще управлять электронным устройством 100.

[367] Если первое движение вводится через блок 120 ввода движения в режиме наведения указателя, блок 140 управления перемещает указатель в направлении, соответствующем первому движению, а если второе движение вводится через блок 120 ввода движения, блок 140 управления выполняет задачу на основе распознавания движения, соответствующую второму движению.

[368] Если второе движение вводится, когда указатель находится на первом выполняемом значке списка контента или на первой гиперссылке веб-страницы, блок 140 управления может отменять подсвечивание первого выполняемого значка и первой гиперссылки, на которой находится указатель.

[369] Второе движение может быть движением, которое предварительно установлено, чтобы выполнять режим движения электронного устройства 100, и может быть одним из движения шлепка в направлении вверх, вниз, влево или вправо, движения захвата и движения поворота в направлении против часовой стрелки.

[370] Например, если второе движение является движением шлепка в направлении вверх, вниз, влево или вправо, блок 140 управления может перемещать экран отображения в соответствии с движением шлепка в направлении вверх, вниз, влево или вправо. После перемещения экрана блок 140 управления может снова отображать указатель в предыдущем местоположении.

[371] Кроме того, если второе движение является движением захвата, блок 140 управления может выполнять первый выполняемый значок, в котором находится указатель. После выполнения первого выполняемого значка блок 140 управления может снова отображать указатель в предыдущем местоположении.

[372] Кроме того, если второе движение является движением поворота в направлении против часовой стрелки, блок 140 управления может отображать широковещательную программу текущего настроенного канала на экране отображения. Иными словами, блок 140 управления может убирать список контента или веб-страницу из экрана отображения и предоставлять функцию приема широковещательной передачи. В это время, поскольку функция приема широковещательной передачи не требует указателя, указатель не отображается.

[373] Хотя указатель не отображается в вышеприведенном примере, это представляет собой просто пример. Указатель может поддерживаться в местоположении, в котором указатель отображен.

[374] В дальнейшем в этом документе подробнее поясняется случай, в котором предварительно установленное движение вводится в режиме наведения указателя, со ссылкой на фиг. 105-107.

[375] Если режим электронного устройства 100 переключается на режим наведения указателя, как показано на фиг. 100, блок 140 управления отображает указатель 10510 в центре экрана отображения, как показано на фиг. 105.

[376] Если движение шлепка в направлении вправо вводится через блок 120 ввода движения в состоянии, в котором указатель отображается на экране отображения, блок 140 управления убирает указатель 10510 из экрана отображения и изменяет экран области 1520 отображения приложения на экран другой области 10530 отображения приложения, как показано на фиг. 106.

[377] После перемещения области 10520 отображения приложения блок 140 управления отображает указатель 10510 снова, как показано на фиг. 107.

[378] Фиг. 108 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100, если предварительно установленное движение вводится в режиме наведения указателя согласно примерному варианту осуществления.

[379] Электронное устройство 100 отображает одно из списка контента и веб-страницы (S10810). Список контента может включать в себя множество выполняемых значков для выполнения приложений, и веб-страница может включать в себя множество гиперссылок.

[380] Электронное устройство 100 определяет то, вводится или нет команда начала управления на основе распознавания движения (S10820).

[381] Если вводится команда начала управления на основе распознавания движения (S10820-Y), электронное устройство 100 переключает режим электронного устройства 100 на режим наведения указателя (S10830). Режим наведения указателя является режимом для того, чтобы выполнять задачу, требующую указателя (например, выполнение приложения и "серфинг" по веб-странице).

[382] Если режим переключается на режим наведения указателя, электронное устройство 100 отображает указатель на экране отображения (S10840). Указатель может находиться в центре экрана отображения.

[383] Если предварительно установленное движение вводится через блок 120 ввода движения в состоянии, в котором указатель отображается (S10850-Y), электронное устройство 100 убирает указатель и выполняет задачу на основе распознавания движения, соответствующую предварительно установленному движению (S10860). Предварительно установленное движение является движением, которое предварительно установлено в режиме движения, и может быть движением шлепка в направлении вверх, вниз, влево или вправо, движением захвата или режимом поворота в направлении против часовой стрелки.

[384] Электронное устройство 100 управляется, как описано выше, таким образом, что пользователь может выполнять задачу в соответствии с предварительно установленным движением даже в режиме наведения указателя.

[385] Блок 140 управления может отображать выбранный элемент отдельно от других элементов в соответствии с режимом электронного устройства 100.

[386] В частности, блок 140 управления управляет блоком 193 отображения так, что он отображает множество выбираемых элементов. Выбираемый элемент может быть выполняемым значком списка контента или гиперссылкой веб-страницы.

[387] Если одно из пользовательского голоса и пользовательского движения вводится через одно из блока 110 голосового ввода и блока 120 ввода движения, блок 140 управления выбирает первый элемент из множества элементов в соответствии с пользовательским вводом. Блок 140 управления может отображать выбранный первый элемент отдельно от других элементов. Например, блок 140 управления может подсвечивать выбранный первый элемент сильнее других элементов.

[388] Если название первого элемента имеет число символов, которое превышает предварительно установленное число, и режим электронного устройства 100 является режимом выполнения задач на основе распознавания движения, когда первый элемент отображается отдельно от других элементов, блок 140 управления может отображать все название первого элемента. Например, отображается все название выбранного выполняемого значка "Захватывающий фестиваль", как показано на фиг. 109. Блок 140 управления может отображать все название первого элемента способом прокрутки. В вышеприведенном примере, все название элемента отображается в режиме выполнения задач на основе распознавания движения. Тем не менее, это представляет собой просто пример, и все название элемента может отображаться даже в режиме дистанционного управления.

[389] С другой стороны, если название первого элемента имеет число символов, которое превышает предварительно установленное число, и режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, блок 140 управления может отображать только часть названия первого элемента. Часть названия первого элемента является фиксированной. Например, отображается только часть названия выбранного выполняемого значка "Захватывающий фестиваль", как показано на фиг. 110.

[390] Если только часть названия первого элемента отображается в режиме выполнения задач на основе распознавания голоса, и пользовательский голос, вводимый через блок 110 голосового ввода, является согласованным с отображаемой частью названия, блок 140 управления выполняет первый элемент.

[391] Если отсутствуют пробелы в части названия отображаемого первого элемента, и пользовательский голос, соответствующий множеству написаний названия отображаемого первого элемента, вводится через блок 110 голосового ввода, блок 140 управления выполняет первый элемент. Например, если названием отображаемого первого элемента является "человек (man)", и голоса "m", "a", и "n" вводятся последовательно, блок 140 управления выполняет первый элемент.

[392] Если режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, и множество элементов, имеющих названия, которые являются согласованными с пользовательским голосом, вводимым через блок 110 голосового ввода, включаются в названия отображаемых элементов, блок 140 управления может отображать список группы вариантов, включающий в себя множество элементов. Если отображается список группы вариантов, блок 140 управления может отображать все названия элементов, так что пользователь может четко отличать элементы.

[393] Фиг. 111 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100, которое отображает элементы по-разному в соответствии с режимом согласно примерному варианту осуществления.

[394] Электронное устройство 100 отображает множество выбираемых элементов (S11110). Множество элементов может представлять собой выполняемые значки, включенные в список контента для выполнения приложений, или гиперссылки, включенные в веб-страницу.

[395] Электронное устройство 100 принимает ввод одного из пользовательского голоса и пользовательского движения через одно из блока 110 ввода движения и блока 120 ввода движения (S11120).

[396] Электронное устройство 100 выбирает первый элемент в соответствии с пользовательским вводом (S11130). Например, в режиме выполнения задач на основе распознавания голоса, электронное устройство 100 может выбирать первый элемент в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода, а в режиме выполнения задач на основе распознавания движения, электронное устройство 100 может выбирать первый элемент в соответствии с пользовательским движением, вводимым через блок 120 ввода движения. В режиме дистанционного управления электронное устройство 100 может выбирать первый элемент в соответствии с сигналом дистанционного управления, вводимым через блок 170 приема сигналов дистанционного управления.

[397] Если выбирается первый элемент, электронное устройство 100 отображает выбранный первый элемент отдельно от других элементов (S11140). Например, электронное устройство 100 может подсвечивать выбранный первый элемент сильнее других элементов.

[398] Если название первого элемента имеет число символов, которое превышает предварительно установленное число, и режим электронного устройства 100 является режимом выполнения задач на основе распознавания движения (или режимом дистанционного управления), когда первый элемент отображается отдельно от других элементов, электронное устройство 100 может отображать все название первого элемента. Например, как показано на фиг. 109, отображается все название выбранного выполняемого значка "Захватывающий фестиваль". Кроме того, электронное устройство 100 может отображать все название первого элемента способом прокрутки.

[399] С другой стороны, если название первого элемента имеет число символов, которое превышает предварительно установленное число, и режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, электронное устройство 100 может отображать только часть названия первого элемента. Часть названия первого элемента является фиксированной. Например, отображается только часть ("Захватывающий") названия выполняемого значка "Захватывающий фестиваль", как показано на фиг. 110.

[400] Как описано выше, только часть названия элемента отображается в режиме выполнения задач на основе распознавания голоса, так что пользователь может выполнять первый элемент посредством произнесения только части названия.

[401] Блок 140 управления отображает вспомогательную информацию по голосу, включающую в себя множество голосовых элементов, в режиме выполнения задач на основе распознавания голоса. Вспомогательная информация по голосу включает в себя значок, указывающий то, что режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, и значок, указывающий то, что режим выполнения задач на основе распознавания голоса может находиться в центре вспомогательной информации по голосу.

[402] Если отображается вспомогательная информация по голосу, и пользовательский голос, соответствующий одному из множества голосовых элементов, вводится через блок 110 голосового ввода, блок 140 управления отображает сообщение с инструкциями, чтобы выполнять задачу на основе распознавания голоса, в первой области вспомогательной информации по голосу и отображает голосовой элемент во второй области вспомогательной информации по голосу. Первая область может быть левой областью значка, и вторая область может быть правой областью значка. Свойство вывода сообщения с инструкциями может отличаться от свойства вывода голосового элемента. Свойство вывода может включать в себя, по меньшей мере, одно из размера, цветового тона, яркости и цвета символов.

[403] Если пользовательский голос является командой для того, чтобы переключать канал, блок 140 управления может отображать сообщение с инструкциями, чтобы выдавать инструкции по переключению, канала в первой области, и может отображать голосовой элемент, соответствующий примеру произносимой команды, чтобы переключать канал, и голосовой элемент, соответствующий отмене переключения канала, во второй области.

[404] Если пользовательский голос является командой для того, чтобы выключать питание, блок 140 управления может отображать сообщение с инструкциями, чтобы подтверждать выключение питания, в первой области, и может отображать голосовой элемент, соответствующий команде, связанной с тем, выключать или нет питание, во второй области.

[405] В дальнейшем в этом документе поясняется отображение вспомогательной информации по голосу со ссылкой на фиг. 112-114.

[406] Если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода. Блок 140 управления отображает вспомогательную информацию по голосу, как показано на фиг. 112.

[407] Вспомогательная информация по голосу может отображать значок 820, указывающий то, что текущий режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса. Вспомогательная информация по голосу может отображать голосовой элемент 811 отключения питания, голосовой элемент 812 канала, голосовой элемент 813 отключения звука и голосовой элемент 814 внешнего ввода в левой области значка 820 и может отображать голосовой элемент 815 интеллектуального центра управления, голосовой элемент 816 приложений, голосовой элемент 817 поиска и голосовой элемент 818 "Все" в правой области значка 820.

[408] Если отображается вспомогательная информация по голосу, и команда "Канал", соответствующая голосовому элементу 812 канала, вводится через блок 110 голосового ввода, блок 140 управления изменяет вспомогательную информацию по голосу, как показано на фиг. 113. Блок 140 управления отображает сообщение с инструкциями, имеющее первый цветовой тон, в левой области значка 820 во вспомогательной информации по голосу, чтобы выполнять задачу на основе распознавания голоса. Например, как показано на фиг. 113, "Произнесите название канала или номер канала" 810 может отображаться в левой области.

[409] Блок 140 управления отображает голосовой элемент, имеющий второй цветовой тон, в правой области значка 820 во вспомогательной информации по голосу. Голосовой элемент может быть голосовым элементом, соответствующим примеру произносимой команды, чтобы переключать канал, и голосовым элементом, соответствующим отмене переключения канала (например, предыдущим голосовым элементом). Например, как показано на фиг. 113 "(Пример: 11, MBC, предыдущий канал и т.д.) Предыдущий" 11320 может отображаться в правой области значка 820.

[410] Блок 140 управления может управлять таким образом, что цветовой тон правой области значка 820 является сильнее цветового тона левой области значка 820.

[411] Если отображается вспомогательная информация по голосу, как показано на фиг. 112, и команда "Выключение питания", соответствующая голосовому элементу 811 отключения питания, вводится через блок 110 голосового ввода, блок 140 управления изменяет вспомогательную информацию по голосу, как показано на фиг. 114. Блок 140 управления отображает сообщение с инструкциями, имеющее первый цветовой тон, в левой области значка 820 во вспомогательной информации по голосу, чтобы выполнять задачу на основе распознавания голоса. Например, как показано на фиг. 114, "Хотите выключить питание?" 11410 может отображаться в левой области значка 820.

[412] Блок 140 управления отображает голосовой элемент, имеющий второй цветовой тон, в правой области значка 820 во вспомогательной информации по голосу. Голосовой элемент может быть голосовым элементом, соответствующим команде, связанной с тем, выключать или нет питание. Например, как показано на фиг. 114, "Да" или "Нет" 11420 и 11430 может отображаться в правой области значка 820.

[413] Блок 140 управления может управлять таким образом, что цветовой тон правой области значка 820 является сильнее цветового тона левой области значка 820.

[414] Фиг. 115 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100, которое отображает вспомогательную информацию по голосу согласно примерному варианту осуществления.

[415] Электронное устройство 100 отображает вспомогательную информацию по голосу (S11510). Вспомогательная информация по голосу может включать в себя значок, указывающий то, что текущий режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, и множество голосовых элементов, выдающих инструкции по режиму выполнения задач на основе распознавания голоса.

[416] Если вводится пользовательский голос, соответствующий одному из множества голосовых элементов, через блок 110 голосового ввода, электронное устройство 100 отображает сообщение с инструкциями, имеющее первый цветовой тон, в первой области, и отображает голосовой элемент, имеющий второй цветовой тон, во второй области (S11520). Первая область может быть правой областью значка во вспомогательной информации по голосу, и вторая область может быть левой областью значка во вспомогательной информации по голосу. Второй цветовой тон может быть сильнее первого цветового тона.

[417] Как описано выше, произносимый голосовой элемент отображается с цветовым тоном, отличающимся от цветового тона сообщения с инструкциями, так что пользователь может более точно знать то, какую команду пользователь должен произнести.

[418] Блок 140 управления отображает вспомогательную информацию по голосу, включающую в себя множество голосовых элементов, выдающих инструкции по задаче на основе распознавания голоса. Если пользовательский голос, вводимый через блок 110 голосового ввода, включает в себя предварительно установленное слово, которое не принадлежит команде, соответствующей множеству голосовых элементов, блок 140 управления может выполнять задачу на основе распознавания голоса, соответствующую предварительно установленному слову.

[419] Предварительно установленное слово может быть словом, которое соответствует выполняемой клавише, включенной в пульт дистанционного управления, который взаимно соединяется (т.е. обменивается данными) с электронным устройством 100. Например, предварительно установленное слово может включать в себя, по меньшей мере, одну из команды, чтобы формировать список каналов, команды, чтобы формировать меню, команды, чтобы вызывать социальную сеть, команды, чтобы выдавать инструкции по программе передач, команды, чтобы переключаться на трехмерное изображение, и команды, чтобы выдавать инструкции по широковещательной передаче.

[420] Предварительно установленное слово может быть словом, которое соответствует команде для того, чтобы предоставлять задачу, связанную с функцией, выполняемой посредством электронного устройства 100. Например, если электронное устройство 100 в данный момент выполняет функцию воспроизведения движущегося изображения, предварительно установленное слово может включать в себя, по меньшей мере, одну из команды, чтобы воспроизводить движущееся изображение, команды, чтобы ставить на паузу движущееся изображение, команды, чтобы останавливать движущееся изображение, команды, чтобы воспроизводить предыдущий файл, команды, чтобы воспроизводить следующий файл, команды, чтобы переходить вперед, и команды, чтобы переходить назад.

[421] Иными словами, команда, соответствующая базовой функции электронного устройства 100, предварительно сохраняется в базе 130m голосовых данных, так что пользователь может использовать базовую функцию электронного устройства 100 через распознавание голоса, даже если функция не отображается во вспомогательной информации по голосу.

[422] В дальнейшем в этом документе поясняется случай, в котором произносится команда, которая не принадлежит голосовому элементу, отображаемому во вспомогательной информации по голосу, со ссылкой на фиг. 116 и 117.

[423] Если команда начала управления на основе распознавания голоса (например, "Ginny") вводится через блок 110 голосового ввода, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода. Если режим переключается на режим выполнения задач на основе распознавания голоса, блок 140 управления отображает вспомогательную информацию по голосу в нижней части экрана отображения, как показано на фиг. 116.

[424] В это время, значок 820, указывающий то, что текущий режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, отображается во вспомогательной информации по голосу. Вспомогательная информация по голосу отображает голосовой элемент 811 отключения питания, голосовой элемент 812 канала, голосовой элемент 813 отключения звука и голосовой элемент 814 внешнего ввода в левой области значка 820 и отображает голосовой элемент 815 интеллектуального центра управления, голосовой элемент 816 приложений, голосовой элемент 817 поиска и голосовой элемент 818 "Все" в правой области значка 820.

[425] Если отображается вспомогательная информация по голосу, и команда "Список каналов", которая не принадлежит вспомогательной информации по голосу, вводится через блок 110 голосового ввода, блок 140 управления может отображать список 11700 каналов в одной боковой части экрана отображения, как показано на фиг. 117.

[426] Список 11700 каналов включает в себя широковещательный канал, который попадает в предварительно установленный диапазон номеров в отношении текущего настроенного широковещательного канала. Например, если текущий настроенный широковещательный канал является "9-1 KBS2", блок 140 управления отображает "6-1 SBS", "7-1 KBS 1", "9-1 KBS 2", "11-1 MBC" и "13-1 EBS" в списке 1170 каналов, как показано на фиг. 117.

[427] Пользователь может переключать канал посредством выбора одного из каналов в списке 11700 каналов. Соответственно, даже если вспомогательная информация по голосу не отображает голосовой элемент, соответствующий списку каналов, пользователь может выполнять задачу отображения списка каналов через распознавание голоса.

[428] Фиг. 118 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100, если команда, которая не принадлежит голосовому элементу, отображаемому во вспомогательной информации по голосу, произносится согласно примерному варианту осуществления.

[429] Электронное устройство 100 отображает вспомогательную информацию по голосу (S11810). Вспомогательная информация по голосу может включать в себя значок, указывающий то, что текущий режим электронного устройства 100 является режимом выполнения задач на основе распознавания голоса, и множество голосовых элементов, выдающих инструкции по режиму выполнения задач на основе распознавания голоса.

[430] Электронное устройство 100 принимает ввод команды, отличной от команд, соответствующих голосовым элементам (S11820). Если команда, отличная от команд, соответствующих голосовым элементам, может быть словом, которое соответствует выполняемой клавише, включенной в пульт дистанционного управления, который обменивается данными с электронным устройством 100. Например, слово может включать в себя одну из команды, чтобы формировать список каналов, команды, чтобы формировать меню, команды, чтобы вызывать социальную сеть, команды, чтобы выдавать инструкции по программе передач, команды, чтобы переключаться на трехмерное изображение, и команды, чтобы выдавать инструкции по широковещательной передаче.

[431] Команда, отличная от команд, соответствующих голосовым элементам, может быть словом, которое соответствует команде для того, чтобы предоставлять задачу, связанную с функцией, в данный момент выполняемой посредством электронного устройства 100. Например, если электронное устройство 100 в данный момент выполняет функцию воспроизведения движущегося изображения, слово может включать в себя, по меньшей мере, одну из команды, чтобы воспроизводить движущееся изображение, команды, чтобы ставить на паузу движущееся изображение, команды, чтобы останавливать движущееся изображение, команды, чтобы воспроизводить предыдущий файл, команды, чтобы воспроизводить следующий файл, команды, чтобы переходить вперед, и команды, чтобы переходить назад.

[432] Электронное устройство 100 выполняет задачу на основе распознавания голоса в соответствии с введенной командой (S11830). Например, если вводится команда для того, чтобы формировать список каналов, электронное устройство 100 формирует и отображает список каналов.

[433] Как описано выше, пользователь может выполнять задачу, соответствующую команде, которая не отображается во вспомогательной информации по голосу.

[434] Блок 140 управления может выполнять не только режим выполнения задач на основе распознавания движения с использованием одной руки, но также и режим выполнения задач на основе распознавания движения с использованием обеих рук.

[435] В частности, если вводится команда начала управления на основе распознавания движения с использованием обеих рук через блок 120 ввода движения, блок 140 управления может переключать режим электронного устройства 100 на режим выполнения задач на основе распознавания движения с использованием обеих рук, чтобы выполнять задачу на основе распознавания движения с использованием обеих рук.

[436] В режиме выполнения задач на основе распознавания движения с использованием одной руки, если вводится команда начала управления на основе распознавания движения с использованием другой руки, блок 140 управления может распознавать команду начала управления на основе распознавания движения с использованием обеих рук. В частности, если команда начала управления на основе распознавания движения (движение встряски одной рукой 3-4 раза) вводится через блок 120 ввода движения, как показано на фиг. 119, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором электронное устройство 100 управляется в соответствии с пользовательским движением, вводимым через блок 120 ввода движения. Если команда начала управления на основе распознавания движения с использованием другой руки вводится через блок 120 ввода движения в режиме выполнения задач на основе распознавания движения, блок 140 управления может переключать режим электронного устройства 100 на режим выполнения задач на основе распознавания движения с использованием обеих рук, чтобы выполнять задачу на основе распознавания движения с использованием обеих рук.

[437] В другом примерном варианте осуществления, команда начала управления на основе распознавания движения с использованием обеих рук может быть распознана, если вводится движение встряски с одновременной многократной встряской обеими руками (например, 3-4 раза). В частности, если вводится движение встряски с одновременной многократной встряской обеими руками через блок 120 ввода движения, как показано на фиг. 120, блок 140 управления может переключать режим электронного устройства 100 на режим выполнения задач на основе распознавания движения с использованием обеих рук, чтобы выполнять задачу на основе распознавания движения с использованием обеих рук.

[438] Задача на основе распознавания движения с использованием обеих рук может быть задачей развертывания или свертывания экрана отображения.

[439] В частности, если выполняется приложение, в котором невозможно выполнять задачу на основе распознавания движения с использованием обеих рук, блок 140 управления может выводить сообщение о том, что невозможно выполнять задачу на основе распознавания движения с использованием обеих рук. Например, если выполняется приложение, в котором невозможно выполнять задачу на основе распознавания движения с использованием обеих рук, блок 140 управления может отображать значок, указывающий то, что невозможно выполнять задачу на основе распознавания движения с использованием обеих рук.

[440] Фиг. 121 является блок-схемой последовательности операций способа для того, чтобы пояснять режим выполнения задач на основе распознавания движения с использованием обеих рук согласно примерному варианту осуществления.

[441] Электронное устройство 100 принимает ввод команды начала управления на основе распознавания движения с использованием обеих рук (S12110). Например, в режиме выполнения задач на основе распознавания движения с использованием одной руки, если вводится команда начала управления на основе распознавания движения с использованием другой руки, команда начала управления на основе распознавания движения с использованием обеих рук распознается как вводимая.

[442] В другом примерном варианте осуществления, команда начала управления на основе распознавания движения с использованием обеих рук может быть распознана, если вводится движение встряски с одновременной многократной встряской обеими руками (например, 3-4 раза).

[443] Если вводится команда начала управления на основе распознавания движения с использованием обеих рук, электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения с использованием обеих рук, чтобы выполнять задачу электронного устройства с использованием обеих рук (S12120). Режим выполнения задач на основе распознавания движения с использованием обеих рук может быть задачей развертывания или свертывания экрана отображения.

[444] Как описано выше, пользователь может выполнять задачу на основе распознавания движения с использованием не только одной руки, но также и обеих рук.

[445] Если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором задача на основе распознавания движения выполняется в соответствии с движением пользователя, который вводит команду начала управления на основе распознавания движения. В режиме выполнения задач на основе распознавания движения задача на основе распознавания движения выполняется только в соответствии с движением пользователя, который вводит команду начала управления на основе распознавания движения, до тех пор, пока пользователь, который вводит команду начала управления на основе распознавания движения, не выйдет из режима выполнения задач на основе распознавания движения. Режим выполнения задач на основе распознавания движения поддерживается, даже если команда начала управления на основе распознавания движения вводится от пользователей, отличных от пользователя, который вводит команду начала управления на основе распознавания движения.

[446] В частности, если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения, блок 140 управления отслеживает руку пользователя, который вводит команду начала управления на основе распознавания движения, с использованием модуля 130l распознавания движения. Блок 140 управления может отслеживать руку пользователя с использованием, по меньшей мере, одного из формы, цвета и движения руки пользователя.

[447] Даже если команда начала управления на основе распознавания движения руки другого пользователя вводится через блок 120 ввода движения, блок 140 управления не выполняет задачу на основе распознавания движения посредством руки другого пользователя и отслеживает руку пользователя, который первоначально вводит команду начала управления на основе распознавания движения, и выполняет задачу на основе распознавания движения.

[448] Даже если вводится команда начала управления на основе распознавания движения посредством другого пользователя, блок 140 управления может выполнять задачу на основе распознавания движения в соответствии с движением пользователя, который первоначально вводит команду начала управления на основе распознавания движения, до тех пор, пока не будет введена команда для того, чтобы выходить из режима выполнения задач на основе распознавания движения, от пользователя, который вводит команду начала управления на основе распознавания движения.

[449] Даже если рука пользователя, который вводит команду начала управления на основе распознавания движения, перекрывается с руками других пользователей в режиме выполнения задач на основе распознавания движения, задача на основе распознавания движения может быть выполнена в соответствии с движением пользователя, который вводит команду начала управления на основе распознавания движения.

[450] Альтернативно, если вводится команда начала управления на основе распознавания движения с использованием одной руки, и вводится другая команда начала управления на основе распознавания движения с использованием одной руки пользователя, отличного от пользователя, который вводит команду начала управления на основе распознавания движения, блок 140 управления может переключать режим электронного устройства 100 на режим выполнения задач на основе распознавания движения с использованием обеих рук, чтобы выполнять задачу на основе распознавания движения с использованием обеих рук. Режим выполнения задач на основе распознавания движения с использованием обеих рук может быть выполнен посредством одной руки пользователя, который первоначально вводит команду начала управления на основе распознавания движения, и одной руки другого пользователя.

[451] Если множество команд начала управления на основе распознавания движения вводится от множества пользователей через блок 120 ввода движения, блок 140 управления определяет команду начала управления на основе распознавания движения, которая первоначально введена, из множества команд начала управления на основе распознавания движения. Если первоначально введенная команда начала управления на основе распознавания движения определяется, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором задача на основе распознавания движения выполняется в соответствии с движением пользователя, который первоначально вводит команду начала управления на основе распознавания движения.

[452] Задача на основе распознавания движения может быть выполнена только в соответствии с движением пользователя, который первоначально вводит команду начала управления на основе распознавания движения, до тех пор, пока пользователь, который первоначально вводит команду начала управления на основе распознавания движения, не выйдет из режима выполнения задач на основе распознавания движения. Режим выполнения задач на основе распознавания движения может поддерживаться, даже если команда начала управления на основе распознавания движения вводится от пользователей, отличных от пользователя, который первоначально вводит команду начала управления на основе распознавания движения.

[453] Фиг. 122 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100, если множество команд начала управления на основе распознавания движения вводится от множества пользователей согласно примерному варианту осуществления.

[454] Электронное устройство 100 принимает ввод множества команд начала управления на основе распознавания движения от множества пользователей через блок 120 ввода движения (S12210). Команда начала управления на основе распознавания движения может быть движением встряски с многократной встряской рукой пользователя (например, 3-4 раза).

[455] Электронное устройство 100 определяет команду начала управления на основе распознавания движения, которая первоначально введена, из множества команд начала управления на основе распознавания движения (S12220). В частности, электронное устройство 100 может определять первоначально введенную команду начала управления на основе распознавания движения с использованием формы, цвета и движения руки пользователя, которая используется для ввода команды начала управления на основе распознавания движения.

[456] Электронное устройство 100 выполняет задачу на основе распознавания движения с использованием движения пользователя, который первоначально вводит команду начала управления на основе распознавания движения (S12230). В частности, если электронное устройство 100 определяет первоначально введенную команду начала управления на основе распознавания движения, электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения, в котором задача на основе распознавания движения выполняется в соответствии с движением пользователя, который первоначально вводит команду начала управления на основе распознавания движения. Электронное устройство 100 выполняет задачу на основе распознавания движения с использованием движения пользователя, который первоначально вводит команду начала управления на основе распознавания движения, в режиме выполнения задач на основе распознавания движения.

[457] Задача на основе распознавания движения может быть выполнена только в соответствии с движением пользователя, который первоначально вводит команду начала управления на основе распознавания движения, до тех пор, пока пользователь, который первоначально вводит команду начала управления на основе распознавания движения, не выйдет из режима выполнения задач на основе распознавания движения. Режим выполнения задач на основе распознавания движения может поддерживаться, даже если команда начала управления на основе распознавания движения вводится от пользователей, отличных от пользователя, который первоначально вводит команду начала управления на основе распознавания движения.

[458] Как описано выше, задача на основе распознавания движения выполняется в соответствии с первоначально введенной командой начала управления на основе распознавания движения, так что может предотвращаться некорректная работа посредством движений других пользователей.

[459] Блок 140 управления может выполнять задачу на основе распознавания голоса синфазно. В частности, если первый голос пользователя вводится через блок 110 голосового ввода, блок 140 управления может отображать первое меню, выдающее инструкции, по меньшей мере, по одной задаче на основе распознавания голоса, в одной области изображения в ответ на первый голос. Если второй голос пользователя вводится через блок 110 голосового ввода, блок 140 управления может выполнять задачу на основе распознавания голоса, соответствующую второму голосу пользователя, из числа, по меньшей мере, одной задачи на основе распознавания голоса.

[460] Например, если команда для того, чтобы переключать канал, вводится через блок 110 голосового ввода, блок 140 управления может отображать первое меню, включающее в себя информацию для выдачи инструкций по переключению канала. Если пользовательский голос, соответствующий идентификатору канала (например, одному из номера канала, названия канала и названия программы), вводится через блок 110 голосового ввода, блок 140 управления может переключать текущий канал на канал, соответствующий пользовательскому голосу.

[461] Если пользовательский голос, соответствующий названию программы, вводится через блок 110 голосового ввода, блок 140 управления выполняет поиск ввода названия программы через блок 110 голосового ввода в предварительно сохраненном расписании программ (EPG) и переключает текущий канал на канал, чтобы передавать в широковещательном режиме введенное название программы, или составляет расписание просмотра.

[462] В дальнейшем в этом документе поясняется случай, в котором распознавание голоса выполняется синфазно, со ссылкой на фиг. 123-125.

[463] Если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода. Блок 140 управления отображает вспомогательную информацию по голосу, включающую в себя множество голосовых элементов, как показано на фиг. 123.

[464] Если отображается вспомогательная информация по голосу, и пользовательский голос (например, "Канал"), соответствующий голосовому элементу 812 канала, вводится через блок 110 голосового ввода, блок 140 управления изменяет вспомогательную информацию по голосу и отображает первое меню, выдающее инструкции по выполнению задачи на основе распознавания голоса. Например, блок 140 управления может отображать "Произнесите название канала или номер канала" 12410, чтобы выдавать инструкции по переключению канала, как показано на фиг. 124.

[465] Если пользовательский голос, соответствующий одному из номера канала, названия канала и названия широковещательной программы, вводится через блок 110 голосового ввода, блок 140 управления переключает текущий канал на канал, соответствующий пользовательскому голосу. Например, если "7" вводится через блок 110 голосового ввода, блок 140 управления отображает канал 7 посредством настройки на канал 7, как показано на фиг. 125.

[466] Как описано выше, задача на основе распознавания голоса выполняется синфазно, так что может предотвращаться некорректная работа. В частности, если пользователь хочет переключать канал, пользователь переключает канал сразу после выбора голосового элемента перехода к каналу и за счет этого может не допускать переключения на нежелательный канал.

[467] Фиг. 126 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100, которое выполняет задачу на основе распознавания голоса синфазно согласно примерному варианту осуществления.

[468] Электронное устройство 100 отображает изображение (S12610). Изображение может включать в себя вспомогательную информацию по голосу.

[469] Электронное устройство 100 принимает ввод первого голоса через блок 110 голосового ввода (S12620). Первый голос может быть пользовательским голосом, который соответствует одному из множества голосовых элементов, включенных в отображаемую вспомогательную информацию по голосу.

[470] Электронное устройство 100 отображает первое меню, выдающее инструкции по выполнению задачи на основе распознавания голоса, в ответ на введенный первый голос (S12630).

[471] Электронное устройство 100 принимает ввод второго голоса через блок 110 голосового ввода (S12640). Второй голос является командой для того, чтобы выполнять конкретную задачу на основе распознавания голоса.

[472] Электронное устройство 100 выполняет задачу на основе распознавания голоса, соответствующую второму голосу, в ответ на введенный второй голос (S12650). Например, если второй голос является названием канала, электронное устройство 100 переключает широковещательный канал на канал, соответствующий второму голосу.

[473] Как описано выше, задача на основе распознавания голоса выполняется синфазно, так что может предотвращаться некорректная работа.

[474] В режиме выполнения задач на основе распознавания голоса, в котором задача на основе распознавания голоса выполняется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода, блок 140 управления отображает, по меньшей мере, один выполняемый значок и название выполняемого значка.

[475] Блок 110 голосового ввода принимает ввод пользовательского голоса. Если первый выполняемый значок, отображающий только часть названия выполняемого значка, существует, по меньшей мере, для одного выполняемого значка, и введенный пользовательский голос является согласованным с отображаемой частью названия первого выполняемого значка, блок 140 управления выполняет первый выполняемый значок.

[476] Если введенный пользовательский голос является согласованным с множеством написаний, составляющих отображаемую часть названия первого выполняемого значка, блок 140 управления выполняет первый выполняемый значок.

[477] Если второй выполняемый значок, название которого включает в себя специальный символ, существует для выполняемых значков, и введенный пользовательский голос является согласованным с произносимым названием, за исключением специального символа, включенного в название второго выполняемого значка, блок 140 управления выполняет второй выполняемый значок.

[478] Специальный символ может быть символом, который не является произносимым пользователем. Например, специальный символ может представлять собой, но не только, вопросительный знак (?), запятую (,) и точку (.).

[479] Например, если существует приложение, имеющее название выполняемого значка "Распознавание лиц, распознавание голоса", блок 140 управления выполняет приложение, когда пользовательский голос "Распознавание лиц, распознавание голоса" вводится через блок 110 голосового ввода.

[480] В вышеприведенном примере, блок 140 управления выполняет выполняемый значок. Тем не менее, это представляет собой просто пример, и техническая идея настоящего раскрытия сущности может применяться, если блок 140 управления выполняет гиперссылку.

[481] В дальнейшем в этом документе поясняется способ для выполнения выполняемого значка, отображающего часть названия выполняемого значка, согласно примерному варианту осуществления со ссылкой на фиг. 127 и 128.

[482] Блок 140 управления отображает список контента (например, интеллектуальный центр управления), включающий в себя множество выполняемых значков для выполнения приложения, согласно конкретной команде пользователя. Если выполняемый значок, название которого имеет число символов, превышающее предварительно определенное число, включается во множество выполняемых значков, включенных в список контента, блок 140 управления может отображать только часть всего названия выполняемого значка. Например, если выполняемый значок, название которого имеет более 10 символов, включается во множество выполняемых значков, включенных в список контента, блок 140 управления не отображает все название выполняемого значка "Захватывающий фестиваль", а отображает только "Захватывающий", как показано на фиг. 127.

[483] Если отображается список контента, и команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода. Если режим переключается на режим выполнения задач на основе распознавания голоса, электронное устройство 100 отображает вспомогательную информацию по голосу, как показано на фиг. 127.

[484] Если отображается вспомогательная информация по голосу, и "Захватывающий", которое является согласованным с отображаемой частью названия, произносится через блок 110 голосового ввода, блок 140 управления выполняет "Захватывающий фестиваль", как показано на фиг. 128.

[485] Кроме того, если отображается вспомогательная информация по голосу, и множество написаний "E", "X", "C", "I", "T", "I", "N" и "G", которые составляют отображаемую часть названия, вводятся через блок 110 голосового ввода, блок 140 управления выполняет "Захватывающий фестиваль", как показано на фиг. 128.

[486] Фиг. 129 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для выполнения выполняемого значка, отображающего только часть названия выполняемого значка согласно примерному варианту осуществления.

[487] Электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса в ответ на команду начала управления на основе распознавания голоса, вводимую через блок 110 голосового ввода (S12910). Электронное устройство 100 отображает список контента, включающий в себя множество выполняемых значков для выполнения приложения.

[488] В частности, электронное устройство 100 отображает выполняемый значок, отображающий часть названия выполняемого значка, в списке контента (S12920). Это обусловлено тем, что название выполняемого значка имеет число символов, превышающее предварительно определенное число, и тем самым все название выполняемого значка не может отображаться.

[489] Электронное устройство 100 принимает ввод пользовательского голоса через блок 110 голосового ввода (S12930).

[490] Электронное устройство 100 определяет то, является или нет пользовательский голос, вводимый через блок 110 голосового ввода, согласованным с отображаемой частью названия (S12940).

[491] Если существует выполняемый значок часть названия, которого является согласованным с пользовательским голосом, вводимым через блок 110 голосового ввода (S12940-Y), электронное устройство 100 выполняет выполняемый значок (S12950).

[492] В вышеуказанном примерном варианте осуществления, электронное устройство 100 выполняет выполняемый значок. Тем не менее, это представляет собой просто пример, и техническая идея настоящего раскрытия сущности может применяться, если электронное устройство 100 выполняет гиперссылку.

[493] Как описано выше, приложение или гиперссылка могут быть выполнены посредством произнесения только части названия соответствующего выполняемого значка.

[494] Если вводится одно из первого пользовательского движения и второго пользовательского движения через блок 120 ввода движения в режиме выполнения задач на основе распознавания движения, блок 140 управления может отображать экран выполнения приложения посредством развертывания или свертывания экрана выполнения приложения в ответ на распознанное одно первого пользовательского движения и второго пользовательского движения, если экран выполнения приложения является развертываемым или свертываемым.

[495] В частности, если вводится команда начала управления на основе распознавания движения через блок 120 ввода движения, когда выполняется приложение, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения. Если вводится одно из первого пользовательского движения и второго пользовательского движения через блок 120 ввода движения, блок 140 управления распознает ввод одно из первого пользовательского движения и второго пользовательского движения и развертывает или свертывает экран выполнения приложения в ответ на распознанное движение.

[496] Первое пользовательское движение может быть движением обособленного перемещения обеих рук, и если распознается первое пользовательское движение, блок 140 управления может отображать экран выполнения приложения посредством развертывания.

[497] Второе пользовательское движение может быть движением приближения обеих рук друг к другу, и если распознается второе пользовательское движение, блок 140 управления может отображать экран выполнения приложения посредством свертывания.

[498] Если третье пользовательское движение вводится через блок 120 ввода движения в режиме выполнения задач на основе распознавания движения, блок 140 управления может распознавать третье пользовательское движение и отображать экран выполнения приложения посредством перемещения в ответ на третье пользовательское движение. Третье пользовательское движение может быть движением перемещения одной руки при поддержании движения захвата. Экран выполнения приложения является перемещаемым в пределах экрана отображения электронного устройства 100.

[499] В дальнейшем в этом документе поясняется специальный жест, который вводится в веб-страницу, со ссылкой на фиг. 130-133.

[500] Если отображается веб-страница, и команда начала управления на основе распознавания движения вводится через блок 120 ввода движения, блок 140 управления может отображать вспомогательную информацию по движению в нижней части веб-страницы, как показано на фиг. 130. Кроме того, если электронное устройство 100 переходит в режим выполнения задач на основе распознавания движения, блок 140 управления отображает указатель 13000 в центре экрана отображения.

[501] Если отображается вспомогательная информация по движению, и команда начала управления на основе распознавания движения с использованием обеих рук вводится через блок 120 ввода движения, блок 140 управления переходит в режим выполнения задач на основе распознавания движения с использованием обеих рук.

[502] Если движение обособленного перемещения обеих рук вводится через блок 120 ввода движения в режиме выполнения задач на основе распознавания движения с использованием обеих рук, блок 140 управления развертывает экран веб-страницы, как показано на фиг. 131. Когда экран веб-страницы развертывается, указатель может убираться.

[503] Если экран веб-страницы развертывается, блок 140 управления отображает указатель 13000 снова, как показано на фиг. 132.

[504] Если отображается указатель 13000, и движение захвата одной рукой и перемещения руки, которой выполнен захват, вводится через блок 120 ввода движения, блок 140 управления может перемещать экран отображения в соответствии с движением захвата одной рукой и перемещения руки, которой выполнен захват.

[505] Например, если движение захвата одной рукой и перемещения руки, которой выполнен захват, в направлении вправо вводится через блок 120 ввода движения, блок 140 управления может перемещать экран отображения в направлении вправо, как показано на фиг. 133.

[506] Как описано выше, пользователь может перемещать либо развертывать или свертывать экран отображения электронного устройства 100 с использованием пользовательского движения.

[507] Фиг. 134 является блок-схемой последовательности операций способа, иллюстрирующей способ управления электронным устройством 100, если специальный жест вводится согласно примерному варианту осуществления.

[508] Электронное устройство 100 принимает команду начала управления на основе распознавания движения через блок 120 ввода движения (S13410).

[509] Если вводится команда начала управления на основе распознавания движения, электронное устройство 100 распознает команду начала управления на основе распознавания движения и переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания движения (S13420). Если режим переключается на режим выполнения задач на основе распознавания движения, электронное устройство 100 отображает указатель и вспомогательную информацию по движению, чтобы выполнять режим выполнения задач на основе распознавания движения.

[510] Электронное устройство 100 выполняет приложение в соответствии с действием пользователя (S13430).

[511] Электронное устройство 100 принимает ввод специального движения через блок 120 ввода движения (S13440). Специальное движение может быть движением с использованием обеих рук, чтобы развертывать или свертывать экран отображения, или движением перемещения руки, которой выполнен захват, чтобы перемещать экран отображения.

[512] Если вводится специальное движение, электронное устройство 100 выполняет задачу на основе распознавания движения, соответствующую специальному движению (S13450). Например, если вводится движение приближения обеих рук друг к другу, электронное устройство 100 выполняет задачу свертывания экрана отображения, а если вводится движение обособленного перемещения обеих рук, электронное устройство 100 выполняет задачу развертывания экрана отображения. Если вводится движение перемещения руки, которой выполнен захват, электронное устройство 100 перемещает экран отображения в направлении движения.

[513] Как описано выше, пользователь может перемещать либо развертывать или свертывать экран отображения с использованием пользовательского движения.

[514] Блок 140 управления может принимать команду начала управления на основе распознавания голоса через блок 110 голосового ввода, включенный в электронное устройство 100, а также может принимать команду начала управления на основе распознавания голоса из устройства, которое обменивается данными с электронным устройством 100.

[515] Распознавание голоса, осуществляемое, если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, включенный в электронное устройство 100, упоминается как распознавание голоса на больших расстояниях. Если выполняется распознавание голоса на больших расстояниях, может отображаться значок 13510, указывающий распознавание голоса на больших расстояниях, как показано на фиг. 135.

[516] В частности, если команда начала управления на основе распознавания голоса вводится из блока 110 голосового ввода, включенного в электронное устройство 100, блок 140 управления переключает режим электронного устройства 100 на первый режим выполнения задач на основе распознавания голоса. Первый режим выполнения задач на основе распознавания голоса является режимом, в котором задача на основе распознавания голоса выполняется в соответствии с пользовательским голосом, вводимым из блока 110 голосового ввода, включенного в электронное устройство 100. Если режим переключается на первый режим выполнения задач на основе распознавания голоса, блок 140 управления может отображать значок 13510, указывающий распознавание голоса на больших расстояниях.

[517] Если отображается значок, указывающий распознавание голоса на больших расстояниях, и пользовательский голос не вводится в блок 110 голосового ввода, включенный в электронное устройство 100, в течение предварительно определенного времени, блок 140 управления выходит из первого режима выполнения задач на основе распознавания голоса и переключает режим электронного устройства 100 на режим дистанционного управления, в котором электронное устройство 100 управляется посредством пульта дистанционного управления.

[518] Распознавание голоса, осуществляемое, если команда начала управления на основе распознавания голоса вводится из устройства, которое обменивается данными с электронным устройством 100, упоминается как распознавание голоса на небольших расстояниях. Если выполняется распознавание голоса на небольших расстояниях, может отображаться значок 13610, указывающий распознавание голоса на небольших расстояниях, как показано на фиг. 136. Устройство, которое обменивается данными с электронным устройством 100, может представлять собой, но не только, пульт дистанционного управления или мобильный телефон. Устройство может обмениваться данными с электронным устройством 100 через проводное или беспроводное подключение, по сети и т.д. Устройство может быть спарено с электронным устройством 100 посредством процесса спаривания.

[519] Команда начала управления на основе распознавания голоса, вводимая из устройства, которое обменивается данными с электронным устройством 100, может быть одним из сигнала, который соответствует конкретной кнопке (кнопке переключения на режим выполнения задач на основе распознавания голоса), включенной в устройство, которое обменивается данными с электронным устройством 100, и конкретного пользовательского голоса, который вводится через микрофон, включенный в устройство, которое обменивается данными с электронным устройством 100.

[520] Если команда начала управления на основе распознавания голоса вводится из устройства, которое обменивается данными с электронным устройством 100, блок 140 управления переключает режим электронного устройства 100 на второй режим выполнения задач на основе распознавания голоса. Второй режим выполнения задач на основе распознавания голоса является режимом, в котором задача на основе распознавания голоса выполняется в соответствии с пользовательским голосом, вводимым через микрофон, включенный в устройство, которое обменивается данными с электронным устройством 100. Если режим переключается на второй режим выполнения задач на основе распознавания голоса, блок 140 управления может отображать значок 13610, указывающий распознавание голоса на небольших расстояниях.

[521] Если отображается значок, указывающий распознавание голоса на небольших расстояниях, и пользовательский голос не вводится в микрофон, включенный в устройство, которое обменивается данными с электронным устройством 100, в течение предварительно определенного времени, блок 140 управления выходит из второго режима выполнения задач на основе распознавания голоса и переключает режим электронного устройства 100 на режим дистанционного управления, в котором электронное устройство 100 управляется посредством пульта дистанционного управления.

[522] Фиг. 137 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством 100, которое предоставляет различный значок в зависимости от способа голосового ввода согласно примерному варианту осуществления.

[523] Электронное устройство 100 принимает команду начала управления на основе распознавания голоса из одного из микрофона, включенного в электронное устройство 100, и микрофона, включенного в пульт дистанционного управления (S13710). Если команда начала управления на основе распознавания голоса вводится из микрофона, включенного в электронное устройство 100, электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса на больших расстояниях. Если команда начала управления на основе распознавания голоса вводится из микрофона, включенного в пульт дистанционного управления, электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса на небольших расстояниях.

[524] Электронное устройство 100 может отображать значок по-разному в зависимости от устройства, из которого вводится команда начала управления на основе распознавания голоса (S13720). В частности, если команда начала управления на основе распознавания голоса вводится из микрофона, включенного в электронное устройство 100, электронное устройство 100 отображает значок, указывающий режим выполнения задач на основе распознавания голоса на больших расстояниях, а если команда начала управления на основе распознавания голоса вводится из микрофона, включенного в пульт дистанционного управления, электронное устройство 100 отображает значок, указывающий режим выполнения задач на основе распознавания голоса на небольших расстояниях.

[525] Как описано выше, режим выполнения задач на основе распознавания голоса разделяется в зависимости от устройства, из которого вводится команда начала управления на основе распознавания голоса, и различный значок отображается в зависимости от режима выполнения задач на основе распознавания голоса, так что пользователь может знать то, какое устройство должно быть использовано для того, чтобы выполнять режим выполнения задач на основе распознавания голоса.

[526] После выполнения распознавания голоса блок 140 управления отображает меню коррекции ввода текста (например, редактор способов ввода (IME)), чтобы корректировать текст, соответствующий распознанному голосу, чтобы более точно распознавать голос.

[527] Например, если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления отображает вспомогательную информацию по голосу, чтобы выполнять задачу на основе распознавания голоса, которая управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода.

[528] Если вводится первый пользовательский голос для того, чтобы выполнять задачу, требующую ввода текста, блок 140 управления отображает окно ввода текста для ввода текста. Задача, требующая ввода текста, может представлять собой, но не только, "серфинг" по веб-страницам.

[529] Если вводится второй пользовательский голос, чтобы вводить текст в окне ввода текста, блок 140 управления может отображать текст, соответствующий введенному второму пользовательскому голосу, в окне ввода текста и может отображать меню ввода текста.

[530] Блок 140 управления отображает предыдущий экран при распознавании пользовательского голоса и отображает текст в окне ввода текста после распознавания второго пользовательского голоса, чтобы вводить текст в окне ввода текста. Блок 140 управления может отображать меню ввода текста.

[531] Если множество вариантов слов поиска, включающих в себя ввод текста в окно ввода текста, блок 140 управления отображает список вариантов слов поиска посредством перекрытия его с меню ввода текста.

[532] Если ввод текста в окне ввода текста завершается, или ввод текста в окне ввода текста отменяется, блок 140 управления может убирать меню ввода текста из экрана отображения.

[533] В дальнейшем в этом документе поясняется способ для отображения меню ввода текста согласно примерному варианту осуществления со ссылкой на фиг. 138-141.

[534] Если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, когда отображается веб-страница, блок 140 управления отображает вспомогательную информацию по голосу, как показано на фиг. 138.

[535] Если пользовательский голос (например, "Поиск"), соответствующий голосовому элементу "Поиск", вводится через блок 110 голосового ввода, блок 110 управления отображает окно 13910 ввода текста.

[536] Если вводится пользовательский голос (например, "Samsung Electronics"), чтобы вводить текст в окне 13910 ввода текста, блок 140 управления распознает пользовательский голос и отображает распознанный пользовательский голос в окне 13910 ввода текста. Иными словами, блок 140 управления вводит и отображает "Samsung Electronics" в окне 13910 ввода текста, как показано на фиг. 139.

[537] Если "Samsung Electronics" вводится в окне 13910 ввода текста, блок 140 управления отображает меню 13920 ввода текста на одной стороне окна ввода текста, как показано на фиг. 140. Меню ввода текста является меню, чтобы корректировать текст, если ввод текста в окне ввода текста не является корректным.

[538] Если существует множество вариантов слов поиска, включающих в себя ввод "Samsung Electronics", в окне 13910 ввода текста, блок 140 управления отображает список вариантов 13930 слов поиска. Например, если варианты слов поиска, включающие в себя "Samsung Electronics", включают в себя "Samsung Electronics", "Курс акций Samsung Electronics" и "Новости компании Samsung Electronics", блок 140 управления отображает список вариантов 13930 слов поиска, как показано на фиг. 141.

[539] Фиг. 142 является блок-схемой последовательности операций способа для того, чтобы пояснять способ управления электронным устройством, который отображает меню ввода текста (IME) согласно примерному варианту осуществления.

[540] Электронное устройство 100 принимает команду начала управления на основе распознавания голоса через блок 110 голосового ввода (S14210). Электронное устройство 100 может отображать список контента, включающий в себя множество выполняемых значков, и веб-страницу, включающую в себя множество гиперссылок.

[541] Если вводится команда начала управления на основе распознавания голоса, электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса и отображает вспомогательную информацию по голосу, чтобы выполнять режим выполнения задач на основе распознавания голоса (S14220).

[542] Электронное устройство 100 принимает ввод пользовательского голоса, чтобы осуществлять поиск через блок 110 голосового ввода (S14230).

[543] Электронное устройство 100 отображает окно ввода текста, чтобы осуществлять поиск (S14240).

[544] Если отображается окно ввода текста, электронное устройство 100 принимает ввод пользовательского голоса, чтобы вводить текст в окне ввода текста, через блок 110 голосового ввода (S14250).

[545] Если вводится пользовательский голос, чтобы вводить текст, электронное устройство 100 вводит текст, соответствующий введенному пользовательскому голосу, в окне ввода текста (S14260).

[546] Если вводится текст в окне ввода текста, электронное устройство 100 отображает меню ввода текста (S14270). Меню ввода текста является меню, чтобы корректировать ввод текста в окне ввода текста, если распознавание голоса не является четким.

[547] Соответственно, если не распознается идеально пользовательский голос, вводимый в блок 110 голосового ввода, пользователь может дополнять распознавание голоса с использованием меню ввода текста.

[548] Блок 140 управления может распознавать голос с использованием внешнего устройства.

[549] В частности, если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления отображает вспомогательную информацию по голосу, чтобы выдавать инструкции по задаче на основе распознавания голоса, которая выполняется в соответствии с пользовательским голосом, вводимым устройство, которое обменивается данными с электронным устройством 100 (например, пульт дистанционного управления). Если выбирается первая кнопка голосового ввода, включенная во внешнее устройство, которое обменивается данными с электронным устройством 100, блок 140 управления отображает первое сообщение с инструкциями, выдающее инструкции по голосовому поиску во вспомогательной информации по голосу. Например, может отображаться сообщение с инструкциями "Нажмите кнопку голосового поиска и затем введите голосовую команду".

[550] Блок 140 управления распознает пользовательский голос через блок 110 голосового ввода в то время, когда выбирается вторая кнопка голосового ввода, включенная во внешнее устройство. Блок 110 голосового ввода принимает пользовательский голос, вводимый в микрофон внешнего устройства, и передает пользовательский голос в блок 140 управления. Блок 140 управления отображает второе сообщение с инструкциями, включающее в себя информацию, указывающую то, что пользовательский голос вводится через блок 110 голосового ввода, во вспомогательной информации по голосу. Например, может отображаться сообщение с инструкциями "Пользовательский голос распознается".

[551] Блок 140 управления может вводить распознанный пользовательский голос в окне ввода текста в качестве текста. Блок 140 управления может выполнять задачу на основе распознавания голоса, соответствующую распознанному пользовательскому голосу.

[552] Если выбор второй кнопки голосового ввода завершен, блок 140 управления может отображать третье сообщение с инструкциями, подтверждающее то, завершен или нет ввод пользовательского голоса, во вспомогательной информации по голосу. Третье сообщение с инструкциями может включать в себя сообщение, запрашивающее то, продолжать или нет вводить пользовательский голос, сообщение, запрашивающее то, завершен или нет введенный пользовательский голос, и сообщение, запрашивающее то, отменять или нет введенный пользовательский голос.

[553] Если пользовательский голос вводится посредством выбора второй кнопки голосового ввода снова, в то время как отображается третье сообщение с инструкциями, блок 140 управления может распознавать введенный пользовательский голос непрерывно в дополнение к ранее распознанному пользовательскому голосу. Например, если ранее распознанным пользовательским голосом является "Samsung", и пользовательский голос "Electronics" вводится посредством выбора второй кнопки голосового ввода снова, блок 140 управления может вводить "Samsung Electronics" в окне ввода текста.

[554] Первая кнопка голосового ввода является кнопкой голосового ввода, и вторая кнопка голосового ввода является кнопкой голосового поиска. Первая кнопка голосового ввода и вторая кнопка голосового ввода могут отличаться друг от друга или могут быть идентичной кнопкой.

[555] Фиг. 143 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для выполнения задачи на основе распознавания голоса с использованием внешнего устройства согласно примерному варианту осуществления.

[556] Электронное устройство 100 отображает вспомогательную информацию по голосу, чтобы выполнять режим выполнения задач на основе распознавания голоса (S14310).

[557] Внешнее устройство выбирает кнопку голосового ввода в соответствии с действием пользователя (S14320).

[558] Если выбирается кнопка голосового ввода, электронное устройство 100 отображает первое сообщение с инструкциями (S14330). Первым сообщением с инструкциями является UI, выдающий инструкции по голосовому поиску во вспомогательной информации по голосу.

[559] Электронное устройство 100 принимает ввод пользовательского голоса через блок 110 голосового ввода в то время, когда выбирается кнопка голосового поиска на внешнем устройстве (S14340). Блок 110 голосового ввода может быть блоком связи, который принимает пользовательский голос, вводимый из внешнего устройства.

[560] Электронное устройство 100 распознает пользовательский голос, вводимый через блок 110 голосового ввода, с использованием модуля 130k распознавания голоса (S14350).

[561] В вышеуказанном примерном варианте осуществления, кнопка голосового ввода и кнопка голосового поиска могут быть идентичной кнопкой.

[562] Как описано выше, голос вводится в то время, когда выбирается кнопка голосового поиска на внешнем устройстве, так что может предотвращаться нежелательное распознавание голоса.

[563] Если произносимое название отображается на экране отображения, блок 140 управления может извлекать название и отображать его отдельно. Если название вводится через блок 110 голосового ввода, блок 140 управления выполняет задачу на основе распознавания голоса, соответствующую названию.

[564] В частности, если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, чтобы выполнять задачу на основе распознавания голоса, в ответ на введенную команду начала управления на основе распознавания голоса и отображает вспомогательную информацию по голосу, чтобы выполнять режим выполнения задач на основе распознавания голоса.

[565] Блок 140 управления извлекает тексты выбираемых элементов из экрана отображения. Экран отображения может отображать список контента, включающий в себя множество выполняемых значков для выполнения приложения или веб-страницы. Выбираемый элемент может быть одним из выполняемого значка, включенного в список контента для выполнения приложения, и гиперссылки, включенной в веб-страницу.

[566] Если текст названия элемента имеет число символов, превышающее предварительно определенное число, блок 140 управления извлекает только текст, имеющий число символов, меньшее предварительно определенного числа, из числа всего текста с названием элемента, и отображает текст.

[567] Блок 140 управления может отображать элемент, из которого извлекается текст, отдельно от других элементов, из которых не извлекаются тексты.

[568] Если пользовательский голос, вводимый через блок 110 голосового ввода, является согласованным с извлеченным текстом, блок 140 управления выполняет элемент, соответствующий тексту.

[569] Если пользовательский голос, вводимый через блок 110 голосового ввода, является согласованным с извлеченным текстом, имеющим число символов, меньшее предварительно определенного числа, блок 140 управления выполняет элемент, соответствующий тексту, имеющему число символов, меньшее предварительно определенного числа.

[570] В дальнейшем в этом документе поясняется случай, в котором произносимая команда отображается на экране отображения, со ссылкой на фиг. 144 и 145.

[571] Блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса в ответ на команду начала управления на основе распознавания голоса, вводимую через блок 110 голосового ввода. Блок 140 управления отображает вспомогательную информацию по голосу в нижней части экрана отображения.

[572] Если "Интеллектуальный центр управления" вводится через блок 110 голосового ввода, блок 140 управления формирует список контента, включающий в себя множество выполняемых значков для выполнения приложения, и отображает список контента, как показано на фиг. 144.

[573] Блок 140 управления извлекает названия множества выполняемых значков.

[574] Если название выполняемого значка извлекается, блок 140 управления подчеркивает название выполняемого значка, как показано на фиг. 144, а если название выполняемого значка (например, Прил10 и Прил11) не извлекается, блок 140 управления не подчеркивает название выполняемого значка.

[575] Если название выполняемого значка имеет число символов, превышающее предварительно определенное число, блок 140 управления извлекает часть названия выполняемого значка и отображает часть названия. Например, если название выполняемого значка представляет собой "Захватывающий фестиваль", блок 140 управления извлекает часть названия выполняемого значка "Захватывающий" и отображает часть названия, как показано на фиг. 144. Чтобы указывать, что "Захватывающий" является частью названия, блок 140 управления может отображать "..." после "Захватывающий".

[576] Если отображается извлеченное название выполняемого значка, и название выполняемого значка вводится через блок 110 голосового ввода, блок 140 управления выполняет выполняемый значок. Например, если "Захватывающий" вводится через блок 110 голосового ввода, блок 140 управления выполняет приложение "Захватывающий фестиваль", как показано на фиг. 145.

[577] Фиг. 146 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для выполнения задачи на основе распознавания голоса, если произносимая команда отображается на экране отображения согласно примерному варианту осуществления.

[578] Электронное устройство 100 принимает команду начала управления на основе распознавания голоса через блок 110 голосового ввода (S14610).

[579] Электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса в ответ на команду начала управления на основе распознавания голоса, вводимую через блок 110 голосового ввода (S14620).

[580] Электронное устройство 100 отображает вспомогательную информацию по голосу, чтобы выполнять режим выполнения задач на основе распознавания голоса, в нижней части экрана отображения (S14630).

[581] Электронное устройство 100 извлекает текст элемента, включенного на экране отображения (S14640). Элемент может быть названием выполняемого значка, включенного в список контента, или текстом гиперссылки, включенной в веб-страницу.

[582] Электронное устройство 100 принимает ввод пользовательского голоса через блок 110 голосового ввода (S14650).

[583] Если существует элемент, имеющий текст, согласованный с пользовательским голосом, вводимым через блок 110 голосового ввода, электронное устройство 100 выполняет соответствующий элемент (S14660). Если отображается только часть текста, и вводится пользовательский голос, согласованный с частью текста, блок 140 управления может выполнять соответствующий элемент.

[584] Как описано выше, название текста извлекается и отдельно отображается, так что пользователь может проще использовать распознавание голоса.

[585] Когда вводится пользовательский голос через блок 110 голосового ввода, если существует только одна гиперссылка, которая имеет текст, включающий в себя введенный пользовательский голос, блок 140 управления может выполнять гиперссылку, соответствующую тексту.

[586] В частности, если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода, в ответ на команду начала управления на основе распознавания голоса.

[587] В режиме выполнения задач на основе распознавания голоса блок 140 управления извлекает тексты множества гиперссылок из веб-страницы, включающей в себя множество гиперссылок.

[588] После извлечения текстов блок 140 управления может отображать извлеченные тексты отдельно от неизвлеченных текстов. Например, блок 140 управления может подчеркивать извлеченный текст, отображать его жирным шрифтом или подсвечивать его.

[589] Когда вводится пользовательский голос через блок 110 голосового ввода, если существует только одна гиперссылка, которая имеет текст, включающий в себя введенный пользовательский голос, блок 140 управления выполняет гиперссылку, соответствующую тексту. Например, если пользовательским голосом, вводимым через блок 110 голосового ввода, является "Samsung Electronics", и единственным текстом, извлеченным из гиперссылки, является "Samsung Electronics", блок 140 управления выполняет гиперссылку, имеющую текст "Samsung Electronics".

[590] Когда вводится пользовательский голос через блок 110 голосового ввода, если существует только одна гиперссылка, текст которой является согласованным с введенным пользовательским голосом частично, а не полностью, блок 140 управления может выполнять гиперссылку, соответствующую тексту.

[591] В вышеуказанном примерном варианте осуществления, описан способ для выполнения гиперссылки, включенной на веб-странице. Тем не менее, это представляет собой просто пример, и техническая идея настоящего раскрытия сущности может применяться к способу для выполнения выполняемого значка, включенного в списке контента для выполнения приложения.

[592] Фиг. 147 является блок-схемой последовательности операций способа для того, чтобы пояснять способ автоматического распознавания голоса согласно примерному варианту осуществления.

[593] Электронное устройство 100 принимает команду начала управления на основе распознавания голоса через блок 110 голосового ввода (S14710).

[594] Электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса в ответ на команду начала управления на основе распознавания голоса, вводимую через блок 110 голосового ввода (S14720).

[595] Если гиперссылка включается на экран отображения электронного устройства 100, электронное устройство 100 извлекает текст гиперссылки (S14730).

[596] Электронное устройство 100 принимает ввод пользовательского голоса через блок 110 голосового ввода. Если существует одна гиперссылка, которая включает в себя текст, согласованный с введенным пользовательским голосом, в то время когда вводится пользовательский голос, электронное устройство 100 выполняет соответствующую гиперссылку (S14740). Текст, согласованный с пользовательским голосом, может быть всем текстом гиперссылки. Тем не менее, это представляет собой просто пример, и текст, согласованный с пользовательским голосом, может быть частью текста гиперссылки.

[597] Как описано выше, если существует только один текст, согласованный с пользовательским голосом, соответствующая гиперссылка автоматически выполняется, так что пользователь может проще выполнять гиперссылку с использованием распознавания голоса.

[598] Если распознается введенный пользовательский голос, и существует множество гиперссылок, которые имеют текст, согласованный с распознанным пользовательским голосом, блок 140 управления отображает список группы вариантов, включающий в себя гиперссылки, имеющие текст, согласованный с пользователем распознанного голоса.

[599] В частности, если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода, в ответ на команду начала управления на основе распознавания голоса.

[600] Экран отображения отображает веб-страницу, включающую в себя множество гиперссылок.

[601] Блок 140 управления извлекает тексты, включенные во множество гиперссылок, включенных в веб-страницу. Блок 140 управления может отображать извлеченный текст отдельно от неизвлеченного текста. Например, блок 140 управления может подчеркивать извлеченный текст, отображать его жирным шрифтом или подсвечивать его.

[602] Если пользовательский голос вводится через блок 110 голосового ввода, блок 140 управления распознает введенный пользовательский голос, и если существует множество гиперссылок, которые имеют текст, согласованный с распознанным пользовательским голосом, блок 140 управления отображает список группы вариантов, включающий в себя гиперссылки, имеющие текст, согласованный с распознанным пользовательским голосом. Например, если пользовательским голосом, вводимым в блок 110 голосового ввода, является "Samsung Electronics", блок 140 управления может формировать список группы вариантов, включающий в себя гиперссылки, имеющие текст, включающий в себя "Samsung Electronics".

[603] Если пользовательский голос повторно вводится через блок 110 голосового ввода, блок 140 управления может распознавать повторно введенный пользовательский голос и может изменять список группы вариантов на основе повторно введенного пользовательского голоса. Например, если распознается "Samsung Electronics", и повторно вводится "Курс акций", блок 140 управления может изменять список группы вариантов таким образом, что он включает в себя только гиперссылку, которая имеет текст, включающий в себя "Курс акций Samsung Electronics".

[604] Если выполнен выход из режима выполнения задач на основе распознавания голоса, блок 140 управления может убирать список группы вариантов из экрана отображения.

[605] Фиг. 148 является блок-схемой последовательности операций способа для того, чтобы пояснять способ для отображения списка группы вариантов согласно примерному варианту осуществления.

[606] Электронное устройство 100 принимает команду начала управления на основе распознавания голоса через блок 110 голосового ввода (S14810).

[607] Электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса в ответ на команду начала управления на основе распознавания голоса, вводимую через блок 110 голосового ввода (S14820).

[608] Электронное устройство 100 отображает веб-страницу на экране отображения согласно действию пользователя (S14830). Веб-страница включает в себя множество гиперссылок.

[609] Электронное устройство 100 извлекает тексты гиперссылок, включенных в веб-страницу (S14840).

[610] Электронное устройство 100 принимает ввод пользовательского голоса через блок 110 голосового ввода (S14850).

[611] Электронное устройство 100 определяет то, существует или нет только одна гиперссылка, которая имеет текст, согласованный с пользовательским голосом (S14860).

[612] Если существует только одна гиперссылка, которая имеет текст, согласованный с пользовательским голосом (S14860-Y), блок 140 управления выполняет соответствующую гиперссылку (S14870).

[613] Тем не менее, если существует множество гиперссылок, которые имеют текст, согласованный с пользовательским голосом (S14860-N), блок 140 управления формирует список группы вариантов, включающий в себя множество гиперссылок, и отображает список группы вариантов (S14880). Блок 140 управления выбирает гиперссылку согласно действию пользователя (например, ввод текста гиперссылки в качестве голоса) (S14890) и выполняет выбранную гиперссылку (S14870).

[614] Как описано выше, формируется список группы вариантов, так что даже если существует множество гиперссылок, которые являются согласованными с пользовательским голосом, пользователь может выполнять требуемую гиперссылку с использованием списка группы вариантов.

[615] Если уровень пользовательского голоса, вводимого через блок 110 голосового ввода, ниже предварительно определенного уровня, блок 140 управления может отображать UI с обратной связью, указывающий то, что пользовательский голос является нераспознаваемым, в первой области вспомогательной информации по голосу.

[616] В частности, если команда начала управления на основе распознавания голоса вводится через блок 110 голосового ввода, блок 140 управления переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса, в котором электронное устройство 100 управляется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода, в ответ на команду начала управления на основе распознавания голоса.

[617] В режиме выполнения задач на основе распознавания голоса блок 140 управления отображает вспомогательную информацию по голосу, выдающую инструкции по задаче на основе распознавания голоса, которая выполняется в соответствии с пользовательским голосом, вводимым через блок 110 голосового ввода. Вспомогательная информация по голосу может отображаться в нижней части экрана отображения.

[618] Блок 110 голосового ввода принимает ввод пользовательского голоса.

[619] Если пользовательский голос, вводимый через блок 110 голосового ввода, тише предварительно определенной громкости, блок 140 управления отображает UI с обратной связью, указывающий то, что пользовательский голос является нераспознаваемым, в первой области вспомогательной информации по голосу. UI с обратной связью может включать в себя GUI, представляющий предварительно определенную громкость и громкость пользовательского голоса, вводимого через блок 110 голосового ввода, в форме панели. Первая область может находиться в нижней части вспомогательной информации по голосу.

[620] Кроме того, блок 140 управления может отображать сообщение относительно того, что пользовательский голос должен быть громче предварительно определенной громкости, во вспомогательной информации по голосу. Например, может отображаться сообщение "Произнесите громче".

[621] Фиг. 149 является блок-схемой последовательности операций способа для того, чтобы пояснять UI, чтобы выдавать инструкции по ошибке распознавания голоса согласно примерному варианту осуществления.

[622] Электронное устройство 100 принимает команду начала управления на основе распознавания голоса через блок 110 голосового ввода (S14910).

[623] Электронное устройство 100 переключает режим электронного устройства 100 на режим выполнения задач на основе распознавания голоса в ответ на команду начала управления на основе распознавания голоса, вводимую через блок 110 голосового ввода (S14920).

[624] Электронное устройство 100 отображает вспомогательную информацию по голосу, чтобы выполнять режим выполнения задач на основе распознавания голоса, в нижней части экрана отображения (S14930).

[625] Электронное устройство 100 принимает ввод пользовательского голоса через блок 110 голосового ввода (S14940).

[626] Если уровень пользовательского голоса, вводимого через блок 110 голосового ввода, ниже предварительно определенного уровня, электронное устройство 100 отображает UI с обратной связью (S14950). UI с обратной связью может быть UI, включающим в себя сообщение относительно того, что пользовательский голос является нераспознаваемым, поскольку уровень пользовательского голоса ниже предварительно определенного уровня, и сообщение относительно того, что пользователь должен произнести громче.

[627] Как описано выше, если пользовательский голос является настолько тихим, что голос является нераспознаваемым, электронное устройство 100 сообщает, что голос является нераспознаваемым, так что пользователь может легко распознавать то, что голос является нераспознаваемым, и тем самым может легко справляться с этим.

[628] Как описано выше, пользователь может управлять электронным устройством 100 более эффективно и интуитивно через одно из пользовательского голоса и пользовательского движения.

[629] В вышеуказанных примерных вариантах осуществления, описываются пользовательские движения (к примеру, пользовательское движение команды начала управления на основе распознавания движения, которое задается как движение встряски одной рукой горизонтально 3-4 раза). Тем не менее, эти примерные варианты осуществления не должны считаться ограничением, поскольку примерные варианты осуществления могут быть реализованы посредством любого пользовательского движения.

[630] В вышеуказанных примерных вариантах осуществления, описываются пользовательские голосовые команды. Тем не менее, эти примерные варианты осуществления не должны считаться ограничением, поскольку примерные варианты осуществления могут быть реализованы посредством любого вводимого пользовательского голоса.

[631] В вышеуказанном примерном варианте осуществления, блок 110 голосового ввода может быть реализован посредством микрофона, который принимает ввод пользовательского голоса непосредственно, или посредством интерфейса, который принимает ввод голосового сигнала в микрофон. Аналогично, блок 120 ввода движения может быть реализован посредством камеры, которая непосредственно фотографирует пользователя, либо может быть реализован посредством интерфейса, который принимает данные, сфотографированные посредством камеры.

[632] Электронное устройство 100, описанное выше, может быть реализовано посредством телевизионного приемника. Тем не менее, это не должно считаться ограничением, и электронное устройство 100 может быть реализовано посредством других устройств, таких как абонентская приставка, PC, переносной компьютер, планшетный PC, электронный альбом, электронная книга, PDA, мобильный телефон и т.д.

[633] Кроме того, ссылаясь на фиг. 3, различные программные модули сохраняются в блоке 130 хранения. Тем не менее, программные модули не обязательно сохраняются в одном блоке 130 хранения.

[634] Иными словами, модуль распознавания голоса и модуль распознавания движения могут быть сохранены в отдельных блоках хранения, соответственно. Соответственно, модуль распознавания голоса может распознавать пользовательский голос из голосового сигнала, вводимого из микрофона, и может предоставлять результат распознавания в блок 140 управления. Кроме того, модуль распознавания движения может распознавать пользовательское движение с использованием сигнала изображения, сфотографированного посредством камеры, и может предоставлять результат распознавания в блок 140 управления.

[635] Кроме того, модуль распознавания голоса и модуль распознавания движения могут быть сохранены в отдельных внешних устройствах, соответственно. Например, устройство распознавания голоса, включающее в себя микрофон, может распознавать пользовательский голос с использованием модуля распознавания голоса и затем может предоставлять результат распознавания в электронное устройство 100. Аналогично, устройство распознавания движения, включающее в себя камеру, может распознавать пользовательское движение с использованием модуля распознавания движения и затем может предоставлять результат распознавания в электронное устройство 100.

[636] Программный код для того, чтобы выполнять вышеописанные способы управления, может быть сохранен на различных типах носителей записи. В частности, программный код может быть сохранен на различных типах носителей записи, считываемых посредством терминального устройства, таких как оперативное запоминающее устройство (RAM), флэш-память, постоянное запоминающее устройство (ROM), стираемое программируемое ROM (EPROM), электронно стираемое и программируемое ROM (EEPROM), регистр, жесткий диск, съемный диск, карта памяти, запоминающее USB-устройство, CD-ROM и т.д.

[637] Вышеприведенные примерные варианты осуществления и преимущества являются просто примерами и не должны рассматриваться как ограничивающие идею настоящего изобретения. Примерные варианты осуществления могут легко применяться к другим типам устройств. Кроме того, описание примерных вариантов осуществления является иллюстративным, а не ограничивающим объем формулы изобретения, и множество альтернатив, модификаций и вариантов должно быть очевидным для специалистов в данной области техники.

Предусмотрены электронное устройство и способ для предоставления пользовательского интерфейса (UI) для него. Технический результат заключается в обеспечении нового способа управления функциями электронных устройств на удаленном расстоянии с помощью голосовых команд и команд на основе пользовательского движения. Такой результат достигается за счет того, что электронное устройство имеет возможность распознавания пользовательской голосовой команды и команды на основе пользовательского движения и отображения набора команд, который является управляемым через распознавание голоса или распознавание движения. Если команда управления распознана, отображают список приложений-вариантов, соответствующих принятой команде, после чего принимают и распознают голосовой ввод или ввод на основе движения, выбирающий одно из приложений, и выполняют задачу, относящуюся к распознанному вводу. 2 н. и 11 з.п. ф-лы, 149 ил.

1. Способ для предоставления пользовательского интерфейса (UI) электронного устройства, которое имеет возможность распознавания пользовательской голосовой команды и команды на основе пользовательского движения, при этом способ содержит этапы, на которых:

распознают одну из голосовой команды начала и команды начала на основе движения для переключения электронного устройства в режим выполнения задач;

отображают набор команд, который является управляемым через распознавание голоса или распознавание движения, соответственно, на экране отображения электронного устройства в ответ на распознанную команду;

распознают первую пользовательскую голосовую команду или первую пользовательскую команду на основе движения, соответствующую первой команде из набора команд; и

если распознана первая пользовательская голосовая команда, отображают первый выполняемый значок первого приложения, которое является управляемым через распознавание голоса, отдельно от второго выполняемого значка второго приложения, которое является неуправляемым через распознавание голоса, на экране отображения в ответ на первую пользовательскую голосовую команду; и

если распознана первая пользовательская команда на основе движения, отображают первый выполняемый значок аналогично второму выполняемому значку;

определяют приложения-варианты, соответствующие принятой команде;

отображают список приложений-вариантов, наложенный на экран;

принимают пользовательский голосовой ввод или

пользовательский ввод на основе движения, выбирающий одно из отображенных приложений-вариантов;

распознают принятый пользовательский голосовой ввод или пользовательский ввод на основе движения; и

выполняют задачу, относящуюся к распознанному вводу.

2. Способ по п. 1, в котором первый выполняемый значок является комбинацией исходного выполняемого значка первого приложения и дополнительного значка, который отображается на одной стороне исходного выполняемого значка.

3. Способ по п. 1, в котором название первого выполняемого значка отображается отдельно от названия второго выполняемого значка.

4. Способ по п. 1, дополнительно содержащий этап, на котором:

- отображают первый выполняемый значок отдельно от второго выполняемого значка, если первое приложение управляется через распознавание голоса.

5. Способ по п. 1, дополнительно содержащий этап, на котором:

- отображают первую обратную связь в ответ на команду начала голосового управления.

6. Способ по п. 1, дополнительно содержащий этап, на котором:

- распознают вторую пользовательскую голосовую команду, соответствующую названию первого выполняемого значка,

- при этом название первого выполняемого значка отображается на одной стороне первого выполняемого значка.

7. Способ по п. 6, дополнительно содержащий этап, на котором:

- отображают первое приложение на экране отображения в ответ на вторую пользовательскую голосовую команду.

8. Способ по п. 6, в котором множество приложений соответствует второй пользовательской голосовой команде, и распознавание голоса второй команды содержит этап, на котором отображают список приложений, соответствующий множеству приложений.

9. Способ по п. 1, в котором третий выполняемый значок третьего приложения, которое является управляемым через распознавание голоса, отображается на UI, и название третьего выполняемого значка отображается на одной стороне третьего выполняемого значка, при этом только часть названия третьего выполняемого значка отображается в ответ на определение того, что название третьего значка горячей клавиши превышает предварительно определенную длину.

10. Способ по п. 9, дополнительно содержащий этап, на котором распознают третью пользовательскую голосовую команду, соответствующую части названия третьего выполняемого значка, и отображение третьего приложения отображается на экране отображения в ответ на третью пользовательскую голосовую команду.

11. Способ по п. 1, в котором набор команд содержит команду возврата,

- при этом электронное устройство возвращается на предыдущий экран в ответ на голос четвертой команды, соответствующий команде возврата.

12. Способ по п. 1, дополнительно содержащий этап, на котором выводят одно из видео, аудио и управляющих данных, соответствующих принимаемому широковещательному сигналу, через одно из экрана отображения и динамика.

13. Электронное устройство, имеющее возможность распознавания пользовательской голосовой команды и пользовательской команды на основе движения, причем электронное устройство содержит:

блок отображения;

блок голосового ввода, выполненный с возможностью принимать пользовательскую голосовую команду;

камеру, выполненную с возможностью обнаруживать пользовательскую команду на основе движения;

модуль распознавания движения, выполненный с возможностью распознавать обнаруженную пользовательскую команду на основе движения; и

контроллер, выполненный с возможностью управлять блоком отображения, блоком голосового ввода и модулем распознавания движения,

при этом контроллер:

распознает одну из голосовой команды начала, принятой через блок голосового ввода, и команды начала на основе движения, принятой через модуль распознавания движения, для переключения электронного устройства в режим выполнения задач, и отображает набор команд, который является управляемым через распознавание голоса или распознавание движения, соответственно, на блоке отображения,

распознает первую пользовательскую голосовую команду, принятую через блок голосового ввода или первую пользовательскую команду на основе движения, принятую через модуль распознавания движения, соответствующую первой команде из набора команд; и

если распознана первая пользовательская голосовая команда, управляет блоком отображения таким образом, что он отображает пользовательский интерфейс (UI), содержащий первый выполняемый значок первого приложения, которое является управляемым через распознавание голоса,

причем UI отображает первый выполняемый значок отдельно от второго выполняемого значка второго приложения, которое является неуправляемым через распознавание голоса;

если распознана первая пользовательская команда на основе движения, управляет блоком отображения таким образом, что он отображает пользовательский интерфейс (UI), содержащий первый выполняемый значок, отображенный аналогично второму выполняемому значку;

причем блок отображения дополнительно выполнен с возможностью отображать список приложений-вариантов, наложенный на экран;

причем блок голосового ввода дополнительно выполнен с возможностью принимать пользовательский голосовой ввод и камера дополнительно выполнена с возможностью принимать пользовательский ввод на основе движения, причем оба ввода выбирают одно из отображенных приложений-вариантов; и

контроллер дополнительно выполнен с возможностью распознавать принятый пользовательский голосовой ввод и модуль распознавания движения дополнительно выполнен с возможностью распознавать пользовательский ввод на основе движения;

причем контроллер выполнен с возможностью выполнять задачу, относящуюся к распознанному вводу.