Область техники, к которой относится изобретение
[1] Варианты осуществления относятся к устройству отображения, интерактивному серверу и способу обеспечения ответной информации. В частности, варианты осуществления относятся к устройству отображения, интерактивному серверу и способу обеспечения ответной информации для обеспечения ответной информации, соответствующей высказанной речи пользователя.
Предшествующий уровень техники
[2] В предшествующем уровне техники устройство отображения, способное распознавать речь, собирает высказанную речь для пользователя и отправляет собранную высказанную речь пользователя внешнему серверу, соединенному через сеть. Затем в области техники предшествующего уровня устройство отображения принимает относящуюся к высказанной речи пользователя информацию. Перед тем как устройство отображения принимает относящуюся к высказанной речи пользователя информацию, относящаяся к высказанной речи пользователя информация была преобразована внешним сервером в форму, которую устройство отображения может распознать. После того как устройство отображения принимает относящуюся к высказанной речи пользователя информацию, устройство отображения анализирует принятую относящуюся к высказанной речи пользователя информацию и идентифицирует импликацию для высказанной речи пользователя. Затем устройство отображения выполняет функцию, соответствующую высказанной речи пользователя, на основе идентифицированной импликации и выдает сообщение уведомления для высказанной речи пользователя в зависимости от необходимости.
[3] Однако устройство отображения предшествующего уровня техники ограничено выполнением функции, соответствующей высказанной речи пользователя. Устройство отображения в области техники предшествующего уровня исполняет только функцию для выполнения или отказа от функции, соответствующей высказанной речи пользователя.
[4] Когда устройство отображения входит в режим распознавания речи, в зависимости от пользовательского запроса, устройство отображения отображает команды, которые могут управлять работой устройства отображения через высказанную речь пользователя. В соответствии с этим пользователь может дать речевую команду для выполнения операции для функции, которую желает пользователь. Речевая команда представляет собой по меньшей мере одну из команд, отображенных на экране, относящихся к управлению работой устройства отображения.
[5] Другими словами, устройство отображения предшествующего уровня техники может только осуществлять режим, соответствующий высказанной речи пользователя или повторному запросу для высказанной речи пользователя на основе предварительно установленных команд. Однако устройство отображения области техники предшествующего уровня не может обеспечить другую ответную информацию относительно различной высказанной речи пользователя.
[6] В соответствии с этим для решения описанной выше проблемы требуется способ, в котором устройство отображения принимает информацию, относящуюся к высказанной речи, от пользователя и обеспечивает ответную информацию касаемо пользовательского запроса посредством веб-поиска на основе информации, введенной от пользователя. Однако имеется проблема в том, что способ не может обеспечить корректную ответную информацию на вопросы, которые задает пользователь.
Раскрытие изобретения
Техническая проблема
[7] Были разработаны варианты осуществления для преодоления описанных выше недостатков и других проблем, соответствующих предшествующему уровню техники. Аспект настоящего раскрытия обеспечивает устройство отображения и способ, которые могут обеспечить более корректную ответную информацию относительно различной высказанной речи пользователя.
Решение проблемы
[8] Описанные выше аспекты вариантов осуществления могут быть достигнуты посредством создания устройства отображения, которое может включать в себя устройство сбора речи, которое собирает речь пользователя, устройство связи, которое выполняет связь с интерактивным сервером, и устройство управления, которое, когда от интерактивного сервера принята ответная информация, соответствующая речи пользователя, отправленной интерактивному серверу, выполняет управление для выполнения функции, соответствующей ответной информации, и устройство управления управляет устройством связи для приема замещающей ответной информации, относящейся к речи пользователя, посредством веб-поиска и службы социальной сети (SNS).
[9] Устройство отображения дополнительно может включать в себя устройство вывода, и когда от интерактивного сервера принят элемент высказывания, включенный в речь пользователя, с сообщением о невозможности предоставления ответной информации, соответствующей речи пользователя, устройство управления может управлять устройством вывода для приема и выдачи замещающей ответной информации, относящейся к элементу высказывания, посредством веб-поиска и службы социальной сети.
[10] Когда принята команда пользователя для выполнения веб-поиска, устройство управления может принять и выдать результат веб-поиска на основе элемента высказывания.
[11] Когда принята команда пользователя для службы социальной сети, устройство управления может сформировать сообщение запроса ответа на основе элемента высказывания, отправить сообщение запроса ответа серверу службы социальной сети (SNS), который предоставляет службу социальной сети, и принять и выдать ответное сообщение, соответствующее сообщению запроса ответа, от сервера SNS.
[12] В зависимости от команды пользователя устройство управления может отправить сообщение запроса ответа в учетную запись службы социальной сети (SNS) пользователя и принять и выдать ответное сообщение из учетной записи SNS, соединенной с учетной записью SNS пользователя.
[13] В зависимости от команды пользователя устройство управления может отправить сообщение запроса ответа в учетную запись службы социальной сети (SNS), выбранную среди учетных записей SNS, соединенных с учетной записью SNS пользователя, и принять и выдать ответное сообщение из выбранной учетной записи SNS.
[14] В зависимости от команды пользователя устройство управления может отправить сообщение запроса ответа в предопределенную общедоступную учетную запись SNS и принять и выдать ответное сообщение из учетной записи SNS, соединенной с предопределенной общедоступной учетной записью SNS.
[15] Когда ответное сообщение принято, устройство управления может выдать информацию уведомления, указывающую, что ответное сообщение было принято.
[16] Интерактивный сервер может включать в себя первый сервер, который преобразовывает собранную речь пользователя в текстовую информацию, и второй сервер, который формирует ответную информацию, соответствующую собранной речи пользователя, которая была преобразована в текстовую информацию, и устройство управления может преобразовать собранную речь пользователя в цифровой сигнал, отправить цифровой сигнал первому серверу, и когда от первого сервера принята текстовая информация для собранной речи пользователя, отправить текстовую информацию второму серверу и принять ответную информацию, соответствующую речи пользователя.
[17] Когда речь пользователя включает в себя элементы высказывания, относящиеся к электронному путеводителю по программам телевидения (EPG) или к операции управления устройства отображения, устройство управления может выполнить по меньшей мере одну функцию из выдачи ответного сообщения и выполнения функции, соответствующей речи пользователя, на основе ответной информации, принятой от второго сервера.
[18] Описанные выше аспекты вариантов осуществления могут быть достигнуты посредством создания способа обеспечения ответной информации для обеспечения ответной информации, подходящей для речи пользователя, в устройстве отображения, который может содержать этапы, на которых собирают речь пользователя, отправляют собранную речь пользователя интерактивному серверу, проверяют, принята ли от интерактивного сервера ответная информация, соответствующая речи пользователя, и выполняют функцию, соответствующую речи пользователя, на основе ответной информации, когда принята ответная информация, соответствующая речи пользователя, и выполнение функции может содержать этап, на котором принимают и выдают замещающую ответную информацию, относящуюся к речи пользователя, посредством веб-поиска и службы социальной сети (SNS).
[19] Выполнение функции может дополнительно содержать этап, на котором, когда от интерактивного сервера принят элемент высказывания, включенный в речь пользователя, с сообщением о невозможности предоставления ответной информации, соответствующей речи пользователя, принимают и выдают замещающую ответную информацию, относящуюся к элементу высказывания, посредством веб-поиска и службы социальной сети.
[20] Выполнение функции может дополнительно содержать этап, на котором, когда принята команда пользователя для выполнения веб-поиска, принимают и выдают результат веб-поиска на основе элемента высказывания.
[21] Выполнение функции может дополнительно содержать этапы, на которых формируют сообщение запроса ответа на основе элемента высказывания, когда принята команда пользователя для службы социальной сети, отправляют сообщение запроса ответа серверу службы социальной сети (SNS), который предоставляет службу социальной сети, и принимают и выдают ответное сообщение, соответствующее сообщению запроса ответа, от сервера SNS.
[22] Выполнение функции может дополнительно содержать этапы, на которых отправляют сообщение запроса ответа в учетную запись службы социальной сети (SNS) пользователя, в зависимости от команды пользователя, и принимают и выдают ответное сообщение из учетной записи SNS, соединенной с учетной записью SNS пользователя.
[23] Выполнение функции может дополнительно содержать этапы, на которых отправляют сообщение запроса ответа в учетную запись службы социальной сети (SNS), выбранной среди учетных записей SNS, соединенных с учетной записью SNS пользователя, в зависимости от команды пользователя, и принимают и выдают ответное сообщение из выбранной учетной записи SNS.
[24] Выполнение функции может дополнительно содержать этапы, на которых отправляют сообщение запроса ответа в предопределенную общедоступную учетную запись SNS, в зависимости от команды пользователя, и принимают и выдают ответное сообщение из учетной записи SNS, соединенной с предопределенной общедоступной учетной записью SNS.
[25] Выполнение функции может дополнительно содержать этап, на котором выдают информацию уведомления, указывающую, что ответное сообщение было принято, когда ответное сообщение принято.
[26] Интерактивный сервер может включать в себя первый сервер, который преобразовывает собранную речь пользователя в текстовую информацию, и второй сервер, который формирует ответную информацию, соответствующую собранной речи, которая была преобразована в текстовую информацию, и отправка собранной речи пользователя интерактивному серверу может содержать этапы, на которых отправляют цифровой сигнал для собранной речи пользователя первому серверу, принимают текстовую информацию для собранной речи пользователя от первого сервера, отправляют принятую текстовую информацию второму серверу и принимают ответную информацию, соответствующую речи пользователя, от второго сервера.
[27] Выполнение функции может включать в себя этап, на котором выполняют по меньшей мере одну функцию из выдачи ответного сообщения и выполнения функции, соответствующей речи пользователя, на основе ответной информации, принятой от второго сервера, когда речь пользователя включает в себя элементы высказывания, относящиеся к электронному путеводителю по программам телевидения (EPG) или к операции управления устройства отображения.
[28] Описанные выше аспекты вариантов осуществления могут быть достигнуты посредством обеспечения устройства отображения, которое может включать в себя устройство сбора речи, которое собирает речь пользователя, удаляет шум из собранной речи пользователя и отправляет отфильтрованную речь пользователя устройству связи, устройство фотосъемки, которое фотографирует лицо пользователя, формирует изображение лица и отправляет изображение лица устройству связи, устройство связи отправляет отфильтрованную речь пользователя и изображение лица интерактивному серверу, который обеспечивает ответную информацию, подходящую к отфильтрованной речи пользователя и изображению лица, и устройство управления выполняет операцию, соответствующую отфильтрованной речи пользователя и изображению лица, на основе ответной информации, принятой от интерактивного сервера.
[29] Когда от интерактивного сервера принято сообщение о невозможности предоставления ответной информации, устройство управления может управлять устройством связи для приема замещающей ответной информации, относящейся к отфильтрованной речи пользователя и изображению лица, посредством веб-поиска и/или службы социальной сети.
[30] Описанные выше аспекты вариантов осуществления могут быть достигнуты посредством создания интерактивной системы, обеспечивающей подходящую для речи пользователя ответную информацию, которая может включать в себя устройство отображения, которое распознает речь пользователя и выполняет функцию, соответствующую распознанной речи пользователя, и интерактивный сервер, который, когда от устройства изображения принята речь пользователя, преобразовывает речь пользователя в текстовую информацию, анализирует текстовую информацию и передает устройству изображения ответную информацию, соответствующую речи пользователя, и устройство отображения выполняет функцию, соответствующую ответной информации, принятой от интерактивного сервера, или выполняет функцию, относящуюся к речи пользователя, на основе замещающей ответной информации, принятой через веб-сервер и сервер SNS.
Полезные эффекты изобретения
[31] С помощью различных вариантов осуществления, даже когда от различных пользователей вводится различная речь, устройство отображения может обеспечить более корректную ответную информацию для каждой речи пользователя.
[32] Другие задачи, преимущества и существенные признаки вариантов осуществления станут очевидны из последующего подробного описания, которое вместе с приложенными чертежами раскрывает предпочтительные варианты осуществления.
Краткое описание чертежей
[33] Эти и/или другие аспекты и преимущества настоящего раскрытия станут очевидны и лучше понятны на основе последующего описания вариантов осуществления, рассмотренных совместно с сопроводительными чертежами.
[34] Фиг. 1 - блок-схема, иллюстрирующая интерактивную систему для предоставления ответной информации, подходящей для речи пользователя, в соответствии с вариантом осуществления настоящего раскрытия.
[35] Фиг. 2 - схема процедуры, иллюстрирующая способ обеспечения ответной информации, подходящей для речи пользователя, в интерактивной системе в соответствии с вариантом осуществления настоящего раскрытия.
[36] Фиг. 3 - схема процедуры, иллюстрирующая способ обеспечения замещающей ответной информации, относящейся к речи пользователя, в интерактивной системе в соответствии с вариантом осуществления настоящего раскрытия.
[37] Фиг. 4 - блок-схема, иллюстрирующая устройство отображения в соответствии с вариантом осуществления настоящего раскрытия.
[38] Фиг. 5 - схема, иллюстрирующая устройство отображения в соответствии с вариантом осуществления настоящего раскрытия, которое выдает сообщение обеспечения замещающей информации.
[39] Фиг. 6 - схема, иллюстрирующая устройство отображения в соответствии с вариантом осуществления настоящего раскрытия, которое обеспечивает ответное сообщение, относящееся к речи пользователя, через SNS.
[40] Фиг. 7 - блок-схема для разъяснения подробной конфигурации устройства отображения в соответствии с вариантом осуществления настоящего раскрытия.
[41] Фиг. 8 - блок-схема, иллюстрирующая интерактивный сервер в соответствии с вариантом осуществления настоящего раскрытия.
[42] Фиг. 9 - блок-схема последовательности операций, иллюстрирующая способ приема ответной информации, подходящей для речи пользователя, в устройстве отображения в соответствии с вариантом осуществления настоящего раскрытия; и
[43] Фиг. 10 - блок-схема последовательности операций, иллюстрирующая способ обеспечения замещающей ответной информации, относящейся к речи пользователя, в устройстве отображения в соответствии с вариантом осуществления настоящего раскрытия.
[44] На всех чертежах одинаковые номера для ссылок будут ссылаться на аналогичные части, компоненты и структуры.
Вариант осуществления изобретения
[45] Далее будут подробно описаны некоторые иллюстративные варианты осуществления настоящего раскрытия со ссылкой на сопроводительные чертежи.
[46] Определенные здесь предметы, такие как подробная конструкция и ее элементы, обеспечены для того, чтобы помочь во всестороннем понимании этого описания. Таким образом, очевидно, что иллюстративные варианты осуществления могут быть выполнены без этих определенных предметов. Кроме того, известные функции или конструкции опущены, чтобы обеспечить четкое и краткое описание иллюстративных вариантов осуществления. Кроме того, размеры различных элементов на сопроводительных чертежах могут быть произвольно увеличены или уменьшены для того, чтобы помочь во всестороннем понимании.
[47] Фиг. 1 является блок-схемой, иллюстрирующей интерактивную систему для предоставления ответной информации, подходящей для речи пользователя, в соответствии с вариантом осуществления настоящего раскрытия.
[48] Как проиллюстрировано на фиг. 1, интерактивная система в соответствии с вариантом осуществления настоящего раскрытия включает в себя устройство 100 отображения, интерактивный сервер 200, веб-сервер 300 и сервер 400 службы социальных сетей (SNS). Устройство 100 отображения представляет собой устройство, которое может получать доступ к Интернету и распознавать речь пользователя. Устройство отображения может быть реализовано как различные электронные устройства, например, интеллектуальные телевизоры, сотовые телефоны, например, смартфоны, настольные персональные компьютеры, ноутбуки, навигационные приборы и т.д. Когда речь пользователя введена, устройство 100 отображения преобразовывает введенную речь пользователя в цифровой сигнал и отправляет цифровой сигнал интерактивному серверу 200.
[49] Устройство 100 отображения распознает речевой ввод пользователя от пользователя и выполняет функцию, соответствующую распознанной речи пользователя. В частности, устройство 100 отображения преобразовывает введенную речь пользователя в цифровой сигнал и отправляет цифровой сигнал интерактивному серверу 200.
[50] Затем, когда от интерактивного сервера 200 принята ответная информация, соответствующая речи пользователя, устройство 100 отображения выполняет функцию, соответствующую речи пользователя, на основе принятой ответной информации.
[51] Кроме того, устройство 100 отображения выполняет функцию, соответствующую речи пользователя, на основе ответной замещающей информации, принятой через веб-сервер 300 и сервер 400 SNS.
[52] Интерактивный сервер 200 представляет собой сервер, который предоставляет информацию высказывания, подходящую для речи пользователя, в отношении устройства 100 отображения.
[53] Как только речь пользователя принята от устройства 100 отображения, интерактивный сервер 200 преобразовывает принятую речь пользователя в текстовую информацию, связанную с устройством 100 отображения, анализирует текстовую информацию и передает устройству 100 отображения ответную информацию, соответствующую речи пользователя, принятой от устройства 100 отображения.
[54] Интерактивный сервер 200 состоит из первого сервера 10 и второго сервера 20. Первый сервер 10 преобразовывает речь пользователя, принятую от устройства 100 отображения, в текстовую информацию и отправляет речь пользователя, которая была преобразована в текстовую информацию, устройству 100 отображения. Затем, когда речь пользователя, которая была преобразована в текстовую информацию, принята от устройства 100 отображения, второй сервер 20 анализирует принятую текстовую информацию, формирует ответную информацию, соответствующую речи пользователя, и отправляет ответную информацию устройству 100 отображения.
[55] В настоящем раскрытии интерактивный сервер 200 формирует ответную информацию, соответствующую речи пользователя, через первый и второй серверы 10 и 20 и отправляет ответную информацию устройству 100 отображения. Однако это лишь один вариант осуществления настоящего раскрытия. В соответствии со способом реализации интерактивный сервер 200 может быть единственным сервером. Поскольку единственный интерактивный сервер 200 выполняет все операции первого сервера 10 и второго сервера 20, подробные разъяснения относительно единственного интерактивного сервера 200 будут в дальнейшем опущены.
[56] Веб-сервер 300 представляет собой сервер, который предоставляет информацию о результате веб-поиска в соответствии с запросом устройства 100 отображения.
[57] Как описано выше, веб-сервер 300, который обеспечивает замещающую ответную информацию для устройства 100 отображения, является сервером, который предоставляет информацию о результате веб-поиска в соответствии с запросом от устройства 100 отображения, соединенного через Интернет.
[58] Веб-сервер 300 соединен с Интернетом. Сервер 400 службы социальных сетей представляет собой сервер, который предоставляет службу социальных сетей (в дальнейшем SNS), например, Twitter, Facebook и т.д. Служба SNS используется пользователями для объединения людей в сети в Интернете. Таким образом, через службу SNS может быть выполнено совместное использование информации и сообщества между пользователями.
[59] В дальнейшем будет разъяснена операция обеспечения ответной информации, подходящей для речи пользователя, через каждую конфигурацию описанной выше интерактивной системы.
[60] Когда речь пользователя введена, устройство 100 отображения собирает введенную речь пользователя и выполняет функцию, соответствующую введенной речи пользователя. Например, когда введена речь пользователя для изменения канала, устройство 100 отображения может настроиться на входной канал и отобразить соответствующий канал. Устройство 100 отображения может обеспечить ответное сообщение, соответствующее функции введенной речи пользователя. В примере, как описано выше, устройство 100 отображения может выдать информацию относительно измененного канала в виде речи или изображения текста. Когда введена речь пользователя, которая запрашивает эфирное время конкретной передачи, устройство 100 отображения может выдать конкретное эфирное время передачи в виде речи или изображения текста.
[61] Устройство 100 отображения преобразовывает собранную речь пользователя в цифровой сигнал и отправляет ее первому серверу 10. Затем в соответствии с заданным шаблоном для речи пользователя, принятой от устройства 100 отображения, первый сервер 10 формирует текстовую информацию для речи пользователя и отправляет текстовую информацию устройству 100 отображения. Подробное объяснение формирования текстовой информации на основе речи пользователя будет опущено.
[62] Устройство 100 отображения, которое принимает текстовую информацию для речи пользователя от первого сервера 10, отправляет текстовую информацию для речи пользователя второму серверу 20. Затем второй сервер 20 анализирует значение текстовой информации для речи пользователя, принятой от устройства 100 отображения, и определяет, может ли быть сформирована ответная информация для управления функцией устройства 100 отображения.
[63] Второй сервер 20 извлекает по меньшей мере один элемент высказывания из текстовой информации для речи пользователя и определяет, может ли ответная информация, связанная с речью пользователя, быть сформирована на основе извлеченного элемента высказывания. Ответная информация представляет собой информацию для выполнения функции, соответствующей речи пользователя. Ответная информация может включать в себя по меньшей мере один элемент из группы, состоящей из ответного сообщения и команды управления для управления выполнением функции устройства 100 отображения. Кроме того, элемент высказывания может представлять собой базовые ключевые слова для выполнения функции, которая запрашивается в речи пользователя. Элемент высказывания может включать в себя действие диалога, главную цель и базовый элемент.
[64] Действие диалога относится к метке для представления иллокутивной силы речи пользователя. Например, действие диалога может являться утверждением, запросом, вопросом и т.д. Главная цель относится к метке для представления фактического намерения речи пользователя. Главная цель может представлять собой включение/выключение телевизора, поиск передачи, поиск программы передач, резервирование передачи и т.д. Базовый элемент может включать в себя жанр, название передачи, время, название канала и имя актера или актрисы и т. д.
[65] Например, когда речь пользователя представляет собой "Во сколько начинается (название передачи вещания)?", действием диалога может являться вопрос "Начинается?", и главной целью может являться поиск программы для "начинается". Далее базовым элементом может являться "(название передачи вещания)".
[66] После приема речи пользователя "Во сколько начинается (название передачи вещания)?" второй сервер 20 может извлечь элемент высказывания, включающий в себя действие диалога, главную цель и базовый элемент из принятой речи пользователя. После того как элемент высказывания извлечен из речи пользователя, второй сервер 20 может определить, следует ли сформировать ответную информацию для выполнения функции, соответствующей речи пользователя, на основе извлеченного элемента высказывания.
[67] На основе результата определения, когда возможно сформировать ответную информацию для выполнения функции, соответствующей речи пользователя, второй сервер 20 формирует ответную информацию для выполнения функции, соответствующей речи пользователя, и отправляет ее устройству 100 отображения.
[68] В описанном выше варианте осуществления после извлечения элемента высказывания для речи пользователя "Во сколько начинается (название передачи вещания)?" второй сервер 20 формирует ответную информацию для информации времени вещания, когда начинается передача вещания, на основе извлеченного элемента высказывания и отправляет ее устройству 100 отображения. Затем устройство 100 отображения может вывести ответное сообщение "(Название передачи вещания) начнется в 7:00" в виде речи или изображения текста на основе принятой ответной информации.
[69] С другой стороны, в соответствии с результатом определения, когда невозможно сформировать ответную информацию для выполнения функции, соответствующей речи пользователя, второй сервер 20 может сформировать сообщение о невозможности предоставления ответа для речи пользователя и отправить его устройству 100 отображения.
[70] Например, когда принята текстовая информация для речи пользователя "Кто замененный ведущий в (название передачи вещания)?", второй сервер 20 может извлечь элементы высказывания "(название передачи вещания)", "замененный", "ведущий" и "кто". После извлечения элементов высказывания второй сервер 20 проверяет, имеется ли информация о новом ведущем для "(название передачи вещания)" в предварительно сохраненной информации электронного путеводителя по программам телевидения (EPG) на основе извлеченных элементов высказывания. На основе результата проверки второго сервера 20, если невозможно получить информацию о новом ведущем для "(название передачи вещания)" из предварительно сохраненной информации EPG, второй сервер 20 отправляет сообщение о невозможности предоставления ответа для речи пользователя устройству 100 отображения. Таким образом, устройство 100 отображения может вывести сообщение уведомления, такое как "Информация не может быть найдена" в виде речи, и/или изображения текста на основе сообщения о невозможности предоставления ответа, принятого от второго сервера 20. Кроме того, когда от второго сервера 20 принято сообщение о невозможности предоставления ответа для речи пользователя, устройство 100 отображения выдает сообщение обеспечения замещающей информации, такое как "Вы хотите получить эту информацию через веб-поиск или службу социальной сети?" в виде речи и/или изображения текста.
[71] В состоянии, в котором выдано сообщение обеспечения замещающей информации, когда от пользователя вводится команда пользователя для выполнения веб-поиска, устройство 100 отображения принимает результат веб-поиска от веб-сервера 300 на основе элемента высказывания, извлеченного из второго сервера 20, и выдает результат веб-поиска в виде речи и/или изображения. В соответствии с вариантом осуществления устройство 100 отображения может принять от второго сервера 20 элементы высказывания, извлеченные из речи пользователя, наряду с сообщением о невозможности предоставления ответа для речи пользователя. В соответствии с этим, когда введена команда пользователя для выполнения веб-поиска, устройство 100 отображения может принять результат веб-поиска от веб-сервера 300 на основе элементов высказывания, принятых от второго сервера 20.
[72] В соответствии с альтернативным вариантом осуществления устройство 100 отображения принимает от пользователя ввод ключевых слов поиска для выполнения веб-поиска и может принять результат веб-поиска от веб-сервера 300 на основе введенных ключевых слов поиска.
[73] Когда от пользователя принята команда пользователя для SNS, устройство 100 отображения формирует сообщение запроса ответа на основе элементов высказывания, извлеченных из второго сервера 20. В соответствии с вариантом осуществления устройство 100 отображения может принять элементы высказывания, извлеченные из речи пользователя, наряду с сообщением о невозможности предоставления ответа для речи пользователя от второго сервера 20. В соответствии с этим, когда принята команда пользователя для SNS, устройство 100 отображения может сформировать сообщение запроса ответа на основе элементов высказывания, принятых от второго сервера 20. В соответствии с другим вариантом осуществления устройство 100 отображения может сформировать сообщение запроса ответа на основе входных данных от пользователя.
[74] После формирования сообщения запроса ответа устройство 100 отображения отправляет сформированное сообщение запроса ответа серверу 400 SNS. В соответствии с этим сервер 400 SNS принимает ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, соединенной с учетной записью SNS пользователя, который отправил сообщение запроса ответа, или из учетной записи SNS, выбранной пользователем среди множества учетных записей SNS, соединенных с учетной записью SNS пользователя. Затем сервер 400 SNS отправляет принятое ответное сообщение устройству 100 отображения. Когда нет учетной записи SNS пользователя, который отправил сообщение запроса ответа, сервер 400 SNS может принять ответное сообщение, относящееся к сообщению запроса ответа, из общедоступной учетной записи SNS, соединенной с предопределенной общедоступной учетной записью SNS. Затем сервер 400 SNS отправляет принятое ответное сообщение устройству 100 отображения. В соответствии с этим устройство 100 отображения выдает ответное сообщение, принятое от сервера 400 SNS, в виде речи и/или изображения текста.
[75] Если невозможно обеспечить ответную информацию, соответствующую речи пользователя, интерактивная система в соответствии с вариантом осуществления настоящего раскрытия использует веб-поиск и SNS, чтобы предоставить пользователю замещающую ответную информацию, связанную с речью пользователя. Таким образом, вероятность отказа обеспечения ответной информации для речи пользователя может быть минимизирована.
[76] В интерактивной системе в соответствии с вариантом осуществления настоящего раскрытия была разъяснена операция для обеспечения ответной информации, подходящей для речи пользователя. Далее в интерактивной системе в соответствии с вариантом осуществления настоящего раскрытия будет разъяснен подробный способ обеспечения ответной информации, подходящей для речи пользователя.
[77] Фиг. 2 является схемой процедуры, иллюстрирующей способ обеспечения ответной информации, подходящей для речи пользователя, в интерактивной системе в соответствии с вариантом осуществления настоящего раскрытия.
[78] Как проиллюстрировано на фиг. 2, когда вводится речь пользователя, устройство 100 отображения собирает введенную речь пользователя. Затем устройство 100 отображения преобразовывает собранную речь пользователя в цифровой сигнал и отправляет речь пользователя, которая была ранее преобразована в цифровой сигнал, первому серверу 10 (S210 и S220). Затем первый сервер 10 преобразует речь пользователя, которая была ранее преобразована в цифровой сигнал в устройстве 100 отображения, в текстовую информацию. Затем первый сервер 10 отправляет сформированную текстовую информацию устройству 100 отображения (S230 и S240). Затем устройство 100 отображения отправляет текстовую информацию, принятую от первого сервера 10, второму серверу 20 (S250). Второй сервер 20, который принимает от устройства 100 отображения речь пользователя, ранее преобразованную в текстовую информацию, извлекает элементы высказывания из принятой текстовой информации (S260). Операция для извлечения элементов высказывания из текстовой информации для речи пользователя во втором сервере 20 была разъяснена со ссылкой на фиг. 1. Таким образом, дополнительное разъяснение будет опущено.
[79] После извлечения элементов высказывания второй сервер 20 формирует ответную информацию для выполнения функции, соответствующей речи пользователя, на основе извлеченных элементов высказывания или сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя. Затем второй сервер 20 отправляет сформированную ответную информацию или сообщение о невозможности предоставления ответа устройству 100 отображения (S270). После приема ответной информации, соответствующей речи пользователя, устройство 100 отображения, которое принимает ответную информацию или сообщение о невозможности предоставления ответа от второго сервера 20, выполняет функцию, соответствующую речи пользователя, на основе принятой ответной информации (S280, S290).
[80] В соответствии с вариантом осуществления настоящего раскрытия второй сервер 20 определяет, является ли элемент высказывания, который был извлечен из текстовой информации, элементом высказывания, относящимся к предварительно сохраненной информацией EPG, или элементом высказывания, относящимся к командам управления устройства 100 отображения. На основе результата определения, когда извлеченный элемент высказывания является элементом высказывания, относящимся к предварительно сохраненной информацией EPG, или элементом высказывания, относящимся к командам управления устройства 100 отображения, второй сервер 20 формирует ответную информацию, соответствующую речи пользователя. Затем второй сервер 20 отправляет сформированную ответную информацию устройству 100 отображения. Затем устройство 100 отображения выполняет по меньшей мере одну функцию выдачи ответной информации и исполнения функции, соответствующей речи пользователя, на основе принятой ответной информации.
[81] Когда извлеченный элемент высказывания не является ни элементом высказывания, относящимся к предварительно сохраненной информации EPG, ни элементом высказывания, относящимся к командам управления устройства 100 отображения, на основе результата определения, второй сервер 20 формирует сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя, и отправляет его устройству 100 отображения. Затем устройство 100 отображения выдает сообщение уведомления, например, "Информация не может быть найдена", в виде речи и/или изображения текста на основе сообщения о невозможности предоставления ответа, принятого от второго сервера 20. Когда от второго сервера 20 принято сообщение о невозможности предоставления ответа для речи пользователя, устройство 100 отображения выдает сообщение обеспечения замещающей информации, например, "Вы хотите получить эту информацию через веб-поиск или службу социальной сети?" в виде речи и/или изображения текста. Затем, в зависимости от команды пользователя, выбранной пользователем, устройство 100 отображения принимает замещающую ответную информацию, относящуюся к речи пользователя, через веб-сервер 300 или сервер 400 SNS, и выдает замещающую ответную информацию в виде речи и/или изображения.
[82] Будет разъяснен способ обеспечения замещающей ответной информации, относящейся к речи пользователя, через устройство 100 отображения в интерактивной системе.
[83] Фиг. 3 является схемой процедуры, иллюстрирующей способ обеспечения замещающей ответной информации, относящейся к речи пользователя, в интерактивной системе в соответствии с вариантом осуществления настоящего раскрытия.
[84] Когда от второго сервера 20 принято сообщение о невозможности предоставления ответа для речи пользователя, устройство 100 отображения выдает сообщение о невозможности предоставления ответа, например, "Информация не может быть найдена" в виде речи и/или изображения текста. Затем устройство 100 отображения выдает сообщение обеспечения замещающей информации, например, "Вы хотите получить эту информацию через веб-поиск или службу социальной сети?" в виде речи и/или изображения текста. В состоянии, в котором выдано сообщение обеспечения замещающей информации, устройство 100 отображения определяет, введена ли команда пользователя для выполнения веб-поиска или команда пользователя для SNS от пользователя (S310). Когда команда пользователя является командой для выполнения веб-поиска на основе результата определения, устройство 100 отображения запрашивает веб-поиск, основанный на элементе высказывания, извлеченном из речи пользователя, у веб-сервера 300 и принимает информацию результата веб-поиска (S320 и S330).
[85] В соответствии с вариантом осуществления настоящего раскрытия устройство 100 отображения может принять элемент высказывания, извлеченный из речи пользователя, наряду с сообщением о невозможности предоставления ответа для речи пользователя. В соответствии с этим, когда введена команда пользователя для выполнения веб-поиска, устройство 100 отображения может принять информацию результата веб-поиска от веб-сервера 300 на основе элемента высказывания, принятого от второго сервера 20. В соответствии с другим вариантом осуществления настоящего раскрытия устройство 100 отображения может принять ключевые слова поиска, введенные пользователем, для выполнения веб-поиска, и принимает результат веб-поиска от веб-сервера 300 на основе введенных ключевых слов поиска. После приема информации результата веб-поиска от веб-сервера 300 устройство 100 отображения выдает принятую информацию результата веб-поиска в виде речи или изображения (S340).
[86] С другой стороны, на этапе S310, если определено, что команда пользователя является командой для SNS, устройство 100 отображения формирует сообщение запроса ответа на основе элемента высказывания, извлеченного из речи пользователя. Затем устройство отображения отправляет сообщение запроса ответа серверу 400 SNS (S350).
[87] В соответствии с вариантом осуществления настоящего раскрытия устройство 100 отображения может принять от второго сервера 20 элемент высказывания, извлеченный из речи пользователя, наряду с сообщением о невозможности предоставления ответа для речи пользователя. В соответствии с этим, когда команда пользователя для SNS принята, устройство 100 отображения может сформировать сообщение запроса ответа на основе элемента высказывания, принятого от второго сервера 20. В соответствии с другим вариантом осуществления настоящего раскрытия устройство 100 отображения может сформировать сообщение запроса ответа на основе входных данных от пользователя.
[88] После формирования сообщения запроса ответа устройство 100 отображения отправляет сформированное сообщение запроса ответа серверу 400 SNS (S360). Затем сервер 400 SNS принимает ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, соединенной с учетной записью SNS пользователя, который отправил сообщение запроса ответа, или из учетной записи SNS, которая выбрана пользователем среди соединенных учетных записей SNS. С другой стороны, если нет учетной записи SNS пользователя, который отправил сообщение запроса ответа, сервер 400 SNS может принять ответное сообщение, относящееся к сообщению запроса ответа, от общедоступной учетной записи SNS, соединенной с предопределенной общедоступной учетной записью SNS. В соответствии с этим устройство 100 отображения может выдать ответное сообщение, принятое от сервера 400 SNS, в виде речи и/или изображения текста (S370).
[89] Далее будет разъяснена конфигурация устройства 100 отображения для обеспечения ответной информации, подходящей для речи пользователя.
[90] Фиг. 4 является блок-схемой, иллюстрирующей устройство отображения в соответствии с вариантом осуществления настоящего раскрытия.
[91] Как проиллюстрировано на фиг. 4, устройство 100 отображения включает в себя устройство 110 связи, устройство 120 сбора речи, устройство 130 управления, устройство 140 вывода и устройство 150 хранения.
[92] Устройство 110 связи выполняет связь с интерактивным сервером 200, который обеспечивает подходящую для речи пользователя ответную информацию. Более подробно устройство 110 связи может выполнить связь с первым сервером 10 и вторым сервером 20 интерактивного сервера 200 через различные способы связи, чтобы принять ответную информацию, соответствующую речи пользователя. Устройство 110 связи может включать в себя различные модули связи, например, модуль локальной беспроводной связи (не проиллюстрирован), модуль беспроводной связи (не проиллюстрирован) и т.д. Модуль локальной беспроводной связи (не проиллюстрирован) представляет собой модуль связи, который выполняет беспроводную связь с внешними устройствами, расположенными в локальной области, например Bluetooth, Zigbee и т.д. Модуль беспроводной связи (не проиллюстрирован) представляет собой модуль, который соединен с внешними сетями и выполняет связь в соответствии с протоколом беспроводной связи, таким как Wi-Fi, IEEE и т.д. Кроме того, модуль беспроводной связи может включать в себя модуль мобильной связи, соединенный с сетями мобильной связи в соответствии с различными стандартами мобильной связи, например третьего поколения (3G), проекта партнерства третьего поколения (3GPP), долгосрочного развития (LTE) и т.д., для выполнения связи.
[93] Устройство 120 сбора речи обрабатывает собранную речь пользователя и формирует речевой сигнал пользователя. Другими словами, устройство 120 сбора речи удаляет шум (например, звук кондиционера воздуха, звук пылесоса, звук музыки и т.д.) из собранной речи пользователя и формирует речевой сигнал пользователя. Когда речь пользователя вводится в аналоговой форме, устройство 120 сбора речи выполняет дискретизацию речи пользователя и преобразовывает ее в цифровой сигнал. При этом устройство 120 сбора речи определяет, является ли шум речью пользователя, которая была преобразована в цифровой сигнал. Если имеется шум, устройство 120 сбора речи может удалить шум из преобразованного цифрового сигнала. Как описано выше, после преобразования речи пользователя в цифровой сигнал через устройство 120 сбора речи устройство 110 связи отправляет речь пользователя, преобразованную в цифровой сигнал, первому серверу 10. Первый сервер 10 представляет собой сервер, который преобразовывает речь пользователя в текстовую информацию.
[94] Таким образом, после преобразования речи пользователя в цифровой сигнал через устройство 120 сбора речи затем устройство 110 связи отправляет преобразованный цифровой сигнал первому серверу 10. Первый сервер 10 преобразовывает речь пользователя, которая была преобразована в цифровой сигнал, в текстовую информацию. Затем первый сервер 10 отправляет текстовую информацию устройству 100 отображения. Затем, после приема речи пользователя, которая была преобразована в текстовую информацию, от первого сервера 10 устройство 110 связи отправляет речь пользователя, которая была преобразована в текстовую информацию, второму серверу 20.
[95] Устройство 130 управления после приема ответной информации, соответствующей речи пользователя, которая была преобразована в текстовую информацию, от второго сервера 20 управляет функцией для выполнения, соответствующей речи пользователя, на основе принятой ответной информации. После ввода речи пользователя устройство 130 управления преобразовывает речь пользователя в цифровой сигнал через устройство 120 сбора речи. Затем устройство 130 управления отправляет речь пользователя, которая была преобразована в цифровой сигнал, первому серверу 10 через устройство 110 связи. Устройство 130 управления принимает текстовую информацию для речи пользователя от первого сервера 10. После приема текстовой информация для речи пользователя от первого сервера 10 устройство 130 управления может отправить речь пользователя, которая была преобразована в текстовую информацию, второму серверу 20 через устройство 110 связи. Затем устройство 130 управления может принять ответную информацию, соответствующую речи пользователя.
[96] Когда от второго сервера 20 принято сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя, устройство 130 управления может управлять устройством 110 связи для приема замещающей ответной информации, относящейся к речи пользователя, посредством веб-поиска и/или SNS.
[97] Устройство 140 вывода выдает речь и/или изображение. Когда ответная информация, соответствующая речи пользователя, принята от второго сервера 20, или когда замещающая ответная информация принята по меньшей мере от одного сервера из веб-сервера 300 и сервера 400 SNS, устройство 140 вывода может выдать ответное сообщение для речи пользователя в виде речи или изображения текста на основе принятой ответной информации или замещающей ответной информации в соответствии с командой управления устройства 130 управления. Устройство 140 вывода может иметь устройство 141 отображения и устройство 143 вывода звука.
[98] Устройство 141 отображения может быть реализовано как жидкокристаллический дисплей (LCD), органический светодиодный дисплей (OLED) или плазменная панель (PDP) и т.д. и может обеспечивать различные изображения на дисплее, которые могут быть обеспечены через устройство 100 отображения. В частности, устройство 141 отображения может отобразить ответное сообщение, соответствующее речи пользователя, в текстовом виде или в виде изображения. Устройство 141 отображения может быть реализовано в виде сенсорного экрана для формирования структуры слоя вместе с сенсорной панелью. Сенсорный экран может быть выполнен с возможностью обнаруживать местоположение, область и давление сенсорного ввода.
[99] Устройство 143 аудиовыхода может быть реализовано как порты выхода, например динамики, разъемы и т.д., и может выдавать ответное сообщение для речи пользователя в виде речи.
[100] Ответная информация, принятая от второго сервера 20, может быть сформирована в разных формах, в зависимости от функций, которые классифицированы на основе элемента высказывания, извлеченного из речи пользователя. Функции, которые классифицированы на основе извлеченного элемента высказывания, могут включать в себя по меньшей мере одну из функций, относящихся к EPG, и функций, относящихся к функциональному управлению устройства 100 отображения. Если элемент высказывания, извлеченный из речи пользователя, относится к передаче вещания, ответная информация может являться функцией, относящейся к EPG. Если элемент высказывания относится к включению/выключения питания, переключению канала, изменению громкости и т.д. устройства 100 отображения, ответная информация может являться функцией, относящейся к функциональному управлению устройства 100 отображения. Таким образом, когда ответная информация принята от второго сервера 20, устройство 130 управления может управлять выполнением функции, соответствующей речи пользователя, на основе принятой ответной информации.
[101] Например, когда введена речь пользователя "Записать (название передачи вещания), которая передается сегодня", устройство 130 управления преобразовывает речь пользователя "Записать (название передачи вещания), которая передается сегодня" в цифровой сигнал через устройство 120 сбора речи. Затем устройство 130 управления может отправить преобразованную речь пользователя первому серверу 10. Когда текстовая информация для речи пользователя "Записать (название передачи вещания), которая передается сегодня" принята от первого сервера 10, устройство 130 управления отправляет текстовую информацию для речи пользователя "Записать (название передачи вещания), которая передается сегодня" второму серверу 20.
[102] В соответствии с этим второй сервер 20 извлекает элементы высказывания, такие как "сегодня", "(название передачи вещания)" и "записать", из принятой текстовой информации для речи пользователя "Записать (название передачи вещания), которая передается сегодня", и определяет ее как функцию, относящуюся к EPG, на основе извлеченных элементов высказывания. Затем второй сервер 20 отправляет ответную информацию, включающую в себя команду управления для запланированной записи для (название передачи вещания), и ответное сообщение "Запись для (название передачи вещания) запланирована" устройству 100 отображения. Устройство 130 управления устанавливает запланированную запись для (название передачи вещания) в соответствии с командой управления, включенной в ответную информацию, принятую от второго сервера 20. Затем устройство 130 управления управляет устройством 140 вывода для вывода ответного сообщения "Запись для (название передачи вещания) запланирована" в виде изображения и/или речи на основе ответного сообщения, включенного в принятую ответную информацию.
[103] В соответствии с командой управления устройство 140 вывода может выдать ответное сообщение "Запись для (название передачи вещания) запланирована" в виде речи или изображения текста по меньшей мере одно из устройства 141 отображения и устройства 143 вывода звука.
[104] С другой стороны, устройство 130 управления может принять от пользователя речь пользователя, не относящуюся к функциям, относящимся к EPG, или к функциям для функционального управления устройством 100 отображения. Например, когда введена речь пользователя, включающая в себя ненормативные элементы высказывания, например, оскорбительную брань или запрещенные наркотики, устройство 130 управления принимает текстовую информацию для введенной речи пользователя от первого сервера 10 и отправляет ее второму серверу 20. После извлечения элементов высказывания из текстовой информации для речи пользователя второй сервер 20 проверяет, являются ли извлеченные элементы высказывания предварительно сохраненными ненормативными элементами высказывания. На основе результата проверки, когда извлеченный элемент высказывания является ненормативным элементом высказывания, например, представляет собой оскорбительную брань или запрещенные наркотики, второй сервер 20 формирует сообщение о невозможности предоставления ответа для речи пользователя и отправляет сообщение о невозможности предоставления ответа устройству 100 отображения. В соответствии с этим устройство 130 управления управляет устройством 140 вывода для вывода сообщения уведомления, такого как "Функция не может быть выполнена" или "Ненормативная лексика. Пожалуйста, повторите ввод" в виде речи и/или изображения текста на основе принятого сообщения о невозможности предоставления ответа.
[105] Однако настоящее раскрытие не ограничено вариантами осуществления. Таким образом, если введена речь пользователя, относящаяся к оскорбительной брани или запрещенным наркотикам, устройство 130 управления может определить, следует ли выполнить функцию для речи пользователя, обращаясь к таблице элементов высказывания, которая предварительно сохранена в устройстве 150 хранения. Таблица элементов высказывания, предварительно сохраненная в устройстве 150 хранения, представляет собой таблицу, которая была задана и сохранена пользователем, чтобы ограничить функции, соответствующие речи пользователя. Таким образом, устройство 130 управления может определить, следует ли выполнить функцию для речи пользователя, обращаясь к таблице элементов высказывания, заданной пользователем.
[106] Когда пользователь вводит речь пользователя "Кто замененный ведущий в (название передачи вещания)?", устройство 130 управления отправляет текстовую информацию для речи пользователя "Кто замененный ведущий в (название передачи вещания)?", принятую от первого сервера 10, второму серверу 20. Второй сервер 20, который принимает текстовую информацию для речи пользователя, может извлечь элементы высказывания, такие как "(название передачи вещания)", "ведущий", "Но Хон Чхоль", "кого" и "заменен", из текстовой информации для речи пользователя "На кого заменен Но Хон Чхоль как ведущий (название передачи вещания)?". После извлечения элемента высказывания второй сервер 20 проверяет, имеется ли информация, относящаяся к новому ведущему для (название передачи вещания), из предварительно сохраненной информации EPG на основе извлеченных элементов высказывания. На основе результата проверки, если информация, относящаяся к новому ведущему для (название передачи вещания), не может быть получена из предварительно сохраненной информации EPG, второй сервер 20 отправляет сообщение о невозможности предоставления ответа для речи пользователя устройству 100 отображения.
[107] После приема сообщения о невозможности предоставления ответа устройство 130 управления управляет устройством 140 вывода для вывода сообщения уведомления, такого как "Информация не может быть найдена", в виде речи и/или изображения текста на основе принятого сообщения о невозможности предоставления ответа. Кроме того, после приема сообщения о невозможности предоставления ответа для речи пользователя от второго сервера 20 устройство 130 управления формирует сообщение обеспечения замещающей информации, такое как "Вы хотите получить эту информацию через веб-поиск или службу социальной сети?", в виде речи и/или изображения текста. Затем устройство 130 управления управляет устройством 140 вывода для вывода сформированного сообщения обеспечения замещающей информации в виде речи и/или изображения.
[108] Фиг. 5 является иллюстративной схемой, демонстрирующей устройство отображения в соответствии с вариантом осуществления настоящего раскрытия, которое выдает сообщение обеспечения замещающей информации.
[109] Как проиллюстрировано на фиг. 5, устройство 140 вывода может выдать сообщение обеспечения замещающей информации через устройство 141 отображения в соответствии с командой управления устройства 130 управления. Другими словами, устройство 141 отображения может выдать первое сообщение 510 обеспечения замещающей информации, относящееся к веб-поиску, "Хотите выполнить веб-поиск для ((название передачи вещания), Но Хон Чхоль)?" и второе сообщение 520 обеспечения замещающей информации, относящееся к SNS, "Хотите спросить у Ваших друзей в SNS?" в виде текста на экране устройства 141 отображения. Затем устройство 143 вывода звука может выдать первое сообщение 510 обеспечения замещающей информации, относящееся к веб-поиску, "Хотите выполнить веб-поиск для ((название передачи вещания), Но Хон Чхоль)?" и второе сообщение 520 обеспечения замещающей информации, относящееся к SNS, "Хотите спросить у Ваших друзей в SNS?" в звуковой форме речи через динамик (не проиллюстрирован).
[110] Второй сервер 20 наряду с сообщением о невозможности предоставления ответа для речи пользователя отправляет устройству 100 отображения элементы высказывания, относящиеся только к основным наименованиям или объектам, среди элементов высказывания, извлеченных из речи пользователя. В соответствии с этим устройство 130 управления формирует первое и второе сообщения 510 и 520 обеспечения замещающей информации на основе основных наименований или объектов, принятых от второго сервера 20, и управляет устройством 140 вывода для вывода сформированных первого и второго сообщений 510 и 520 обеспечения замещающей информации в виде речи или изображения. Таким образом, устройство 140 вывода может выдать сформированные первое и второе сообщения 510 и 520 обеспечения замещающей информации в виде речи или изображения по меньшей мере через одно устройство из устройства 141 отображения и устройства 143 вывода звука.
[111] В состоянии, в котором выдано сообщение обеспечения замещающей информации, когда принимается команда пользователя, относящаяся к обеспечению замещающей информации, устройство 130 управления может управлять устройством 140 вывода для приема и вывода замещающей ответной информации, относящейся к речи пользователя, по меньшей мере один сервер из веб-сервера 300 и сервера 400 SNS.
[112] Когда от пользователя принята команда пользователя для выполнения веб-поиска, устройство 130 управления принимает информацию результата веб-поиска от веб-сервера 300 на основе элементов высказывания, относящихся к основным наименованиям или объектам, принятых от второго сервера 20. После приема информации результата веб-поиска устройство 140 вывода, в зависимости от команды управления устройства 130 управления, выдает информацию результата веб-поиска в виде изображения или речи по меньшей мере через одно устройство из устройства 141 отображения и устройства 143 вывода звука.
[113] После приема от пользователя команды пользователя для SNS устройство 130 управления формирует сообщение запроса ответа на основе элементов высказывания, относящихся к основным наименованиям или объектам, принятых от второго сервера 20. Затем устройство 130 управления отправляет сообщение запроса ответа серверу 400 SNS для обеспечения SNS через устройство 110 связи и принимает ответное сообщение, относящееся к сообщению запроса ответа, от сервера 400 SNS. В соответствии с вариантом осуществления настоящего раскрытия устройство 130 управления может отправить сообщение запроса ответа серверу 400 SNS через учетную запись SNS пользователя и принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, соединенной с учетной записью SNS пользователя, от сервера 400 SNS.
[114] В соответствии с другим вариантом осуществления настоящего раскрытия устройство 130 управления может принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, выбранной пользователем среди учетных записей SNS, соединенных с учетной записью SNS пользователя. Если имеется учетная запись SNS, выбранная пользователем среди учетных записей SNS, соединенных с учетной записью SNS пользователя, устройство 130 управления может запросить сервер 400 SNS отправить сообщение запроса ответа в учетную запись SNS, выбранную пользователем. В соответствии с этим, сервер 400 SNS отправляет сообщение запроса ответа в учетную запись SNS, выбранную пользователем. Когда ответное сообщение, относящееся к сообщению запроса ответа, принято из учетной записи SNS, сервер 400 SNS отправляет его устройству 100 отображения. Таким образом, устройство 130 управления может принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, выбранной пользователем.
[115] Фиг. 6 является иллюстративной схемой, демонстрирующей устройство отображения в соответствии с вариантом осуществления настоящего раскрытия, которое обеспечивает ответные сообщения, относящиеся к речи пользователя, через SNS.
[116] Как проиллюстрировано на фиг. 6, устройство 140 вывода в соответствии с командой управления устройства 130 управления может выдать ответное сообщение, принятое от сервера 400 SNS, в виде изображения текста через устройство 141 отображения. Устройство 130 управления может принять ответные сообщения из учетных записей SNS первого и второго пользователей среди множества учетных записей SNS, соединенных с учетной записью SNS пользователя, через сервер 400 SNS. После приема ответных сообщений из учетных записей SNS первого и второго пользователей устройство 140 вывода в соответствии с командой управления устройства 130 управления выдает ответные сообщения, принятые из учетных записей SNS первого и второго пользователей по меньшей мере через одно устройство из устройства 141 отображения и устройства 143 вывода звука.
[117] Как проиллюстрировано на фиг. 6, когда из учетной записи SNS первого пользователя через сервер 400 SNS принято ответное сообщение "Ты говоришь, что Но Хон Чхоль ушел?", устройство 141 отображения выдает на экран первое ответное сообщение 620 "Отправитель: первый пользователь" и "Ты говоришь, что Но Хон Чхоль ушел?". Затем, когда через сервер 400 SNS из учетной записи SNS второго пользователя принято ответное сообщение "Я не знаю…", устройство 141 отображения выдает на экран второе ответное сообщение 630 "Отправитель: второй пользователь" и "Я не знаю…".
[118] Если у пользователя нет учетной записи SNS, устройство 130 управления может принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, соединенной с предопределенной общедоступной учетной записью SNS. Сообщение запроса ответа, которое отправлено в сервер 400 SNS, может включать в себя информацию пользователя, чтобы идентифицировать, зарегистрирована ли учетная запись SNS пользователя. В соответствии с этим после приема сообщения запроса ответа сервер 400 SNS проверяет, зарегистрирована ли учетная запись SNS соответствующего пользователя, со обращаясь к информации пользователя, включенной в принятое сообщение запроса ответа. На основе результата проверки, если учетная запись SNS пользователя не зарегистрирована, сервер 400 SNS отправляет сообщение запроса ответа в учетную запись SNS, соединенную с общедоступной учетной записью SNS, через предопределенную общедоступную учетную запись SNS. После приема ответного сообщения, относящегося к сообщению запроса ответа, от соединенной учетной записи SNS, ответное сообщение отправляется устройству 100 отображения.
[119] В соответствии с командой управления устройства 130 управления устройство 140 вывода может выдать ответное сообщение, принятое от сервера 400 SNS, в виде изображения текста через устройство 141 отображения. Как проиллюстрировано на фиг. 6, устройство 141 отображения выдает третье ответное сообщение 640 "Отправитель: Самсунг" и "Это Джил и Парк Юн Янг".
[120] После приема ответного сообщения через сервер 400 SNS из учетной записи SNS, соединенной с учетной записью SNS пользователя или с общедоступной учетной записью SNS, устройство 130 управления может управлять устройством 140 вывода для вывода информации уведомления, указывающей, что ответное сообщение было принято. В соответствии с этим устройство 140 вывода в соответствии с командой управления устройства 130 управления может выдать информацию уведомлении, чтобы уведомить о приеме ответного сообщения в виде речи через устройство 143 вывода звука.
[121] Однако настоящее раскрытие не ограничено описанными выше вариантами осуществления. Когда ответное сообщение принято через сервер 400 SNS из учетной записи SNS, соединенной с учетной записью SNS пользователя или общедоступной учетной записью SNS, устройство 130 управления может управлять устройством 140 вывода для выделения и вывода принятого ответного сообщения. В соответствии с этим устройство 140 вывода в соответствии с командой управления устройства 130 управления может выделить и выдать ответное сообщение, которое принято в настоящий момент, среди ответных сообщений, выданных на изображении на экране через устройство 141 отображения.
[122] На фиг. 6 устройство 141 отображения отображает метку 610 "Ожидание ответа" вверху экрана, пока принимается ответное сообщение из учетной записи SNS, соединенной с учетной записью SNS пользователя или общедоступной учетной записью SNS, через сервер 400 SNS. Пока отображается метка 610, устройство 141 отображения может принять ответное сообщение из учетной записи SNS, соединенной с учетной записью SNS пользователя или общедоступной учетной записью SNS, через сервер 400 SNS.
[123] Если среди ответных сообщений, выведенных на экран, имеется ответное сообщение, которое нужно пользователю, пользователь может прекратить принимать ответные сообщения. Если принята команда пользователя, устройство 130 управления формирует сообщение запроса остановки приема для SNS и отправляет сформированное сообщение запроса остановки приема серверу 400 SNS. В соответствии с этим с момента времени приема сообщения запроса остановки приема сервер 400 SNS заканчивает передачу ответного сообщения, принятого из учетной записи SNS, соединенной с учетной записью SNS пользователя или общедоступной учетной записью SNS.
[124] Далее будет разъяснена подробная конфигурация описанного выше устройства 100 отображения.
[125] Фиг. 7 является блок-схемой для разъяснения подробной конфигурации устройства отображения в соответствии с вариантом осуществления настоящего раскрытия.
[126] Как проиллюстрировано на фиг. 7, в дополнение к компонентам на фиг. 4, устройство 100 отображения может дополнительно включать в себя устройство 160 фотосъемки, устройство 170 ввода, блок 180 приема и устройство 190 обработки сигналов. Компоненты на фиг. 6, которые совпадают с компонентами на фиг. 5, имеют такие же функции. Таким образом, подробные описания будут опущены.
[127] Устройство 160 фотосъемки фотографирует лицо пользователя, чтобы сформировать изображение лица. Описанное выше устройство 150 хранения также может сопоставлять изображения лица пользователей и информацию пользователя. Затем устройство 150 хранения может сохранять изображения лица пользователя и информацию пользователя. В соответствии с этим после формирования изображения лица пользователя, захваченного через устройство 160 фотосъемки, устройство 130 управления получает информацию пользователя, которая будет сопоставлена со сформированным изображением лица, от устройства 150 хранения. Затем устройство 130 управления может отправить полученную информацию пользователя и текстовую информацию для речи пользователя второму серверу 20.
[128] В соответствии с этим, когда элемент высказывания, извлеченный из принятой текстовой информации для речи пользователя, является ненормативным элементом высказывания, второй сервер 20 определяет, следует ли сформировать ответную информацию, соответствующую речи пользователя, на основе принятой информации пользователя. Затем, в зависимости от результата определения, второй сервер 20 формирует ответную информацию, соответствующую речи пользователя, или сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя. Затем второй сервер 20 отправляет ответную информацию или сообщение о невозможности предоставления ответа устройству 100 отображения. Таким образом, как описано выше, устройство 130 управления выполняет функцию на основе ответной информации, соответствующей речи пользователя, принятой от второго сервера 20, или управляет устройством 140 вывода для вывода сообщения уведомления, например, "Ненормативная лексика. Пожалуйста, повторите ввод" в виде речи и/или изображения на основе сообщения о невозможности предоставления ответной информации.
[129] Устройство 170 ввода представляет собой средство ввода, которое принимает различные манипуляции пользователя и отправляет их устройству 130 управления. Устройство 170 ввода может быть реализовано как панель ввода. Панель ввода может быть выполнена как сенсорная панель, например, клавишная панель, включающая в себя различные функциональные клавиши, цифровые клавиши, специальные ключи, клавиши символов и т.д., или сенсорный экран. Кроме того, устройство 170 ввода может быть реализовано как блок приема инфракрасного (IR) света (не проиллюстрирован) для получения удаленного сигнала, переданного от пульта дистанционного управления для управления устройством 100 отображения.
[130] Устройство 170 ввода может принимать различные операции пользователя для управления функциями устройства 100 отображения. Например, если устройство 100 отображения реализовано как интеллектуальный телевизор, устройство 170 ввода может принимать операции пользователя для управления функциями интеллектуального телевизора, например, включением/выключением питания, переключением каналов, изменением громкости и т.д. Когда операции пользователя вводятся через устройство 170 ввода, устройство 130 управления может управлять другими компонентами для выполнения различных функций, соответствующих операциям пользователя, которые введены через устройство 170 ввода. Например, когда введена команда выключения питания, устройство 130 управления может отключить питание, которое подается на каждый из компонентов устройства 100 отображения. Когда введена команда переключения каналов, устройство 130 управления может управлять блоком 180 приема, чтобы настроиться на канал, выбранный операцией пользователя.
[131] Кроме того, устройство 170 ввода принимает команду пользователя для запуска режима распознавания речи для сбора речи пользователя. После ввода команды пользователя для запуска режима распознавания речи через устройство 170 ввода устройство 130 управления может активировать устройство 120 сбора речи и собрать речь пользователя, произнесенную в пределах предопределенного расстояния.
[132] Описанное выше устройство 150 хранения представляет собой запоминающий носитель, в котором хранятся различные программы, необходимые для работы устройства 100 отображения, и может быть реализован как запоминающее устройство, жесткий диск (HDD) и т.д. Например, устройство 150 хранения может включать в себя по меньшей мере одно постоянное запоминающее устройство (ПЗУ; ROM) для хранения программ для выполнения работы устройства 130 управления, по меньшей мере одно оперативное запоминающее устройство (ОЗУ; RAM) для временного хранения данных, сформированных в соответствии с работой, выполняемой устройством 130 управления, и т.д. Кроме того, устройство 150 хранения может дополнительно включать в себя по меньшей мере одно электрически стираемое программируемое постоянное запоминающее устройство (ЭСППЗУ; EEPROM) для хранения различных справочных данных и т.д.
[133] Устройство 150 хранения может хранить различные ответные сообщения, подходящие для речи пользователя, в виде речевой или текстовой информации. Затем устройство 130 управления может считывать речевую информацию или текстовую информацию для ответного сообщения, подходящего для речи пользователя, из устройства 150 хранения. Устройство 130 управления может выдавать речевую информацию или текстовую информацию по меньшей мере через одно устройство из устройства 141 отображения и устройства 143 вывода звука. Более подробно, при выводе ответного сообщения, подходящего для речи пользователя, в речевой форме устройство 130 управления может выполнить обработку сигналов, например, декодирование и т.д., речевой информации, считанной из устройства 150 хранения, усилить декодированные речевые данные и выдать декодированные речевые данные через устройство 143 вывода звука. Кроме того, при выводе ответного сообщения, подходящего для речи пользователя, в текстовой форме устройство 130 управления может выполнить обработку сигналов, например, декодирование, и т.д., текстовой информации, считанной из устройства 150 хранения, сформировать экран пользовательского интерфейса, в который выключены тексты, формирующие текстовую информацию, выдать тексты через устройство 141 отображения.
[134] Однако настоящее раскрытие не ограничено. Устройство 130 управления может выполнить операцию обработки для ответного сообщения, включенного в ответную информацию, принятую от второго сервера 20, и выдать ответное сообщение в виде текстового изображения или речи по меньшей мере через одно устройство из устройства 141 отображения и устройства 143 вывода звука.
[135] Блок 180 приема принимает информационное содержание, относящееся к передачам вещания, через широковещательную сеть. Более подробно, блок 180 приема может принимать информационное содержание от станций вещания, передающих информационное содержание, относящееся к передачам вещания, через широковещательную сеть или веб-серверы, которые передают файлы с информационным содержанием через Интернет. Кроме того, блок 180 приема может принимать информационное содержание от различных устройств воспроизведения носителей записи, которые обеспечены в пределах устройства 100 отображения или соединены с устройством 100 отображения. Устройства воспроизведения носителей записи относятся к устройствам, которые воспроизводят информационное содержание, сохраненное на носителях записи различных типов, например, CD, DVD, жесткие диски, диски Blue-ray, карты памяти, запоминающие устройства USB и т.д.
[136] При приеме информационного содержания от радиостанций блок 180 приема может быть реализован в конфигурации, включающей в себя селектор каналов (не проиллюстрирован), демодулятор (не проиллюстрирован), эквалайзер (не иллюстрирован) и т.д. При приеме информационного содержания от устройства источника, например веб-сервера, блок 180 приема может быть реализован как сетевая карта (не проиллюстрирована). Кроме того, в случае вариантов осуществления, которые принимают информационное содержание от различных устройств воспроизведения носителей записи, блок 180 приема может быть реализован как интерфейсный блок (не проиллюстрирован), соединенный с устройством воспроизведения носителей записи. Как описано выше, в соответствии с вариантами осуществления блок 180 приема может быть реализован в различных формах.
[137] Устройство 190 обработки сигналов выполняет обработку сигналов для информационного содержания таким образом, что информационное содержание, принятое через блок 180 приема, может быть выдано через устройство 140 вывода. Устройство 190 обработки сигналов выполняет обработку сигналов, например декодирование, масштабирование, изменение частоты кадров и т.д., для видеосигналов, чтобы видеосигналы, включенные в информационное содержание, могли быть выданы в виде, в котором они могут быть выданы на устройстве 141 отображения. Кроме того, устройство 190 обработки сигналов выполняет обработку сигналов, например декодирование и т.д., аудиосигналов, чтобы аудиосигналы, включенные в информационное содержание, могли быть выданы в виде, в котором они могут быть выданы через устройство 143 вывода звука. Затем устройство 141 отображения и устройство 143 вывода звука могут выдать видеосигналы и аудиосигналы, включенные в информационное содержание, обработанные устройством 190 обработки сигналов.
[138] Были разъяснены функции устройства 100 отображения в соответствии с вариантом осуществления настоящего раскрытия, которое принимает ответную информацию, подходящую для речи пользователя, через интерактивный сервер 200, включающий в себя первый и второй серверы 10 и 20, и выполняет соответствующие операции. Далее будет разъяснена работа второго сервера 20 интерактивного сервера 200 в соответствии с вариантом осуществления настоящего раскрытия, которое формирует ответную информацию, подходящую для речи пользователя, принятую через устройство 100 отображения, и отправляет ответную информацию устройству 100 отображения.
[139] Фиг. 8 является блок-схемой, иллюстрирующей интерактивный сервер в соответствии с вариантом осуществления настоящего раскрытия.
[140] Интерактивный сервер, как проиллюстрировано на фиг. 8, представляет собой описанный выше второй сервер 20 и является сервером, который принимает речь пользователя, преобразованную в текстовую информацию через первый сервер 10, от устройства 100 отображения, извлекает элементы высказывания из принятой текстовой информации для речи пользователя и отправляет ответную информацию, подходящую для речи пользователя, устройству 100 отображения. Интерактивный сервер включает в себя устройство 810 связи, устройство 820 извлечения, устройство 830 хранения и устройство 840 управления.
[141] Устройство 810 связи выполняет связь с устройством 100 отображения, и устройство 820 извлечения извлекает элементы высказывания из речи пользователя, принятой от устройства 100 отображения через устройства 810 связи. Как описано выше, устройство 820 извлечения после приема текстовой информации для речи пользователя может извлечь элементы высказывания, включающие в себя действие диалога, главную цель и базовый элемент, из принятой текстовой информации. Подробные описания элементов высказывания в дальнейшем будут опущены.
[142] Устройство 830 хранения хранит информацию дискурсной истории речи пользователя и информацию EPG. Устройство 840 управления формирует ответную информацию, соответствующую речи пользователя, в различных формах на основе функций, которые классифицированы в зависимости от элементов высказывания для речи пользователя, извлеченной через устройство 820 извлечения. Затем устройство 840 управления отправляет ответную информацию устройству 100 отображения. Функции, классифицированные в зависимости от элементов высказывания, могут включать в себя по меньшей мере одну из функций, относящихся к EPG, и функций управления устройства 100 отображения. В зависимости от элементов высказывания, извлеченных из речи пользователя, устройство 840 управления определяет, относится ли речь пользователя к EPG к функциональному управлению устройства 100 отображения. Устройство 840 управления может сформировать ответную информацию, соответствующую речи пользователя, в соответствии с результатом определения.
[143] Когда элемент высказывания, извлеченный из речи пользователя, является элементом высказывания, относящимся к EPG, устройство 840 управления определяет, может ли информация EPG, соответствующая речи пользователя, быть предоставлена на основе информации EPG, предварительно сохраненной в устройстве 830 хранения. На основе результата определения, если информация EPG может быть предоставлена, устройство 840 управления формирует ответную информацию, соответствующую речи пользователя, на основе информации EPG.
[144] Например, если речь пользователя представляет собой "Записать (название передачи вещания), которая передается на этой неделе", устройство 820 извлечения может извлечь элементы высказывания "на этой неделе", "(название передачи вещания)", "записать". После извлечения элементов высказывания устройство 840 управления может получить информацию о передаче и информацию времени начала для (название передачи вещания) из информации EPG, хранящейся в устройстве 830 хранения. В соответствии с этим устройство 840 управления может сформировать ответную информацию, включающую в себя команду управления, относящуюся к запланированной записи для (название передачи вещания), сформированную на основе полученной информации о передаче и информации времени начала, и ответное сообщение, сформированное на основе информации истории дискурса, предварительно сохраненной в устройстве 830 хранения. После формирования ответной информации, соответствующей речи пользователя, устройство 840 управления отправляет ее устройству 100 отображения через устройство 810 связи. В соответствии с этим устройство 100 отображения может выполнить по меньшей мере одно действие из выдачи ответного сообщения и выполнения функции, соответствующей речи пользователя, на основе принятой ответной информации.
[145] На основе результата определения, если невозможно предоставить информацию EPG, устройство 840 управления формирует сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя.
[146] Например, если речь пользователя представляет собой "Кто герой в (название передачи вещания)?", устройство 820 извлечения может извлечь элементы высказывания "(название передачи вещания)", "герой", "кто". После извлечения элементов высказывания устройство 840 управления проверяет, имеется ли информация о герое для (название передачи вещания) в информации EPG, хранящейся в устройстве 830 хранения. На основе результата проверки, если невозможно получить информацию о герое для (название передачи вещания) из предварительно сохраненной информации EPG, устройство 840 управления может сформировать сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя.
[147] В качестве другого примера, относящегося к формированию сообщения о невозможности предоставления ответной информации, когда элементы высказывания, извлеченные из речи пользователя, являются ненормативными запрещенными словами, например, оскорбительной бранью, запрещенными наркотиками и т.д., устройство 840 управления может сформировать сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя.
[148] Когда сформирована ответная информация, соответствующая речи пользователя, или сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя, устройство 840 управления отправляет ответную информацию устройству 100 отображения через устройство 810 связи. Кроме того, устройство 840 управления может отправить элементы высказывания, относящиеся к основным наименованиям или объектам, среди элементов высказывания, извлеченных из речи пользователя, устройству 100 отображения. Устройство 100 отображения может принять информацию результата веб-поиска и/или ответное сообщение на основе принятых элементов высказывания через веб-сервер и сервер SNS. Затем устройство 100 отображения может выдать информацию результата веб-поиска и/или ответное сообщение в виде речи и/или изображения.
[149] Была разъяснена конфигурация интерактивного сервера в соответствии с вариантом осуществления настоящего раскрытия, который обеспечивает подходящую для речи пользователя ответную информацию. Далее будет разъяснен способ выполнения операций на основе ответной информации, подходящей для речи пользователя, в описанном выше устройстве отображения.
[150] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ приема ответной информации, подходящей для речи пользователя, в устройстве отображения в соответствии с вариантом осуществления настоящего раскрытия.
[151] После ввода команды пользователя для запуска режима распознавания речи от пользователя устройство отображения входит в режим распознавания речи. Режим распознавания речи может распознавать речь пользователя в зависимости от входной команды пользователя (S910). После входа в режим распознавания речи устройство отображения принимает речь пользователя от пользователя. Когда речь пользователя введена, устройство отображения собирает введенную речь пользователя и преобразовывает собранную речь пользователя в цифровые сигналы (S920 и S930). Затем устройство отображения отправляет речь пользователя, преобразованную в цифровые сигналы, первому серверу (S940). Первый сервер может являться сервером, который преобразовывает речь пользователя, которая была преобразована в цифровой сигнал, в текстовую информацию. После приема текстовой информации для речи пользователя от первого сервера устройство отображения отправляет принятую текстовую информацию для речи пользователя второму серверу (S950). Второй сервер может являться сервером, который формирует ответную информацию, подходящую для речи пользователя, в зависимости от элемента высказывания, извлеченного из речи пользователя.
[152] После приема ответной информации, соответствующей речи пользователя, от интерактивного сервера устройство отображения выполняет функции, соответствующие речи пользователя, на основе принятой ответной информации (S960). Ответная информация может быть сформирована в различных формах, в зависимости от функций, классифицированных на основе элемента высказывания, извлеченного из речи пользователя. Функция, классифицированная на основе извлеченного элемента высказывания, может включать в себя по меньшей мере одну из функций, относящихся к EPG, и функций, относящихся к функциональному управлению устройства отображения. Например, если элемент высказывания, извлеченный из речи пользователя, является элементом высказывания, относящимся к передаче вещания, ответная информация может представлять собой функцию, относящуюся к EPG. Если элемент высказывания является элементом высказывания, относящимся к включению/выключению питания, переключению каналов, изменению громкости и т.д. устройства отображения, ответная информация может представлять собой функцию, относящуюся к функциональному управлению устройства отображения. Затем, после приема ответной информации от второго сервера, устройство отображения может выдать ответное сообщение, включенное в принятую ответную информацию, в виде речи или изображения. Устройство отображения может выполнить операцию для выполнения функции устройства отображения, в зависимости от команды управления, включенной в ответную информацию, принятую от второго сервера.
[153] Если принято сообщение о невозможности предоставления ответной информации, соответствующей речи пользователя, на основе элемента высказывания, извлеченного из речи пользователя, устройство отображения принимает замещающую ответную информацию посредством веб-поиска и/или SNS. Затем устройство отображения выдает замещающую ответную информацию в виде изображения и речи.
[154] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей способ обеспечения замещающей ответной информации, относящейся к речи пользователя, в устройстве отображения в соответствии с вариантом осуществления настоящего раскрытия.
[155] Как проиллюстрировано на фиг. 10, устройство отображения проверяет, принята ли от второго сервера 20 ответная информация, соответствующая речи пользователя (S1010). На основе результата проверки, если от второго сервера 20 принята ответная информация, соответствующая речи пользователя, устройство отображения выдает ответное сообщение в виде речи и/или изображения или выполняет операции для исполнения функций устройства отображения на основе принятой ответной информации (S1020).
[156] На основе результата проверки, если второго сервера 20 принято сообщение о невозможности предоставления ответа для ответной информации, соответствующей речи пользователя, устройство отображения выдает сообщение уведомления, например, "Функция не может быть выполнена" или "Ненормативная лексика. Пожалуйста, повторите ввод", в виде речи и/или изображения текста (S1030). После выдачи сообщения устройство отображения выдает сообщение обеспечения замещающей информации в виде речи и/или изображения, чтобы предоставить замещающую информацию посредством веб-поиска и/или SNS.
[157] Как описано со ссылкой на фиг. 5, устройство отображения выдает сообщение уведомления на основе сообщения о невозможности предоставления ответа, принятого от второго сервера 20. Устройство отображения может выдать первое сообщение 510 обеспечения замещающей информации, относящееся к веб-поиску, "Хотите выполнить веб-поиск для ((название передачи вещания), Но Хон Чхоль)?" и второе сообщение 520 обеспечения замещающей информации, относящееся к SNS, "Хотите спросить у Ваших друзей в SNS?" в виде текста а экране. Затем устройство 143 вывода звука может выдать первое сообщение 510 обеспечения замещающей информации, относящееся к веб-поиску, "Хотите выполнить веб-поиск для ((название передачи вещания), Но Хон Чхоль)?" и второе сообщение 520 обеспечения замещающей информации, относящееся к SNS, "Хотите спросить у Ваших друзей в SNS?" в звуковой форме речи через динамик (не проиллюстрирован).
[158] Когда сообщение обеспечения замещающей информации выдано, устройство отображения проверяет, принята ли от пользователя команда пользователя, относящаяся к обеспечению замещающей информации (S1040). На основе результата проверки, если от пользователя принята команда пользователя для выполнения веб-поиска, устройство отображения принимает информацию результата веб-поиска от веб-сервера 300 на основе элемента высказывания, относящегося к основным наименованиям или объектам, принятым от второго сервера 20. Затем устройство отображения выдает информацию результата веб-поиска в виде изображения и/или речи (S1050).
[159] Если команда пользователя для SNS проверена и принята от пользователя на этапе 1040, устройство отображения формирует сообщение запроса ответа на основе элементов высказывания, относящихся к основным наименованиям или объектам, принятым от второго сервера 20. Затем устройство отображения отправляет сообщение запроса ответа серверу 400 SNS для обеспечения SNS. Устройство отображения принимает ответное сообщение, относящееся к сообщению запроса ответа, от сервера 400 SNS. Затем устройство отображения выдает принятое ответное сообщение в виде изображения и/или речи (S1060).
[160] В соответствии с вариантом осуществления устройство отображения отправляет сообщение запроса ответа серверу 400 SNS через учетную запись SNS пользователя. Затем устройство отображения может принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, соединенной с учетной записью SNS пользователя, от сервера 400 SNS.
[161] В соответствии с другим вариантом осуществления устройство отображения может принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, выбранной пользователем, среди учетных записей SNS, соединенных с учетной записью SNS пользователя. Когда имеется учетная запись SNS, выбранная пользователем, среди учетных записей SNS, соединенных с учетной записью SNS пользователя, устройство отображения может запросить сервер 400 SNS отправить сообщение запроса ответа в учетную запись SNS, выбранную пользователем. Затем сервер 400 SNS отправляет сообщение запроса ответа в учетную запись SNS, выбранную пользователем. Когда ответное сообщение, относящееся к сообщению запроса ответа, принято из соответствующей учетной записи SNS, сервер 400 SNS отправляет ответное сообщение устройству 100 отображения. В соответствии с этим устройство отображения может принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, выбранной пользователем.
[162] Как проиллюстрировано на фиг. 6, если ответное сообщение, относящееся к сообщению запроса ответа, принято по меньшей мере из одной учетной записи SNS среди учетных записей SNS, соединенных с учетной записью SNS пользователя, то устройство отображения может выдать принятое ответное сообщение на экран. Как описано со ссылкой на фиг. 6, устройство отображения может принять ответные сообщения из учетных записей SNS первого и второго пользователей среди множества учетных записей SNS, соединенных с учетной записью SNS пользователя через сервер 400 SNS. Ответное сообщение "Ты говоришь, что Но Хон Чхоль ушел?" может быть принято из учетной записи SNS первого пользователя, и ответное сообщение "Я не знаю…" может быть принято из учетной записи SNS второго пользователя.
[163] Устройство отображения может выдать на экран первое ответное сообщение 620 "Отправитель: первый пользователь" и "Ты говоришь, что Но Хон Чхоль ушел?" и второе ответное сообщение 630 "Отправитель: второй пользователь" и "Я не знаю…".
[164] Если у пользователя нет учетной записи SNS, устройство отображения может принять ответное сообщение, относящееся к сообщению запроса ответа, из учетной записи SNS, соединенной с предопределенной общедоступной учетной записью SNS. Сообщение запроса ответа, отправленное серверу 400 SNS, может включать в себя информацию пользователя, чтобы идентифицировать, зарегистрирована ли учетная запись SNS пользователя. В соответствии с этим после приема сообщения запроса ответа от устройства отображения сервер 400 SNS проверяет, зарегистрирована ли учетная запись SNS соответствующего пользователя, обращаясь к информации пользователя, включенной в принятое сообщение запроса ответа. На основе результата проверки, если проверено, что учетная запись SNS пользователя не зарегистрирована, сервер 400 SNS отправляет сообщение запроса ответа в учетную запись SNS, соединенную с общедоступной учетной записью SNS, через предопределенную общедоступную учетную запись SNS. Затем после приема ответного сообщения из учетной записи SNS, в которую было отправлено сообщение запроса ответа, сервер 400 SNS отправляет принятое ответное сообщение устройству отображения.
[165] Как проиллюстрировано на фиг. 6, когда отправлено сообщение запроса ответа, и ответное сообщение, соответствующее сообщению запроса ответа, принято через общедоступную учетную запись SNS, устройство отображения выдает на экран третье ответное сообщение 640 "Отправитель: Самсунг" и "Это Джил и Парк Юн Янг".
[166] Если ответное сообщение принято из учетной записи SNS, соединенной с учетной записью SNS пользователя, или из общедоступной учетной записи SNS через сервер 400 SNS, устройство отображения может не только выдать на экран принятое ответное сообщение, но и также может выдать информацию уведомления в виде речи, указывающее, что было принято ответное сообщение. Если ответное сообщение принято из учетной записи SNS, соединенной с учетной записью SNS пользователя, или из общедоступной учетной записью SNS через сервер 400 SNS, устройство отображения может выделить и выдать принятое ответное сообщение.
[167] В устройстве отображения, которое принимает ответное сообщение, относящееся к речи пользователя, через SNS в соответствии с командой пользователя, когда принята команда пользователя, относящаяся к остановке приема ответного сообщения, устройство отображения формирует сообщение запроса остановки приема для SNS и отправляет сообщение запроса остановки приема серверу 400 SNS. В соответствии с этим с момента приема сообщения запроса остановки приема сервер 400 SNS заканчивает передачу для ответного сообщения, принятого от учетной записи SNS, соединенной с учетной записью SNS пользователя, или от общедоступной учетной записи SNS.
[168] Были описаны иллюстративные варианты осуществления настоящего раскрытия. Устройство 120 сбора речи может включать в себя диктофон, микрофон и т. д. Однако устройство 120 сбора речи не ограничено и может включать в себя любые аппаратные средства для сбора речи пользователя. Устройство 110 связи может включать в себя беспроводной маршрутизатор, аппаратную схему или любой аппаратный модуль для выполнения мобильной связи с внешними сетями. Устройство 130 управления может включать в себя процессор для управления операцией, соответствующей речи пользователя. Устройство 140 вывода может включать в себя любые аппаратные средства для вывода изображения и речи.
[169] Хотя были описаны варианты осуществления настоящего раскрытия, специалисты в области техники могут придумать дополнительные изменения и модификации вариантов осуществления. Таким образом, предполагается, что приложенная формула изобретения должна рассматриваться как включающая в себя и описанные выше варианты осуществления, и все такие изменения и модификации, которые находятся в пределах сущности и объема вариантов осуществления.
| название | год | авторы | номер документа |
|---|---|---|---|
| СВЯЗЫВАНИЕ УСТРОЙСТВ | 2012 |
|
RU2631137C2 |
| СПОСОБ И ТЕРМИНАЛ ДЛЯ РЕДАКТИРОВАНИЯ ИНФОРМАЦИИ В ПРИЛОЖЕНИЯХ СЛУЖБЫ СОЦИАЛЬНОЙ СЕТИ | 2013 |
|
RU2609759C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ ПРЕДОСТАВЛЕНИЯ ПАНЕЛИ РЕКОМЕНДАЦИЙ, А ТАКЖЕ СПОСОБ И СЕРВЕР ДЛЯ ПРЕДОСТАВЛЕНИЯ РЕКОМЕНДУЕМОГО ПУНКТА | 2014 |
|
RU2636124C2 |
| БЕСПРОВОДНОЙ ТЕРМИНАЛ, СЕРВЕР АДМИНИСТРИРОВАНИЯ, СЕРВЕР ИНТЕРПРЕТАЦИИ НАМЕРЕНИЙ, СПОСОБ УПРАВЛЕНИЯ ИМИ И ПРОГРАММА | 2018 |
|
RU2750623C1 |
| Системы и способы создания и обновления динамических электронных задач на электронной доске сообщений | 2019 |
|
RU2793963C2 |
| КОНТРОЛЛЕР КОММУТАЦИИ ДЛЯ РАСПРЕДЕЛЕНИЯ ГОЛОСОВЫХ ПАКЕТОВ | 2016 |
|
RU2700272C2 |
| ПЕРЕВОДЧЕСКИЙ СЕРВИС НА БАЗЕ ЭЛЕКТРОННОГО СООБЩЕСТВА | 2015 |
|
RU2604984C1 |
| СПОСОБ И СИСТЕМА ДЛЯ СВЯЗИ МЕЖДУ ПОЛЬЗОВАТЕЛЯМИ И КОМПЬЮТЕРНЫМИ СИСТЕМАМИ | 2015 |
|
RU2695530C1 |
| СПОСОБ И СИСТЕМА ДЛЯ ОСУЩЕСТВЛЕНИЯ ПОСРЕДНИЧЕСТВА МЕЖДУ ВЕБ-САЙТОМ КОНТЕНТ-ПРОВАЙДЕРА И МОБИЛЬНЫМ УСТРОЙСТВОМ | 2010 |
|
RU2549173C2 |
| СПОСОБЫ И СИСТЕМЫ ДЛЯ ФИНАНСОВЫХ ТРАНЗАКЦИЙ В СРЕДЕ МОБИЛЬНОЙ СВЯЗИ | 2012 |
|
RU2520410C2 |
Изобретение относится к устройству отображения, интерактивному серверу и способу обеспечения ответной информации. Техническим результатом является повышение точности ответной информации относительно различной высказанной речи пользователя. Предложенное устройство отображения включает в себя устройство сбора речи, которое собирает речь пользователя, устройство связи, которое выполняет связь с интерактивным сервером, и устройство управления, которое, когда от интерактивного сервера принята ответная информация, соответствующая речи пользователя, отправленной интерактивному серверу, выполняет управление для выполнения функции, соответствующей ответной информации, и устройство управления управляет устройством связи для приема замещающей ответной информации, относящейся к речи пользователя, посредством веб-поиска и службы социальной сети (SNS). 2 н. и 13 з.п. ф-лы, 10 ил.
1. Устройство отображения, содержащее:
устройство сбора речи, которое собирает речь пользователя;
устройство связи, которое выполняет связь с интерактивным сервером; и
устройство управления, которое, когда от интерактивного сервера принята ответная информация, соответствующая речи пользователя, отправленной в интерактивный сервер, выполняет управление для выполнения функции устройства отображения, соответствующей ответной информации,
причем устройство управления, когда интерактивный сервер не может предоставить ответную информацию, соответствующую речи пользователя, управляет устройством связи для приема замещающей ответной информации, относящейся к речи пользователя, посредством веб-поиска и службы социальной сети (SNS).
2. Устройство отображения по п. 1, дополнительно содержащее:
устройство вывода;
причем когда от интерактивного сервера принят элемент высказывания, включенный в речь пользователя, с сообщением о невозможности предоставления ответной информации, соответствующей речи пользователя, устройство управления управляет устройством вывода для приема и выдачи замещающей ответной информации, относящейся к этому элементу высказывания, посредством веб-поиска и службы социальной сети.
3. Устройство отображения по п. 2, в котором
когда принята команда пользователя для выполнения веб-поиска, устройство управления принимает и выдает результат веб-поиска на основе упомянутого элемента высказывания.
4. Устройство отображения по п. 2, в котором
когда принята команда пользователя для службы социальной сети, устройство управления формирует сообщение запроса ответа на основе упомянутого элемента высказывания, отправляет сообщение запроса ответа в сервер службы социальной сети (SNS), который предоставляет службу социальной сети, и принимает и выдает ответное сообщение, соответствующее сообщению запроса ответа, от сервера SNS.
5. Устройство отображения по п. 4, в котором, в зависимости от команды пользователя, устройство управления отправляет сообщение запроса ответа в учетную запись службы социальной сети (SNS) пользователя и принимает и выдает ответное сообщение из учетной записи SNS, связанной с учетной записью SNS пользователя.
6. Устройство отображения по п. 4, в котором, в зависимости от команды пользователя, устройство управления отправляет сообщение запроса ответа в учетную запись службы социальной сети (SNS), выбранную среди учетных записей SNS, связанных с учетной записью SNS пользователя, и принимает и выдает ответное сообщение из выбранной учетной записи SNS.
7. Устройство отображения по п. 4, в котором, в зависимости от команды пользователя, устройство управления отправляет сообщение запроса ответа в заранее определенную общедоступную учетную запись SNS и принимает и выдает ответное сообщение из учетной записи SNS, связанной с этой заранее определенной общедоступной учетной записью SNS.
8. Устройство отображения по п. 4, в котором, когда принято ответное сообщение, устройство управления выдает информацию уведомления, указывающую, что было принято ответное сообщение.
9. Устройство отображения по п. 1, в котором интерактивный сервер содержит:
первый сервер, который преобразует собранную речь пользователя в текстовую информацию; и
второй сервер, который формирует ответную информацию, соответствующую собранной речи пользователя, которая была преобразована в текстовую информацию,
причем устройство управления преобразует собранную речь пользователя в цифровой сигнал, отправляет цифровой сигнал в первый сервер, и, когда от первого сервера принята текстовая информация для собранной речи пользователя, отправляет текстовую информацию во второй сервер и принимает ответную информацию, соответствующую речи пользователя.
10. Устройство отображения по п. 9, в котором, когда речь пользователя включает в себя элементы высказывания, относящиеся к электронному путеводителю по программам телевидения (EPG) или к операции управления устройства отображения, устройство управления выполняет по меньшей мере одну функцию из выдачи ответного сообщения и выполнения функции, соответствующей речи пользователя, на основе ответной информации, принятой от второго сервера.
11. Способ обеспечения ответной информации для обеспечения ответной информации, относящейся к речи пользователя, в устройстве отображения, при этом способ содержит этапы, на которых:
собирают речь пользователя;
отправляют собранную речь пользователя в интерактивный сервер;
проверяют, принята ли ответная информация, соответствующая речи пользователя, от интерактивного сервера;
когда принята ответная информация, соответствующая речи пользователя, выполняют функцию устройства отображения, соответствующую речи пользователя, на основе ответной информации; и
когда интерактивный сервер не может предоставить ответную информацию, соответствующую речи пользователя, принимают и выдают замещающую ответную информацию, относящуюся к речи пользователя, посредством веб-поиска и службы социальной сети (SNS).
12. Способ обеспечения ответной информации по п. 11, в котором упомянутое выполнение функции дополнительно содержит этап, на котором:
когда от интерактивного сервера принят элемент высказывания, включенный в речь пользователя, с сообщением о невозможности предоставления ответной информации, соответствующей речи пользователя, принимают и выдают замещающую ответную информацию, относящуюся к этому элементу высказывания, посредством веб-поиска и службы социальной сети.
13. Способ обеспечения ответной информации по п. 12, в котором упомянутое выполнение функции дополнительно содержит этап, на котором:
когда принята команда пользователя для выполнения веб-поиска, принимают и выдают результат веб-поиска на основе упомянутого элемента высказывания.
14. Способ обеспечения ответной информации по п. 12, в котором упомянутое выполнение функции дополнительно содержит этапы, на которых:
формируют сообщение запроса ответа на основе упомянутого элемента высказывания, когда принята команда пользователя для службы социальной сети, отправляют сообщение запроса ответа в сервер службы социальной сети (SNS), который предоставляет службу социальной сети, и принимают и выдают ответное сообщение, соответствующее сообщению запроса ответа, от сервера SNS.
15. Способ обеспечения ответной информации по п. 14, в котором упомянутое выполнение функции дополнительно содержит этапы, на которых:
отправляют сообщение запроса ответа в учетную запись службы социальной сети (SNS) пользователя, в зависимости от команды пользователя, и принимают и выдают ответное сообщение из учетной записи SNS, связанной с учетной записью SNS пользователя.
| РЕАКТОР С ИНДУКЦИОННЫМ НАГРЕВОМ ДЛЯ ГАЗОФАЗНЫХ КАТАЛИТИЧЕСКИХ РЕАКЦИЙ | 2003 |
|
RU2339576C2 |
| US 2011055256 A1, 2011-03-03 | |||
| ДВУХОБМОТОЧНЫЙ СТАТОР С m=3-ФАЗНЫМИ 2p=8·k- и 2р=10·k-ПОЛЮСНЫМИ ПЕТЛЕВЫМИ ОБМОТКАМИ В z=96·k ПАЗАХ | 2008 |
|
RU2355093C1 |
| US 2011054900 A1, 2011-03-03 | |||
| WO 2012063360 A1, 2012-05-18 | |||
| US 2009030681 A1, 2009-01-29 | |||
| ПРЕДСТАВЛЕНИЕ ДАННЫХ НА ОСНОВЕ ВВЕДЕННЫХ ПОЛЬЗОВАТЕЛЕМ ДАННЫХ | 2004 |
|
RU2360281C2 |
