КОММУНИКАЦИОННОЕ УСТРОЙСТВО, КОММУНИКАЦИОННЫЙ РОБОТ И МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ ДАННЫХ Российский патент 2019 года по МПК G10L15/22 G10L25/63 B25J11/00 

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

1. Область техники, к которой относится изобретение

[0001] Изобретение касается коммуникационного устройства, коммуникационного робота и машиночитаемого носителя данных.

2. Описание предшествующего уровня техники

[0002] Используется коммуникационное устройство, которое выдает ответное предложение и выражение лица согласно содержанию голоса пользователя (см., например, не прошедшая экспертизу опубликованная заявка Японии №2016-193466 (JP 2016-193466 А)).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] В похожих коммуникационных устройствах, если от пользователя поступает схожее голосовое обращение, выводится схожее ответное предложение и схожее выражение лица. Таким образом, во многих случаях коммуникационному устройству недостает вариаций, что приводит к потере пользователем интереса к коммуникационному устройству.

[0004] Чтобы решить такие задачи, изобретением предлагается коммуникационное устройство или подобное устройства, которое представляет много различных вариаций выражения лица, обозначаемого персонажем таким образом, чтобы персонаж изображал различные выражения лица, в зависимости от ситуации, даже для одной и той же фразы.

[0005] Первый объект изобретения касается коммуникационного устройства, которое позволяет персонажу говорить с пользователем. Коммуникационное устройство включает в себя узел сбора высказывания, узел сбора информации, узел генерирования голоса и узел генерирования выражения. Узел сбора высказывания выполнен с возможностью улавливать высказывание пользователя к персонажу. Узел сбора информации выполнен с возможностью собирать информацию, отличающуюся от высказывания. Узел генерирования голоса выполнен с возможностью генерировать голосовой ответ, который будет издаваться персонажем исходя из содержания высказывания, полученного узлом сбора высказывания. Узел генерирования выражения выполнен с возможностью генерировать выражение лица в ответ, которое будет выражаться областью лица персонажа исходя из содержания высказывания, полученного узлом сбора высказывания. В тех случаях, когда получается информация от узла сбора информации, узел генерирования выражения генерирует выражение лица в ответ, используя указанную информацию вместе с содержанием высказывания, при этом выражение лица в ответ, генерируемое, если информация получается, отличается от выражения лица в ответ, генерируемого, когда информация не получается.

[0006] В этой конфигурации, например, выражение лица, выражаемое областью лица персонажа, может различаться в случаях, когда эмоция, прочитанная из выражения лица пользователя, принимается во внимание и в случаях, когда эмоция не принимается во внимание. Поэтому, даже если высказывание пользователя является одним и тем же, выражение лица, выражаемое областью лица персонажа, имеет много вариаций. Можно ожидать, что привязанность пользователя к персонажу будет усиливаться, а диалог не будет надоедать.

[0007] Коммуникационное устройство согласно первому объекту может дополнительно включать в себя банк данных, выполненный с возможностью хранить множество данных о выражениях лица в ответ, связанных с множеством эмоций, соответственно. Узел генерирования выражения может выбирать из банка данных выражение лица в ответ, связанное с третьей эмоцией, которая определяется согласно комбинации первой эмоции и второй эмоции, при этом первая эмоция оценивается исходя из содержания высказывания, а вторая эмоция оценивается исходя из информации, полученной узлом сбора информации. Таким образом, комбинируя различным образом оцениваемые эмоции, можно точно оценить эмоцию пользователя.

[0008] В коммуникационном устройстве согласно первому объекту, в банке данных множество эмоций может быть связано с множеством выражений лица в ответ, соответственно, исходя из циркумплексной модели Рассела. Узел генерирования выражения лица может определить третью эмоцию, исходя из суммы первого вектора, соответствующего первой эмоции в циркумплексной модели Рассела, и второго вектора, соответствующего второй эмоции в циркумплексной модели Рассела. В такой конфигурации эмоция пользователя может быть вычислена в большей степени количественно.

[0009] В коммуникационном устройстве согласно первому объекту узел генерирования выражения лица может выбирать из банка данных выражение лица в ответ, соответствующее четвертой эмоции, которая аппроксимирует третью эмоцию в заданном диапазоне. Задавая небольшую вариацию эмоции, которая подлежит определению, можно обогатить изменение выражения лица для области лица.

[0010] В коммуникационном устройстве согласно первому объекту, при генерировании двух выражений лица в ответ подряд, узел генерирования выражения может создать, по меньшей мере, одно интерполяционное выражение лица в ответ между двумя выражениями лица, при этом, по меньшей мере, одно интерполяционное выражение лица в ответ интерполирует два выражения лица. Например, даже если выражение лица, которое будет отображено, значительно изменяется, у пользователя нет ощущения, что изменение является неловким, когда вводится и отображается промежуточное выражение лица.

[0011] В коммуникационном устройстве согласно первому объекту узел сбора информации может включать в себя узел визуализации, выполненный с возможностью получать изображение пользователя. Узел сбора информации может включать в себя биометрический датчик, выполненный с возможностью получать биологическую информацию пользователя. Узел сбора информации может включать в себя датчик состояния окружающей среды, выполненный с возможностью собирать информацию о среде, окружающей коммуникационное устройство. При помощи различных датчиков можно оценить эмоцию пользователя более точно.

[0012] Коммуникационное устройство согласно первому объекту может дополнительно включать в себя узел сбора состояния, выполненный с возможностью получать информацию о внутреннем состоянии устройства персонажа, которое воплощает персонаж. Узел генерирования выражения может создать выражение лица в ответ исходя из внутреннего состояния, собранного узлом сбора состояния, в дополнение к содержанию высказывания и информации. В этой конфигурации определяется не только выражение лица, выражаемое областью лица, в соответствии с эмоцией пользователя, но и появляется определенное выражение лица, как будто персонаж проявляет свою собственную эмоцию. Таким образом, пользователь получает больше привязанности к персонажу.

[0013] Второй объект изобретения касается коммуникационного робота, включающего в себя коммуникационное устройство согласно первому объекту и область лица. Область лица выполнена с возможностью изображать выражение лица в ответ, создаваемое узлом генерирования выражения. Когда коммуникационное устройство осуществлено в виде, например, робота, имитирующего животное, пользователь может иметь ощущение, что робот похож на домашнее животное, и испытывать больше привязанности к роботу.

[0014] Третий объект изобретения касается машиночитаемого носителя данных, включающего в себя узел памяти, выполненный с возможностью хранить программу управления передачей данных, которая предназначена для выполнения компьютером коммуникационного устройства, позволяет персонажу говорить с пользователем. Когда программа управления передачей данных выполняется компьютером, компьютер выполняет этап сбора высказывания, этап сбора информации, этап генерирования голоса и этап генерирования выражения. На этапе сбора высказывания улавливают высказывание пользователя к персонажу. На этапе сбора информации собирается информация, отличающаяся от высказывания. На этапе генерирования голоса создается голосовой ответ, который будет издаваться персонажем, исходя из содержания высказывания, собранного на этапе сбора высказывания. На этапе генерирования выражения генерируется выражение лица в ответ, которое предназначено для изображения областью лица персонажа, исходя из содержания высказывания, полученного на этапе сбора высказывания. На этапе генерирования выражения, если собирается информация, выражение лица в ответ генерируется, используя информацию вместе с содержанием высказывания, при этом выражение лица в ответ, генерируемое, когда информация собирается, отличается от выражения лица в ответ, генерируемого, когда информация не собирается.

[0015] В этой конфигурации, например, выражение лица, изображаемое областью лица персонажа, может различаться в случаях, когда эмоция, прочитанная из выражения лица пользователя, принимается во внимание и в случаях, когда эмоция не принимается во внимание. Поэтому, даже если высказывание пользователя является одним и тем же, выражение лица, изображаемое областью лица персонажа, имеет много вариаций. Можно ожидать, что привязанность пользователя к персонажу будет усиливаться, а диалог не будет надоедать.

[0016] Вышеупомянутая сущность изобретения не перечисляет все очевидные особенности изобретения. Кроме того, частные комбинации групп признаков также являются частью изобретения.

[0017] С применением изобретения возможно получить коммуникационное устройство или подобное устройство, которое позволяет персонажу отображать, даже для одного и того же диалога, различные выражения в зависимости от ситуации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0018] Признаки, преимущества, а также техническое и промышленное значение примеров осуществления изобретения будут описаны ниже со ссылкой на сопровождающие чертежи, на которых одинаковые ссылочные позиции обозначают одинаковые элементы, и на которых:

ФИГ. 1 - схематическое изображение робота согласно первому примеру осуществления изобретения;

ФИГ. 2 - диаграмма системной конфигурации робота;

ФИГ. 3 - вид в перспективе, иллюстрирующий конструкцию правого глаза;

ФИГ. 4 - диаграмма, иллюстрирующая взаимосвязь между выражениями лица робота и циркумплексной моделью Рассела;

ФИГ. 5 - пояснительная диаграмма относительно способа определения эмпатической эмоции;

ФИГ. 6 - пояснительная диаграмма относительно способа определения эмпатической эмоции другого примера;

ФИГ. 7 - пояснительная диаграмма относительно способа определения эмпатической эмоции для дополнительного примера;

ФИГ. 8 - пояснительная диаграмма относительно способа определения эмпатической эмоции в случае комбинированных эмоций субъекта;

ФИГ. 9 - диаграмма, поясняющая переход отображения, сопровождающего изменение эмоции;

ФИГ. 10 - блок-схема, иллюстрирующая процедуру операционного процесса;

ФИГ. 11 - схематическая диаграмма коммуникационной системы согласно второму примеру осуществления изобретения;

ФИГ. 12 - диаграмма системной конфигурации сервера;

ФИГ. 13 - диаграмма системной конфигурации робота; и

ФИГ. 14 - схематическая диаграмма планшетного терминала согласно третьему примеру осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ПРИМЕРОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0019] Далее изобретение будет описано через примеры осуществления изобретения, однако изобретение, определенное в формуле изобретения, не ограничивается следующими примерами осуществления. Кроме того, все конфигурации, описанные в примерах осуществления, не обязательно являются необходимыми в качестве средства решения задачи.

[0020] На фиг. 1 представлено схематическое изображение робота 100 согласно первому примеру осуществления. Робот 100 по существу является роботом, выполненным в виде коммуникационного устройства, которое осуществляет голосовой диалог с пользователем - человеком. Робот 100 представляет собой индивидуализированное устройство, которое воплощает персонаж и изменяет выражение глаз в соответствии с диалогом.

[0021] Робот 100 имитирует животное по внешнему виду и имеет область лица (лицо) 120. Область лица 120 снабжен областью глаз 122 (правый глаз 122а и левый глаз 122b) в положении, которое позволяет пользователю распознавать область глаз 122 как глаза. Конструкция области глаз 122 будет подробно описана позже. Позади как правого глаза 122а, так и левого глаза 122b установлена индикаторная панель 106, такая как, например, жидкокристаллическая панель или органическая электролюминесцентная индикаторная панель.

[0022] В области носа робота 100 незаметным образом выполнена камера 102. Камера 102 включает в себя, например, КМОП-датчик и функционирует в качестве узла визуализации, которая получает изображение при распознавании внешней среды. В области рта робота 100 выполнен динамик 109 в скрытом состоянии. Динамик 109 функционирует как узел генерирования высказывания, который издает голос, генерируемый роботом 100. Пользователь ощущает, будто робот 100 разговаривает, благодаря голосовому выводу из области рта. Кроме того, микрофон 101 выполнен в скрытом состоянии в любом положении области лица 120. Микрофон 101 имеет функцию сбора прозвучавшего голоса пользователя или подобного звука.

[0023] Робот 100 приводится в действие электроэнергией, подаваемой от аккумулятора 111. Аккумулятор 111 является, например, литий-ионным аккумулятором. Узел 112 контроля аккумулятора является участком цепи, который контролирует оставшуюся емкость аккумулятора 111, например, способом Impedance Track.

[0024] На фиг. 2 представлена диаграмма системной конфигурации робота 100. Робот 100 включает в себя, в качестве главных системных компонентов микрофон 101, камеру 102, индикаторную панель 106, динамик 109, узел 112 контроля аккумулятора, блок управления 200, банк данных (БД) 310 голосовых ответов и банк данных (БД) 320 выражений лица, используемых в ответ. Блок управления 200 конфигурируется, например, как центральный процессор. Блок управления 200 действует в качестве блока выполнения функции для выполнения каждой функции и действует в основном в качестве узла 201 распознавания высказывания, узла 202 распознавания выражения, узла 203 оценки первой эмоции, узла 204 оценки второй эмоции, узла 205 определения эмпатической эмоции, узла 206 определения обусловленной эмоции, узла 207 выбора выражения лица, узла 208 управления глазами, узла 209 выбора голоса и узла 210 управления высказываниями.

[0025] В качестве основной функции микрофон 101 улавливает прозвучавший голос пользователя, который является партнером по разговору робота 100. Микрофон 101 преобразовывает собранный прозвучавший голос пользователя в голосовой сигнал и передает голосовой сигнал в узел 201 распознавания высказывания. В качестве основной функции камера 102 получает изображение лица пользователя, обращенного лицом к роботу 100. Камера 102 преобразовывает полученное изображение лица пользователя в сигнал изображения и передает сигнал изображения в узел 202 распознавания выражения.

[0026] Динамик 109 получает голосовой сигнал, преобразованный узлом 210 управления высказываниями, и генерирует голосовой ответ в форме звука. Индикаторная панель 106 получает сигнал изображения, преобразованный узлом 208 управления глазами, и отображает рисунок, соответствующий выражению лица, сформированному в ответ (выражению лица в ответ). Узел 112 контроля аккумулятора определяет оставшуюся емкость аккумулятора 111 и передает сигнал определения в узел 206 определения обусловленной эмоции. Узел 112 контроля аккумулятора является примером узла сбора состояния, который получает информацию о внутреннем состоянии робота 100.

[0027] БД 310 голосовых ответов является базой данных голосовых выражений, связанной с узлом 209 выбора голоса, и конфигурируется, например, носителем записи, таким как жесткий диск. БД 310 голосовых ответов выполнена, например, в виде корпуса. Индивидуальные условия хранятся с воспроизводимыми данными о высказываниях. БД 320 выражений лица в ответ является базой данных выражений, изображаемых в ответ, связанной с узлом 207 выбора выражения лица, и конфигурируется, например, носителем записи, таким как жесткий диск. БД 320 выражений лица в ответ выполнена, например, в виде циркумплексной модели Рассела. В БД 320 выражений лица в ответ хранятся конкретные данные изображений глаз, эмоций, обозначаемых выражениями глаз, и степеней эмоций в связи друг с другом. Подробное описание будет приведено позже.

[0028] Узел 201 распознавания высказывания анализирует голосовой сигнал, полученный от микрофона 101, и распознает высказывание пользователя. Узел 201 распознавания высказывания имеет функцию узла сбора высказывания, который собирает высказывание пользователя к роботу 100 вместе с микрофоном 101. В частности, узел 201 распознавания высказывания распознает содержание высказывания пользователя общим способом голосовой идентификации и анализирует просодию высказывания. Просодия указывает на физические характеристики высказывания, когда высказывание собирается в виде звуковых волн. Узел 201 распознавания высказывания рассчитывает, например, среднюю частоту, диапазон частот, максимальное значение и среднее значение амплитуды как физические характеристики в массе звуковых волн, испускаемых пользователем. Узел 201 распознавания высказывания передает распознанное содержание высказывания к узлу 209 выбора голоса. Кроме того, узел 201 распознавания высказывания передает проанализированную просодию к узлу 203 оценки первой эмоции.

[0029] Узел 203 оценки первой эмоции извлекает изменение уровня амплитуды, интонации окончания и т.п.из просодии, полученной от узла 201 распознавания высказывания, и оценивает тип эмоции и степень эмоции пользователя. Тип и степень предполагаемой эмоции будут подробно описаны позже. Тип и степень первой эмоции, оцениваемой из высказывания пользователя, доставляются к узлу 205 определения эмпатической эмоции.

[0030] Узел 203 оценки первой эмоции может корректировать тип и степень эмоции пользователя с учетом атрибута произнесенного слова. Атрибут слова указывает, для выражения какой эмоции обычно используется слово. Например, слово «счастливый» имеет атрибут «довольный». Когда пользователь произносит «счастливый», узел 203 оценки первой эмоции относит тип предполагаемой эмоции к стороне «довольный».

[0031] Узел 202 распознавания выражения анализирует сигнал изображения, полученный от камеры 102, и распознает выражение лица пользователя. Узел 202 распознавания выражения функционирует в качестве узла сбора информации, которая, вместе с камерой 102, собирает выражение лица пользователя как информацию, отличающуюся от высказывания пользователя. В частности, узел 202 распознавания выражения извлекает характерные точки из изображения лица пользователя общим способом распознавания лиц и вычисляет сумму признаков выражения, такую как положения характерных точек, наклон линейных сегментов, соединяющих смежные характерные точки, количество характерных точек и т.п.Узел 202 распознавания выражения передает расчетную сумму признаков выражения к узлу 204 оценки второй эмоции.

[0032] Узел 204 оценки второй эмоции извлекает, например, размер зрачков, степень опущения внешних уголков глаза, степень поднятия уголков рта, наличие или отсутствие пота, количество морщин, и т.п.из суммы признаков выражения, полученной от узла 202 распознавания выражения, и оценивает тип и степень эмоции пользователя. Тип и степень предполагаемой эмоции будут подробно описаны позже. Тип и степень второй эмоции, оцениваемой из выражения лица пользователя, доставляются к узлу 205 определения эмпатической эмоции.

[0033] Когда пользователь не обращен лицом к камере 102, или изображение лица является темным, узел 202 распознавания выражения не может вычислить сумму признаков выражения, и узел 204 оценки второй эмоции не может оценить тип и степень второй эмоции. В таком случае узел 204 оценки второй эмоции передает сигнал, указывающий на то, что вторая эмоция не может быть генерирована, к узлу 205 определения эмпатической эмоции.

[0034] Узел 205 определения эмпатической эмоции объединяет тип и степень первой эмоции, полученной от узла 203 оценки первой эмоции, а также тип и степень второй эмоции, полученной от узла 204 оценки второй эмоции, и определяет тип и степень эмпатической эмоции, которая будет выражена роботом 100 пользователю. Конкретная процедура определения типа и степени эмпатической эмоции будет подробно описана позже. Тип и степень эмпатической эмоции доставляются к узлу 207 выбора выражения лица. Кроме того, после получения из узла 204 оценки второй эмоции сигнала, указывающего на то, что вторая эмоция не может быть генерирована, узел 205 определения эмпатической эмоции устанавливает тип и степень первой эмоции в качестве типа и степени эмпатической эмоции.

[0035] Узел 206 определения обусловленной эмоции преобразовывает уровень сигнала обнаружения, полученного от узла 112 контроля аккумулятора, в тип и степень обусловленной эмоции робота 100, связанной с уровнем сигнала обнаружения, и передает тип и степень обусловленной эмоции к узлу 207 выбора выражения лица. Обусловленная эмоция является определенной эмоцией, которая связана, псевдоспособом, с параметром, указывающим на состояние робота 100 (в этом случае, оставшаяся емкость аккумулятора). Представляя выражение, определяемое типом и степенью обусловленной эмоции, робот 100 может косвенно показать свое собственное состояние внешнему миру. Определенная связь параметра с эмоциями и выбором выражения будет описана позже.

[0036] Узел 207 выбора выражения лица получает из БД 320 выражений лица в ответ данные изображений выражения, которое соответствует типу и степени эмпатической эмоции, полученной от узла 205 определения эмпатической эмоции. В этом случае узел 205 определения эмпатической эмоции и узел 207 выбора выражения лица взаимодействуют друг с другом и функционируют как узел генерирования выражения, генерирующий выражение лица в ответ, которое будет выражаться областью лица 120, исходя из содержания высказывания и выражения лица пользователя. В качестве альтернативного примера, в зависимости от условий, узел 207 выбора выражения лица объединяет тип и степень обусловленной эмоции, полученной от узла 206 определения обусловленной эмоции, с типом и степенью эмпатической эмоции, и собирает из БД 320 выражений лица в ответ данные изображений выражения, которое соответствует результату комбинации. В качестве альтернативного примера, в ситуации, когда пользователь не говорит или в подобных условиях, узел 207 выбора выражения лица собирает из БД 320 выражений лица в ответ данные изображений выражения, которое соответствует только типу и степени обусловленной эмоции, полученной от узла 206 определения обусловленной эмоции. Узел 207 выбора выражения лица передает данные изображения, полученные из БД 320 выражений лица в ответ, к узлу 208 управления глазами. Узел 208 управления глазами преобразовывает данные изображений, полученные от узла 207 выбора выражения лица, в сигнал изображения, способный отображаться на индикаторной панели 106, и передает сигнал изображения к индикаторной панели 106.

[0037] Узел 209 выбора голоса выбирает предложение, подходящее для разговора, в ответ на содержание высказывания пользователя, распознанного узлом 201 распознавания высказывания, получает данные о высказывании, соответствующие выбранному предложению из БД 310 голосовых ответов, и выводит данные о высказывании к узлу 210 управления высказываниями. Узел 210 управления высказываниями преобразовывает полученные данные о высказывании в голосовой сигнал и передает голосовой сигнал к динамику 109. Узел 209 выбора голоса и узел 210 управления высказываниями взаимодействуют друг с другом и функционируют как узел генерирования голоса, который генерирует голосовой ответ исходя из содержания высказывания пользователя. Узел 209 выбора голоса может изменять предложение, которое будет выбрано, учитывая эмоцию, оцениваемую узлом 203 оценки первой эмоции. Например, когда узел 203 оценки первой эмоции оценивает эмоцию пользователя как «грустный», узел 209 выбора голоса может изменить предложение на предложение ободряющего содержания. Рассматривая эмоцию, вкладываемую пользователем в высказывание, таким образом, возможно ожидать более глубокую коммуникацию. Однако предпочтительно не принимать во внимание эмоцию, оцениваемую узлом 204 оценки второй эмоции. Как будет описано позже, голосовой ответ, генерируемый роботом 100, имеет много вариаций в комбинации с выражением лица в ответ, когда эмоция, оцениваемая узлом 204 оценки второй эмоции, не учитывается.

[0038] На фиг. 3 представлен вид в перспективе, иллюстрирующий конструкцию правого глаза 122а. Левый глаз 122b имеет ту же конструкцию, что и правый глаз 122а. Индикаторной панелью 106 как правого глаза 122а, так и левого глаза 122b управляет узел 208 управления глазами.

[0039] Правый глаз 122а преимущественно состоит из прозрачного покрытия 131, оптоволоконного жгута 132 и индикаторной панели 106. Прозрачное покрытие 131 изготовлено, например, из прозрачного поликарбоната и выступает в качестве внешнего материала области лица 120. Если робот имитирует животное или человека глаза, имеющие криволинейную поверхность, являются естественными и легко воспринимаются пользователем. Поэтому в роботе 100 согласно настоящему примеру осуществления, прозрачное покрытие 131, соответствующее поверхности глаз, сформировано в криволинейную поверхность с выпуклостью наружу.

[0040] С внутренней стороны правого глаза 122а установлена индикаторная панель 106, которая отображает рисунок, представляющий собой выражение правого глаза. Поверхность воспроизведения изображений индикаторной панели 106 является плоской поверхностью. Кроме того, поверхность воспроизведения изображений имеет размер, охватывающий внешнюю периферическую окружность прозрачного покрытия 131. На фиг. 3 изображено состояние, в котором индикаторная панель 106 демонстрирует визуальное изображение правого глаза 191а, представляющее собой рисунок, который состоит из черной части глаза, наложенной со смещением на белую часть глаза, имеющую размер, соответствующий внешней периферической окружности прозрачного покрытия 131. Каждый рисунок, который будет отображен, хранится в виде данных изображений в БД 320 выражений лица в ответ, считывается узлом 207 выбора выражения лица, преобразовывается в сигнал изображения узлом 208 управления глазами и отображается на индикаторной панели 106.

[0041] Внутренняя криволинейная поверхность прозрачного покрытия 131 и поверхность индикаторной панели 106 соединены оптоволоконным жгутом 132. Оптоволоконный жгут 132 передает визуальное изображение правого глаза 191а, отображаемое на индикаторной панели 106, к прозрачному покрытию 131. Оптоволоконный жгут 132 представляет собой совокупность оптических волокон 132а, отвечающих соответствующим пикселям индикаторной панели 106 в отношении один к одному. На фиг. 3, в целях объяснения, оптические волокна 132а отображены так, как будто они парят над поверхностью индикаторной панели 106. Однако один конец каждого оптического волокна 132а соединен с поверхностью индикаторной панели 106 клеем для световодов. Внешняя периферическая поверхность совокупности оптических волокон 132а покрыта и связана оболочкой 132b. Таким образом, прозрачное покрытие 131, оптоволоконный жгут 132 и индикаторная панель 106 соединены друг с другом и интегрированы.

[0042] Световой поток визуального изображения правого глаза 191а, отображаемый на индикаторной панели 106, входит от одного из концов оптических волокон 132а и выходит от другого конца оптических волокон 132а. Совокупность других концов оптических волокон 132а является светоизлучающей поверхностью оптических волокон 132а и формирует виртуальный экран, простирающийся вдоль внутренней криволинейной поверхности прозрачного покрытия 131. Соответственно, визуальное изображение правого глаза 191а, отображаемое на индикаторной панели 106, проецируется на виртуальный экран и преобразовывается в проецированное изображение правого глаза 192а, наблюдаемое пользователем.

[0043] Поскольку визуальное изображение правого глаза 191а, отображаемое в виде плоской поверхности, преобразовывается в проецированное изображение правого глаза 192а, проецируемое в виде криволинейной поверхности, узел управления глазами 105 может заранее регулировать форму визуального изображения правого глаза 191а, которое будет отображаться, таким образом, чтобы проецированное изображение правого глаза 192а, которое будет наблюдаться, имело правильную форму. В этом случае, например, даже для рисунка одной черной части глаза узел 208 управления глазами регулирует положение и форму визуального изображения правого глаза 191а, которое будет отображаться, в зависимости от проецируемого положения проецированного изображения правого глаза 192а на виртуальном экране.

[0044] На фиг. 4 представлена диаграмма, иллюстрирующая взаимосвязь между выражениями лица, изображаемыми роботом 100, и циркумплексной моделью Рассела. На фиг. 4 формы области лица 120 расположены рядом друг с другом. Однако робот 100 согласно существующему примеру осуществления выполнен с возможностью управлять впечатлением пользователя, получаемым от всей области лица 120, изменяя изображение правого глаза и изображение левого глаза, которые отображаются на индикаторной панели 106. Поэтому данные изображений, хранящиеся в БД 320 выражений лица в ответ вместе с типами и степенями описанных ниже эмоций, являются совокупностью данных изображений, соответствующих изображению правого глаза и изображению левого глаза.

[0045] Циркумплексная модель Рассела, которая была предложена в области психологии, является моделью, в которой все эмоции кольцеобразно расположены на плоскости, имеющей оси «радостный-печальный» и «удивленный-деактивированный». Существуют разные мнения относительно того, в каких положениях могут быть расположены конкретные эмоции. В настоящем примере осуществления, как отображено на фиг. 4, двадцать типов эмоций, включающие в себя «настороженный», «оживленный», «восторженный», «счастливый», «радостный», «довольный», «умиротворенный», «расслабленный», «спокойный», «деактивированный», «усталый», «скучающий», «подавленный», «грустный», «печальный», «расстроенный», «напряженный», «нервный» и «возбужденный» равномерно расположены на окружности по часовой стрелке, начиная с «удивленный». Поэтому тип каждой эмоции определен в радиальном направлении вокруг «нейтральный» в качестве центра, и расстояние от центра указывает на степень каждой эмоции. На фиг. 4 отображены выражения лица, которые представляют состояния, когда эмоции выражены наиболее сильно. Кроме того, промежуточные выражения лица, соответствующие степеням эмоций, расположены на радиальных линиях, обозначенных пунктирами.

[0046] В циркумплексной модели Рассела, проиллюстрированной на фиг. 4, смежные друг с другом эмоции являются похожими эмоциями. Поэтому выражения смежных эмоций также похожи друг на друга. Рисунки данных изображений, связанные с типами и степенями соответствующих эмоций, заранее созданы с вышеописанной взаимосвязью.

[0047] Далее будет описан способ, приводящий к определению эмпатической эмоции. На фиг. 5 представлена пояснительная диаграмма относительно способа определения эмпатической эмоции, которая отображает тороидальную систему координат, полученную путем удаления внешних видов области лица 120 из циркумплексной модели Рассела фиг. 4. Центр круга, представляющий собой «нейтральный», принят равным «0», а максимальное значение каждой эмоции принято равным «1». То есть, циркумплексная модель Рассела представлена кругом с радиусом, равным единице.

[0048] Тип и степень эмоции (первая эмоция), оцениваемые из высказывания пользователя узлом 203 оценки первой эмоции, представлены вектором V₁. В иллюстрируемом примере вектор V₁ имеет длину приблизительно 0,25 в направлении «радостный». Кроме того, тип и степень эмоции (вторая эмоция), оцениваемые из высказывания пользователя узлом 204 оценки второй эмоции, представлены вектором V₂. В иллюстрируемом примере вектор V₂ имеет длину приблизительно 0,5 в направлении «оживленный».

[0049] Узел 205 определения эмпатической эмоции рассчитывает вектор V₃, представляющий эмпатическую эмоцию, путем получения суммы вектора V₁ и вектора V₂ в циркумплексной модели Рассела. В иллюстрируемом примере вектор V₃ имеет длину приблизительно 0,67 в направлении «восторженный».

Поэтому узел 205 определения эмпатической эмоции определяет тип эмпатической эмоции = «восторженный» и степень эмпатической эмоции = 0,67, которые представлены координатами пентаграммы на фиг. 5.

[0050] На фиг. 6 представлена пояснительная диаграмма относительно способа определения эмпатической эмоции другого примера. На фиг. 6 также отображена та же тороидальная система координат, что и на фиг. 5.

[0051] Предполагается, что узел 203 оценки первой эмоции оценивает тип первой эмоции = «расстроенный» и степень первой эмоции = 1, как представлено вектором V_b и узел 204 оценки второй эмоции оценивает тип второй эмоции = «удивленный» и степень второй эмоции = 1, как представлено вектором V₂. В этом случае, когда рассчитывается сумма вектора V₁ и вектора V₂, направлением суммы является «нервный», но величина суммы превышает единицу. Таким образом, узел 205 определения эмпатической эмоции определяет вектор V₃ как тип эмпатической эмоции = «нервный» и степень эмпатической эмоции = 1, которые представлены координатами пентаграммы на фиг. 6.

[0052] Вышеописанным способом, обеспечивая правило особой ситуации, в котором величина вектора V₃ принята равной единице, когда она превышает единицу, даже если вектор V₁ и вектор V₂ имеют любую ориентацию и любую величину, возможно определить тип и степень эмпатической эмоции.

[0053] В настоящем примере осуществления как узел 203 оценки первой эмоции, так и узел 204 оценки второй эмоции выполнены с возможностью оценивать тип эмоции вместе со степенью эмоции. Однако даже в конфигурации, в которой степень эмоции не оценивается, возможно определить тип эмпатической эмоции способом согласно существующему примеру осуществления. В частности, если тип первой эмоции оценивается как «расстроенный», а тип второй эмоции оценивается как «удивленный», может быть выполнен расчет вектора при условии предположения, что степень первой эмоции и второй эмоции имеет постоянное значение «1». В результате, «нервный», то есть тип эмоции, соответствующий направлению расчетного вектора, может быть определен как тип эмпатической эмоции.

[0054] На фиг. 7 представлена пояснительная диаграмма, относящаяся к способу определения эмпатической эмоции для дополнительного примера. На фиг. 7 также отображена та же тороидальная система координат, что и на фиг. 5.

[0055] Предполагается, что узел 203 оценки первой эмоции оценивает тип первой эмоции = «счастливый» и степень первой эмоции = 0,50, как представлено вектором V₁, а узел 204 оценки второй эмоции оценивает тип второй эмоции = «расслабленный» и степень второй эмоции = 0,25, как представлено вектором V₂. В этом случае, когда рассчитывается сумма вектора V₁ и вектора V₂, вектор V₃ имеет длину приблизительно 0,62 в направлении между «радостный» и «довольный». Когда направление расчетного вектора V₃ находится между двумя эмоциями, как описано выше, данные изображения, соответствующего, координатам конца вектора V₃, не хранятся в БД 320 выражений лица в ответ. Таким образом, узел 205 определения эмпатической эмоции проводит перпендикулярную линию к одной из радиальных линий двух эмоций, в зависимости от того, какая из них ближе, и определяет основание перпендикулярной линии как координаты эмпатической эмоции. В примере на фиг. 7 координаты пентаграммы, отображаемые на радиальной линии «радостный», являются координатами эмпатической эмоции. То есть, узел 205 определения эмпатической эмоции определяет тип эмпатической эмоции = «радостный» и степень эмпатической эмоции = 0,61. Как описано выше, узел 205 определения эмпатической эмоции может единственным образом определить тип и степень эмпатической эмоции, даже если направление вектора V₃ не простирается вдоль радиальной линии какой-либо эмоции.

[0056] Способ определения типа и степени эмпатической эмоции, описанный со ссылкой на фиг. 5-7, является способом, который может быть применен к случаю, когда узел 204 оценки второй эмоции оценивает тип и степень второй эмоции, то есть случаю, кода вектор V₂ может быть рассчитан. В случае, когда узел 204 оценки второй эмоции не оценивает второй эмоции, тип и степень эмпатической эмоции могут быть определены путем принятия V₃=V₁.

[0057] Когда обусловленная эмоция, определенная узлом 206 определения обусловленной эмоции, не принимается во внимание, узел 207 выбора выражения лица получает из БД 320 выражений лица в ответ данные изображения выражения глаз, соответствующего координатам эмпатической эмоции, определенной узлом 205 определения эмпатической эмоции в циркумплексной модели Рассела. После сбора данных изображений узел 207 выбора выражения лица передает данные изображений к узлу 208 управления глазами, и узел 208 управления глазами преобразовывает полученные данные изображений в сигнал изображения и отображает сигнал изображения на индикаторной панели 106. Таким образом, выражение лица, соответствующее типу и степени определенной эмпатической эмоции, создается на области лица 120. В качестве альтернативного примера, когда обусловленная эмоция, определенная узлом 206 определения обусловленной эмоции, сочетается с эмпатической эмоцией, определенной узлом 205 определения эмпатической эмоции, расчет вектора сначала выполняется по вектору эмпатической эмоции и вектору обусловленной эмоции.

[0058] На фиг. 8 представлена пояснительная диаграмма, относящаяся к способу определения комбинированной эмоции, выражаемой областью лица 120 при сочетании обусловленных эмоций. На фиг. 8 также отображена та же тороидальная система координат, что и на фиг. 5. Предполагается, что вектор V₃, рассчитанный узлом 205 определения эмпатической эмоции, имеет длину приблизительно 0,67 в направлении «восторженный», как в примере на фиг. 5.

[0059] Как описано выше, обусловленная эмоция является определенной эмоцией, которая псевдоспособом связана с параметром, указывающим на состояние робота 100. В настоящем примере осуществления оставшаяся емкость аккумулятора 111 связана с эмоцией «усталый». То есть, когда робот 100 выражает только обусловленную эмоцию, робот 100 выражает более скучающее выражение лица по мере уменьшения оставшейся емкости аккумулятора 111. В частности, обусловленная эмоция представлена вектором V₄, простирающимся вдоль радиальной линии «усталый», и оставшаяся емкость соответствует длине вектора V₄. Например, когда сигнал обнаружения, полученный от узла 112 контроля аккумулятора, указывает на оставшуюся емкость = 100%, длина вектора V₄ принимается равной «0». Когда сигнал обнаружения указывает на оставшуюся емкость = 50%, длина вектора V₄ принимается равной «0,5». Когда сигнал обнаружения указывает на оставшуюся емкость = 0%, длина вектора V₄ принимается равной «1». В примере на фиг. 8 узел 206 определения обусловленной эмоции определяет вектор V₄ как тип обусловленной эмоции = «усталый» и степень обусловленной эмоции = 0,5.

[0060] Подобно вышеописанному узлу 205 определения эмпатической эмоции, узел 207 выбора выражения лица рассчитывает вектор V₅, представляющий комбинированную эмоцию путем получения суммы вектора V₃ и вектор V₄. В примере на фиг. 8 вектор V₅ имеет длину приблизительно 0,40 в направлении «довольный». Поэтому узел 207 выбора выражения лица определяет тип комбинированной эмоции = «довольный» и степень комбинированной эмоции = 0,40, которые представлены координатами пентаграммы на фиг. 8.

[0061] При расчете суммы вектора V₃ и вектор V₄, когда вектор V₅ превышает единицу, узел 207 выбора выражения лица поступает, как описано со ссылкой на фиг. 6. Кроме того, когда вектор V₅ не расположен на радиальной линии, указывающей на определенную эмоцию, узел 207 выбора выражения лица поступает, как описано со ссылкой на фиг. 7. В настоящем примере осуществления параметр, связанный с обусловленной эмоцией, описан как ограничиваемый оставшейся мощностью аккумулятора 111. Однако другие параметры могут быть связаны с различными эмоциями. Например, когда регистрируется количество диалогов, состоявшихся в прошлом с определенным пользователем, количество диалогов может быть связано с «оживленный» в качестве параметра. Посредством этой связи, когда количество диалогов с пользователем растет, робот 100 четко выражает выражение лица состоянием «оживленный» в качестве обусловленной эмоции, как будто робот 100 рад возможности поговорить снова. Когда множество параметров, обозначающих состояния робота 100, связано с различными эмоциями, узел 206 определения обусловленной эмоции рассчитывает сумму векторов эмоций и определяет тип и степень одной обусловленной эмоции таким же образом, что и узел 205 определения эмпатической эмоции.

[0062] После определения типа и степени комбинированной эмоции путем расчета вектора V₅ узел 207 выбора выражения лица получает из БД 320 выражений лица в ответ данные изображения выражения глаз, соответствующего определенным координатам в циркумплексной модели Рассела. После сбора данных изображений узел 207 выбора выражения лица передает данные изображений к узлу 208 управления глазами. Узел 208 управления глазами преобразовывает полученные данные изображений в сигнал изображения и отображает сигнал изображения на индикаторной панели 106. Таким образом, выражение лица, соответствующее типу и степени комбинированной эмоции, определенной таким образом, создается на области лица 120.

[0063] Когда заданные условия удовлетворены, узел 207 выбора выражения лица может получить из БД 320 выражений лица в ответ данные изображения выражения глаз, соответствующего типу и степени обусловленной эмоции, не комбинированной с эмпатической эмоцией. Например, когда робот 100 определяет, что рядом нет пользователя, с которым можно совершить диалог, робот 100 может выразить выражение лица «усталый», чтобы было возможно обратиться к окружающим, что оставшаяся емкость аккумулятора 111 является низкой. В диалоге с пользователем, когда пользователь задает вопрос о состоянии робота 100, робот 100 может более точно уведомить пользователя о состоянии робота 100.

[0064] Далее будет описан процесс, выполняемый, когда эмоция последовательно изменяется по мере развития диалога с пользователем. На фиг. 9 представлена диаграмма, поясняющая переход отображения, сопровождающего изменение эмоции. На фиг. 9 также отображена та же тороидальная система координат, что и на фиг. 5.

[0065] В периоде времени, в котором продолжается разговор с пользователем, предполагается, что в результате вышеописанного расчета вектора узел 207 выбора выражения лица получает вектор V_t1 как тип и степень эмоции, выражаемой во время t₁. Координаты F_t1, обозначенные вектором V_t1, представляют собой тип эмоции = «восторженный» и степень эмоции = 0,67. Далее предполагается, что вектор V_t2 получен как тип и степень эмоции, выражаемой во время t₂. Координаты F_t2, обозначенные вектором V_t2, представляют собой тип эмоции = «спокойный» и степень эмоции = 1. Когда эмоции, выраженные в последовательные моменты времени, существенно отличаются, как описано выше, выражение лица области лица 120 может внезапно и значительно изменяться, и пользователь может иногда чувствовать себя неловко.

[0066] Таким образом, в настоящем примере осуществления изобретения, координаты F_tl и координаты F_t2 плавно соединены кривой, и интерполяционные координаты приняты равными точкам, где кривая пересекает радиальные линии соответствующих эмоций. В примере фиг. 9 существуют шесть различных типов эмоций (от «восторженный» до «спокойный») от координат F_t1 до координат F_t2, и изменение степени эмоции 1-0,67=0,33. Таким образом, интерполяционные координаты могут быть установлены так, чтобы степень эмоции увеличивалась на 0,33/6=0,055 всякий раз, когда осуществляется переход от одной эмоции к смежной ей эмоции.

Таким образом, координаты F_t12, координаты F_t12, координаты F_t13, координаты F_t14 и координаты F_t15 установлены в точках, где кривая пересекает соответствующие радиальные линии «счастливый», «радостный», «довольный», «умиротворенный», и «расслабленный». Затем узел 207 выбора выражения лица передает данные изображений, соответствующие координатам F_t1, к узлу 208 управления глазами. После этого узел 207 выбора выражения лица последовательно передает данные изображений, соответствующие координатам F_t11, F_t12, F_t13, F_t14 и F_t15, к узлу 208 управления глазами до того, как данные изображений, соответствующие координатам F_t2, доставляются к узлу 208 управления глазами. Узел 208 управления глазами преобразовывает данные изображений, соответствующие координате F_t1, в сигнал изображения во время t₁ и отображает сигнал изображения на индикаторной панели 106. После того, до времени t₂, узел 208 управления глазами последовательно преобразовывает данные изображений, соответствующие координатам F_t11, F_t12, F_t13, F_t14 и F_t15, в сигнал изображения и отображает сигналы изображения на индикаторной панели 106. Затем во время t₂ данные изображений, соответствующие координатам F_t2, преобразовываются в сигнал изображения и отображаются на индикаторной панели 106. Этим способом, путем вставки выражений лица, которые интерполируют между выражением лица, выраженным во время t₁, и выражением лица, выраженным во время t₂, которое непрерывно со временем t₁, пользователь может получить впечатление, что изменение области лица 120 является плавным и непрерывным. Количество выражений лица, которые будут интерполированы, может изменяться согласно условиям, таким как период времени между временем t₁ и временем t₂, близость между координатами F_t1 и координатами F_t2 и т.п.

[0067] С другой стороны, когда эмоции, выраженные в последовательные моменты времени, не изменяются вообще, выражение лица области лица 120 не изменяется. В этом случае пользователь также может ощущать дискомфорт. Таким образом, узел 205 определения эмпатической эмоции может изменить расчетный вектор V₃ на вектор V_3', который приближен в заданном диапазоне, и может вывести вектор V_3'. Например, относительно эмоции, представленной расчетным вектором V₃, предполагается, что диапазон до смежной эмоции на циркумплексной модели Рассела является заданным диапазоном. Таким образом, если выводу эмпатической эмоции задается вариацию, пользователь может получать более разнообразные выражения.

[0068] Далее будет описана процедура операционного процесса, выполняемого управляющим блоком 200. На фиг. 10 представлена блок-схема, отображающая процедуру операционного процесса. Алгоритм начинается, когда включается источник питания робота 100.

[0069] На этапе S101 узел 201 распознавания высказывания получает высказывание пользователя, разговаривающего с роботом 100 через микрофон 101. Алгоритм переходит к этапу S102. Узел 209 выбора голоса выбирает предложение, подходящее для разговора относительно полученного содержания высказывания пользователя, собирает данные о высказывании, соответствующие выбранному предложению из БД 310 голосовых ответов, и передает данные о высказывании узла 210 управления высказываниями. Алгоритм переходит к этапу S103. Узел 210 управления высказываниями преобразовывает полученные данные о высказывании в голосовой сигнал и обеспечивает произнесение голосового сигнала в виде голоса из динамика 109. На этапе S104 узел 203 оценки первой эмоции оценивает тип и степень первой эмоции пользователя из высказывания пользователя.

[0070] На этапе S105 узел 202 распознавания выражения получает от камеры 102 выдаваемое камерой изображение, которое фиксирует выражение лица пользователя, разговаривающего с роботом 100. Алгоритм переходит к этапу S106. Узел 204 оценки второй эмоции оценивает тип и степень второй эмоции пользователя, используя сумму признаков выражения, полученную от узла 202 распознавания выражения.

[0071] На этапе S107 узел 205 определения эмпатической эмоции определяет тип и степень эмпатической эмоции путем расчета суммы вектора V₁, представляющего тип и степень первой эмоции, и вектора V₂, представляющего тип и степень второй эмоции. Когда узел 204 оценки второй эмоции не оценивает тип и степень второй эмоции на этапе S106, узел 205 определения эмпатической эмоции признает тип и степень первой эмоции в качестве типа и степени эмпатической эмоции.

[0072] На этапе S108 узел 206 определения обусловленной эмоции собирает сигнал обнаружения, указывающий на оставшуюся емкость аккумулятора 111, от узла 112 контроля аккумулятора. На этапе S109 узел 206 определения обусловленной эмоции преобразовывает уровень сигнала обнаружения в тип и степень связанной обусловленной эмоции робота 100. Узел 207 выбора выражения лица рассчитывает тип и степень комбинированной эмоции из полученных типов и степеней эмпатической эмоции и обусловленной эмоции, и собирает данные изображений выражения лица, соответствующего результату расчета, из БД 320 выражений лица в ответ.

[0073] Алгоритм переходит к этапу S111. Узел 207 выбора выражения лица определяет, равно ли отклонение между объединенной эмоцией, соответствующей ранее собранным данным изображения, и объединенной эмоцией, соответствующей собираемым в текущий момент данным изображения, заданной величины, или больше заданной величины. Заданной величиной являются, например, три эмоции, расположенные вдоль окружности циркумплексной модели Рассела. В этом случае, если текущая комбинированная эмоция отделена тремя или больше эмоциями в периферическом направлении от предыдущей комбинированной эмоции, алгоритм переходит к «ДА» (этап S112). Если текущая комбинированная эмоция отделена двумя или меньше эмоциями в периферическом направлении от предыдущей комбинированной эмоции, алгоритм переходит к «НЕТ» (этап S113).

[0074] В случае перехода к этапу S112 узел 207 выбора выражения лица устанавливает промежуточные эмоции, интерполирующие между предыдущей комбинированной эмоцией и текущей комбинированной эмоции, и собирает данные изображений, соответствующие промежуточным эмоциям, из БД 320 выражений лица в ответ. Затем узел 208 управления глазами преобразовывает данные изображений в сигналы изображения и последовательно отображает сигналы изображения на индикаторной панели 106. После того, как изображения, соответствующие промежуточным эмоциям, были отображены, алгоритм переходит к этапу S113.

[0075] На этапе S113 узел 207 выбора выражения лица передает данные изображений, собранные процессом этапа S110, к узлу 208 управления глазами. Узел 208 управления глазами преобразовывает данные изображений в сигнал изображения и отображает сигнал изображения на индикаторной панели 106. Затем алгоритм переходит к этапу S114. Блок управления 200 определяет, отключен ли источник питания робота 100. Если источник питания не отключен, алгоритм возвращается к этапу S101, где общение с пользователем повторяется. Если источник питания отключен, серия процессов заканчивается.

[0076] Время ответного высказывания на этапе S103 и время отображения определенного выражения на этапе S113 может быть отрегулировано таким образом, чтобы быть оптимальными по отношению друг к другу. Кроме того, процесс, связанный с высказыванием пользователя, процесс, связанный с выражением лица пользователя, и процесс, связанный с аккумулятором, не обязательно должны выполняться в описанном выше порядке и могут выполняться параллельно.

[0077] Описанный выше робот 100 является коммуникационным устройством в виде персонажа, который осуществляет диалог с пользователем. Робот 100 выбирает и генерирует выражение лица в ответ, используя первую эмоцию, оцениваемую из высказывания пользователя, и вторую эмоцию, оцениваемую из информации об изображении лица пользователя как информацию, не произносимую пользователем. Выражение лица в ответ, выбранное и генерируемое в случае использования второй эмоции, может отличаться от выражения лица в ответ, выбранного и генерируемого в случае отсутствия использования второй эмоции. Поэтому, даже если высказывание пользователя является одним и тем же, выражение лица, выражаемое областью лица 120 робота 100, имеет много вариаций. Таким образом, можно ожидать, что привязанность пользователя к роботу 100 увеличилась, а диалог не надоел.

[0078] Поскольку выражения области лица 120 созданы с учетом не только высказывания пользователя, но и информации, отличной от высказывания, даже если высказывание пользователя является одним и тем же, комбинации голосового ответа, издаваемого роботом 100, и выражения лица в ответ области лица 120, различны. Поэтому пользователь может получать от робота 100 неожиданные реакции. В конечном счете, можно ожидать, что это увеличит ощущение близости пользователя к роботу 100.

[0079] Далее будет описан второй пример осуществления. На фиг. 11 представлена схематическая диаграмма коммуникационной системы согласно второму примеру осуществления изобретения. В первом примере осуществления все основные функциональные элементы обеспечены в теле робота 100 таким образом, чтобы робот 100 мог независимо общаться с пользователем. Однако робот 100' согласно второму примеру осуществления изобретения принимает конфигурацию, в которой функциональные элементы, связанные с вычислением, оставлены серверу 300.

[0080] Например, когда пользователь говорит «Привет, как дела?» роботу 100', микрофон робота 100' принимает голос пользователя. Робот 100' преобразовывает принятый голос в голосовой сигнал и передает голосовой сигнал к серверу 300 путем беспроводной связи. Кроме того, камера, включенная в робот 100', получает изображение лица пользователя. Робот 100' преобразовывает выходной сигнал камеры в сигнал изображения и передает сигнал изображения к серверу 300 путем беспроводной связи. Используя эти сведения, сервер 300 выбирает голосовые данные для голосового ответа (в иллюстрируемом примере «Хорошо! Я рад, что могу говорить») и данные изображений выражения лица в ответ (в иллюстрируемом примере выражение «радостный») и передает выбранные данные к роботу 100'. Робот 100' издает из динамика голос, соответствующий полученным голосовым данным, и отображает рисунок, соответствующий полученным данным изображения.

[0081] В настоящем примере осуществления будет также описан наручный датчик 500, который может быть дополнительно принят, чтобы собирать биологическую информацию пользователя. Пользователь носит наручный датчик 500, оборачивая его вокруг руки пользователя. Наручный датчик 500 определяет, например, пульс пользователя и состояние потоотделения, и передает результат обнаружения к серверу 300.

[0082] На фиг. 12 приведена диаграмма системной конфигурации сервера 300. Одинаковые имена присвоены элементам, в основном имеющих одинаковые функции в качестве элементов, описанных в первом примере осуществления. Объяснения функций элементов опускаются, если прямо не упомянуто иное. В настоящем примере осуществления сервер 300 функционирует в качестве всего коммуникационного устройства, которое выполняет различные вычисления и т.п.

[0083] Сервер 300 преимущественно включает в себя узел 400 арифметической обработки, коммуникационный интерфейс 490, БД 310 голосовых ответов и БД 320 выражений лица в ответ. Узел 400 арифметической обработки является, например, центральным процессором и действует в качестве узла для выполнения соответствующих функций узла 201 распознавания высказывания, узла 202 распознавания выражения, узла 203 оценки первой эмоции, узла 204 оценки второй эмоции, узла 205 определения эмпатической эмоции, узла 206 определения обусловленной эмоции и узла 207 выбора выражения лица. Узел 400 арифметической обработки также действует в качестве узла 212 распознавания биологической информации как узлу выполнения функций.

[0084] Коммуникационный интерфейс 490 является коммуникационным интерфейсом для обмена контрольными сигналами и данными с роботом 100', и, например, беспроводным блоком локальной сети. БД 310 голосовых ответов имеет ту же конфигурацию, что и БД 310 голосовых ответов, описанная в первом примере осуществления изобретения, и связана с узлом 209 выбора голоса. Кроме того, БД 320 выражений лица в ответ имеет ту же конфигурацию, что и БД 320 выражений лица в ответ, описанная в первом примере осуществления изобретения, и связана с узлом 207 выбора выражения лица.

[0085] Узел 201 распознавания высказывания получает голосовой сигнал от робота 100' через коммуникационный интерфейс 490. Узел 201 распознавания высказывания функционирует как узел сбора высказывания, который, вместе с коммуникационным интерфейсом 490, улавливает высказывание пользователя, разговаривающего с роботом 100. Кроме того, узел 202 распознавания выражения получает сигнал изображения от робота 100' через коммуникационный интерфейс 490. Узел 202 распознавания выражения функционирует как узел сбора информации, которая, вместе с коммуникационным интерфейсом 490, получает выражение лица пользователя как информацию, отличающуюся от высказывания пользователя.

[0086] Узел 212 распознавания биологической информации улавливает биологический сигнал, обозначающий биологическую информацию пользователя, от наручного датчика 500 через коммуникационный интерфейс 490. Затем руководствуясь параметрами анализа такими как пульс, потоотделение и т.п., узел 212 распознавания биологической информации извлекает характеристический сигнал из собранного биологического сигнала и передает характеристический сигнал к узлу 204 оценки второй эмоции. Узел 212 распознавания биологической информации функционирует как узел сбора информации, который вместе с коммуникационным интерфейсом 490 собирает биологическую информацию пользователя как информацию, отличающуюся от высказывания пользователя.

[0087] Узел 204 оценки второй эмоции объединяет эмоцию, оцениваемую из выражения лица пользователя, и эмоцию, оцениваемую из биологической информации, чтобы определить тип и степень второй эмоции. В частности, аналогично способу, описанному со ссылкой на фиг. 5-7, узел 204 оценки второй эмоции определяет вектор V₂ второй эмоции, представляя соответствующие эмоции как векторы и вычисляя сумму векторов.

[0088] Узел 207 выбора выражения лица передает данные изображений, собранные из БД 320 выражений лица в ответ, к роботу 100' через коммуникационный интерфейс 490. Аналогично, узел 209 выбора голоса передает данные о высказывании, соответствующие выбранному предложению, к роботу 100' через коммуникационный интерфейс 490.

[0089] На фиг. 13 представлена диаграмма системной конфигурации робота 100'. Одинаковые имена присвоены элементам, в основном имеющих одинаковые функции в качестве элементов, описанных в первом примере осуществления изобретения. Объяснения функций элементов опускаются, если прямо не упомянуто иное.

[0090] Робот 100' в основном включает в себя микрофон 101, камеру 102, индикаторную панель 106, динамик 109, узел 112 контроля аккумулятора, коммуникационный интерфейс 190 и управляющую узел 200'. Блок управления 200' сформирован из, например, центрального процессора, и также действует в качестве узла выполнения функции для выполнения каждой функции. Блок управления 200' преимущественно действует в качестве узла 208 управления глазами и узла 210 управления высказываниями.

[0091] Коммуникационный интерфейс 190 является коммуникационным интерфейсом для обмена контрольными сигналами и данными с сервером 300, и, например, беспроводным блоком локальной сети. Блок управления 200' передает голосовой сигнал, полученный от микрофона 101, и сигнал изображения, полученный от камеры 102, к серверу 300 через коммуникационный интерфейс 190. Кроме того, узел 208 управления глазами преобразовывает данные изображений, полученные от узла 207 выбора выражения лица через коммуникационный интерфейс 190 в сигнал изображения, который может быть отображен на индикаторной панели 106, и передает сигнал изображения к индикаторной панели 106. Узел 210 управления высказываниями преобразовывает данные о высказывании, полученные от узла 209 выбора голоса, через коммуникационный интерфейс 190 в голосовой сигнал, и передает голосовой сигнал к динамику 109.

[0092] Даже в такой системной конфигурации второго примера осуществления изобретения, как с первым примером осуществления, может быть реализована коммуникация с пользователем. Дополнительно, путем интегрирования связанных с расчетом функций в сервер 300, возможно обеспечить конфигурацию робота 100' и может быть реализована налаженная коммуникация без установки высокопроизводительной управляющей микросхемы в робот 100'. Кроме того, когда сервер 300 отвечает за арифметические функции, сервер 300 может также последовательно отвечать на арифметические запросы от множества роботов 100'. Это позволяет уменьшить стоимость производства всей системы.

[0093] Далее будет описан третий пример осуществления. На фиг. 14 представлена схематическая диаграмма планшетного терминала 700 согласно третьему примеру осуществления изобретения. В первом и во втором примерах осуществления изобретения робот 100 или 100', воплощающий персонажа, используется в качестве партнера, с которым говорит пользователь. Однако в третьем примере осуществления изобретения виртуальный персонаж 800, отображаемый на планшетном терминале 700, используется в качестве партнера для разговора. Если персонаж реализован как робот, пользователь может ощущать, что робот похож на домашнее животное, и может испытывать больше привязанности. Однако для планшетного терминала 700 возможно более просто выразить персонаж.

[0094] Системная конфигурация планшетного терминала 700 является почти такой же, как системная конфигурация робота 100 первого примера осуществления, описанного со ссылкой на фиг. 2. Описание подобных конфигураций будет опущено, а отличающиеся конфигурации будут описаны ниже.

[0095] Планшетный терминал 700 включает в себя индикаторную панель 710, микрофон 711, динамик 712 и камеру 713. Индикаторная панель 710 является, например, жидкокристаллической панелью, и отображает виртуальный персонаж 800. Поэтому планшетный терминал 700 не включает в себя индикаторную панель 106 для отображения только изображения глаза в первом примере осуществления.

[0096] Микрофон 711 является элементом, заменяющим микрофон 101 первого примера осуществления изобретения. Микрофон 711 улавливает прозвучавший голос пользователя. Динамик 712 является элементом, заменяющим динамик 109 первого примера осуществления изобретения. Динамик 712 получает голосовой сигнал, преобразованный узлом 210 управления высказываниями, и генерирует голосовой ответ. Камера 713 является элементом, заменяющим камеру 102 первого примера осуществления изобретения. Камера 713 получает изображение лица пользователя, обращенного лицом к планшетному терминалу 700.

[0097] Планшетный терминал 700 может не только изменять выражение глаз, но также и выражать эмоцию всем лицом или даже всем телом. В этом случае БД 320 выражений лица в ответ может быть выполнена с возможностью хранить данные изображений, соответствующие всему лицу и всему телу, вместе с типом и степенью каждой эмоции.

[0098] Таким образом, когда планшетный терминал 700 выполнен с возможностью функционировать как коммуникационное устройство, специализированная аппаратура в качестве коммуникационного устройства не требуется. Поэтому пользователь может более легко осуществлять диалог с персонажем. Кроме того, когда коммуникационное устройство имеет конфигурацию, которая позволяет пользователю говорить с виртуальным персонажем 800 вместе с другим применением планшетного терминала 700, коммуникационное устройство может быть применено для различных целей.

[0099] Далее будут описаны некоторые модификации. В первом примере осуществления робот 100 снабжен большинством конфигураций. Во втором примере осуществления узел 400 арифметической обработки сервера 300 отвечает за основной расчет. Однако в системе, в которой робот и сервер взаимодействуют друг с другом, и робот и сервер могут иметь узел арифметической обработки и могут иметь одинаковые функции, которые будут выполняться. Например, узел арифметической обработки со стороны робота может отвечать за простые арифметические операции, а узел арифметической обработки со стороны сервера может отвечать за сложные арифметические операции, которые требуют анализа. В частности, узел арифметической обработки со стороны робота может отвечать за кивающее поведение или вопросительное предложение, выдаваемое со стороны робота, а узел арифметической обработки со стороны сервера может отвечать за персональную идентификацию пользователя, оценку эмоции, накопление данных о диалоге и т.п. В случае принятия такой конфигурации система, в которой робот и сервер взаимодействуют друг с другом, является коммуникационным устройством.

[0100] Кроме того, изобретение не ограничено системой, в которой робот и сервер взаимодействуют друг с другом, но может быть применено к системе, в которой планшетный терминал, описанный в третьем примере осуществления, или смартфон и сервер взаимодействуют друг с другом. Даже с такой конфигурацией узел арифметической обработки со стороны планшетного терминала или со стороны смартфона может отвечать за простые арифметические операции, а узел арифметической обработки со стороны сервера может отвечать за сложные арифметические операции, которые требуют анализа. В случае принятия такой конфигурации система, в которой планшетный терминал или смартфон и сервер взаимодействуют друг с другом, является коммуникационным устройством.

[0101] В каждом из вышеописанных примеров осуществления камера получает изображение лица пользователя как партнера по диалогу. Однако угол обзора может регулироваться, чтобы собирать изображение всего тела пользователя. Например, когда может наблюдаться состояние всего тела в прыжке или ссутуленном положении, возможно оценить вторую эмоцию более точно. В вышеописанных примерах осуществления в качестве источника информации для оценки второй эмоции описаны лица и биологическая информация разговаривающего пользователя. Однако изобретение не ограничено этим. Различные виды информации, помимо информации о высказывании пользователя, могут быть источником информации для оценки второй эмоции. Например, когда предусмотрен микрофон для улавливания звука из окружающей среды, возможно улавливать голос, неожиданно произнесенный человеком, отличным от пользователя, в рамках диалога. Узел 204 оценки второй эмоции может оценивать эмоцию «удивленный» в зависимости от уровня неожиданности.

[0102] В качестве датчика для сбора информации об окружающей среде возможно принять другие датчики, помимо улавливающего звук микрофона. Например, когда температурный датчик или датчик влажности используются в качестве датчика для сбора информации об окружающей среде, узел 204 оценки второй эмоции может использовать выходные сигналы этих датчиков как информацию для оценки степени дискомфорта пользователя.

[0103] В каждом из вышеописанных примеров осуществления для вычисления эмпатической эмоции используется циркумплексная модель Рассела. При помощи циркумплексной модели Рассела возможно вычислить эмоцию пользователя в большей степени количественно. Однако при расчете эмпатических эмоций другие различные известные способы могут быть приняты для вычисления эмпатической эмоции.

Изобретение относится к коммуникационному устройству и коммуникационному роботу. Технический результат заключается в создании коммуникационного устройства, которое позволяет персонажу отображать даже для одного и того же диалога различные выражения лица в зависимости от ситуации. Такой технический результат достигается за счет коммуникационного устройства, включающего в себя узел сбора высказывания, выполненный с возможностью улавливать высказывание пользователя к персонажу; узел сбора информации, выполненный с возможностью собирать информацию, отличающуюся от высказывания; узел генерирования голоса, выполненный с возможностью генерировать голосовой ответ; и узел генерирования выражения лица, выполненный с возможностью генерировать выражение лица в ответ, которое будет выражаться областью лица персонажа исходя из содержания высказывания, собранного узлом сбора высказывания, в котором, когда собирается информация от узла сбора информации, узел генерирования выражения генерирует выражение лица в ответ, используя информацию вместе с содержанием высказывания, при этом выражение лица в ответ, генерируемое, когда информация собирается, отличается от выражения лица в ответ, генерируемого, когда информация не собирается. 3 н. и 8 з.п. ф-лы, 14 ил.

1. Коммуникационное устройство, которое позволяет персонажу говорить с пользователем, при этом коммуникационное устройство содержит:

узел сбора высказывания, выполненный с возможностью улавливать высказывание пользователя к персонажу;

узел сбора информации, выполненный с возможностью собирать информацию, отличающуюся от высказывания;

узел генерирования голоса, выполненный с возможностью генерировать голосовой ответ, который будет издаваться персонажем исходя из содержания высказывания, полученного узлом сбора высказывания; и

узел генерирования выражения лица, выполненный с возможностью генерировать выражение лица в ответ, которое будет выражаться областью лица персонажа исходя из содержания высказывания, полученного узлом сбора высказывания, в котором, если получается информация от узла сбора информации, узел генерирования выражения генерирует выражение лица в ответ, используя указанную информацию вместе с содержанием высказывания, при этом выражение лица в ответ, генерируемое в тех случаях, когда информация получается, отличается от выражения лица в ответ, генерируемого, если информация не получается.

2. Коммуникационное устройство по п. 1, отличающееся тем, что дополнительно содержит:

банк данных, выполненный с возможностью хранить множество выражений лица в ответ, связанных с множеством эмоций соответственно, причем узел генерирования выражения лица выбирает из банка данных выражение лица в ответ, связанное с третьей эмоцией, которая определяется согласно комбинации первой эмоции и второй эмоции, при этом первая эмоция оценивается исходя из содержания высказывания, и вторая эмоция оценивается исходя из информации, полученной узлом сбора информации.

3. Коммуникационное устройство по п. 2, отличающееся тем, что

в банке данных множество эмоций связано с множеством выражений лица в ответ соответственно на основе циркумплексной модели Рассела; и

узел генерирования выражения определяет третью эмоцию исходя из результирующего определения типа и степени эмоции, соответствующей первой эмоции в циркумплексной модели Рассела, и типа и степени эмоции, соответствующей второй эмоции в циркумплексной модели Рассела.

4. Коммуникационное устройство по п. 2 или 3, в котором узел генерирования выражения выбирает из банка данных выражение лица в ответ, соответствующее четвертой эмоции, которая аппроксимирует третью эмоцию в заданном диапазоне, представляющем собой диапазон вариаций третьей эмоции.

5. Коммуникационное устройство по любому из пп. 1-3, в котором при генерировании двух выражений лица в ответ подряд узел генерирования выражения создает по меньшей мере одно интерполяционное выражение лица в ответ между двумя выражениями лица в ответ, при этом по меньшей мере одно интерполяционное выражение лица в ответ интерполирует два выражения лица в ответ.

6. Коммуникационное устройство по любому из пп. 1-3, отличающееся тем, что узел сбора информации включает в себя узел визуализации, выполненный с возможностью получать изображение пользователя.

7. Коммуникационное устройство по любому из пп. 1-3, отличающееся тем, что узел сбора информации включает в себя биометрический датчик, выполненный с возможностью получать биологическую информацию пользователя.

8. Коммуникационное устройство по любому из пп. 1-3, отличающееся тем, что узел сбора информации включает в себя датчик окружающей среды, выполненный с возможностью собирать информацию о среде, окружающей коммуникационное устройство.

9. Коммуникационное устройство по любому из пп. 1-3, отличающееся тем, что дополнительно содержит:

узел сбора состояния, выполненный с возможностью получать информацию о внутреннем состоянии устройства персонажа, которое воплощает персонаж, причем узел генерирования выражения создает выражение лица в ответ исходя из внутреннего состояния, собранного узлом сбора состояния, в дополнение к содержанию высказывания и указанной информации.

10. Коммуникационный робот, содержащий:

коммуникационное устройство по любому из пп. 1-3; и

область лица, выполненную с возможностью изображать выражение лица в ответ, создаваемое узлом генерирования выражения.

11. Машиночитаемый носитель данных, содержащий:

узел памяти, выполненный с возможностью хранить программу управления передачей данных, которая предназначена для выполнения компьютером коммуникационного устройства, позволяет персонажу говорить с пользователем, причем, когда программа управления передачей данных выполняется компьютером, компьютер выполняет следующие этапы:

этап сбора высказывания, состоящий в улавливании высказывания пользователя к персонажу;

этап сбора информации, состоящий в сборе информации, отличающейся от высказывания;

этап генерирования голоса, состоящий в создании голосового ответа, который будет издаваться персонажем исходя из содержания высказывания, полученного на этапе сбора высказывания; и

этап генерирования выражения лица, состоящий в генерировании выражения лица в ответ, которое предназначено для изображения областью лица персонажа исходя из содержания высказывания, полученного на этапе сбора высказывания, и в котором на этапе генерирования выражения лица, если информация собирается, выражение лица в ответ генерируется, используя информацию вместе с содержанием высказывания, при этом выражение лица в ответ, генерируемое, когда информация собирается, отличается от выражения лица в ответ, генерируемого, когда информация не собирается.