ГОЛОСОВОЕ ДИАЛОГОВОЕ УСТРОЙСТВО, ГОЛОСОВАЯ ДИАЛОГОВАЯ СИСТЕМА И СПОСОБ УПРАВЛЕНИЯ ДЛЯ ГОЛОСОВОЙ ДИАЛОГОВОЙ СИСТЕМЫ Российский патент 2022 года по МПК G10L15/22 

[0001] Настоящее изобретение относится к голосовому диалоговому устройству, голосовой диалоговой системе и способу управления голосовым диалоговым устройством.

Уровень техники

[0002] Известно диалоговое устройство, установленное на транспортном средстве вместе с устройством голосового вывода для осуществления голосового вывода в салоне транспортного средства и способное взаимодействовать с водителем транспортного средства (Патентный документ 1). Диалоговое устройство содержит блок выполнения диалога, блок определения нагрузки и блок управления речью. Блок выполнения диалога формирует разговорное предложение, адресованное водителю, и побуждает устройство вывода речи произносить разговорное предложение. Блок определения нагрузки определяет, высока ли нагрузка по управлению на водителя для дороги, по которой движется транспортное средство. Блок управления речью устанавливает состояние запрета, в котором начало речи блоком выполнения диалога запрещено, когда блок определения нагрузки определяет, что нагрузка по управлению является высокой, и устанавливает состояние разрешения, в котором начало речи блоком выполнения диалога разрешено, когда блок определения нагрузки определяет, что нагрузка по управлению невысока.

[Документ из уровня техники]

[Патентный документ]

[0003] [Патентный документ 1] JP 2017-67849 A

[Раскрытие изобретения]

[Проблемы, решаемые изобретением]

[0004] В уровне техники существует проблема, заключающаяся в том, что диалог с пользователем не может продолжаться, если определено, что нагрузка на человека, такая как операция по управлению, является высокой.

[0005] Проблема, решаемая настоящим изобретением, состоит в создании голосового диалогового устройства, голосовой диалоговой системы и способа управления голосовым диалоговым устройством, которые способны продолжать диалог с пользователем независимо от состояния нагрузки на пользователя.

[Средства для решения проблем]

[0006] Настоящее изобретение решает вышеупомянутую проблему путем определения состояния нагрузки на пользователя на основании состояния по меньшей мере одного из состояния движения транспортного средства, состояния внешнего окружения транспортного средства и состояния пользователя в транспортном средстве, и осуществления диалога с пользователем посредством выполнения диалоговой программы, соответствующей состоянию нагрузки.

[Эффект изобретения]

[0007] В соответствии с настоящим изобретением диалог с пользователем может продолжаться независимо от состояния нагрузки на пользователя.

[Краткое описание чертежей]

[0008] Фиг.1 - блок-схема голосовой диалоговой системы согласно настоящему варианту осуществления.

Фиг.2 - пример элементов и стандарта определения для определения величины нагрузки по управлению.

Фиг.3 - схема для пояснения первого режима диалога и второго режима диалога в первом варианте осуществления.

Фиг.4 - блок-схема, показывающая процесс, выполняемый контроллером согласно настоящему варианту осуществления.

Фиг.5 - пример диалога, выполняемого при выполнении первой диалоговой программы.

Фиг.6 - пример диалога, выполняемого при выполнении второй диалоговой программы.

Фиг.7 - схема для пояснения первого режима диалога и второго режима диалога во втором варианте осуществления.

Фиг.8 - схема для пояснения первого режима диалога и второго режима диалога в третьем варианте осуществления.

[Осуществление изобретения]

[0009] Ниже будут описаны варианты осуществления настоящего изобретения с обращением к чертежам.

[0010] Первый вариант осуществления

Фиг.1 – это схема, показывающая конфигурацию голосовой диалоговой системы согласно настоящему варианту осуществления. Как показано на Фиг. 1, в настоящем варианте осуществления в качестве примера будет описана конфигурация, в которой голосовая диалоговая система установлена в транспортном средстве 100.

[0011] Транспортное средство 100 содержит группу датчиков 110, устройство 120 обнаружения окружения, навигационное устройство 130, устройство 140 получения внешней информации, приводное устройство 150, внутреннюю камеру 160, внутренний микрофон 170, громкоговоритель 180 и контроллер 190. Эти устройства соединены друг с другом через сеть контроллеров (CAN) или другую локальную сеть в транспортном средстве для взаимного обмена информацией. Голосовое диалоговое устройство согласно настоящему варианту осуществления включает в себя контроллер 190.

[0012] В качестве примера транспортного средства 100 по настоящему варианту осуществления может быть рассмотрено электрическое транспортное средство, содержащее в качестве источника привода электродвигатель, транспортное средство с двигателем, содержащее в качестве источника привода двигатель внутреннего сгорания, гибридное транспортное средство, содержащее в качестве источника привода как электродвигатель, так и двигатель внутреннего сгорания. Электрические транспортные средства и гибридные транспортные средства, оснащенные в качестве источников привода электродвигателями, включают в себя те, в которых в качестве источников мощности для электродвигателей используются вторичные батареи, и те, в которых в качестве источников мощности для электродвигателей используются топливные элементы.

[0013] Группа датчиков 110 состоит из устройства, которое обнаруживает состояния движения транспортного средства. В частности, группа датчиков 110 по настоящему варианту осуществления состоит из датчика 111 скорости транспортного средства, датчика 112 скорости вращения двигателя, датчика 113 степени открытия акселератора, датчика 114 степени открытия тормоза, датчика 115 угла рулевого управления и датчика 116 рычага переключения передач..

[0014] Датчик 111 скорости транспортного средства измеряет скорость вращения системы привода, такой как приводной вал, и на основании этого определяет скорость движения транспортного средства (далее также называемую скоростью транспортного средства). Датчик 111 скорости транспортного средства выводит данные о скорости транспортного средства в контроллер 190. В настоящем варианте осуществления транспортное средство 100 может быть выполнено с возможностью включения в него датчика ускорения вместо или в качестве дополнения к датчику 111 скорости транспортного средства.

[0015] Датчик 112 скорости вращения двигателя обнаруживает число оборотов (RPM) двигателя и выводит данные RPM двигателя в контроллер 190. Датчик 113 степени открытия акселератора обнаруживает переменную управления педалью акселератора и выводит информацию о переменной управления педали акселератора в контроллер 190. Датчик 114 степени открытия тормоза обнаруживает переменную управления педалью тормоза и выводит информацию о переменной управления педалью тормоза в контроллер 190. Датчик 115 угла рулевого управления обнаруживает угол поворота рулевого управления для рулевого управления и передает информацию об угле рулевого управления в контроллер 190. Датчик 116 рычага переключения передач обнаруживает положение датчика рычага переключения передач (положение рычага переключения передач) и выводит информацию о положении датчика рычага переключения передач в контроллер 190.

[0016] Устройство 120 обнаружения окружения обнаруживает объект, присутствующий в области, окружающей транспортное средство 100. Примеры устройства 120 обнаружения окружения включают в себя бортовую камеру 121 и радар 122. Бортовая камера 121 формирует изображение окружения транспортного средства 100. Бортовая камера 121 представлена, например, передней камерой для формирования изображения области впереди транспортного средства 100, задней камерой для формирования изображения области сзади транспортного средства 100, боковой камерой для формирования изображения области сбоку транспортного средства 100. Радар 122 обнаруживает препятствие, присутствующее в области, окружающей транспортное средство 100. Радар 122 представлен, например, передним радаром, который обнаруживает препятствие, присутствующее в области впереди транспортного средства 100, заднего радара, который обнаруживает препятствие, присутствующее в области сзади транспортного средства 100, и бокового радара, который обнаруживает препятствие, присутствующее в области сбоку транспортного средства 100. Радар 122 обнаруживает расстояние от транспортного средства 100 до препятствия и направление, в котором находится препятствие.

[0017] Объекты, обнаруживаемые устройством 120 обнаружения окружения, включают в себя пешеходов, велосипеды, мотоциклы, транспортные средства, дорожные препятствия, светофоры, дорожную разметку и пешеходные переходы. В общем случае, устройство 120 обнаружения окружения может быть выполнено с возможностью использования любого из вышеупомянутых бортовой камеры 121 и радара 122 или сочетания двух или более типов. Устройство 120 обнаружения окружения выводит информацию сформированного изображения и результаты обнаружения в контроллер 190 в качестве информации об окружении.

[0018] Навигационное устройство 130 направляет водителя, указывая маршрут от текущего местоположения транспортного средства 100 до места назначения на основании информации о местоположении транспортного средства 100, обнаруженной GPS 131. Навигационное устройство 130 имеет картографическую информацию и вычисляет маршрут движения транспортного средства 100 на основании информации о местоположении транспортного средства 100 и информации о местоположении места назначения. Навигационное устройство 130 выводит информацию о местоположении транспортного средства 100 и информацию о маршруте движения транспортного средства 100 в контроллер 190. Маршрут движения транспортного средства 100 включает в себя маршрут, по которому транспортное средство 100 фактически двигалось, и маршрут, по которому транспортное средство 100 будет двигаться в будущем.

[0019] Устройство 140 получения внешней информации соединено с сетями, имеющимися за пределами транспортного средства 100, и получает информацию о внешнем окружении транспортного средства 100. Устройство 140 сбора внешней информации включает в себя устройство, которое получает различные типы информации из сетей за пределами транспортного средства через заданные интервалы по линии связи. Например, устройство 140 сбора внешней информации получает информацию о дорожных заторах, информацию о дорожных работах и информацию о происшествиях из систем VICS (зарегистрированный товарный знак). Например, устройство 140 получения внешней информации получает информацию о погоде с внешнего сервера. Устройство 140 получения внешней информации выводит информацию, полученную извне транспортного средства 100, в контроллер 190. Устройство 140 получения внешней информации не ограничено получением информации с внешнего сервера, но может искать необходимую информацию в сетях и обращаться к серверу, который управляет информацией, в соответствии с результатами поиска.

[0020] Кроме того, устройство 140 получения внешней информации не ограничено устройством для получения информации о внешнем окружении по линии связи. Например, устройство 140 получения внешней информации может быть датчиком внешней температуры для обнаружения внешней температуры, датчиком влажности для обнаружения влажности или датчиком дождя для обнаружения капель дождя. Датчик внешней температуры выдает информацию о внешней температуре в качестве результата определения в контроллер 190. Датчик влажности выводит информацию о влажности в качестве результата обнаружения в контроллер 190. Датчик дождя выдает информацию о каплях дождя в качестве результата обнаружения в контроллер 190.

[0021] Приводное устройство 150 включает в себя приводной механизм для транспортного средства 100. Приводной механизм включает в себя электродвигатель и/или двигатель внутреннего сгорания, являющийся источником привода для движения транспортного средства 100, описанного выше, силовую передачу, включающую в себя приводной вал, и автоматическую трансмиссию для передачи выходной мощности от этого источника привода для движения на ведущие колеса, и тормозное устройство для торможения колес (не показано) и т.п. Приводное устройство 150 формирует соответствующие управляющие сигналы для этих приводных механизмов на основании входного сигнала при нажатии на педаль акселератора и при торможении, управляющего сигнала, полученного от контроллера транспортного средства (не показан) или устройства управления движением (не показано), и выполняет управление движением, включая ускорение и замедление транспортного средства. На приводное устройство 150 может быть отправлена командная информация, и оно, таким образом, может автоматически выполнять управление движением, включая ускорение и замедление транспортного средства. В случае гибридного транспортного средства отношение выходного крутящего момента на электродвигателе и выходного крутящего момента на двигателе внутреннего сгорания в соответствии с состоянием движения транспортного средства также передаётся на устройство 150 привода.

[0022] Субъект, который управляет транспортным средством 100 в этом варианте осуществления, является субъектом, который управляет приводным устройством 150, то есть водителем транспортного средства 100 или контроллером транспортного средства. Движение транспортного средства 100 осуществляется посредством управления движением со стороны водителя или посредством автоматического управления движением со стороны контроллера транспортного средства. Например, хотя это и не показано на фиг. 1, транспортное средство 100 снабжено устройством (например, переключателем в форме кнопки) для переключения субъекта управления движением. Водитель может осуществлять переключение между ручным управлением движением транспортного средства или управлением движением посредством контроллера транспортного средства путём переключения этого переключателя. Управление движением транспортного средства, выполняемое контроллером транспортного средства, представляет собой так называемое автоматическое управление движением транспортного средства, которое представляет собой управление движением транспортного средства, которое позволяет транспортному средству двигаться автоматически. Из области автоматического управления может быть надлежащим образом использована технология, известная на момент подачи настоящей заявки. Приводное устройство 150 выводит информацию о субъекте управления, который управляет транспортным средством 100, в контроллер 190 в качестве информации о субъекте управления.

[0023] Внутренняя камера 160 предусмотрена в положении, позволяющем формировать изображение пользователя в транспортном средстве 100 для формирования изображения пользователя. В настоящем варианте осуществления внутренняя камера 160 формирует изображение водителя среди пользователей транспортного средства 100. Внутренняя камера 160 предпочтительно предусмотрена в положении, позволяющем формировать изображение выражения лица водителя, включая взгляд водителя, и управления движением со стороны водителя. Внутренняя камера 160 выводит информацию о захваченном изображении водителя в контроллер 190.

[0024] Внутренний микрофон 170 получает голосовую информацию от пользователя транспортного средства 100 и по меньшей мере временно сохраняет ее. В настоящем варианте осуществления внутренний микрофон 170 получает голосовую информацию от водителя среди пользователей в транспортном средстве 100. Положение внутренней камеры 160 не ограничено конкретно, но предпочтительно, чтобы она была расположена рядом с сиденьем пользователя.

[0025] Громкоговоритель 180 выводит голосовую информацию пользователю в транспортном средстве 100. В настоящем варианте осуществления громкоговоритель 180 выводит голосовую информацию водителю среди пользователей в транспортном средстве 100. Положение громкоговорителя 180 не ограничено конкретно, но предпочтительно, чтобы он был расположен рядом с сиденьем пользователя.

[0026] Далее будет описан контроллер 190 по настоящему варианту осуществления. Контроллер 190 представлен ROM (постоянным запоминающим устройством), которое сохраняет программу для выполнения процесса диалога с пользователем, используя диалоговую программу, соответствующую нагрузке на пользователя в транспортном средстве 100, CPU (центральным процессором), который выполняет программу, сохранённую в ROM, и RAM (оперативным запоминающим устройством), которое функционирует как запоминающее устройство с возможностью осуществления доступа. В качестве альтернативы или дополнения к процессору, в качестве схемы управления могут использоваться микропроцессор (MPU), цифровой сигнальный процессор (DSP), специализированная интегральная схема (ASIC), программируемая вентильная матрица (FPGA) и т.п.

[0027] Контроллер 190 выполняет программу, сохранённую в ROM, тем самым реализуя: функцию получения информации о состоянии движения для получения информации о состоянии движения транспортного средства 100; функцию получения внешней информации для получения информации о внешнем окружении транспортного средства 100; функцию получения информации об управлении движением для получения информации об управлении движением транспортного средства 100; функцию определения нагрузки по управлению для определения величины нагрузки по управлению на пользователя в транспортном средстве 100 на основании полученной информации; и диалоговую функцию для выбора диалоговой программы, соответствующей величине нагрузки по управлению, и осуществления диалога с водителем. Каждая функция контроллера 190 будет описана ниже.

[0028] Контроллер 190 получает информацию о состоянии движения транспортного средства 100 с помощью функции получения информации о состоянии движения. Информация о состоянии движения включает в себя скорость транспортного средства 100, скорость вращения двигателя, переменную управления акселератором, переменную управления тормозом и угол поворота рулевого управления. Когда транспортное средство 100 включает в себя такое устройство, как навигационное устройство 130, которое работает при помощи приложения, контроллер 190 вводит информацию о типе выполняемого приложения. В этом случае в дополнение к вышеупомянутой информации информация о состоянии движения включает в себя информацию о типе приложения.

[0029] Контроллер 190 получает информацию о внешнем окружении транспортного средства 100 с помощью функции получения внешней информации. Информация о внешнем окружении включает в себя расстояние до препятствий вокруг транспортного средства 100 и направление, в котором расположены препятствия, информацию о дороге, по которой движется транспортное средство 100 (включая информацию о типе, информацию о заторах, информацию о дорожных работах и информацию о происшествиях) и текущее местоположение транспортного средства 100.

[0030] Контроллер 190 получает информацию об управлении движением с помощью функции получения информации об управлении движением. Информация об управлении движением включает в себя положение рычага переключения передач, информацию об управлении транспортного средства 100, информацию о положении водителя при управлении. Информация о положении водителя при управлении представляет собой информацию, основанную на захваченных изображениях водителя, сформированных внутренней камерой 160. Контроллер 190 определяет положение водителя при управлении путём выполнения обработку изображения в отношении захваченного изображения водителя.

[0031] Контроллер 190 определяет размер нагрузки по управлению на водителя с помощью функции определения нагрузки по управлению. Контроллер 190 согласно настоящему варианту осуществления определяет, является ли величина нагрузки по управлению большей или меньшей, чем заданный стандарт, на основании по меньшей мере одного из информации о состоянии движения, полученной функцией получения информации о состоянии движения, информации о внешнем окружении, полученной функцией получения информации о внешнем окружении, и информации об управлении движением, полученной функцией получения информации об управлении движением. В настоящем варианте осуществления пояснение основано на примере конфигурации, в которой величина нагрузки по управлению разделена на две категории: больше или меньше заданного стандарта, но способ определения величины нагрузки по управлению не ограничен этим. Например, величина нагрузки по управлению может быть разделена на три или более категорий. Определение величины нагрузки по управлению в данном случае заключается в том, что контроллер 190 определяет, классифицируется ли состояние нагрузки по управлению по двум или более классификациям, на основании любой по меньшей мере одной информации из информации о состоянии движения, полученной посредством функции получения информации о состоянии движения, информации о внешнем окружении, полученной посредством функции получения информации о внешнем окружении, и информации об управлении движением, полученной посредством функции получения информации об управлении движением. В настоящем варианте осуществления две или более классификаций означают определение того, соответствует ли упомянутое состояние состоянию с высокой нагрузкой по управлению или состоянию с низкой нагрузкой по управлению движением.

[0032] Здесь нагрузка по управлению означает нагрузку, которую несет водитель, когда водитель управляет транспортным средством 100. Когда нагрузка по управлению высока, от водителя требуется высокая способность к сосредоточению для управления движением. По этой причине водитель осознанно или неосознанно снижает приоритет операций, отличных от управления движением. Операции, отличные от операции управления движением, включают в себя, например, операцию регулировки температуры или расхода воздуха в отношении кондиционера, операцию регулировки громкости музыки или радио или тому подобное.

[0033] Далее с обращением к фиг. 2 будет описан конкретный способ определения величины нагрузки по управлению. Фиг.2 представляет собой пример элементов и стандарта определения для определения величины нагрузки по управлению.

[0034] Как показано на фиг. 2, контроллер 190 определяет величину нагрузки по управлению в соответствии с состоянием движения транспортного средства 100. Контроллер 190 определяет, что нагрузка по управлению является высокой, когда состояние движения транспортного средства 100 соответствует «Движению». С другой стороны, контроллер 190 определяет, что нагрузка по управлению является низкой, когда состояние движения транспортного средства 100 соответствует «Остановке». Например, контроллер 190 обнаруживает, что транспортное средство находится в состоянии «движение», когда положение рычага переключения передач представляет собой “D” (движение). Кроме того, например, контроллер 190 обнаруживает, что транспортное средство находится в состоянии «Остановка», когда положение рычага переключения передач представляет собой “P” (стоянка) или “N” (нейтральное положение). Способ определения с использованием состояния движения не ограничен вышеупомянутым способом определения. Например, состояние движения транспортного средства может быть определено из скорости транспортного средства, скорости вращения двигателя, переменной управления педалью акселератора, переменной управления педалью тормоза.

[0035] Кроме того, на фиг. 2 «Движение» или «Остановка» взяты в качестве примера как элемент состояния движения, но элементы состояния движения не ограничены этим. Например, контроллер 190 может определить, что нагрузка по управлению является низкой, когда скорость транспортного средства меньше или равна заданной скорости, даже если транспортное средство движется. Кроме того, например, контроллер 190 может определить, что транспортное средство останавливается перед началом движения и что нагрузка по управлению является высокой, когда положение рычага переключения передач находится в положении “D” (движение), а переменная управления педалью тормоза больше или равна заданной величине, даже если транспортное средство остановлено.

[0036] Кроме того, как показано на фиг. 2, контроллер 190 определяет величину нагрузки по управлению в соответствии с субъектом управления транспортным средством 100. Контроллер 190 определяет, что нагрузка по управлению является высокой, если субъект управления транспортным средством 100 соответствует «Водителю». С другой стороны, контроллер 190 определяет, что нагрузка по управлению является низкой, если субъект управления транспортным средством 100 соответствует «Контроллеру транспортного средства». Например, контроллер 190 определяет, является ли текущий субъект управления водителем или контроллером транспортного средства, путём использования информации о субъекте управления, полученной от приводного устройства 150. Способ определения с использованием информации о субъекте управления не ограничен вышеупомянутым способом определения. Например, предположим, что контроллер 190 обнаруживает, что водитель не управляет рулём, из захваченного изображения водителя, сформированного внутренней камерой 160, даже если транспортное средство движется. В этом случае контроллер 190 может определить, что субъект управления соответствует «Контроллеру транспортного средства» и что нагрузка по управлению является низкой.

[0037] Кроме того, как показано на фиг. 2, контроллер 190 определяет величину нагрузки по управлению согласно управлению движением. Контроллер 190 определяет, что нагрузка по управлению является высокой, когда управление движением соответствует любой из операций «Парковка в гараже», «Параллельная парковка» и «Парковка задним ходом». Например, контроллер 190 определяет, что управление движением может соответствовать «Парковке» в качестве основного определения при обнаружении того, что положение рычага переключения передач представляет собой “R” (задний ход).

[0038] Затем, при обнаружении того, что транспортное средство 100 находится в области, окружающей гараж, из информации об окружении транспортного средства 100, контроллер 190 определяет, что управление движением соответствует «Парковке в гараже». Кроме того, контроллер 190 определяет, что управление движением соответствует «Параллельной парковке», когда другое транспортное средство или парковочное место для параллельной парковки обнаружено на основании информации об окружении транспортного средства 100. Контроллер 190 определяет, что управление движением соответствует «Парковке задним ходом» при обнаружении, что транспортное средство 100 паркуется задним ходом на основании угла поворота рулевого управления и переменной управления педалью тормоза. Способы определения, использующие управление движением, являются лишь примерами и не ограничены конкретно. Например, контроллер 190 может оценивать траекторию движения транспортного средства 100 на основании угла поворота рулевого управления, скорости транспортного средства, переменной управления педалью тормоза и переменной управления педалью акселератора, и определять, соответствует ли управление движением какой-либо из операций «Парковка в гараже», «Параллельная парковка», «Парковка задним ходом».

[0039] Кроме того, как показано на фиг. 2, контроллер 190 определяет, величину нагрузки по управлению в соответствии с внешним окружением транспортного средства 100. Внешнее окружение включает в себя местоположение движения, состояние дорожного движения, погоду, часовой пояс, большое количество препятствий, присутствующих в окружающей области, и расстояние до препятствий, или тому подобное. Контроллер 190 определяет, что нагрузка по управлению является высокой, когда местоположение движения транспортного средства 100 соответствует «Шоссе». С другой стороны, контроллер 190 определяет, что нагрузка по управлению движением является низкой, когда местоположение движения транспортного средства 100 соответствует «Дороге с затором». Например, контроллер 190 обнаруживает, что местоположение движения транспортного средства 100 соответствует «Шоссе», когда текущим местоположением транспортного средства 100 является шоссе и нет информации о заторе в окружающей области для текущего местоположения. Кроме того, контроллер 190 обнаруживает, что местоположение движения транспортного средства 100 соответствует «Дороге с затором», когда имеется информация о заторе в окружающей области для текущего местоположения.

[0040] Кроме того, контроллер 190 определяет, что нагрузка по управлению является высокой, если местоположение транспортного средства 100 соответствует «Перекрестку». С другой стороны, контроллер 190 определяет, что нагрузка по управлению является низкой, когда местоположение транспортного средства 100 соответствует «Прямой дороге». Кроме того, контроллер 190 определяет, что нагрузка по управлению является высокой, когда количество препятствий (другое транспортное средство, двухколесное транспортное средство, пешеход и т.д.) в окружающей области для транспортного средства 100 меньше заданного количества. С другой стороны, контроллер 190 определяет, что нагрузка по управлению является низкой, когда количество препятствий равно или превышает заданное количество.

[0041] Вышеупомянутые стандарты определения являются лишь примерами и не ограничены конкретно. Контроллер 190 может включать тип приложения, выполняемого внутри транспортного средства 100, в качестве элемента состояния движения транспортного средства 100. В этом случае контроллер 190 определяет величину нагрузки по управлению в соответствии с типом выполняемого приложения. Тип приложения не ограничен конкретно. Определение величины нагрузки по управлению в зависимости от типа приложения предпочтительно должно выполняться в соответствии со стандартом, установленным опытным путём.

[0042] Выше был описан Пример способа определения величины нагрузки по управлению для каждого из элементов, показанных на фиг. 2, но величина нагрузки по управлению не должна определяться для одного элемента, и величина нагрузки по управлению может быть определена по меньшей мере для любого одного из множества элементов.

[0043] Например, если контроллер 190 определяет величину нагрузки по управлению для множества элементов, контроллер 190 использует заданный способ определения величины нагрузки по управлению. Например, контроллер 190 может определять величину нагрузки по управлению путем взвешивания результатов определения для каждого элемента посредством весового коэффициента, который заранее установлен для каждого элемента. Кроме того, контроллер 190 может определять величину нагрузки по управлению посредством осуществления мажоритарного голосования на основании результатов определения для каждого элемента.

[0044] Элементы определения могут быть различными в зависимости от уровня водительских навыков водителя. Например, контроллер 190 оценивает уровень водительских навыков на основании заранее зарегистрированной информации о водителе. Затем контроллер 190 не выполняет никакого определения относительно элемента «Состояние движения», показанного на фиг. 2, если уровень водительских навыков водителя выше заданного значения. Это основано на той точке зрения, что, поскольку водитель с высоким уровнем водительских навыков является водителем, который привык к управлению, или водителем, которому нравится управление, при определении нагрузки по управлению для такого водителя трудно определить величину нагрузки по управлению только путем определения, движется ли транспортное средство или останавливается. И наоборот, в случае водителя с низким уровнем водительских навыков (например, водителя лишь по документам и т.д.), поскольку простое осуществление управления приводит к высокой нагрузке по управлению, контроллер 190 определяет нагрузку по управлению на основании элемента «Состояние движения», если управление осуществляет водитель с уровнем водительских навыков ниже заданного значения. Заданное значение не ограничено конкретно, и значение, полученное опытным путём, является предпочтительным.

[0045] Далее будет описана диалоговая функция. Контроллер 190 выполняет диалог с пользователем в транспортном средстве 100 путём выполнения диалоговой программы, соответствующей величине нагрузки по управлению, посредством диалоговой функции. В настоящем варианте осуществления контроллер 190 выполняет первую диалоговую программу, когда величина нагрузки по управлению выше заданного стандарта, и выполняет вторую диалоговую программу, отличную от первой диалоговой программы, когда величина нагрузки по управлению ниже заданного стандарта. В этом варианте осуществления каждая диалоговая программа заранее сохраняется в ROM или базе данных (не показана), и контроллер 190 выбирает и выполняет диалоговую программу, соответствующую величине нагрузки по управлению, из ROM или базы данных посредством диалоговой функции. Первый режим диалога реализуется посредством выполнения первой диалоговой программы, а второй режим диалога реализуется посредством выполнения второй диалоговой программы. В первой диалоговой программе и второй диалоговой программе для формирования голоса можно использовать метод, известный на момент подачи настоящей заявки.

[0046] Каждая диалоговая программа состоит из программы для распознавания голоса пользователя и программы для вывода голоса для пользователя. Контроллер 190 выводит голос через громкоговоритель 180 и осуществляет разговор с пользователем путём выполнения программы для вывода голоса. Кроме того, контроллер 190 распознает голос пользователя, вводимый через внутренний микрофон 170, посредством выполнения программы для распознавания голоса. Контроллер 190 выполняет диалог с пользователем путём повторения упомянутого вывода голоса и распознавания голоса пользователя.

[0047] Каждый режим диалога будет описан ниже с использованием Фиг. 3 по мере необходимости. Фиг.3 – это схема, поясняющая первый режим диалога и второй режим диалога в настоящем варианте осуществления.

[0048] Первая диалоговая программа запрограммирована на ответ пользователя, включающий в себя меньшее количество слов, чем вторая диалоговая программа. «Ответ» означает ответ на вопрос или обращение (далее называется вопросом и т.д.) от контроллера 190. Ответы пользователя включают в себя не только ответы на один вопрос и т.п., но также и все ответы, данные между началом и концом диалога. Способы уменьшения количества слов, которые произносит пользователь, включают в себя, например, способ уменьшения количества раз, которое пользователь отвечает, способ уменьшения количества слов, которые пользователь произносит за один ответ, и способ сокращения самих слов, которые произносит пользователь.

[0049] Кроме того, первая диалоговая программа запрограммирована для вывода через громкоговоритель 180 меньшего количества слов, чем вторая диалоговая программа. Способы уменьшения количества выводимых слов включают в себя, например, способ задания вопросов или обращения без добавления ненужной информации или с использованием простых выражений.

[0050] Первая диалоговая программа будет описана ниже на конкретном примере случая, когда контроллер 190 задает вопрос пользователю. Первая диалоговая программа может применяться не только к заданию вопросов, но и ко всем действиям, входящим в «разговор». Например, первая диалоговая программа также может быть применена к случаю обращения, уведомления или объяснения и т.п.

[0051] Например, контроллер 190 задает вопрос, на который пользователь по выбору отвечает «Да» или «Нет». Например, в ситуации, если необходимо определить место назначения транспортного средства 100, контроллер 190 задает пользователю вопрос: «Ваше место назначения - XX, верно?». Затем, например, если контроллер 190 распознает в качестве ответа пользователя голос «Да», то контроллер 190 обращается к навигационному устройству 130 и устанавливает место назначения транспортного средства 100 в XX. Например, если контроллер 190 распознает в качестве ответа пользователя голос «Нет», то контроллер снова задает пользователю вопрос «Ваше место назначения YY?». Обработка после распознавания ответа пользователя в настоящем варианте осуществления не ограничена.

[0052] Кроме того, например, контроллер 190 задает вопрос, на который пользователь по выбору отвечает числом, прикрепленным к возможному ответу. Используя вышеупомянутую ситуацию, в которой устанавливается место назначения, например, контроллер 190 задает вопрос «Что является вашим местом назначения, 1. ХХ, 2. YY или 3. ZZ?», на который пользователь отвечает числом от 1 до 3. Например, если контроллер 190 распознает в качестве ответа пользователя голос «1», то контроллер 190 обращается к навигационному устройству 130 и устанавливает место назначения транспортного средства 100 в XX. Хотя объяснение основано на случае, когда количество возможных ответов равно трем, количество возможных ответов не ограничено конкретно.

[0053] Таким образом, количество слов, которые произносит пользователь, в расчёте на ответ в диалоге, может быть уменьшено путем задания вопроса, который позволяет пользователю отвечать по выбору. Кроме того, может быть уменьшено количество символов, содержащихся в слове, произнесенном пользователем. Это позволяет пользователю осуществлять диалог с системой, сохраняя при этом свое сосредоточение на управлении, даже в ситуации, когда нагрузка по управлению на пользователя велика.

[0054] Кроме того, например, контроллер 190 задает вопрос только с использованием простых выражений и не добавляя ненужную информацию, например «Ваше место назначения - XX, верно?». Это позволяет пользователю легче слышать вопрос от контроллера 190 и с легкостью понимать, о чем его спрашивают. В результате можно предотвратить повторное задание вопроса пользователю, который не понял, о чем его спрашивают. В ситуации, в которой нагрузка по управлению является высокой, можно максимально уменьшить количество обменов между пользователем и системой, тем самым уменьшая количество раз, которое пользователь должен ответить.

[0055] С другой стороны, как показано на Фиг. 3, во второй диалоговой программе согласно настоящему варианту осуществления нет ограничения на количество слов, включенных в ответ пользователя, в отношении голосового вывода. Кроме того, во второй диалоговой программе нет ограничений на количество слов, выводимых посредством громкоговорителя 180. По этим причинам при выполнении диалога с пользователем с использованием второй диалоговой программы контроллер 190 выдаёт пользователю подробную и дополнительную информацию.

[0056] Вторая диалоговая программа будет описана на примере вышеупомянутой ситуации установления места назначения. Например, контроллер 190 не только задает вопрос пользователю, но также выдает дополнительную информацию. «Поскольку сегодня ясная погода, рекомендуемые места назначения: XX, YY и ZZ, куда бы вы хотели отправиться? Кроме того, похоже, что сегодня днем в данной окружающей области начинается мероприятие AA». В приведенном выше примере дополнительная информация включает в себя информацию о погоде, информацию о рекомендуемых местах назначения и информацию о событии. При необходимости для второй диалоговой программы может быть использована технология для диалоговых программ, известная на момент подачи данной заявки.

[0057] Кроме того, как показано на Фиг. 3, для распознавания голоса в первой диалоговой программе и распознавания голоса во второй диалоговой программе используется так называемая технология распознавания предложений. Технологии распознавания предложений включают в себя, например, «Распознавание предложений» и «Преобразование речи в текст». Распознавание предложений означает распознавание голоса пользователя в единицах предложений.

[0058] С обращением к Фиг. 3 будут описаны характеристики распознавания предложений. При распознавании предложений количество слов, необходимых для распознавания того, что сказал пользователь, относительно велико. Кроме того, при распознавании предложений то, что сказал пользователь, понимается путем распознавания голоса пользователя в единицах предложений, поэтому проверяется грамматика. Следовательно, в настоящем варианте осуществления время обработки, необходимое контроллеру 190, чтобы понять, что сказал пользователь, относительно велико как для первой диалоговой программы, так и для второй диалоговой программы.

[0059] Далее с использованием Фиг. 4 будет описан процесс, выполняемый контроллером 190. Фиг. 4 - это блок-схема, показывающая процесс, выполняемый контроллером 190 согласно настоящему варианту осуществления.

[0060] На этапе S101 контроллер 190 получает информацию о состоянии движения транспортного средства 100, состоянии внешнего окружения транспортного средства 100 и состоянии управления движением транспортного средства 100. Например, в качестве информации о состоянии движения контроллер 190 получает информацию о положении рычага переключения передач от датчика 116 рычага переключения передач. Кроме того, например, в качестве информации о внешнем окружении контроллер 190 получает информацию об окружении транспортного средства 100 от устройства 120 обнаружения окружения. Также, например, контроллер 190 выполняет обработку изображения в отношении захваченного изображения водителя в транспортном средстве 100, сформированного внутренней камерой 160. Контроллер 190 определяет положение водителя при управлении посредством обработки изображений и получает информацию об управлении движением.

[0061] На этапе S102 контроллер 190 определяет величину нагрузки по управлению на пользователя в транспортном средстве 100 на основании информации, полученной на этапе S101. Например, контроллер 190 определяет, что нагрузка по управлению является высокой, когда транспортное средство 100 движется, и определяет, что нагрузка по управлению является низкой, когда транспортное средство 100 останавливается. Кроме того, например, контроллер 190 определяет, что нагрузка по управлению является высокой, когда транспортное средство 100 движется по шоссе, и определяет, что нагрузка по управлению является низкой, когда транспортное средство 100 движется по дороге с затором. Например, контроллер 190 определяет, что нагрузка по управлению является высокой, когда водитель выполняет управление движением для парковки в гараже. Если определено, что нагрузка по управлению является высокой, выполняется переход к этапу S103. С другой стороны, если определено, что нагрузка по управлению является низкой, выполняется переход к этапу S105. Вышеупомянутый способ определения является примером и не ограничен конкретно.

[0062] На этапе S103 контроллер 190 выполняет диалог с пользователем путём выполнения первой диалоговой программы. Контроллер 190 выполняет первую диалоговую программу, например, чтобы задать вопрос, на который пользователь может ответить «Да» или «Нет». Контроллер 190 также задает вопрос, например, с использованием простых выражений.

[0063] Фиг.5 - пример диалога, выполняемого при выполнении первой диалоговой программы. На Фиг.5 (A) показан пример диалога в ситуации, когда в транспортном средстве 100, остановившемся на светофоре, пользователь управляет навигационным устройством 130, чтобы установить место назначения, но сигнал светофора изменился, и транспортное средство 100 начинает движение. Фиг.5 (B) представляет собой пример диалога в ситуации, когда температура внутри транспортного средства 100 повышается, когда пользователь едет по шоссе. Как показано на Фиг. 5 (A) и 5 (B), при выполнении первой диалоговой программы пользователь может ответить на вопрос контроллера 190, используя простые и короткие слова, такие как «Да» или «Нет, спасибо».

[0064] На этапе S104 контроллер 190 определяет, завершен ли диалог с пользователем на этапе S103. Например, если условия для завершения диалога являются заданными, контроллер 190 определяет, был ли завершен диалог, путем определения, выполнены ли эти условия. Используя пример по Фиг. 5 (A), условие завершения диалога включает в себя случай, когда место назначения устанавливается посредством ответа пользователя. Если диалог завершен, процесс контроллера 190 завершается. С другой стороны, если диалог не завершен, выполняется возврат к этапу S103.

[0065] Если на этапе S102 определяется, что нагрузка по управлению является низкой, выполняется переход к этапу S105. На этапе S105 контроллер 190 выполняет диалог посредством выполнения второй диалоговой программы.

[0066] Фиг.6 - пример диалога, выполняемого при выполнении второй диалоговой программы. На Фиг.6 показан пример диалога в ситуации, когда транспортное средство 100 припарковано на стоянке или тому подобном. Как показано на Фиг. 6, посредством выполнения второй диалоговой программы пользователь может указать еду и местоположение с помощью информации, выданной контроллером 190 (количество ресторанов). Кроме того, пользователь может выбрать ресторан с помощью информации, выданной контроллером 190 (время в пути до ресторана, текущая доступность мест).

[0067] На этапе S106 контроллер 190 определяет, завершен ли диалог с пользователем на этапе S105. Используя пример по Фиг. 6, условие завершения диалога включает в себя случай, когда место назначения установлено посредством ответа пользователя. Если диалог завершен, процесс контроллера 190 завершается. С другой стороны, если диалог не завершен, выполняется возврат к этапу S105.

[0068] Как описано выше, голосовое диалоговое устройство согласно настоящему варианту осуществления содержит контроллер 190, который выполняет диалог с пользователем в транспортном средстве 100 с использованием группы датчиков 110, устройства 120 обнаружения окружения, навигационного устройства 130, устройства 140 получения внешней информации, приводного устройства 150 и внутренней камеры 160, которыми оснащено транспортное средство 100. Группа датчиков 110 обнаруживает состояние движения транспортного средства 100. Устройство 120 обнаружения окружения, навигационное устройство 130 и устройство 140 получения внешней информации обнаруживают состояние внешнего окружения транспортного средства 100. Приводное устройство 150 и внутренняя камера 160 определяют состояние управления движением для пользователя в транспортном средстве 100. Контроллер 190 определяет величину нагрузки по управлению на пользователя на основании по меньшей мере одного из состояния движения транспортного средства 100, состояния внешнего окружения и состояния управления движением для пользователя, и выполняет диалог с пользователем путем выполнения диалоговой программы, соответствующей величине нагрузки по управлению. Это позволяет системе осуществлять диалог с пользователем в соответствии с диалоговой программой, соответствующей величине нагрузки по управлению, таким образом, что диалог с пользователем может быть продолжен независимо от величины нагрузки по управлению.

[0069] В настоящем варианте осуществления контроллер 190 выполняет диалог с пользователем посредством выполнения первой диалоговой программы, когда величина нагрузки по управлению превышает заданный стандарт, и посредством выполнения второй диалоговой программы, отличной от первой диалоговой программы, когда величина нагрузки по управлению меньше заданного стандарта. Таким образом, диалог с пользователем может быть продолжен в двух различных режимах диалога, соответствующих величине нагрузки по управлению.

[0070] Кроме того, в настоящем варианте осуществления контроллер 190 получает ответ на вопрос от пользователя путём выполнения первой диалоговой программы и ответ на вопрос от пользователя путём выполнения второй диалоговой программы. Первая диалоговая программа запрограммирована на включение меньшего количества слов в ответ пользователя, чем вторая диалоговая программа. Таким образом, даже когда нагрузка по управлению является высокой, пользователь может осуществлять диалог, оставаясь сосредоточенным на управлении.

[0071] Кроме того, в настоящем варианте осуществления контроллер 190 задает вопрос, на который пользователь отвечает по выбору, путём выполнения первой диалоговой программы. Это позволяет пользователю осуществлять диалог, говоря простые слова, например «Да» или «Нет», на вопрос от контроллера 190, даже когда нагрузка по управлению является высокой. Кроме того, пользователь может осуществлять диалог, озвучивая лишь выбранный результат из множества возможных ответов.

[0072] В настоящем варианте осуществления контроллер 190 определяет, что величина нагрузки по управлению выше заданного стандарта, когда транспортное средство 100 движется под управлением пользователя. Например, поскольку процесс управления представляет собой большую нагрузку для водителей с относительно невысоким уровнем навыков управления, таких как водители лишь по документам, величина нагрузки по управлению может быть определена надлежащим образом.

[0073] Кроме того, в настоящем варианте осуществления контроллер 190 определяет, что величина нагрузки по управлению выше заданного стандарта, когда пользователь выполняет управление движением для парковки. В общем случае, поскольку водитель сосредоточен на управлении движением при парковке транспортного средства, величина нагрузки по управлению может быть определена надлежащим образом.

[0074] Кроме того, в настоящем варианте осуществления контроллер 190 определяет, что величина нагрузки по управлению выше заданного стандарта, когда транспортное средство 100 движется по шоссе или перекрестку. В общем случае, поскольку операция движения по шоссе представляет собой большую нагрузку для водителя, величина нагрузки по управлению может быть определена надлежащим образом. Кроме того, поскольку операция движения по перекрестку, где есть вероятность того, что встречное транспортное средство повернет направо, представляет собой большую нагрузку для водителя, величина нагрузки по управлению может быть определена надлежащим образом.

[0075] Кроме того, в настоящем варианте осуществления контроллер 190 определяет, что величина нагрузки по управлению ниже заданного стандарта, когда транспортное средство 100 останавливается. В общем случае, поскольку нагрузка на водителя относительно мала, когда транспортное средство остановлено, величина нагрузки по управлению может быть определена надлежащим образом.

[0076] Кроме того, в настоящем варианте осуществления контроллер 190 определяет, что величина нагрузки по управлению ниже заданного стандарта, когда транспортное средство 100 движется с автоматическим управлением. Поскольку нагрузка на водителя относительно мала, когда субъектом управления транспортного средства является не водитель, величина нагрузки по управлению может быть определена надлежащим образом.

[0077] Кроме того, в настоящем варианте осуществления контроллер 190 определяет, что величина нагрузки по управлению ниже заданного стандарта, когда транспортное средство 100 движется по дороге с затором или по прямой дороге. В общем случае, поскольку в ситуациях заторов, когда транспортное средство движется с низкой скоростью или неоднократно останавливается и начинает движение, нагрузка на водителя относительно мала, величина нагрузки по управлению может быть определена надлежащим образом.

[0078] Кроме того, в настоящем варианте осуществления контроллер 190 выбирает диалоговую программу, соответствующую величине нагрузки по управлению, среди диалоговых программ, сохранённых в ROM или в базе данных, и выполняет диалог с пользователем через внутренний микрофон 170 и громкоговоритель 180 путём выполнения упомянутой диалоговой программы. Внутренний микрофон 170 распознает голос пользователя, а громкоговоритель 180 выдает голос пользователю. Это позволяет контроллеру 190 распознавать голос пользователя и задавать ему вопросы и т.п. с помощью голоса.

[0079] Второй вариант осуществления

Далее будет описано голосовое диалоговое устройство согласно второму варианту осуществления. Поскольку голосовое диалоговое устройство по настоящему варианту осуществления имеет такую же конфигурацию, как и конфигурация по вышеупомянутому варианту осуществления, за исключением того, что первая диалоговая программа и вторая диалоговая программа, выполняемые контроллером 190, являются другими, повторное описание не будет приведено, и описание будет содержать обращение к вышеупомянутому варианту осуществления.

[0080] Диалоговая программа согласно настоящему варианту осуществления будет описана с обращением к Фиг.7. Фиг.7 – это схема, поясняющая первый режим диалога и второй режим диалога в настоящем варианте осуществления.

[0081] Сначала будет описана первая диалоговая программа согласно второму варианту осуществления. Первая диалоговая программа согласно настоящему варианту осуществления отличается от первой диалоговой программы согласно первому варианту осуществления с точки зрения вывода голоса и распознавания голоса. В настоящем варианте осуществления для распознавания голоса в первой диалоговой программе используется так называемое дискретное распознавание слов. Технологии дискретного распознавания слов включают в себя, например, «обнаружение ключевых слов». Дискретное распознавание слов означает распознавание заданного слова (далее называемого «ключевым словом»), включенного в голосовую информацию от пользователя, а не распознавание голосовой информации от пользователя в виде предложения.

[0082] Характеристики дискретного распознавания слов будут описаны с обращением к Фиг. 7. При дискретном распознавании слов количество слов, необходимых для распознавания того, что сказал пользователь, относительно невелико. Кроме того, при дискретном распознавании слов то, что сказал пользователь, понимается путем определения того, соответствует ли определённое слово ключевому слову, поэтому грамматика не проверяется. Следовательно, точность распознавания слов, произнесенных пользователем, выше, чем точность распознавания предложений, описанного выше. Например, когда транспортное средство движется по дороге с плохим состоянием дороги, повышается так называемый дорожный шум. В этом случае с помощью дискретного распознавания слов слова, произнесенные пользователем, могут быть распознаны с высокой точностью. Кроме того, поскольку отсутствует проверка грамматики, время обработки, необходимое контроллеру 190 для понимания того, что сказал пользователь, короче по сравнению с распознаванием предложений, описанным выше.

[0083] Далее будет описано ключевое слово. Ключевое слово представляет собой слово, заранее зарегистрированное в запоминающем устройстве, таком как ROM или база данных. Тип ключевых слов и количество символов не ограничены конкретно. Количество ключевых слов также не ограничено конкретно, но для высокой скорости обработки предпочтительно, чтобы количество ключевых слов находилось в диапазоне от 10 до 20.

[0084] Примеры ключевых слов включают в себя «Да», «Нет», «Передний», «Задний», «Левый», «Правый», «Вверх», «Вниз», «Сильный», «Слабый», «Высокий», «Низкий» и т.п. При выборе ключевых слов предпочтительно учитывать взаимосвязь с вопросами и обращениями к пользователю. Например, возможный ответ на вопрос «Хотите ли Вы понизить температуру кондиционера?» может быть «Да», «Нет», «Ниже» или «Нет, выше», поэтому предпочтительно заранее зарегистрировать в качестве ключевых слов слова, соответствующие содержанию диалога.

[0085] В настоящем варианте осуществления голосовой вывод первой диалоговой программы используется таким же образом, как голосовой вывод второй диалоговой программы для первого варианта осуществления, описанного выше. Как показано на Фиг. 7, в отношении распознавания речи не существует ограничений на количество слов, включенных в ответ пользователя, или количество слов, выводимых через громкоговоритель 180.

[0086] С другой стороны, как показано на Фиг. 7, вторая диалоговая программа согласно настоящему варианту осуществления является такой же, как вторая диалоговая программа согласно первому варианту осуществления. По этой причине повторное описание не будет приведено, и следует обратиться к описанию первого варианта осуществления.

[0087] Как описано выше, в первой диалоговой программе согласно настоящему варианту осуществления для распознавания голоса используется технология дискретного распознавания слов. Это позволяет системе распознавать слова, произносимые пользователем, с высокой точностью даже при сильном дорожном шуме, например, при движении по грунтовой дороге или дороге с мокрым покрытием, а также сократить необходимое время обработки, от распознавания голоса пользователя до вывода голоса.

[0088] Третий вариант осуществления

Далее будет описано голосовое диалоговое устройство согласно третьему варианту осуществления. Поскольку голосовое диалоговое устройство по настоящему варианту осуществления имеет такую же конфигурацию, как и конфигурация по вышеупомянутым вариантам осуществления, за исключением того, что первая диалоговая программа и вторая диалоговая программа, выполняемые контроллером 190, являются другими, повторное описание не будет приведено, и описание будет содержать обращение к вышеупомянутому варианту осуществления.

[0089] Диалоговая программа согласно настоящему варианту осуществления будет описана с обращением к Фиг. 8. Фиг.8 – это схема, поясняющая первый режим диалога и второй режим диалога в настоящем варианте осуществления. В настоящем варианте осуществления, поскольку вторая диалоговая программа является такой же, как вторая диалоговая программа по второму варианту осуществления, повторное описание не будет приведено, и следует обратиться к описанию вышеупомянутого варианта осуществления.

[0090] Будет описана первая диалоговая программа согласно третьему варианту осуществления. Первая диалоговая программа согласно этому варианту осуществления состоит из первой диалоговой программы согласно первому варианту осуществления в отношении вывода голоса и второй диалоговой программы согласно второму варианту осуществления в отношении распознавания голоса. В настоящем варианте осуществления контроллер 190 задает вопрос и т.п., на который пользователь отвечает определенным ключевым словом. Конкретное ключевое слово - это ключевое слово, используемое для дискретного распознавания слов.

[0091] Например, предположим, что в запоминающем устройстве в качестве ключевых слов, используемых при дискретном распознавании слов, заранее зарегистрированы «Да» и «Нет». В этом случае контроллер 190 задает вопрос и т.п., на который пользователь должен ответить «Да» или «Нет». Например, предположим, что «Горячий» и «Холодный» заранее зарегистрированы в запоминающем устройстве в качестве ключевых слов, используемых при дискретном распознавании слов. В этом случае контроллер 190 задает вопрос, например, о внутренней температуре, на которую пользователь должен ответить «горячо» или «холодно». Например, предположим, что «Хорошо», «Нормально» и «Плохо» зарегистрированы в запоминающем устройстве заранее в качестве ключевых слов, используемых при дискретном распознавании слов. В этом случае контроллер 190 задает вопрос и т.п., для которого пользователь должен выбрать один из вариантов «Хорошо», «Нормально» и «Плохо».

[0092] Кроме того, в настоящем варианте осуществления тема, обрабатываемая первой диалоговой программой, отличается от темы, обрабатываемой второй диалоговой программой. В частности, первая диалоговая программа запрограммирована на выполнение диалога с пользователем по вопросам, связанным с движением. Вопросы, связанные с движением, включают в себя, например, рулевое управление, управление движением и установление места назначения. С другой стороны, тема диалога с пользователем во второй диалоговой программе не ограничена. Темы, обрабатываемые второй диалоговой программой, включают в себя, например, погоду, развлечения и другие темы, не связанные с движением.

[0093] Как описано выше, в настоящем варианте осуществления контроллер 190 задает вопрос, на который пользователь отвечает ключевым словом, зарегистрированным заранее, посредством выполнения первой диалоговой программы. Это позволяет пользователю осуществлять диалог с системой, при этом оставаясь сосредоточенным на управлении, даже в ситуации, когда нагрузка по управлению на пользователя является высокой. Кроме того, время обработки, необходимое для распознавания голоса пользователя, может быть сокращено за счет использования дискретного распознавания слов, таким образом сокращая время, необходимое для завершения диалога.

[0094] Кроме того, в настоящем варианте осуществления первая диалоговая программа запрограммирована на выполнение диалога с пользователем по теме, связанной с движением транспортного средства. Это позволяет системе задавать вопрос, например, о рулевом управлении или уведомлять о скорости транспортного средства, используя простые предложения с выражениями, которые легко понимает пользователь, даже в ситуации, когда нагрузка по управлению на пользователя является высокой.

[0095] Следует учитывать, что поясняемые выше варианты осуществления описаны для облегчения понимания настоящего изобретения и не описаны для ограничения настоящего изобретения. Поэтому предполагается, что элементы, раскрытые в вышеуказанных вариантах осуществления, включают в себя все изменения в конструкции и эквиваленты, находящиеся в рамках технического объёма настоящего изобретения.

[0096] Например, в вышеупомянутых вариантах осуществления в качестве примера была описана конфигурация, в которой голосовая диалоговая система установлена в транспортном средстве 100. Однако голосовая система не обязательно должна быть выполнена только с транспортным средством 100, но также может быть выполнена с транспортным средством 100 и сервером, который может осуществлять связь с транспортным средством 100. Например, голосовая диалоговая система может включать в себя сервер, который имеет те же функции, что и контроллер 190, и осуществляет связь с транспортным средством для выполнения диалога с пользователем в транспортном средстве.

[0097] В этом случае сервер обменивается информацией о состоянии движения, информацией о состоянии внешнего окружения, информацией о состоянии управления движением и голосовой информацией через устройство связи (не показано). Например, когда транспортное средство имеет конфигурацию, показанную на Фиг.1, за исключением контроллера 190, сервер последовательно получает информацию, необходимую для определения величины нагрузки по управлению, от транспортного средства через устройство связи, а также передает на транспортное средство голосовую информацию, формируемую посредством диалоговой программы, соответствующей величине нагрузки по управлению. На стороне транспортного средства устройство связи в транспортном средстве (не показано) передает голосовую информацию от пользователя, полученную внутренним микрофоном 170, на сервер, а также принимает голосовую информацию, переданную с сервера, и выводит ее из громкоговорителя 180.

[0098] Таким образом, конфигурация голосовой диалоговой системы, включающая в себя сервер, позволяет, например, центру обработки данных с сервером совместно управлять историей диалога, осуществляемого с множеством транспортных средств. Затем, например, можно формировать стандарты для определения величины нагрузки по управлению в соответствии с характеристиками управления для пользователя путем анализа истории диалога для каждого пользователя.

[0099] Далее, например, в вышеупомянутых вариантах осуществления при определении величины нагрузки по управлению был описан пример определения того, что нагрузка по управлению является высокой, когда субъект управления транспортным средством соответствует «Водителю», но в случае транспортного средства с функциями помощи при вождении этот пример не является ограничивающим. Например, даже если субъект управления соответствует «Водителю», может быть определено, что нагрузка по управлению мала, когда водитель получает помощь при вождении от контроллера транспортного средства или средства управления движением.

[0100] В вышеупомянутых вариантах осуществления был описан пример определения состояния нагрузки по управлению на водителя, но настоящее изобретение также может быть применено в диалоговой системе для пользователя транспортного средства, который не является водителем. Более конкретно, она может определять состояние нагрузки на пользователя транспортного средства, который не является водителем, и выполнять первую диалоговую программу, описанную выше, когда состояние нагрузки на пользователя является высоким, и выполнять вторую диалоговую программу, описанную выше, когда состояние нагрузки на пользователя является низким. Состояние нагрузки на пользователя транспортного средства, который не является водителем, определяет состояние нагрузки на пользователя транспортного средства, который не является водителем, на основании по меньшей мере одного из следующей информации: информации о состоянии движения, полученной функцией получения информации о состоянии движения, информации о внешнем окружении, полученной функцией получения информации о внешнем окружении, информации о состоянии использования информационно-развлекательной системы (не показана) в транспортном средстве 100 и информации о состоянии использования мобильного устройства (не показано), используемого пользователем. Например, если информация о состоянии использования информационно-развлекательной системы (не показана) в транспортном средстве 100 указывает, что в информационно-развлекательной системе воспроизводится видео, состояние нагрузки на пользователя определяется как высокое. Если информация о состоянии использования мобильного устройства, используемого пользователем, указывает, что мобильное устройство, используемое пользователем, управляется пользователем, состояние нагрузки на пользователя определяется как высокое, и для осуществления диалога с пользователем выполняется первая диалоговая программа. С другой стороны, когда информация о состоянии использования информационно-развлекательной системы и т.п. в транспортном средстве 100 указывает, что информационно-развлекательная система не используется, или когда информация о состоянии использования мобильного устройства, используемого пользователем, указывает, что пользователь не управляет мобильным устройством, состояние нагрузки на пользователя определяется как низкое, и для осуществления диалога с пользователем выполняется вторая диалоговая программа. Следовательно, в зависимости от того, используется ли бортовое устройство или мобильное устройство, для осуществления диалога с пользователем будет выбрана первая или вторая диалоговая программа. Другими словами, в настоящем варианте осуществления выполняется первая диалоговая программа, если определено что водитель или пользователь, отличный от водителя, выполняет некоторую задачу, требующую сосредоточения, и выполняется вторая диалоговая программа, если определено, что водитель или другой пользователь, отличный от водителя, не выполняет никаких задач, требующих сосредоточения.

[0101] Далее, например, в этом описании в качестве примера контроллера согласно настоящему изобретению был описан контроллер 190, но настоящее изобретение не ограничено этим. Кроме того, например, в качестве примера датчика согласно настоящему изобретению были описаны группа датчиков 110, устройство 120 обнаружения окружения, навигационное устройство 130, устройство 140 получения внешней информации и приводное устройство 150, но настоящее изобретение не ограничено этим. Далее, например, в качестве примера запоминающего устройства согласно настоящему изобретению были описаны ROM или база данных, но настоящее изобретение не ограничено этим. Кроме того, например, в качестве примера голосового устройства согласно настоящему изобретению были описаны внутренний микрофон 170 и громкоговоритель 180 , но настоящее изобретение не ограничено этим.

[Описание ссылочных позиций]

[0102]

100 Транспортное средство

110 Группа датчиков

111 Датчик скорости транспортного средства

112 Датчик частоты вращения двигателя

113 Датчик степени открытия акселератора

114 Датчик степени открытия тормоза

115 Датчик угла рулевого управления

116 Датчик рычага переключения передач

120 Устройство обнаружения окружения

121 Бортовая камера

122 Радар

130 Навигационное устройство

131 GPS

140 Устройство получения внешней информации

150 Приводное устройство

160 Внутренняя камера

170 Внутренний микрофон.

Изобретение относится к области вычислительной техники. Технический результат заключается в обеспечении управления голосовым диалоговым устройством для диалога с пользователем независимо от состояния нагрузки на пользователя. Технический результат достигается за счет выполнения диалога с пользователем путём выполнения первой диалоговой программы, если величина нагрузки выше заданного стандарта, и выполнения второй диалоговой программы, отличной от первой диалоговой программы, если величина нагрузки ниже заданного стандарта, причём первая диалоговая программа запрограммирована для задания вопросов, ожидаемые ответы пользователя на которые включают в себя меньше слов, чем в случае второй диалоговой программы, получения ответа от пользователя на вопрос с использованием дискретного распознавания слов при выполнении первой диалоговой программы; и получения ответа от пользователя на вопрос с использованием распознавания предложений при выполнении второй диалоговой программы. 3 н. и 9 з.п. ф-лы, 8 ил.

1. Голосовое диалоговое устройство, содержащее:

контроллер, выполненный с возможностью выполнения диалога с пользователем в транспортном средстве с использованием по меньшей мере одного датчика, установленного в транспортном средстве, при этом

датчик обнаруживает по меньшей мере одно из состояния движения транспортного средства, состояния внешнего окружения транспортного средства и состояния пользователя, и

контроллер выполнен с возможностью:

определения того, что величина нагрузки на пользователя выше заданного стандарта при обнаружении, что транспортное средство движется под управлением пользователя, на основании результата обнаружения;

выполнения диалога с пользователем путём выполнения первой диалоговой программы, если величина нагрузки выше заданного стандарта, и выполнения второй диалоговой программы, отличной от первой диалоговой программы, если величина нагрузки ниже заданного стандарта, причём первая диалоговая программа запрограммирована для задания вопросов, ожидаемые ответы пользователя на которые включают в себя меньше слов, чем в случае второй диалоговой программы;

получения ответа от пользователя на вопрос с использованием дискретного распознавания слов при выполнении первой диалоговой программы; и

получения ответа от пользователя на вопрос с использованием распознавания предложений при выполнении второй диалоговой программы.

2. Голосовое диалоговое устройство по п. 1, в котором

контроллер выполнен с возможностью, при выполнении первой диалоговой программы, задания вопроса, для которого ожидается, что пользователь ответит на него заданным ключевым словом.

3. Голосовое диалоговое устройство по п. 1 или 2, в котором

контроллер выполнен с возможностью, при выполнении первой диалоговой программы, задания вопроса, для которого ожидается, что пользователь ответит на него путём выбора ответа среди ограниченного числа возможных ответов.

4. Голосовое диалоговое устройство по любому из пп. 1-3, в котором

контроллер выполнен с возможностью определения того, что величина нагрузки выше заданного стандарта, при обнаружении того, что пользователь выполняет управление движением для парковки транспортного средства или что транспортное средство движется по шоссе или по перекрестку, на основании результата обнаружения.

5. Голосовое диалоговое устройство по любому из пп. 1-3, в котором

контроллер выполнен с возможностью определения того, что величина нагрузки выше заданного стандарта при обнаружении того, что пользователь использует бортовое устройство транспортного средства или мобильное устройство, на основании результата обнаружения.

6. Голосовое диалоговое устройство по любому из пп. 1-5, в котором

контроллер выполнен с возможностью определения того, что величина нагрузки ниже заданного стандарта при обнаружении того, что транспортное средство останавливается, на основании результата обнаружения.

7. Голосовое диалоговое устройство по любому из пп. 1-6, в котором

контроллер выполнен с возможностью определения того, что величина нагрузки ниже заданного стандарта, при обнаружении того, что транспортное средство движется под автоматическим управлением, на основании результата обнаружения.

8. Голосовое диалоговое устройство по любому из пп. 1-7, в котором

контроллер выполнен с возможностью определения того, что величина нагрузки ниже заданного стандарта, при обнаружении, что транспортное средство движется по дороге с затором или прямой дороге, на основании результата обнаружения.

9. Голосовое диалоговое устройство по любому из пп. 1-8, в котором

первая диалоговая программа является программой для реализации функции осуществления диалога с пользователем на тему, связанную с движением транспортного средства.

10. Голосовое диалоговое устройство по любому из пп. 1-9, в котором

контроллер выполнен с возможностью:

выбора диалоговой программы, соответствующей величине нагрузки, среди диалоговых программ, сохранённых в запоминающем устройстве; и

выполнения диалога с пользователем через одно или более голосовых устройств путём выполнения упомянутой диалоговой программы, и

упомянутые одно или более голосовых устройств выполнены с возможностью распознавания голоса пользователя и вывода голоса для пользователя.

11. Голосовая диалоговая система, содержащая:

сервер, выполненный с возможностью выполнения диалога с пользователем в транспортном средстве путём осуществления связи с транспортным средством, при этом

транспортное средство оборудовано по меньшей мере одним датчиком и одним или более голосовыми устройствами,

датчик обнаруживает по меньшей мере одно из состояния движения транспортного средства, состояния внешнего окружения транспортного средства и состояния пользователя,

упомянутые одно или более голосовых устройств распознают голос пользователя и выводят голос для пользователя, и

сервер выполнен с возможностью:

получения результата обнаружения от датчика,

определения того, что величина нагрузки на пользователя выше заданного стандарта, при обнаружении того, что транспортное средство движется под управлением пользователя, на основании результата обнаружения;

выполнения диалога с пользователем путём выполнения первой диалоговой программы, если величина нагрузки выше заданного стандарта, и выполнения второй диалоговой программы, отличной от первой диалоговой программы, если величина нагрузки ниже заданного стандарта, причём первая диалоговая программа запрограммирована для задания вопросов, ожидаемые ответы пользователя на которые включают в себя меньше слов, чем в случае второй диалоговой программы,

получения ответа от пользователя на вопрос с использованием дискретного распознавания слов при выполнении первой диалоговой программы; и

получения ответа от пользователя на вопрос с использованием распознавания предложений при выполнении второй диалоговой программы.

12. Способ управления голосовым диалоговым устройством, содержащим контроллер, выполненный с возможностью выполнения диалога с пользователем в транспортном средстве с использованием по меньшей мере одного датчика, установленного в транспортном средстве,

причем способ содержит этапы, на которых:

обнаруживают посредством датчика по меньшей мере одно из состояния движения транспортного средства, состояния внешнего окружения транспортного средства и состояния пользователя;

определяют посредством контроллера, что величина нагрузки на пользователя выше заданного стандарта при обнаружении, что транспортное средство движется под управлением пользователя, на основании результата обнаружения;

выполняют диалог с пользователем путем выполнения первой диалоговой программы, если величина нагрузки выше заданного стандарта, и выполнения второй диалоговой программы, отличной от первой диалоговой программы, если величина нагрузки ниже заданного стандарта, причём первая диалоговая программа запрограммирована для задания вопросов, ожидаемые ответы пользователя на которые включают в себя меньше слов, чем в случае второй диалоговой программы;

получают ответ от пользователя на вопрос с использованием дискретного распознавания слов при выполнении первой диалоговой программы; и

получают ответ от пользователя на вопрос с использованием распознавания предложений при выполнении второй диалоговой программы.