СПОСОБ УПРАВЛЕНИЯ (ВАРИАНТЫ) И УСТРОЙСТВО УПРАВЛЕНИЯ ДЛЯ АВТОМАТИЧЕСКИ УПРАВЛЯЕМОГО ТРАНСПОРТНОГО СРЕДСТВА Российский патент 2019 года по МПК B60W40/09 B60W30/14 B60W30/10 B60K31/00 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к способу управления и к устройству управления для автоматически управляемого транспортного средства.

Уровень техники

[0002] Патентный документ 1 раскрывает технологию, в которой обнаруживается биометрическая информация пользователя транспортного средства, и помощь в операции управления осуществляется в зависимости от обнаруженной биометрической информации.

Список литературы

Патентные документы

[0003] Патентный документ 1. Публикация заявки на патент Японии № 2014-75008

Раскрытие изобретения

[0004] Однако традиционный пример, раскрытый в патентном документе 1, не учитывает уровень интереса пользователя к состоянию движения. Соответственно, автоматическое управление движением не может выполняться в зависимости от уровня интереса пользователя. Таким образом, традиционному примеру присуща проблема, состоящая в том, что не может выполняться автоматическое управление движением, надлежащим образом отражающее намерение пользователя.

[0005] Настоящее изобретение реализовано для решения проблем уровня техники, описанных выше, и его задача состоит в создании способа управления и устройства управления для автоматически управляемого транспортного средства, которые обеспечивают автоматическое управление движением, надлежащим образом отражающее намерение пользователя.

[0006] В одном аспекте настоящего изобретения, обнаруживается уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства, и управление транспортным средством осуществляется на основании характеристик управления в зависимости от уровня интереса.

Преимущества изобретения

[0007] Согласно одному аспекту настоящего изобретения, может выполняться автоматическое управление, надлежащим образом отражающее намерение пользователя.

Краткое описание чертежей

[0008] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства управления для автоматически управляемого транспортного средства согласно варианту осуществления настоящего изобретения.

Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию блока обнаружения состояния глазных яблок согласно варианту осуществления настоящего изобретения.

Фиг. 3 является блок-схемой, иллюстрирующей конфигурацию блока обработки изображений согласно варианту осуществления настоящего изобретения.

Фиг. 4 является пояснительным видом, иллюстрирующим глазное яблоко пользователя, центр зрачка, включенного в глазное яблоко, и центр отраженного света.

Фиг. 5A является пояснительным видом, иллюстрирующим состояние области впереди транспортного средства-носителя и направления перемещения линии взгляда пользователя.

Фиг. 5B является пояснительным видом, иллюстрирующим состояние, в котором пользователь вглядывается в объект, и состояние, в котором пользователь не вглядывается.

Фиг. 6 является пояснительным видом, иллюстрирующим этапы захвата изображения лица пользователя и извлечения параметров моргания.

Фиг. 7 является графиком, иллюстрирующим изменения степени открытия глаз пользователя со временем.

Фиг. 8 является пояснительным видом, иллюстрирующим релевантные переключатели и нерелевантные переключатели, установленные в транспортном средстве.

Фиг. 9 является блок-схемой, иллюстрирующей подробную конфигурацию блока определения разговора.

Фиг. 10 является блок-схемой, иллюстрирующей подробную конфигурацию блока обнаружения состояния транспортного средства-носителя.

Фиг. 11 является блок-схемой, иллюстрирующей подробную конфигурацию блока обнаружения состояния окружения.

Фиг. 12 является пояснительным видом, иллюстрирующим три способа обнаружения характеристических точек.

Фиг. 13 является пояснительным видом, иллюстрирующим последовательность операций распознавания действия при управлении для обнаруженных точек характеристик.

Фиг. 14 является пояснительным видом, иллюстрирующим классификацию состояний движения.

Фиг. 15 является пояснительным видом, иллюстрирующим пример классификации фрагментов данных на других транспортных средствах на значимые элементы.

Фиг. 16 является пояснительным видом, иллюстрирующим примеры характеристик ручного управления, распознанных посредством блока распознавания характеристик ручного управления.

Фиг. 17A является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель выполняет движение в режиме оптимального регулирования скорости без использования характеристик автоматического управления.

Фиг. 17B является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель выполняет движение в режиме оптимального регулирования скорости при использовании характеристик автоматического управления.

Фиг. 18A является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель выполняет движение в режиме следования без использования характеристик автоматического управления.

Фиг. 18B является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель выполняет движение в режиме следования при использовании характеристик автоматического управления.

Фиг. 19A является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель проезжает перекресток без использования характеристик автоматического управления.

Фиг. 19B является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель проезжает перекресток при использовании характеристик автоматического управления.

Фиг. 20A является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель временно останавливается на перекрестке и затем поворачивает направо.

Фиг. 20B является пояснительным видом, иллюстрирующим состояние движения, в котором транспортное средство-носитель поворачивает направо без остановки на перекрестке.

Фиг. 21 является графиком, иллюстрирующим частоты в случае, если транспортное средство поворачивает направо без остановки на перекрестке, и в случае, если транспортное средство временно останавливается и затем поворачивает направо.

Фиг. 22 является пояснительным видом, иллюстрирующим распределение вероятностей характеристик ручного управления.

Фиг. 23 является блок-схемой, иллюстрирующей этапы обработки устройства управления автоматически управляемого транспортного средства согласно варианту осуществления настоящего изобретения.

Фиг. 24 является блок-схемой, иллюстрирующей обработку определения того, превышает ли уровень интереса опорное значение, на основании перемещения глазных яблок.

Фиг. 25 является блок-схемой, иллюстрирующей обработку определения того, превышает ли уровень интереса опорное значение, на основании частоты операций переключателей пользователем.

Осуществление изобретения

[0009] Ниже описан вариант осуществления настоящего изобретения со ссылкой на чертежи. Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства управления автоматически управляемого транспортного средства согласно одному варианту осуществления настоящего изобретения. Как проиллюстрировано на фиг. 1, устройство управления автоматически управляемого транспортного средства включает в себя блок 1 обнаружения уровня интереса, блок 14 обнаружения состояния движения, блок 4 определения индивидуальных характеристик управления, блок 8 задания характеристик автоматического управления и блок 11 переключения характеристик управления.

Функции, описанные в варианте осуществления, могут реализовываться посредством одной или множества схем обработки. Схема обработки включает в себя обрабатывающее устройство с электрической схемой. Обрабатывающее устройство включает в себя такие устройства, как специализированная интегральная схема (ASIC) и традиционные элементы схемы, сконструированные с возможностью выполнения функций, описанных в варианте осуществления.

[0010] Описание блока 1 обнаружения уровня интереса

Блок 1 обнаружения уровня интереса обнаруживает уровень интереса пользователя (например, водителя) транспортного средства-носителя в текущем состоянии движения транспортного средства-носителя и определяет, превышает ли уровень интереса опорное значение. Блок 1 обнаружения уровня интереса включает в себя блок 2 обнаружения состояния глазных яблок, который обнаруживает перемещение глазных яблок пользователя, блок 3 обнаружения операций с переключателями, который обнаруживает частоту операций с различными переключателями, установленными в транспортном средстве, и блок 16 определения разговора, который анализирует разговор пользователя. Результаты обнаружения блока 2 обнаружения состояния глазных яблок, блока 3 обнаружения операций с переключателями и блока 16 определения разговора выводятся в блок 12 определения уровня интереса блока 11 переключения характеристик управления.

[0011] Блок 2 обнаружения состояния глазных яблок

Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию блока 2 обнаружения состояния глазных яблок. Как проиллюстрировано на фиг. 2, блок 2 обнаружения состояния глазных яблок включает в себя инфракрасную лампу 21, которая испускает инфракрасные лучи к глазному яблоку 18 пользователя, камеру 20 для съемки в инфракрасном диапазоне, которая захватывает изображение инфракрасных лучей, отражаемых на зрачке 19 глазного яблока 18, и контроллер 23 лампы и камеры, который управляет инфракрасной лампой 21 и камерой 20 для съемки в инфракрасном диапазоне.

[0012] Кроме того, блок 2 обнаружения состояния глазных яблок включает в себя блок 22 обработки изображений, который получает изображение наружной обстановки, захваченное посредством камеры 17 наружной обстановки, выполненной с возможностью захвата изображения наружной обстановки транспортного средства (например, переднего вида впереди транспортного средства), и выполняет такую обработку, как анализ линии взгляда и анализ моргания пользователя, на основании изображения наружной обстановки и изображения, захваченного посредством камеры 20 для съемки в инфракрасном диапазоне. Кроме того, блок 2 обнаружения состояния глазных яблок обнаруживает направление линии взгляда пользователя на основании перемещения глазного яблока 18 пользователя.

[0013] Фиг. 3 является блок-схемой, подробно иллюстрирующей конфигурацию блока 2 обнаружения состояния глазных яблок. Как проиллюстрировано на фиг. 3, камера 20 для съемки в инфракрасном диапазоне включает в себя линзу 25, фильтр 26 блокирования видимого света, затвор-диафрагму 27 и датчик 28 инфракрасных изображений. Контроллер 23 лампы и камеры управляет затвором-диафрагмой 27 и датчиком 28 инфракрасных изображений с возможностью захвата изображения отраженного света инфракрасных лучей, испускаемых в глазное яблоко 18.

[0014] Блок 22 обработки изображений включает в себя цифровой фильтр 29, GPU 30 (графический процессор) обработки изображений и блок 31 извлечения параметров.

Цифровой фильтр 29 выполняет обработку фильтрации для изображения, захваченного посредством камеры 20 для съемки в инфракрасном диапазоне, и изображения, захваченного посредством камеры 17 наружной обстановки.

[0015] GPU 30 обработки изображений выполняет различные типы обработки изображений, такие как анализ направления линии взгляда пользователя и анализ моргания пользователя, на основании изображения, захваченного посредством камеры 20 для съемки в инфракрасном диапазоне, и изображения, захваченного посредством камеры 17 наружной обстановки.

[0016] Блок 31 извлечения параметров извлекает «параметр вглядывания в окружение», указывающий то, вглядывается ли пользователь в окружение транспортного средства, на основании изображения наружной обстановки, захваченного посредством камеры 17 наружной обстановки, и направления линии взгляда пользователя, полученного при обработке изображений, выполняемой посредством GPU 30 обработки изображений. Кроме того, блок 31 извлечения параметров извлекает «параметр моргания», указывающий, моргает ли пользователь. Затем блок 31 извлечения параметров выводит извлеченный параметр вглядывания в окружение и параметры моргания в блок 12 определения уровня интереса, проиллюстрированный на фиг. 1.

[0017] Ниже описана обработка по обнаружению направления линии взгляда пользователя, которая выполняется посредством блока 2 обнаружения состояния глазных яблок, со ссылкой на фиг. 4-7. Фиг. 4 является пояснительным видом, иллюстрирующим глазное яблоко 18 пользователя, центр r1 зрачка 19, включенного в глазное яблоко 18, и центр r2 отраженного света.

[0018] Когда линия взгляда пользователя должна обнаруживаться, инфракрасная лампа 21, проиллюстрированная на фиг. 2, испускает инфракрасный луч в глазное яблоко 18 пользователя. Как проиллюстрировано на фиг. 4, блок 2 обнаружения состояния глазных яблок обнаруживает отраженный свет инфракрасного луча и центр зрачка 19 с помощью камеры 20 для съемки в инфракрасном диапазоне. Затем блок 2 обнаружения состояния глазных яблок вычисляет выходной вектор R1 из центра r1 зрачка 19 в центр r2 отраженного света.

[0019] Кроме того, блок 2 обнаружения состояния глазных яблок вычисляет относительное расположение между камерой 20 для съемки в инфракрасном диапазоне и отраженным светом инфракрасного луча на основании положения отраженного света. Затем блок 2 обнаружения состояния глазных яблок получает относительное расположение между камерой 20 для съемки в инфракрасном диапазоне и центром зрачка 19 на основании вышеуказанного выходного вектора R1 и относительное расположение между камерой 20 для съемки в инфракрасном диапазоне и отраженным светом. В результате, блок 2 обнаружения состояния глазных яблок может распознавать направление линии взгляда пользователя, т.е. положение, за которым пользователь наблюдает в окружении транспортного средства.

[0020] Ниже описан вышеуказанный параметр вглядывания в окружение. Фиг. 5A является пояснительным видом, иллюстрирующим изображение переднего вида транспортного средства-носителя, и фиг. 5B является пояснительным видом, иллюстрирующим состояние, в котором пользователь вглядывается в объект, и состояние, в котором пользователь не вглядывается. Ситуация, в которой положение, в котором имеется расположенный впереди объект (другое транспортное средство и т.п.) в изображении, захваченном посредством камеры 17 наружной обстановки, совпадает с линией взгляда пользователя, называется «наблюдением». Например, когда линия взгляда пользователя направлена к движущемуся впереди транспортному средству e1, проиллюстрированному на фиг. 5A, блок 2 обнаружения состояния глазных яблок определяет, что пользователь видит движущееся впереди транспортное средство e1. Когда линия взгляда пользователя направлена к транспортному средству e2, присутствующему на обочине, блок 2 обнаружения состояния глазных яблок определяет, что пользователь видит транспортное средство e2.

[0021] Кроме того, ситуация, в которой состояние, в котором угловая скорость перемещения глазного яблока составляет 10 (градус/с) или меньше (состояние, в котором линия взгляда является стационарной), продолжается в течение порогового времени τh (например, 165 мс) или больше, после распознавания наблюдения, упоминается как «вглядывание». В результате, как проиллюстрировано на фиг. 5B, получаются время вглядывания и время без вглядывания. Уровень F1 вглядывания в окружение (%), который является соотношением времени вглядывания и фиксированного времени, определяется посредством следующей формулы (1):

F1=Ta/(Ta+Tb) *100 … (1).

В формуле (1), Ta является временем вглядывания для цели в течение фиксированного времени, и Tb является временем без вглядывания в течение фиксированного времени.

[0022] Когда уровень вглядывания в окружение пользователя является высоким, можно допустить, что уровень интереса пользователя к состоянию движения является высоким. Блок 2 обнаружения состояния глазных яблок выводит уровень F1 вглядывания в окружение, вычисленный посредством использования вышеуказанной формулы (1), в блок 12 определения уровня интереса, проиллюстрированный на фиг. 1, в качестве параметра вглядывания в окружение.

[0023] Далее описаны параметры моргания. Далее описаны этапы обнаружения параметров моргания, указывающих, моргает ли пользователь, со ссылкой на фиг. 6. На этапе h1 по фиг. 6, блок 2 обнаружения состояния глазных яблок захватывает изображение 71 лица пользователя с помощью камеры 20 для съемки в инфракрасном диапазоне. На этапе h2, блок 2 обнаружения состояния глазных яблок извлекает область 72 лица из изображения 71 лица, захваченного при обработке этапа h1.

[0024] На этапе h3, блок 2 обнаружения состояния глазных яблок получает изображение 73, в котором характеристические точки извлекаются из области 72 лица. На этапе h4, блок 2 обнаружения состояния глазных яблок получает изображение 74, указывающее положение лица, определенное из характеристических точек лица. На этапе h5, блок 2 обнаружения состояния глазных яблок определяет участок открытых глаз и участок закрытых глаз из изображения глаза пользователя. Степень открытия глаз, указывающая пропорцию открытия глаз относительно полностью открытого состояния, может получаться на основании участка открытых глаз и участка закрытых глаз. На этапе h6, блок 2 обнаружения состояния глазных яблок обнаруживает параметр моргания. Следует отметить, что, поскольку обработка изображений, описанная на этапах h1-h5, представляет собой известную технологию, ее подробное описание опускается.

[0025] Ниже описан способ обнаружения параметров моргания на этапе h6. Фиг. 7 является графиком, иллюстрирующим изменения степени открытия глаз пользователя со временем. Как проиллюстрировано посредством кривой Q1, степень открытия глаз пользователя периодически изменяется. Интервал между моментами времени максимальной степени открытия глаз упоминается как интервал T1 моргания. Время T2 закрытых глаз вычисляется с ситуацией, когда степень открытия глаз составляет 20% или менее, заданное в качестве состояния закрытых глаз. Числовое значение, калиброванное заранее для каждого пользователя, используется в качестве максимальной степени открытия глаз.

[0026] Блок 2 обнаружения состояния глазных яблок вычисляет характеристическую величину PE поведения при открытии-закрытии, указывающую соотношение времени закрытых глаз и интервала моргания глазного яблока 18 посредством использования следующей формулы (2):

PE=(T2/T1)*100 (%) … (2)

Кроме того, блок 2 обнаружения состояния глазных яблок измеряет истекшее время от момента времени максимальной степени открытия глаз (например, t1) до момента времени закрытия глаз (например, t2) и вычисляет скорость X1 закрытия глаз (%/секунда). Кроме того, блок 2 обнаружения состояния глазных яблок вычисляет степень X2 открытия глаз (%) в состоянии открытых глаз.

[0027] Когда вышеуказанная характеристическая величина PE поведения при открытии-закрытии является высокой, степень закрытия глаз пользователя является высокой, и можно сказать, что уровень интереса к состоянию движения является низким. Другими словами, когда характеристическая величина PE поведения при открытии-закрытии ниже предварительно установленного порогового значения (второго порогового значения PEth), можно допускать то, что уровень интереса пользователя к состоянию движения является высоким. Кроме того, когда скорость X1 закрытия глаз является высокой, или степень X2 открытия глаз в состоянии открытых глаз является высокой, степень вглядывания в окружение транспортного средства-носителя является высокой, и можно допускать то, что уровень интереса пользователя к состоянию движения является высоким.

Затем блок 2 обнаружения состояния глазных яблок выводит скорость X1 закрытия глаз, степень X2 открытия глаз в состоянии открытых глаз и характеристическую величину PE поведения при открытии-закрытии, вычисленную посредством использования формулы (2), в блок 12 определения уровня интереса, проиллюстрированный на фиг. 1, в качестве параметров моргания.

[0028] Блок 3 обнаружения операций с переключателями

Ниже описан блок 3 обнаружения операций переключателей. Блок 3 обнаружения операций с переключателями обнаруживает операции с различными переключателями, установленными в транспортном средстве, и выводит обнаруживаемые данные в блок 12 определения уровня интереса, проиллюстрированный на фиг. 1. Различные переключатели, установленные в транспортном средстве, классифицируются на переключатели, релевантные к движению транспортного средства (далее называемые «релевантными переключателями»), и переключатели, нерелевантные к движению транспортного средства (далее называемые «нерелевантными переключателями»).

[0029] Как проиллюстрировано на фиг. 8, релевантные переключатели включают в себя, например, переключатель задания скорости, переключатель задания расстояния между транспортными средствами, переключатель смены полосы движения и т.п. Между тем, нерелевантные переключатели включают в себя, например, переключатель открытия-закрытия окон, переключатель режима работы аудиосистемы, переключатель режима работы системы навигации, переключатель регулирования положения сиденья, переключатель освещения и т.п.

[0030] Как описано ниже, когда частота операций с релевантными переключателями (число раз, когда переключатели работают в течение фиксированного времени) является высокой, блок 12 определения уровня интереса, проиллюстрированный на фиг. 1, определяет, что уровень интереса пользователя к состоянию движения является высоким. Напротив, когда частота операций с релевантными переключателями (число раз, когда с переключателями выполняются операции в течение фиксированного времени) является низкой, блок 12 определения уровня интереса определяет, что уровень интереса пользователя к состоянию движения является низким. Кроме того, когда частота операций с нерелевантными переключателями является высокой, блок 12 определения уровня интереса определяет, что уровень интереса пользователя к состоянию движения является низким. Когда частота операций с нерелевантными переключателями является низкой, блок 12 определения уровня интереса определяет, что уровень интереса пользователя к состоянию движения является высоким.

[0031] Блок 16 определения разговора

Ниже описан блок 16 определения разговора. Как проиллюстрировано на фиг. 9, блок 16 определения разговора включает в себя микрофон 42, который обнаруживает голос, динамик 43, блок 44 представления информации, который представляет различные типы информации пользователю, и анализатор 45, который анализирует разговор пользователя. Блок 16 определения разговора распознает голос пользователя посредством использования голосовых данных пользователя, зарегистрированных заранее, чтобы отличать голос пользователя от других голосов и звуков. Разговор включает в себя разговор между пользователем и другими пользователями и разговор между пользователем и транспортным средством. Уровень интереса может обнаруживаться посредством анализа голоса, в частности, скорости разговора пользователя, громкости голоса и т.п. в разговоре пользователя. Например, когда скорость разговора пользователя является высокой, уровень интереса может определяться низким при допущении, что пользователь сосредоточен на разговоре вместо управления. Кроме того, например, когда голос пользователя является тихим, уровень интереса может определяться высоким при таком допущении, что вероятность того, что пользователь разговаривает сам с собой, является высокой, и пользователь не концентрируется на разговоре. В качестве разговора между пользователем и транспортным средством, блок 44 представления информации может выдавать различные разговоры (повседневный разговор, шутку и т.п.) из динамика 43 пользователю. Например, блок 44 представления информации может выдавать вопросы, такие как «Сколько км/ч составляет ограничение скорости на дороге» или «Какого цвета движущееся впереди транспортное средство». Затем микрофон 42 обнаруживает речь (голос) пользователя, и анализатор 45 распознает и анализирует речь (голос) пользователя для этого разговора.

[0032] После этого, как описано ниже, блок 12 определения уровня интереса оценивает величину осознанности пользователя, проанализированную в блоке 16 определения разговора, и определяет, что уровень интереса является высоким, когда величина осознанность является большой.

[0033] Описание блока 14 обнаружения состояния движения

Ниже описан блок 14 обнаружения состояния движения, проиллюстрированный на фиг. 1. Блок 14 обнаружения состояния движения включает в себя блок 6 обнаружения состояния транспортного средства-носителя, который обнаруживает состояние движения транспортного средства-носителя, и блок 9 обнаружения состояния окружения, который обнаруживает состояние окружения транспортного средства-носителя.

[0034] Как проиллюстрировано на фиг. 10, блок 6 обнаружения состояния транспортного средства-носителя получает данные скорости транспортного средства, обнаруженные посредством датчика 32 скорости транспортного средства, данные ускорения, обнаруженные посредством датчика 33 ускорения, и данные угла поворота при рулении, обнаруженные посредством датчика 34 угла поворота при рулении, и обнаруживает состояние движения транспортного средства-носителя на основании этих фрагментов данных. Фрагменты данных, обнаруженные в блоке 6 обнаружения состояния транспортного средства-носителя, выводятся в блок 7 распознавания характеристик ручного управления, проиллюстрированный на фиг. 1.

Как проиллюстрировано на фиг. 11, блок 9 обнаружения состояния окружения включает в себя блок 35 обнаружения пространств между транспортными средствами, блок 36 обнаружения объектов, отличных от транспортных средств, блок 37 обнаружения типов окружающих транспортных средств, блок 38 обнаружения полос движения, блок 39 обнаружения типов дорог и блок 40 обнаружения информации дорожного движения.

[0035] Блок 35 обнаружения пространств между транспортными средствами обнаруживает переднее, заднее, левое и правое пространства между транспортными средствами для транспортного средства-носителя посредством использования радара и т.п. Блок 36 обнаружения объектов, отличных от транспортных средств, обнаруживает объекты, отличные от транспортных средств, такие как пешеходы и велосипеды, в окружении транспортного средства-носителя, на основании изображений, захваченных посредством камер, выполненных с возможностью захвата изображений окружения.

Блок 37 обнаружения типов окружающих транспортных средств обнаруживает транспортные средства в окружении транспортного средства-носителя из изображений, захваченных посредством камер, и обнаруживает типы обнаруженных транспортных средств. Например, блок 37 обнаружения типов окружающих транспортных средств обнаруживает легковые автомобили, грузовики, автобусы, мотоциклы и т.п. Блок 38 обнаружения полос движения обнаруживает полосы движения на дороге из изображений, захваченных посредством камер.

[0036] Блок 39 обнаружения типов дорог обнаруживает тип дороги из информации, полученной из навигационного устройства. Блок 40 обнаружения информации дорожного движения обнаруживает информацию дорожного движения из информации, полученной посредством навигационного устройства. Следует отметить, что вышеуказанные фрагменты информации могут обнаруживаться посредством связи между транспортными средствами или связи между транспортным средством и дорогой либо могут обнаруживаться посредством использования других датчиков, таких как сонары. Данные, обнаруженные посредством блока 9 обнаружения состояния окружения, выводятся в блок 8 задания характеристик автоматического управления, проиллюстрированный на фиг. 1.

[0037] Описание блока 4 определения индивидуальных характеристик управления

Ниже описан блок 4 определения индивидуальных характеристик управления, проиллюстрированный на фиг. 1. Блок 4 определения индивидуальных характеристик управления включает в себя блок 7 распознавания характеристик ручного управления, который распознает характеристики управления пользователя при ручном управлении транспортного средства-носителя, и базу 5 данных характеристик ручного управления, которая сохраняет характеристики ручного управления.

[0038] Блок 7 распознавания характеристик ручного управления получает различные характеристики управления, когда пользователь осуществляет ручное управление транспортным средством и сохраняет характеристики управления в базе 5 данных характеристик ручного управления. Эти характеристики управления представляют собой характеристики управления, совпадающие с предпочтением пользователя, и как описано ниже, используются, когда уровень интереса пользователя к состоянию движения транспортного средства-носителя выше опорного значения. Ниже описаны подробности.

[0039] Блок 7 распознавания характеристик ручного управления обнаруживает характеристики управления пользователя из различных фрагментов данных, указывающих состояние движения, обнаруженное посредством блока 6 обнаружения состояния транспортного средства-носителя (фрагментов данных, полученных посредством датчиков, проиллюстрированных на фиг. 10). Характеристики управления включают в себя время смены полосы движения, точку слияния и скорость слияния при въезде на скоростную автомагистраль, расстояние между транспортными средствами, среднюю скорость движения в режиме оптимального регулирования скорости, темпы ускорения и замедление, время торможения, скорость изменения угла поворота при рулении, положение движения в полосе движения (смещение влево, смещение вправо), время проезда правого поворота на перекрестке и т.п. в случае, если пользователь осуществляет ручное управление транспортным средством. Затем блок 7 распознавания характеристик ручного управления распознает действие при управлении в каждой из обнаруженных характеристических точек.

[0040] Три способа распознавания являются общеизвестными в качестве способов для обнаружения характеристик управления. Фиг. 12 является пояснительным видом, иллюстрирующим три способа распознавания. В способе 1 распознавания, распознавание выполняется посредством человеческого анализа. В способе 2 распознавания, гипотезы задаются на основании человеческих знаний и опыта, и затем распознавание выполняется посредством машинного обучения. В способе 3 распознавания, распознавание полностью и автоматически выполняется посредством машинного обучения. В варианте осуществления, распознавание выполняется со способом 2 распознавания, используемым в качестве примера.

[0041] Фиг. 13 является пояснительным видом, иллюстрирующим последовательность операций распознавания характеристик из данных, обнаруженных посредством блока 14 обнаружения состояния движения. Во-первых, на этапе a1, блок 7 распознавания характеристик ручного управления собирает фрагменты данных из блока 14 обнаружения состояния движения. Блок 7 распознавания характеристик ручного управления собирает состояние движения и состояние окружения транспортного средства-носителя в качестве фрагментов данных. После сбора фрагментов данных, на этапе a2, блок 7 распознавания характеристик ручного управления извлекает необходимые фрагменты данных атрибутов. Не все фрагменты данных, собранные посредством блока 14 обнаружения состояния движения, обязательно связаны с действием при управлении, и когда фрагменты данных, не связанные с действием при управлении, используются в качестве материалов для распознавания, такие фрагменты данных могут иметь отрицательные эффекты на результат распознавания. Соответственно, только необходимые фрагменты данных (данных атрибутов) извлекаются при обработке этапа a2.

[0042] На этапе a3, блок 7 распознавания характеристик ручного управления корректирует фрагменты данных атрибутов, извлеченных в вышеуказанной обработке этапа a2, посредством удаления элементов, таких как шум, которые включены во фрагменты данных атрибутов и которые имеют отрицательные эффекты на распознавание.

[0043] На этапе a4, блок 7 распознавания характеристик ручного управления классифицирует фрагменты данных атрибутов на значимые элементы (параметры). Фиг. 15 иллюстрирует пример, в котором фрагменты данных по другим транспортным средствам классифицируются на значимые элементы.

[0044] В частности, когда обнаруживаются объекты 1-n, которые представляют собой другие транспортные средства, и «тип», «перемещение», «стоп-сигнал» и обнаруживается «расстояние от транспортного средства-носителя» для каждого из других транспортных средств, блок 7 распознавания характеристик ручного управления повторно классифицирует эти фрагменты данных и получает различные элементы, такие как «число движущихся впереди транспортных средств», «число движущихся впереди грузовиков» и «расстояние до каждого движущегося впереди транспортного средства».

[0045] Вышеуказанная обработка на этапах a1-a4 по фиг. 13 задается как предварительная обработка, и на этапе a5, блок 7 распознавания характеристик ручного управления выполняет машинное обучение при использовании параметров, сформированных в предварительной обработке, в качестве вводов машинного обучения. Например, SOM (самоорганизующаяся карта), SVC (классификация на основе методов опорных векторов), SGD (стохастический градиентный спуск), логистическая регрессия и т.п. может использоваться в качестве алгоритма машинного обучения. Тип дороги, по которой движется транспортное средство-носитель, выводится посредством этого машинного обучения. Дороги классифицируются на различные типы дорог (например, b1-b8), как проиллюстрировано на фиг. 14. В частности, когда транспортное средство-носитель движется по скоростной автомагистрали, устанавливается «b1. Скоростная автомагистраль», при движении по обычной дороге с двумя полосами движения на каждой стороне, устанавливается «b2. Магистральная дорога», при движении по обычной дороге с одной полосой движения на каждой стороне, устанавливается «b3. Немагистральная дорога», и при движении по перекрестку обычной дороги устанавливается «b4. Перекресток». Кроме того, когда транспортное средство-носитель движется по обычной дороге или скоростной автомагистрали, и отсутствуют движущиеся впереди транспортные средства, устанавливается «b5. Движение в режиме оптимального регулирования скорости», когда транспортное средство-носитель движется по обычной дороге или скоростной автомагистрали, и имеется движущееся впереди транспортное средство, устанавливается «b6. Движение в режиме следования», когда транспортное средство-носитель останавливается на перекрестке обычной дороги и затем снова начинает движение, устанавливается «b7. Проезд перекрестка», и когда транспортное средство-носитель поворачивает направо на перекрестке обычной дороги, устанавливается «b8. Правый поворот». Следует отметить, что способ классификации не ограничен вышеуказанным содержимым, и число классификационных элементов может быть увеличено или уменьшено. Когда имеется множество классификационных элементов, в дополнение к вышеуказанным элементам могут быть добавлены такие элементы, как точка слияния скоростной автомагистрали, точка разветвления скоростной автомагистрали, полоса движения на правый поворот магистральной дороги и т.п., . Когда число классификационных элементов уменьшается, например, элементы могут быть сокращены до двух элементов - скоростной автомагистрали и обычной дороги.

[0046] На этапе a6, блок 7 распознавания характеристик ручного управления сохраняет тип дороги, определенный посредством распознавания и характеристик управления в этом типе дороги, в базе 5 данных характеристик ручного управления. Как описано выше, в способе 2 распознавания, классификационные элементы на этапах a1-a4 по фиг. 13 задаются вручную, и параметры состояния автоматически формируются на этапе a5 посредством машинного обучения на этапе a5.

[0047] Фиг. 16 является пояснительным видом, иллюстрирующим пример характеристик ручного управления, распознанных посредством блока 7 распознавания характеристик ручного управления, и иллюстрирует состояние, в котором транспортное средство-носитель V1 движется при 60 км/ч в левой полосе движения дороги с двумя полосами движения на каждой стороне, и два других транспортных средства V2, V3 движутся при 80 км/ч в правой полосе движения дороги.

Блок 7 распознавания характеристик ручного управления получает тип состояния движения, относительные расположения с другими автомобилями впереди и позади транспортного средства-носителя, дорожную информацию (ограничение скорости) и текущую информацию по движению транспортного средства (например, скорость движения) для этого состояния движения посредством использования вышеуказанного способа.

[0048] Затем блок 7 распознавания характеристик ручного управления вычисляет значимые параметры посредством использования алгоритма машинного обучения. В результате, блок 7 распознавания характеристик ручного управления получает, например, такой результат распознавания, что при движении в режиме оптимального регулирования скорости, транспортное средство-носитель движется со скоростью в 75% от ограничения скорости (движется при 60 км/ч на дороге с ограничением скорости в 80 км/ч). Этот результат распознавания сохраняется в базе 5 данных характеристик ручного управления. Следует отметить, что движение в режиме оптимального регулирования скорости в варианте осуществления задается как движение, при котором ситуация, когда время между транспортными средствами (числовое значение, полученное посредством деления расстояния между транспортными средствами на скорость движения) между транспортным средством-носителем и движущимся впереди транспортным средством составляет две секунды или больше, продолжается в течение 30 секунд или больше.

[0049] Описание блока 8 задания характеристик автоматического управления

Ниже описан блок 8 задания характеристик автоматического управления, проиллюстрированный на фиг. 1. Как описано ниже, блок 8 задания характеристик автоматического управления задает характеристики управления, выбранные, когда уровень интереса пользователя к состоянию движения является низким. Ниже описаны подробности со ссылкой на фиг. 17-20.

[0050] Фиг. 17A-17B являются пояснительными видами, иллюстрирующими пример определения характеристик автоматического управления, когда транспортное средство-носитель выполняет движение в режиме оптимального регулирования скорости при автоматическом управлении. Блок 8 задания характеристик автоматического управления получает тип состояния движения (в этом случае, движение в режиме оптимального регулирования скорости), относительные расположения с другими транспортными средствами, движущимися перед и позади транспортного средства-носителя, и информацию дороги, такую как ограничение скорости, в качестве входных параметров. Затем блок 8 задания характеристик автоматического управления управляет скоростью движения транспортного средства-носителя в диапазоне, не превышающем ограничение скорости, так что скорость движения совпадает со скоростью движения других окружающих транспортных средств. Совпадение скорости движения транспортного средства-носителя со скоростью движения других транспортных средств позволяет исключать затор в движении. В частности, как проиллюстрировано на фиг. 17A, когда имеются секции P1, P3 с затором, и имеется секция P2 с плавным потоком между секциями P1, P3, совпадение скорости движения транспортного средства-носителя со скоростью движения других транспортных средств позволяет исключать затор в движении и приводить к тому, что вся дорога представляет собой секцию P4 с плавным потоком, как проиллюстрировано на фиг. 17B.

[0051] Фиг. 18A и 18B являются пояснительными видами, иллюстрирующими примеры определения характеристик автоматического управления, когда транспортное средство-носитель выполняет движение в режиме следования, которое представляет собой движение, при котором транспортное средство-носитель движется за движущимся впереди транспортным средством. Движение в режиме следования, описанное в варианте осуществления, задается как движение, при котором ситуация, когда время между транспортными средствами между транспортным средством-носителем и движущимся впереди транспортным средством составляет две секунды или меньше, продолжается в течение 30 секунд или больше. Блок 8 задания характеристик автоматического управления получает тип состояния движения (в этом случае, движение в режиме следования) и относительные расположения с другими транспортными средствами, движущимися перед транспортным средством-носителем и позади него. Блок 8 задания характеристик автоматического управления уменьшает время между транспортными средствами в пределах интервала, в котором столкновение с движущимся впереди транспортным средством является предотвратимым. В частности, блок 8 задания характеристик автоматического управления изменяет время между транспортными средствами в 4 (секунды), как проиллюстрировано на фиг. 18A, на время между транспортными средствами в 2 (секунды), как проиллюстрировано на фиг. 18B. В результате, время между транспортными средствами уменьшается, и число транспортных средств, движущихся в секции с определенной длиной, увеличивается. Следовательно, затор в движении может уменьшаться.

[0052] Фиг. 19A и 19B являются пояснительными видами, иллюстрирующими пример определения характеристик автоматического управления, когда транспортное средство-носитель начинает движение на перекрестке. Это предполагается в качестве случая, в котором транспортное средство-носитель останавливается на перекрестке вследствие красного цвета сигнала светофора, и затем начинает движение, когда сигнал светофора переключается на зеленый цвет. Блок 8 задания характеристик автоматического управления получает тип состояния движения (в этом случае, движение в режиме проезда перекрёстка), относительное расположение между движущимся впереди транспортным средством и транспортным средством-носителем и информацию относительно сигнала светофора в качестве входных параметров.

[0053] Совпадение ускорения и времени начала движения с ускорением и временем начала движения движущегося впереди транспортного средства при начале движения в пределах расстояния, в котором транспортное средство-носитель не сталкивается с движущимся впереди транспортным средством, позволяет увеличивать число транспортных средств, проезжающих перекресток в то время, когда сигнал светофора является зеленым. В частности, когда управление началом движения не осуществляется, как проиллюстрировано на фиг. 19A, интервалы между транспортными средствами являются большими, и число транспортных средств, проезжающих перекресток, является небольшим. В частности, три транспортных средства z1, z2, z3 проезжают перекресток. Между тем, когда управление началом движения осуществляется посредством задания характеристик автоматического управления, как проиллюстрировано на фиг. 19B, число транспортных средств, проезжающих перекресток, равно четырем, что представляет собой транспортные средства z4, z5, z6, z7, и количество транспортных средств, проезжающих перекресток, может быть увеличено.

[0054] Фиг. 20A, 20B и 21 являются пояснительными видами, иллюстрирующими пример, в которых когда транспортное средство-носитель V1 должно поворачивать направо на перекрестке, блок 8 задания характеристик автоматического управления определяет то, следует инструктировать рассматриваемое транспортное средство V1 временно остановиться, или инструктировать его повернуть направо без остановки. Как проиллюстрировано на фиг. 20A и 20B, время, требуемое для достижения перекрестка встречным транспортным средством V3, упоминается как время s1 достижения, и время, требуемое для достижения перекрестка транспортным средством-носителем, упоминается как время s2 достижения. Блок 8 задания характеристик автоматического управления вычисляет разность между временем s1 достижения и временем s2 достижения (s1-s2; это упоминается как временной промежуток Δs), и когда временной промежуток Δs превышает предварительно установленное пороговое время (например, шесть секунд), транспортное средство-носитель V1 поворачивает направо на перекрестке без остановки. Между тем, когда временной промежуток Δs составляет пороговое время или меньше, транспортное средство-носитель V1 временно останавливается на перекрестке.

[0055] В частности, как проиллюстрировано на фиг. 20A, когда транспортное средство-носитель V1 приближается к перекрестку, и встречное транспортное средство V3 движется в положении близко к перекрестку (когда время s1 достижения является небольшим), транспортное средство-носитель V1 временно останавливается и поворачивает направо после того, как встречное транспортное средство V3 проезжает перекресток. В этом случае, движущееся сзади транспортное средство V2 временно останавливается на перекрестке и затем повторно начинает движение, чтобы двигаться по прямой.

[0056] Между тем, как проиллюстрировано на фиг. 20B, когда транспортное средство-носитель V1 приближается к перекрестку, и встречное транспортное средство V3 движется в положении относительно далеко от перекрестка (когда время s1 достижения является большим), транспортное средство-носитель V1 поворачивает направо на перекрестке без остановки. В этом случае, движущееся сзади транспортное средство V2 может двигаться по прямой без остановки на перекрестке.

Задание временного промежутка Δs, как описано выше, обеспечивает надлежащее определение правого поворота. Соответственно, затор в движении на перекрестке может быть уменьшен.

[0057] Фиг. 21 является графиком, иллюстрирующим случай, в котором транспортное средство-носитель временно останавливается на правом повороте, и случай, в котором собственная кумулятивная частота каждого временного промежутка Δs в транспортном средстве поворачивает направо без остановки. Кривая q1 иллюстрирует взаимосвязь между временным промежутком Δs и частотой случая, в котором транспортное средство останавливается на перекрестке, и чем меньше временной промежуток Δs, тем больше число транспортных средств, которые должны останавливаться. Кривая q2 иллюстрирует взаимосвязь между временным промежутком Δs и частотой случая, в котором транспортное средство поворачивает направо без остановки на перекрестке, и чем больше временной промежуток Δs, тем больше число транспортных средств, поворачивающих направо без остановки на перекрестке.

[0058] В варианте осуществления, перекресток между кривыми q1 и q2 задается в качестве вышеуказанного порогового времени. В случае фиг. 21, пороговое время составляет шесть секунд. В частности, когда временной промежуток Δs превышает шесть секунд, управление транспортным средством-носителем V1 осуществляется с возможностью поворота направо на перекрестке без остановки, и когда временной промежуток Δs составляет шесть секунд или меньше, управление транспортным средством-носителем V1 осуществляется с возможностью остановки на перекрестке. Это обеспечивает плавный правый поворот на перекрестке и позволяет уменьшить затор в движении на перекрестке.

[0059] Описание блока 11 переключения характеристик управления

Ниже описан блок 11 переключения характеристик управления, проиллюстрированный на фиг. 1. Блок 11 переключения характеристик управления включает в себя блок 12 определения уровня интереса и блок 13 задания характеристик управления.

[0060] Блок 12 определения уровня интереса определяет уровень интереса пользователя к состоянию движения на основании «параметра вглядывания в окружение» и «параметров моргания», выводимых посредством вышеуказанного блока 2 обнаружения состояния глазных яблок. В частности, когда уровень F1 вглядывания в окружение, описанный в вышеуказанной формуле (1), выше предварительно установленного первого порогового значения F1th, блок 12 определения уровня интереса определяет, что уровень интереса к состоянию движения выше опорного значения. Кроме того, когда характеристическая величина PE поведения при открытии-закрытии, описанная в вышеуказанной формуле (2), ниже предварительно установленного второго порогового значения PEth, когда степень X2 открытия глаз в состоянии открытых глаз выше предварительно установленного третьего порогового значения X2th, или когда скорость X1 закрытия глаз выше предварительно установленного четвертого порогового значения X1th, блок 12 определения уровня интереса определяет, что уровень интереса к состоянию движения выше опорного значения.

[0061] Кроме того, блок 12 определения уровня интереса определяет уровень интереса пользователя к состоянию движения в зависимости от состояний операций с релевантными переключателями и нерелевантными переключателями, выводимых посредством блока 3 обнаружения операций с переключателями. В частности, когда частота операций с релевантными переключателями выше предварительно установленного пятого порогового значения, блок 12 определения уровня интереса определяет, что уровень интереса к состоянию движения выше опорного значения. Кроме того, когда частота операций с нерелевантными переключателями выше предварительно установленного шестого порогового значения, блок 12 определения уровня интереса определяет, что уровень интереса к состоянию движения ниже опорного значения.

Кроме того, как описано выше, когда блок 12 определения уровня интереса оценивает величину осознанности водителя, проанализированную в блоке 16 определения разговора, и величина осознанности выше предварительно установленного седьмого порогового значения, блок 12 определения уровня интереса определяет, что уровень интереса к состоянию движения выше опорного значения.

[0062] Блок 13 задания характеристик управления определяет содержимое управления для автоматического управления движением на основании уровня интереса, определенного посредством блока 12 определения уровня интереса. В частности, когда уровень интереса пользователя к состоянию движения выше опорного значения, автоматическое управление выполняется таким образом, что оно совпадает с характеристиками управления пользователя. Например, блок 13 задания характеристик управления управляет скоростью транспортного средства и расстоянием между транспортными средствами таким образом, что они совпадают с характеристиками пользователя. В частности, когда уровень интереса водителя при текущем управлении выше опорного значения, управление с характеристиками управления, предпочитаемыми водителем (пользователем), выполняется в максимально возможной степени. Это позволяет подавлять ощущение растерянности, возникающее у водителя. Блок 13 задания характеристик управления за счет этого извлекает данные характеристик управления при ручном управлении водителя из базы 5 данных характеристик ручного управления, и автоматическое управление выполняется таким образом, что оно совпадает с характеристиками управления для водителя.

[0063] Например, как проиллюстрировано на фиг. 22, три характеристики u1 ручного управления, u2, u3 сохраняются в базе 5 данных характеристик ручного управления. Затем блок 13 задания характеристик управления получает текущую характеристику u0 управления при автоматическом управлении транспортным средством-носителем. В частности, блок 13 задания характеристик управления получает тип состояния движения, относительные расположения с другими транспортными средствами перед и позади транспортного средства-носителя, информацию дороги (ограничение скорости) и текущую информацию по движению транспортного средства (например, скорость движения) в качестве входных параметров. Затем блок 13 задания характеристик управления вычисляет значимые параметры посредством использования алгоритма машинного обучения и получает текущую характеристику управления.

[0064] В примере, проиллюстрированном на фиг. 22, блок 13 задания характеристик управления выбирает характеристику u2 ручного управления, ближайшую к текущей характеристике u0 управления транспортным средством-носителем, из характеристик u1-u3 ручного управления. После этого, когда блок 12 определения уровня интереса определяет, что уровень интереса при управлении выше опорного значения, блок 13 задания характеристик управления выбирает характеристики u2 ручного управления и выводит управляющие инструкции.

[0065] Между тем, когда уровень интереса пользователя при текущем управлении является низким, выполняется автоматическое управление, совпадающее с состоянием окружения. В частности, когда уровень интереса к состоянию движения является низким, предпочтительно выполнять автоматическое управление с характеристиками управления, совпадающими с состоянием окружающего движения в максимально возможной степени. Выполнение автоматического управления с характеристиками управления, совпадающими с состоянием окружающего движения, позволяет подавлять помехи движению других окружающих транспортных средств и уменьшать ощущение растерянности, возникающее у пользователей других транспортных средств. Кроме того, поскольку транспортный поток может регулироваться, затор в движении может быть уменьшен. Соответственно, блок 13 задания характеристик управления выбирает характеристики управления, определенные посредством блока 8 задания характеристик автоматического управления, в частности, вышеуказанное управление, проиллюстрированное на фиг. 17-21, и выводит управляющие инструкции.

[0066] Описание операции обработки

Ниже описаны этапы обработки устройства управления в автоматически управляемом транспортном средстве согласно варианту осуществления со ссылкой на блок-схемы, проиллюстрированные на фиг. 23, 24 и 25. Фиг. 23 иллюстрирует все этапы обработки, и фиг. 24 и 25 иллюстрирует подробную обработку S13 на фиг. 23.

[0067] Обработка, проиллюстрированная на фиг. 23, выполняется посредством блока 13 задания характеристик управления, проиллюстрированного на фиг. 1. Во-первых, на этапе S11 по фиг. 23, блок 13 задания характеристик управления определяет состояние движения транспортного средства-носителя. В этой обработке, блок 13 задания характеристик управления использует данные скорости транспортного средства, данные ускорения, данные угла поворота при рулении и т.п., обнаруженные в блоке 6 обнаружения состояния транспортного средства-носителя, как проиллюстрировано на фиг. 10. В качестве альтернативы, блок 13 задания характеристик управления может определять текущее состояние движения на основании информации относительно скорости транспортного средства, ускорения и угла поворота при рулении, полученной из CAN (контроллерной сети), и информации из датчиков, таких как радар и камера.

[0068] На этапе S12 блок 12 определения уровня интереса определяет уровень интереса пользователя к состоянию движения. Как описано выше, определение уровня интереса выполняется на основании перемещения глазного яблока пользователя, частоты операций с переключателями, содержимого разговора и т.п. Кроме того, на этапе S13, определяется то, превышает ли уровень интереса опорное значение.

[0069] Ниже подробно описаны этапы обработки по определения уровня интереса со ссылкой на фиг. 24 и 25. Эта обработка выполняется посредством блока 12 определения уровня интереса, проиллюстрированного на фиг. 1.

[0070] Фиг. 24 является блок-схемой, иллюстрирующей обработку определения уровня интереса на основании информации глазных яблок. Во-первых, на этапе S31, блок 12 определения уровня интереса получает «параметр вглядывания в окружение» из блока 2 обнаружения состояния глазных яблок и, на этапе S32, получает «параметры моргания».

На этапе S33, блок 12 определения уровня интереса определяет, превышает ли уровень F1 вглядывания в окружение первое пороговое значение F1th, на основании параметра окружение в окрестности.

При определении того, что уровень F1 вглядывания в окружение выше первого порогового значения F1th («Да» на этапе S33), на этапе S37, блок 12 определения уровня интереса определяет, что уровень интереса пользователя к состоянию движения выше опорного значения.

[0071] Между тем, при определении того, что уровень F1 вглядывания в окружение ниже первого порогового значения F1th («Нет» на этапе S33), на этапе S34, блок 12 определения уровня интереса определяет, является ли характеристическая величина PE поведения при открытии-закрытии ниже второго порогового значения PEth.

[0072] Когда характеристическая величина PE поведения при открытии-закрытии ниже второго порогового значения PEth («Да» на этапе S34), блок 12 определения уровня интереса выполняет обработку этапа S37. Между тем, когда характеристическая величина PE поведения при открытии-закрытии выше второго порогового значения PEth («Нет» на этапе S34), на этапе S35, блок 12 определения уровня интереса определяет, является ли степень открытия глаз в состоянии открытых глаз высокой, на основании информации моргания пользователя. В этой обработке, блок 12 определения уровня интереса определяет, превышает ли степень X2 открытия глаз в состоянии открытых глаз третье пороговое значение X2th.

[0073] Когда степень X2 открытия глаз в состоянии открытых глаз выше третьего порогового значения X2th («Да» на этапе S35), блок 12 определения уровня интереса выполняет обработку этапа S37. Когда степень X2 открытия глаз в состоянии открытых глаз ниже третьего порогового значения X2th («Нет» на этапе S35), на этапе S36, блок 12 определения уровня интереса определяет, превышает ли скорость X1 закрытия глаз четвертое пороговое значение X1th, на основании параметров моргания.

[0074] При определении того, что скорость X1 закрытия глаз выше четвертого порогового значения X1th («Да» на этапе S36), на этапе S37, блок 12 определения уровня интереса определяет, что уровень интереса выше опорного значения. Между тем, при определении того, что скорость X1 закрытия глаз ниже четвертого порогового значения X1th («Нет» на этапе S36), на этапе S38, блок 12 определения уровня интереса определяет, что уровень интереса ниже опорного значения. Затем обработка этапа S13 на фиг. 23 выполняется на основании результата определения этапа S37 или S38.

[0075] Ниже приведено описание обработки по определению уровня интереса в зависимости от частоты операций с переключателями со ссылкой на блок-схему, проиллюстрированную на фиг. 25. Эта обработка выполняется посредством блока 12 определения уровня интереса.

Во-первых, на этапе S51, блок 12 определения уровня интереса получает информацию относительно частоты различных операций с переключателями, выводимых посредством блока 3 обнаружения операций с переключателями.

[0076] На этапе S52, блок 12 определения уровня интереса определяет, является ли высокой частота операций с релевантными переключателями. Как описано выше, релевантные переключатели включают в себя, например, переключатель задания скорости, переключатель задания расстояния между транспортными средствами, переключатель смены полосы движения и т.п.

[0077] Когда частота операций с релевантными переключателями выше предварительно установленного пятого порогового значения («Да» на этапе S52), на этапе S54, блок 12 определения уровня интереса определяет, что уровень интереса пользователя к состоянию движения выше опорного значения.

[0078] Между тем, когда частота операций с релевантными переключателями ниже пятого порогового значения («Нет» на этапе S52), на этапе S53, блок 12 определения уровня интереса определяет, превышает ли частота операций с нерелевантными переключателями шестое пороговое значение. Как описано выше, нерелевантные переключатели включают в себя, например, переключатель открытия-закрытия окон, переключатель режима работы аудиосистемы, переключатель режима работы системы навигации, переключатель регулирования положения сиденья и т.п.

Когда частота операций с нерелевантными переключателями выше шестого порогового значения («Да» на этапе S53), на этапе S55, блок 12 определения уровня интереса определяет, что уровень интереса пользователя к состоянию движения ниже опорного значения.

[0079] Кроме того, когда частота операций с нерелевантными переключателями ниже шестого порогового значения («Нет» на этапе S53), возможен случай, в котором частота операций с переключателями является низкой, или операции не выполняются. Соответственно, определение приостанавливается, и обработка возвращается к этапу S52.

[0080] Обработка, проиллюстрированная на этапе S13 по фиг. 23, в силу этого выполняется, т.е. определяется, превышает ли уровень интереса пользователя к состоянию движения опорное значение. Следует отметить, что можно определять состояние разговора пользователя и получать уровень интереса при управлении на основании состояния разговора, как описано выше.

[0081] При определении того, что уровень интереса выше опорного значения, на этапе S13 по фиг. 23 («Да» на этапе S13), на этапе S14, блок 13 задания характеристик управления задает характеристики управления (скорость транспортного средства, расстояние между транспортными средствами и т.п.), совпадающие с характеристиками ручного управления пользователя.

[0082] Примеры случаев, в которых уровень интереса пользователя к состоянию движения является высоким, включают в себя случай, в котором транспортное средство-носитель не движется за потоком других окружающих транспортных средств, случай, в котором пользователь не может адаптироваться к состоянию дороги, случай, в котором приближаются цели, которые требуют внимания, такие как грузовики, роскошные транспортные средства, помехи, дорожные сооружения и т.п., и т.п. В таких состояниях движения блок 13 задания характеристик управления задает характеристики движения, такие как скорость транспортного средства, расстояние между транспортными средствами (переднее, заднее, левое, правое), смена полосы движения и т.п., как характеристики управления, совпадающие с предпочтением пользователя. В силу этого может обеспечиваться автоматическое управление, при котором уменьшается ощущение растерянности, возникающее у пользователя.

[0083] Между тем, когда уровень интереса определяется ниже опорного значения («Нет» на этапе S13), на этапе S15, блок 13 задания характеристик управления задает скорость транспортного средства и расстояние между транспортными средствами, совпадающие с состоянием окружения.

На этапе S16, блок 13 задания характеристик управления определяет характеристики управления, заданные при обработке этапа S14, или характеристики управления, заданные при обработке этапа S15, в качестве характеристик управления при автоматическом управлении.

[0084] На этапе S17, блок 13 задания характеристик управления определяет то, завершен ли участок автоматического управления. Когда участок автоматического управления не завершен, обработка возвращается к этапу S11. Когда участок автоматического управления завершен, автоматическое управление завершается и переключается на ручное управление.

[0085] Как описано выше, в способе управления автоматически управляемого транспортного средства согласно варианту осуществления, уровень интереса пользователя обнаруживается, и управление транспортным средством-носителем осуществляется на основании характеристик управления в зависимости от уровня интереса. Соответственно, можно распознавать намерение пользователя и отражать намерение пользователя в характеристиках движения транспортного средства. Следовательно, может обеспечиваться движение с автоматическим управлением, надлежащим образом отражающее намерение пользователя.

[0086] Кроме того, когда уровень интереса пользователя к движению транспортного средства ниже опорного значения, автоматическое управление движением выполняется с заданием характеристик управления, совпадающих с состоянием окружения. Соответственно, управление скоростью движения и расстоянием между транспортными средствами осуществляется таким образом, что они совпадают с окружающими транспортными средствами, и может уменьшаться возникновение затора в движении без нарушения транспортного потока.

[0087] Кроме того, когда уровень интереса пользователя к движению транспортного средства выше опорного значения, характеристики управления задаются на основании характеристик управления при ручном управлении пользователем. Соответственно, может обеспечиваться автоматическое управление без ощущение растерянности для пользователя.

[0088] Кроме того, в варианте осуществления, уровень интереса пользователя к движению транспортного средства обнаруживается на основании перемещения глазного яблока, обнаруженного посредством блока 2 обнаружения состояния глазных яблок. В частности, когда уровень F1 вглядывания в окружение выше первого порогового значения F1th, уровень интереса определяется выше опорного значения. Соответственно, уровень интереса может определяться с высокой точностью.

Кроме того, когда соотношение времени закрытых глаз и интервала моргания (характеристическая величина PE поведения при открытии-закрытии) ниже второго порогового значения PEth, уровень интереса определяется выше опорного значения. Соответственно, уровень интереса может определяться с высокой точностью.

Кроме того, когда степень X2 открытия глаз в состоянии открытых глаз выше третьего порогового значения X2th, уровень интереса определяется выше опорного значения. Соответственно, уровень интереса может определяться с высокой точностью.

Кроме того, когда скорость X1 закрытия глаз выше четвертого порогового значения X1th, уровень интереса определяется выше опорного значения. Соответственно, уровень интереса может определяться с высокой точностью.

[0089] Кроме того, когда частота операций с релевантными переключателями выше пятого порогового значения, уровень интереса определяется выше опорного значения. Соответственно, уровень интереса может определяться при простой обработке.

Кроме того, когда частота операций с нерелевантными переключателями выше шестого порогового значения, уровень интереса определяется ниже опорного значения. Соответственно, уровень интереса может определяться при простой обработке.

[0090] Кроме того, уровень интереса определяется на основании разговора пользователя. Подробно, величина осознанности пользователя, проанализированная посредством блока 16 определения разговора, оценивается, и когда величина осознанность является большой, уровень интереса определяется выше опорного значения. Соответственно, уровень интереса может определяться с высокой точностью на основании содержимого разговора пользователя.

[0091] Кроме того, использование уровня интереса водителя, который представляет собой пользователя транспортного средства, обеспечивает автоматическое управление движением, дополнительно совпадающее с предпочтением пользователя.

[0092] Хотя случай, в котором уровень интереса определяется на основании перемещения глазных яблок, как показано на фиг. 24, и случай, в котором уровень интереса определяется на основании операций с переключателями, как показано на фиг. 25, описаны на вышеуказанных блок-схемах, уровень интереса может определяться посредством использования обоих способов.

[0093] Например, определение может выполняться следующим образом: уровень интереса определяется на основании перемещения глазного яблока; после этого, только тогда, когда уровень интереса определяется ниже опорного значения, уровень интереса определяется на основании операций с переключателями; и после этого, только тогда, когда уровень интереса определяется ниже опорного значения, уровень интереса определяется на основании содержимого разговора.

[0094] Кроме того, обработка этапа S13 может выполняться таким образом, что величина осознанности пользователя, проанализированная посредством блока 16 определения разговора, оценивается, и когда величина осознанности является большой, уровень интереса определяется высоким, как описано выше.

Кроме того, хотя вышеуказанный вариант осуществления описан с водителем, приведенным в качестве примера пользователя, пользователь настоящего изобретения не ограничен водителем, и автоматическое управление движением может выполняться посредством использования характеристик управления пользователей, отличных от водителя.

[0095] Описание модифицированного примера 1

Ниже описан модифицированный пример вышеуказанного варианта осуществления. В вышеуказанном варианте осуществления, когда уровень интереса пользователя к состоянию движения определяется выше опорного значения, автоматическое управление выполняется посредством извлечения характеристик управления, совпадающих с предпочтением пользователя, из характеристик управления, сохраненных в базе 5 данных характеристик ручного управления.

[0096] Между тем, в модифицированном примере, когда пользователь транспортного средства-носителя вглядывается в другое транспортное средство в качестве цели, уровень интереса к другому транспортному средству определяется выше опорного значения. Затем извлекаются характеристики управления другого транспортного средства, и управление транспортным средством-носителем осуществляется посредством использования извлеченных характеристик управления. Другими словами, когда уровень интереса пользователя выше опорного значения, обнаруживаются характеристики управления цели, которой интересуется пользователь, и управление автоматически управляемым транспортным средством осуществляется на основании характеристик управления цели.

[0097] В частности, другое транспортное средство, в которое вглядывается пользователь, указывается на основании параметра вглядывания в окружение, обнаруженного посредством блока 2 обнаружения состояния глазных яблок, проиллюстрированного на фиг. 1, и затем характеристики управления, такие как скорость движения другого транспортного средства и расстояние между транспортными средствами между другим транспортным средством и движущимся впереди транспортным средством, обнаруживаются. После этого, управление транспортным средством-носителем осуществляется таким образом, что оно совпадает с характеристиками управления другого транспортного средства. В результате, когда имеется другое транспортное средство, рассматриваемое пользователем в качестве модели, и пользователь вглядывается в другое транспортное средство, управление транспортным средством-носителем осуществляется таким образом, что оно совпадает с характеристиками управления другого транспортного средства. Соответственно, транспортное средство-носитель может управляться с характеристиками управления, совпадающими с задающимся предпочтением водителя. Следует отметить, что цель, в которую вглядывается пользователь, не ограничена другим автомобилем и должна представлять собой только движущийся объект, такой как мотоцикл, велосипед и пешехода, и транспортное средство-носитель может управляться в зависимости от характеристик перемещения движущегося объекта, как описано выше.

[0098] Описание модифицированного примера 2

Ниже описан модифицированный пример 2 варианта осуществления. В модифицированном примере 2, когда пользователь транспортного средства-носителя вглядывается в стационарный объект в окружении транспортного средства-носителя в качестве цели, уровень интереса определяется в зависимости от характеристик стационарного объекта, и управление транспортным средством-носителем осуществляется в зависимости от уровня интереса. Например, когда в качестве вышеуказанного стационарного объекта пользователь вглядывается в дорожный знак, уровень интереса определяется высоким. Между тем, когда в качестве вышеуказанного стационарного объекта пользователь вглядывается в пейзаж, такой как гора или небо, уровень интереса определяется низким. В качестве способа обнаружения стационарного объекта снаружи транспортного средства, в который вглядывается пользователь, линия взгляда, стационарный объект в направлении прохождения линии взгляда и характеристики этого стационарного объекта могут определяться посредством использования знаков и географических данных. Кроме того, стационарный объект и его характеристики могут определяться посредством выполнения считывания в направлении, в котором проходит линия взгляда.

[0099] Кроме того, хотя автоматическое управление выполняется на основании характеристик управления при ручном управлении, когда уровень интереса выше опорного значения в варианте осуществления, можно измерять уровень интереса в то время, когда выполняется автоматическое управление на основании характеристик управления при ручном управлении, и регулировать характеристики управления для автоматического управления. Например, когда уровень интереса выше опорного значения, характеристики управления могут задаваться между характеристиками управления при ручном управлении и характеристиками управления в зависимости от состояния окружения таким образом, что чем выше уровень интереса, тем ближе заданные характеристики управления к характеристикам управления при ручном управлении. Например, уровень интереса выше опорного значения может задаваться таким образом, что чем более интенсивным является перемещение линии взгляда пользователя, тем выше уровень интереса задается из уровней интереса выше опорного значения. То же применимо к случаю, в котором уровень интереса ниже опорного значения. Когда уровень интереса ниже опорного значения, характеристики управления могут задаваться между характеристиками управления при ручном управлении и характеристиками управления в зависимости от состояния окружения таким образом, что чем ниже уровень интереса, тем ближе заданные характеристики управления к характеристикам управления в зависимости от состояния окружения.

[0100] При том, что выше описан способ управления автоматически управляемым транспортным средством согласно настоящему изобретению на основе проиллюстрированного варианта осуществления, настоящее изобретение не ограничено этим. Конфигурация каждой части может быть заменена любой конфигурацией, имеющей аналогичную функцию.

Список условных обозначений

[0101] 1 - блок обнаружения уровня интереса

2 - блок обнаружения состояния глазных яблок

3 - блок обнаружения операций с переключателями

4 - блок определения индивидуальных характеристик управления

5 - база данных характеристик ручного управления

6 - блок обнаружения состояния транспортного средства-носителя

7 - блок распознавания характеристик ручного управления

8 - блок задания характеристик автоматического управления

9 - блок обнаружения состояния окружения

11 - блок переключения характеристик управления

12 - блок определения уровня интереса

13 - блок задания характеристик управления

14 - блок обнаружения состояния движения

16 - блок определения разговора

17 - камера наружной обстановки

18 - глазное яблоко

19 - зрачок

20 - камера для съемки в инфракрасном диапазоне

21 - инфракрасная лампа

22 - блок обработки изображений

23 - контроллер лампы и камеры

25 - линза

26 - фильтр блокирования видимого света

28 - датчик инфракрасных изображений

29 - цифровой фильтр

30 - GPU обработки изображений

31 - блок извлечения параметров

32 - датчик скорости транспортного средства

33 - датчик ускорения

34 - датчик угла поворота при рулении

35 - блок обнаружения пространств между транспортными средствами

36 - блок обнаружения объектов, отличных от транспортных средств

37 - блок обнаружения типов окружающих транспортных средств

38 - блок обнаружения полос движения

39 - блок обнаружения типов дорог

40 - блок обнаружения информации дорожного движения

42 - микрофон

43 - динамик

44 - блок представления информации

45 – анализатор.

Группа изобретений относится к вариантам способа управления автоматически управляемым транспортным средством и устройству управления автоматически управляемым транспортным средством для управления автоматически управляемым транспортным средством. Способ содержит этапы, на которых: обнаруживают уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства на основании линии взгляда пользователя, наблюдающего за другим транспортным средством в окружении автоматически управляемого транспортного средства и когда уровень интереса выше заданного опорного значения: регулируют характеристики управления при автоматическом управлении в зависимости от уровня интереса и/или обнаруживают характеристики управления цели, которой интересуется пользователь, и регулируют характеристики управления при автоматическом управлении на основании обнаруженных характеристик управления цели. Также способ может содержать этапы, на которых: определяют, вглядывается ли пользователь транспортного средства-носителя в стационарный объект в окружении транспортного средства-носителя, и когда пользователь вглядывается, определяют уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства на основании характеристик стационарного объекта и регулируют характеристики управления при автоматическом управлении на основании уровня интереса. Достигается предоставление устройства и способа управления транспортным средством, учитывающие уровень интереса пользователя к состоянию движения. 5 н. и 9 з.п. ф-лы, 30 ил.

1. Способ управления автоматически управляемым транспортным средством для управления автоматически управляемым транспортным средством, при этом способ содержит этапы, на которых:

- обнаруживают уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства на основании линии взгляда пользователя, наблюдающего за другим транспортным средством в окружении автоматически управляемого транспортного средства; и

- когда уровень интереса выше заданного опорного значения, регулируют характеристики управления при автоматическом управлении в зависимости от уровня интереса.

2. Способ управления автоматически управляемым транспортным средством для управления автоматически управляемым транспортным средством, содержащий этапы, на которых:

- обнаруживают уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства на основании линии взгляда пользователя, наблюдающего за другим транспортным средством в окружении автоматически управляемого транспортного средства;

- когда уровень интереса выше заданного опорного значения, обнаруживают характеристики управления цели, которой интересуется пользователь; и

- регулируют характеристики управления при автоматическом управлении на основании обнаруженных характеристик управления цели.

3. Способ управления автоматически управляемым транспортным средством для управления автоматически управляемым транспортным средством, содержащий этапы, на которых:

- определяют, вглядывается ли пользователь транспортного средства-носителя в стационарный объект в окружении транспортного средства-носителя;

- когда пользователь вглядывается в стационарный объект, определяют уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства на основании характеристик стационарного объекта; и

- регулируют характеристики управления при автоматическом управлении на основании уровня интереса.

4. Способ управления автоматически управляемым транспортным средством в устройстве управления автоматически управляемым транспортным средством, выполненном с возможностью управления автоматически управляемым транспортным средством, при этом способ содержит этапы, на которых:

- обнаруживают уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства;

- управляют автоматически управляемым транспортным средством на основании характеристик управления в зависимости от уровня интереса; и

- когда уровень интереса ниже предварительно установленного опорного значения, задают временной промежуток, который представляет собой разность между временем, которое требуется для достижения перекрестка встречным транспортным средством, и временем, которое требуется транспортному средству-носителю, чтобы проехать поперек перед встречным транспортным средством на перекрестке, и который используется для определения, должно ли транспортное средство-носитель быть остановлено на перекрестке.

5. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-4, дополнительно содержащий этапы, на которых:

- обнаруживают информацию дорожного движения, относящуюся к движению транспортного средства-носителя; и

- регулируют характеристики управления на основании информации дорожного движения.

6. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-3, дополнительно содержащий этапы, на которых:

- обнаруживают перемещение глазного яблока пользователя; и

- когда уровень вглядывания в окружение выше первого порогового значения, определяют, что уровень интереса выше опорного значения, и управляют автоматически управляемым транспортным средством на основании характеристик управления при ручном управлении.

7. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-3, дополнительно содержащий этапы, на которых:

- обнаруживают перемещение глазного яблока пользователя; и

- когда соотношение времени закрытых глаз и интервала моргания меньше второго порогового значения, определяют, что уровень интереса выше опорного значения, и управляют автоматически управляемым транспортным средством на основании характеристик управления при ручном управлении.

8. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-3, дополнительно содержащий этапы, на которых:

- обнаруживают перемещение глазного яблока пользователя; и

- когда степень открытия глаз в состоянии открытых глаз выше третьего порогового значения, определяют, что уровень интереса выше опорного значения, и управляют автоматически управляемым транспортным средством на основании характеристик управления при ручном управлении.

9. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-3, дополнительно содержащий этапы, на которых:

- обнаруживают перемещение глазного яблока пользователя; и

- когда скорость закрытия глаз выше четвертого порогового значения, определяют, что уровень интереса выше опорного значения, и управляют автоматически управляемым транспортным средством на основании характеристик управления при ручном управлении.

10. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-3, дополнительно содержащий этапы, на которых:

- обнаруживают операцию пользователя с переключателем; и

- когда частота операций с переключателем, релевантным к движению автоматически управляемого транспортного средства, выше пятого порогового значения, определяют, что уровень интереса выше опорного значения, и управляют автоматически управляемым транспортным средством на основании характеристик управления при ручном управлении.

11. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-3, дополнительно содержащий этапы, на которых:

- обнаруживают операцию пользователя с переключателем; и

- когда частота операций с переключателем, нерелевантным к движению автоматически управляемого транспортного средства, выше шестого порогового значения, определяют, что уровень интереса ниже опорного значения, и управляют автоматически управляемым транспортным средством на основании характеристик управления в зависимости от состояния окружения.

12. Способ управления автоматически управляемым транспортным средством по п. 6, дополнительно содержащий этапы, на которых:

- обнаруживают разговор пользователя; и

- определяют, превышает ли уровень интереса опорное значение, на основании содержимого разговора.

13. Способ управления автоматически управляемым транспортным средством по любому из пп. 1-4, в котором пользователь представляет собой водителя.

14. Устройство управления автоматически управляемым транспортным средством, выполненное с возможностью управления автоматически управляемым транспортным средством, при этом устройство управления автоматически управляемым транспортным средством обнаруживает уровень интереса пользователя к состоянию движения автоматически управляемого транспортного средства на основании линии взгляда пользователя, наблюдающего за другим транспортным средством в окружении автоматически управляемого транспортного средства, и когда уровень интереса выше заданного опорного значения, регулирует характеристики управления при автоматическом управлении в зависимости от уровня интереса.