СПОСОБ ОТОБРАЖЕНИЯ ИНФОРМАЦИИ И УСТРОЙСТВО УПРАВЛЕНИЯ ОТОБРАЖЕНИЕМ Российский патент 2020 года по МПК G06F3/01 G06F3/346 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к способу отображения информации и устройству управления отображением.

Уровень техники

[0002] Известно устройство отображения в транспортном средстве, которое управляет блоком отображения мобильного терминала, чтобы отображать контент (см. патентный документ 1, например). Мобильный терминал располагается в предварительно определенном месте в транспортном средстве. В устройстве отображения в транспортном средстве, описанном в патентном документе 1, опорное положение в транспортном средстве и положения глаз водителя распознаются блоком формирования изображения мобильного терминала, и, по меньшей мере, одно из размера отображения и позиции отображения контента изменяется в соответствии с позициями глаз водителя относительно опорного положения.

Документ предшествующего уровня техники

Патентный документ

[0003] Патентный документ 1 JP2014-94647A

Сущность изобретения

Задачи, которые должны быть решены изобретением

[0004] В устройстве отображения в транспортном средстве, описанном в патентном документе 1, форма отображения информации, отображаемой в блоке отображения, не изменяется относительно линии взгляда водителя. Соответственно, материализованная информация может быть отображена в устройстве отображения, существующем в периферической области поля зрения водителя, или только абстрактная информация может быть отображена в устройстве отображения, существующем в центральной области поля зрения водителя.

[0005] Задача, которая должна быть решена посредством настоящего изобретения, заключается в предоставлении способа отображения информации и устройства управления отображением, с помощью которых информация, которая должна быть отображена в устройстве отображения, может быть надлежащим образом задана относительно линии взгляда пользователя устройства отображения.

Средство решения задачи

[0006] Настоящее изобретение решает вышеупомянутую задачу посредством формирования изображения пользователя устройства отображения с помощью устройства формирования изображения, объединенного с устройством отображения или предусмотренного около устройства отображения, обнаружения линии взгляда пользователя из захваченного изображения, отображения уведомляющей информации на дисплее в первой форме отображения, когда дисплей находится в центральной области поля зрения, и отображение уведомляющей информации на дисплее во второй форме отображения, когда дисплей находится в периферической области поля зрения. Вторая форма отображения имеет более высокий уровень абстракции, чем уровень абстракции в первой форме отображения.

Преимущества изобретения

[0007] Согласно настоящему изобретению, достигается такой результат, что уровень абстракции формы отображения уведомляющей информации делается отличающимся в соответствии с тем, попадает ли устройство отображения в центральную область поля зрения или периферическую область поля зрения пользователя, и информация, которая должна быть отображена в устройстве отображения, может, таким образом, быть надлежащим образом настроена относительно линии взгляда пользователя устройства отображения.

Краткое описание чертежей

[0008] Фиг. 1 - это схема, схематично иллюстрирующая систему отображения информации в транспортном средстве согласно одному или более вариантам осуществления настоящего изобретения.

Фиг. 2 - это вид, иллюстрирующий переднюю поверхность устройства отображения на фиг. 1.

Фиг. 3 - это блок-схема, иллюстрирующая систему отображения информации в транспортном средстве на фиг. 1.

Фиг. 4 - это вид для описания процесса обнаружения линии взгляда, процесса оценки и процесса определения места установки, выполняемых процессором на фиг. 3.

Фиг. 5 - это вид для описания процесса создания информации для отображения и процесса управления отображением, выполняемых процессором на фиг. 3.

Фиг. 6 - это вид для описания процесса создания информации для отображения и процесса управления отображением, выполняемых процессором на фиг. 3.

Фиг. 7 - это блок-схема последовательности операций, иллюстрирующая процедуру управления процесса отображения изображения, выполняемого системой отображения информации в транспортном средстве согласно варианту осуществления настоящего изобретения.

Фиг. 8 - это блок-схема, иллюстрирующая схематичную конфигурацию системы отображения информации в транспортном средстве согласно другому варианту осуществления настоящего изобретения.

Фиг. 9 - это вид для описания процесса оценки места установки, выполняемого процессором на фиг. 8.

Фиг. 10 - это блок-схема последовательности операций, иллюстрирующая процедуру управления процесса отображения информации, выполняемого системой отображения информации в транспортном средстве согласно другому варианту осуществления настоящего изобретения.

Фиг. 11 - это блок-схема последовательности операций, иллюстрирующая процедуру управления процесса отображения информации, выполняемого системой отображения информации в транспортном средстве согласно другому варианту осуществления настоящего изобретения.

Фиг. 12 - это вид, иллюстрирующий изображение для отображения, соответствующее Disp=1, другого варианта осуществления настоящего изобретения.

Режим(ы) осуществления изобретения

[0009] Далее в данном документе, один или более вариантов осуществления настоящего изобретения будут описаны со ссылкой на чертежи. Фиг. 1 - это схема, схематично иллюстрирующая систему 10 отображения информации в транспортном средстве согласно одному или более вариантам осуществления настоящего изобретения. Система 10 отображения информации в транспортном средстве, иллюстрированная на чертеже, является системой для отображения информации в блоке 101 отображения (см. фиг. 2) устройства 100 отображения в соответствии с соотношением между местом установки устройства 100 отображения и полем зрения водителя. Устройство 100 отображения устанавливается в произвольном месте перед водительским сиденьем в транспортном средстве 1. Система 10 отображения информации о транспортном средстве содержит устройство 100 отображения, блок 20 связи и сервер 30. Устройство 100 отображения может быть закреплено посредством крепежного устройства 4 в местоположении на передней панели 2 транспортного средства, перед приборной панелью 3 или т.п.

[0010] Фиг. 2 - это вид, иллюстрирующий переднюю поверхность устройства 100 отображения. Как иллюстрировано на чертеже, устройство 100 отображения является мобильным терминальным устройством, содержащим блок 101 отображения и устройство 102 формирования изображения. Пример устройства 100 отображения включает в себя мобильные терминалы, такие как смартфон, планшетный терминал и PDA. В настоящем варианте осуществления устройство 100 отображения является смартфоном, блок 101 отображения является дисплеем, таким как жидкокристаллический дисплей и органический EL-дисплей, а устройство 102 формирования изображения является встроенной камерой. Устройство 100 отображения устанавливается с прикладным программным обеспечением для выполнения процесса отображения информации в блоке 101 отображения в соответствии с соотношением между полем зрения водителя и местом установки устройства 100 отображения. Изображение, которое должно быть отображено в блоке 101 отображения в соответствии с соотношением между полем зрения водителя и местом установки, будет описано позже.

[0011] Блок 20 связи, который соединяется с сетью в транспортном средстве, такой как локальная сеть контроллеров (CAN), принимает информацию транспортного средства от бортовых устройств, таких как блок управления двигателем или электронный блок управления (ECU)). Примеры информации транспортного средства включают в себя скорость, скорость двигателя, состояние тормоза, состояние рулевого управления, захваченные изображения от бортовых камер, состояние мигающего светового сигнала, включение/выключение фары и переключателя указателя ширины, и включение/выключение переключателя зажигания. Блок 20 связи, который соединяется с устройством 100 отображения по беспроводной связи, такой как Bluetooth (зарегистрированная торговая марка), или проводной связи, такой как проводная LAN, передает идентификационную информацию транспортного средства, такую как идентификационный номер транспортного средства, информацию транспортного средства, принятую от бортовых устройств, и другую необходимую информацию устройству 100 отображения.

[0012] Сервер 30, который соединяется с беспроводной сетью передачи данных, передает информацию устройству 100 отображения и принимает информацию от устройства 100 отображения. Примеры беспроводной сети передачи данных включают в себя сеть передачи данных для мобильных телефонов, такую как долговременный проект развития (LTE) и 3G, беспроводную сеть передачи данных, такую как WiMAX (зарегистрированная торговая марка), и беспроводную сеть передачи данных для интеллектуальной транспортной системы, такую как маячок. В настоящем варианте осуществления сервер 30 получает идентификационную информацию транспортного средства, информацию транспортного средства и информацию на устройстве 100 отображения от устройства 100 отображения и передает информацию, необходимую ля обработки отображения информации (называемую информацией для обработки отображения" далее в данном документе) устройству 100 отображения. Распределение обработки и функций между сервером 30 и устройством 100 отображения может быть задано соответствующим образом. Например, сервер 30 и устройство 100 отображения могут быть выполнены с возможностью взаимодействовать друг с другом так, что сервер 30 создает информацию, которая должна быть отображена в блоке 101 отображения устройства 100 отображения, на основе информации, полученной от устройства 100 отображения, и передает созданную информацию устройству 100 отображения.

[0013] Фиг. 3 - это блок-схема, иллюстрирующая схематичную конфигурацию системы 10 отображения информации в транспортном средстве. Как иллюстрировано на чертеже, устройство 100 отображения включает в себя блок 104 связи и процессор 110 в дополнение к вышеописанному блоку 101 отображения и устройству 102 формирования изображения. Блок 104 связи, который принимает вышеописанную идентификационную информацию транспортного средства и информацию транспортного средства и другую необходимую информацию от блока 20 связи, передает эти элементы информации серверу 30 и принимает информацию для обработки отображения и другую необходимую информацию от сервера 30.

[0014] Процессор 110 является компьютером, содержащим ROM 112, которое хранит программу управления отображением, CPU 111 в качестве операционной схемы, которая выполняет программу управления отображением, сохраненную в ROM 112, и RAM 113, которое служит в качестве доступного запоминающего устройства. Процессор 110 имеет функции выполнения процесса получения информации, процесса обнаружения линии взгляда, процесса настройки области поля зрения, процесса создания информации для отображения и процесса управления отображением и выполняет каждый процесс посредством взаимодействия программного обеспечения для реализации процесса и вышеописанных аппаратных средств.

[0015] В процессе получения информации процессор 110 получает информацию транспортного средства и идентификационную информацию транспортного средства от блока 20 связи, получает информацию для обработки отображения от сервера 30 и получает информацию захваченного изображения от устройства 102 формирования изображения. Процесс обнаружения линии взгляда, процесс задания области поля зрения, процесс создания информации для отображения и процесс управления отображением будут описаны позже.

[0016] Сервер 30 содержит блок 301 связи, базу 302 данных и процессор 310. Блок 301 связи принимает идентификационную информацию транспортного средства, информацию транспортного средства и другую необходимую информацию от блока 104 связи устройства 100 отображения и передает информацию для обработки отображения и другую необходимую информацию блоку 104 связи устройства 100 отображения. База 302 данных хранит информацию для обработки отображения.

[0017] Процессор 310 является компьютером, содержащим ROM 312, которое хранит программу управления отображением, CPU 311 в качестве операционной схемы, которая выполняет программу управления отображением, сохраненную в ROM 312, и RAM 113, которое служит в качестве доступного запоминающего устройства. Процессор 310 имеет функции выполнения процесса получения информации и процесса извлечения информации для обработки отображения и выполняет каждый процесс посредством взаимодействия программного обеспечения для реализации процесса и вышеописанных аппаратных средств.

[0018] Фиг. 4 - это вид для описания процесса обнаружения линии взгляда и процесс задания области поля зрения, выполняемого процессором 110. Как иллюстрировано на фиг. 4, когда устройство 100 отображения устанавливается на передней панели 2 перед водителем, лицо водителя попадает в угол поля обзора устройства 102 формирования изображения, которое является встроенной камерой. В частности, устройство 100 отображения, установленное на передней панели 2 точно перед водителем, находится в центральной области C поля зрения водителя. Когда устройство 100 отображения устанавливается на передней панели 2 на ее правом крае, когда рассматривается со стороны водителя, или на передней панели 2 около ее центра (на левой стороне, когда рассматривается со стороны водителя), устройство 100 отображения находится в периферической области P поля зрения водителя.

[0019] В процессе обнаружения линии взгляда процессор 110 анализирует изображение лица, включенное в изображение, захваченное с помощью устройства 102 формирования изображения, чтобы, тем самым, обнаруживать линию взгляда водителя. Пример способа обнаружения линии взгляда водителя будет описан ниже.

[0020] В способе обнаружения линии взгляда согласно этому примеру обработка изображения выполняется по изображению лица, полученному устройством 102 формирования изображения, чтобы извлекать отличительные точки лица, и линия взгляда извлекается из позиционного соотношения между каждым участком лица и глазными яблоками. Сначала, область цвета кожи извлекается из входного изображения на основе информации об освещенности и информации о насыщенности цвета входного изображения от устройства 102 формирования изображения.

[0021] Затем, внутренние уголки и внешние уголки глаз и ноздри извлекаются на основе информации об освещенности и информации о насыщенности цвета входного изображения. Далее, зрачки извлекаются с помощью фильтра различимости. Затем, две точки извлеченных внешних уголков глаз и промежуточная точка между двумя точками извлеченных ноздрей (т.е., всего три точки) используются, чтобы создавать плоскость, соответствующую лицу, и трехмерная позиция и направление плоскости в системе координат камеры обнаруживаются.

[0022] Наконец, чтобы извлекать линию взгляда, локальная система координат в ассоциации с лицом сначала задается. В этой локальной системе координат ось X представляет прямую линию, которая проходит через извлеченные внутренние и внешние уголки глаз, а ось Y представляет прямую линию, которая является ортогональной оси X и проходит через один из внутренних уголков глаз. Разница между центральной позицией (X_i, Y_i) между извлеченными зрачками и центральной позицией (X₀, Y₀) между зрачками при взгляде вперед (величина перемещения зрачка) (X₀-X_i, Y₀-Y_i) вычисляется, и линия взгляда вычисляется на основе величины перемещения зрачка и радиуса глазного яблока (значение по умолчанию).

[0023] В процессе задания области поля зрения процессор 110 задает центральную область C поля зрения и периферическую область P поля зрения. Центральная область C поля зрения задается как область предварительно определенного угла (например, угла 4-20°, т.е. так называемого эффективного поля зрения или предела распознавания символов) из стороны в сторону и вверх и вниз относительно линии взгляда в качестве центра, обнаруженной в процессе обнаружения линии взгляда. Периферическая область P поля зрения задается как область (за исключением центральной области C поля зрения) предварительно определенного угла (например, 100°, соответствующего максимальному углу обзора) из стороны в сторону относительно линии взгляда в качестве центра, обнаруженной в процессе обнаружения линии взгляда, предварительно определенного угла (например, 50°, соответствующего максимальному углу обзора) выше линии взгляда и предварительно определенного угла (например, 75°, соответствующего максимальному углу обзора) ниже линии взгляда.

[0024] В процессе определения места установки процессор 110 определяет, находится или нет устройство 100 отображения в центральной области C поля зрения. В этом процессе определение выполняется относительно того, проходит или нет прямая линия, проходящая через зрачок, извлеченный посредством процесса обнаружения линии взгляда и устройства 102 формирования изображения, через центральную область C поля зрения, заданную в процессе задания области поля зрения.

[0025] Фиг. 5 и 6 являются видами для описания процесса создания информации для отображения и процесса управления отображением, выполняемых процессором 110. Когда устройство 100 отображения находится за пределами центральной области C поля зрения, процессор 110 создает абстрактную информацию для отображения, такую как значок (называемую "абстрактной информацией" далее в данном документе), как иллюстрировано на фиг. 5, в процессе создания информации для отображения и управляет блоком 101 отображения, чтобы отображать созданную абстрактную информацию в процессе управления отображением. С другой стороны, когда устройство 100 отображения находится внутри центральной области C поля зрения, процессор 110 создает материализованную информацию для отображения, такую как текст (называемую "материализованной информацией" далее в данном документе), как иллюстрировано на фиг. 6, в процессе создания информации для отображения и управляет блоком 101 отображения, чтобы отображать созданную материализованную информацию в процессе управления отображением.

[0026] Примеры абстрактной или материализованной информации для отображения включают в себя отображение предупреждения, такое как превышение скорости и резкое торможение, и отображение информации о бортовых устройствах, таких как кондиционер воздуха и аудиосистема. Например, как иллюстрировано на фиг. 5 и 6, когда блок 101 отображения управляется, чтобы отображать предупреждающее изображение о превышении скорости, значок, который является распознаваемой информацией даже в поле зрения, рассматриваемом как предел распознавания символов, отображается в качестве абстрактной информации, или текст, который является распознаваемой информацией в поле зрения, рассматриваемом как предел распознавания символов, отображается в качестве материализованной информации.

[0027] Фиг. 7 - это блок-схема последовательности операций, иллюстрирующая процедуру управления процесса отображения изображения, выполняемого системой 10 отображения информации в транспортном средстве согласно варианту осуществления настоящего изобретения. Программа обработки, иллюстрированная в блок-схеме последовательности операций этого чертежа, начинается, когда прикладное программное обеспечение, установленное в устройстве 100 отображения, активируется. Во время выполнения этой программы обработки процессор 110 получает информацию транспортного средства и идентификационную информацию транспортного средства от блока 20 связи и получает информацию захваченного изображения от устройства 102 формирования изображения.

[0028] Сначала, процессор 110 обнаруживает линию взгляда водителя на основе изображения, захваченного устройством 102 формирования изображения (этап S101). Затем, процессор 110 задает центральную область C поля зрения, центрированную на линии взгляда, обнаруженной на этапе S101, и определяет, проходит или нет прямая линия, проходящая через зрачок водителя, извлеченный на этапе S101, и устройство 102 формирования изображения, через центральную область C поля зрения (этап S102). За положительным определением на этапе S102 следует этап S103, в то время как за отрицательным определением на этапе S102 следует этап S104.

[0029] На этапе S103 процессор 110 устанавливает Disp=1 в качестве настройки информации, которая должна отображаться в блоке 101 отображения. С другой стороны, на этапе S104, процессор 110 устанавливает Disp=2 в качестве настройки информации, которая должна быть отображена в блоке 101 отображения.

[0030] После этапов S103 и S104 процессор 110 определяет, возникает или нет событие для оповещения посредством отображения значка, текста или т.п. в блоке 101 отображения, на основе информации о транспортном средстве, полученной от блока 20 связи (этап S105). За положительным определением на этапе S105 следует этап S106, в то время как за отрицательным определением на этапе S105 следует этап S109.

[0031] На этапе S106 процессор 110 определяет, является или нет настройкой для информации, которая должна быть отображена в блоке 101 отображения, Disp=1. За положительным определением на этапе S106 следует этап S107, в то время как за отрицательным определением на этапе S106 следует этап S108.

[0032] На этапе S107 процессор 110 создает текстовую информацию в качестве материализованной информации и управляет блоком 101 отображения, чтобы отображать текст. С другой стороны, на этапе S108, процессор 110 создает информацию изображения значка в качестве абстрактной информации и управляет блок 101 отображения, чтобы отображать значок.

[0033] После этапов S107 и S108 процессор 110 определяет, выключен или нет переключатель зажигания (этап S109). Когда положительное определение выполняется на этапе S109, процессор 110 завершает работу прикладного программного обеспечения и завершает процесс. С другой стороны, когда отрицательное определение выполняется на этапе S109, программа возвращается к этапу S101, и процессы этапов S101-S110 повторяются.

[0034] Как описано выше, в системе 10 отображения информации в транспортном средстве согласно одному или более вариантам осуществления настоящего изобретения устройство 102 формирования изображения, объединенное с устройством 100 отображения, управляется, чтобы изображать водителя как пользователя устройства 100 отображения, и линия взгляда водителя обнаруживается из захваченного изображения. Затем, определение выполняется относительно того, находится ли блок 101 отображения устройства 100 отображения в центральной области C поля зрения, центрированной на обнаруженной линии взгляда водителя, или в периферической области P поля зрения за пределами центральной области C поля зрения. Когда блок 101 отображения находится в центральной области C поля зрения, уведомляющая информация, такая как предупреждающая информация, отображается в блоке 101 отображения в первой форме отображения. С другой стороны, когда блок 101 отображения находится в периферической области P поля зрения, уведомляющая информация, такая как предупреждающая информация, отображается в блоке 101 отображения в форме второго отображения, которая имеет более высокий уровень абстракции, чем уровень абстракции в первой форме отображения. Это может пресекать увеличение времени распознавания для водителя, чтобы распознавать уведомляющую информацию, отображенную в устройстве 100 отображения, существующем в периферической области P поля зрения. Также возможно пресекать сокращение объема информации, требуемой водителем относительно уведомляющей информации, отображаемой в устройстве 100 отображения, существующем в центральной области C поля зрения. Таким образом, получается результат, что уведомляющая информация, которая должна быть отображена в устройстве 100 отображения, может быть надлежащим образом настроена относительно линии взгляда водителя.

[0035] Кроме того, в системе 10 отображения информации в транспортном средстве согласно одному или более вариантам осуществления настоящего изобретения, первая форма отображения уведомляющей информации, отображаемой в блоке 101 отображения, включает в себя текст, и, следовательно, возможно удовлетворять объем информации, требуемый водителем относительно уведомляющей информации, которая должна быть распознана в центральной области C поля зрения. С другой стороны, вторая форма отображения уведомляющей информации, отображаемой в блоке 101 отображения, включает в себя значок, и, следовательно, возможно сокращать время распознавания для водителя, чтобы распознавать уведомляющую информацию, отображаемую в устройстве 100 отображения, существующем в периферической области P поля зрения.

[0036] Кроме того, в системе 10 отображения информации в транспортном средстве согласно одному или более вариантам осуществления настоящего изобретения, устройство 100 отображения располагается перед водительским сиденьем в транспортном средстве, и уведомляющая информация, отображаемая в блоке 101 отображения, является информацией, которая должна быть сообщена водителю. Таким образом, уведомляющая информация, распознаваемая в центральном поле зрения водителя, который ведет транспортное средство, в то же время будучи обращенным лицом вперед, является материализованной информацией, такой как текст, который удовлетворяет объему информации, запрашиваемой водителем. С другой стороны, уведомляющая информация, распознаваемая в периферическом поле зрения водителя, который ведет транспортное средство, в то же время будучи обращенным лицом вперед, является абстрактной информацией, такой как значок, который предоставляет возможность водителю распознавать ее в короткое время.

[0037] Фиг. 8 - это блок-схема, иллюстрирующая схематичную конфигурацию системы 11 отображения информации в транспортном средстве согласно другому варианту осуществления настоящего изобретения. Описание той же конфигурации системы 10 отображения информации в транспортном средстве согласно вышеописанному варианту осуществления будет пропущено, и вышеприведенное описание будет заимствовано здесь.

[0038] Как иллюстрировано на фиг. 8, устройство 100 отображения включает в себя датчик 105 ускорения в дополнение к вышеописанному блоку 101 отображения, устройству 102 формирования изображения, блоку 104 связи и процессору 110. Датчик 105 ускорения, который является трехосным датчиком ускорения с микроэлектромеханической системой (MEMS) или другим подходящим датчиком, может измерять ускорение в трех направлениях X-оси, Y-оси и Z-оси и может также измерять ускорение силы тяжести (статическое ускорение). Блок 104 связи настоящего варианта осуществления, который принимает вышеописанную идентификационную информацию транспортного средства, информацию транспортного средства и другую необходимую информацию от блока 20 связи, передает эти элементы информации серверу 30 и принимает информацию для обработки отображения и другую необходимую информацию от сервера 30. Процессор 110 имеет функцию выполнения процесса оценки местоположения установки в дополнение к вышеописанным функциям выполнения процесса получения информации, процесса обнаружения линии взгляда, процесса задания области поля зрения, процесса создания информации для отображения и процесса управления отображением.

[0039] Фиг. 4 и 9 - это виды для описания процесса оценки местоположения установки, выполняемого процессором 110. Как иллюстрировано на фиг. 4, когда устройство 100 отображения устанавливается на передней панели 2 перед водителем, лицо водителя попадает в угол поля обзора устройства 102 формирования изображения, которое является встроенной камерой, и захваченное изображение, таким образом, включает в себя лицо водителя.

[0040] В последующем описании место установки на передней панели 2 около ее центра (с левой стороны, когда рассматривается со стороны водителя) в транспортном средства с правосторонним управлением будет называться местом (1) установки, место установки на передней панели 2 точно перед водителем будет называться местом (2) установки, а место установки на передней панели 2 с правой стороны, когда рассматривается со стороны водителя, будет называться местом (3) установки. Устройство 100 отображения, установленное в любом из места (1) установки места (3) установки, находится в периферической области P поля зрения водителя, обращенного лицом вперед. С другой стороны, устройство 100 отображения, установленное в месте (2) установки, находится в центральной области C поля зрения водителя, обращенного лицом вперед. Предполагается, что устройство 100 отображения в прямоугольной форме устанавливается сбоку. Также предполагается, что устройство 102 формирования изображения располагается с правой или левой стороны от блока 101 отображения.

[0041] Фиг. 9 - это вид, иллюстрирующий позиции, в которых лицо водителя отображается, и направления лица водителя, когда изображение, захваченное устройством 102 формирования изображения, отображается в блоке 101 отображения устройства 100 отображения, установленного в местах (1)-(3) установки. Как иллюстрировано на чертеже, изображение, захваченное устройством 102 формирования изображения, которое является встроенной камерой, отображается как зеркальное изображение в блоке 101 отображения.

[0042] Когда устройство 100 отображения устанавливается в месте (3) установки сверху справа, когда рассматривается со стороны водителя, позиция отображения лица водителя в блоке 101 отображения переворачивается из стороны в сторону по сравнению с тем, когда устройство 100 отображения устанавливается в месте (1) установки сверху слева, когда рассматривается со стороны водителя. Когда устройство 100 отображения устанавливается в месте (1) установки, лицо водителя отображается слегка вправо от центра блока 101 отображения.

[0043] Когда устройство 100 отображения устанавливается в месте (1) установки с левой стороны, когда рассматривается со стороны водителя, лицо водителя отображается в блоке 101 отображения в направлении (направо), в котором левая сторона лица выглядит передней, в то время как, когда устройство 100 отображения устанавливается в месте (3) установки сверху справа, когда рассматривается со стороны водителя, лицо водителя отображается в блоке 101 отображения в направлении (налево), в котором правая сторона лица выглядит передней. Когда устройство 100 отображения устанавливается в месте (2) установки напротив водителя, лицо водителя отображается в блоке 101 отображения в переднем направлении.

[0044] Как описано выше, корреляционные связи существуют межу местом установки устройства 100 отображения и позицией и направлением лица водителя в изображении, захваченном устройством 102 формирования изображения. Когда устройство 100 отображения устанавливается в любом из мест (1)-(3) установки, представляется, что водитель регулирует направление устройства 100 отображения так, что водитель может легко видеть блок 101 отображения. Таким образом, когда устройство 100 отображения устанавливается в любом из мест (1)-(3) установки, идентифицируемое различие может возникать в позиции лица водителя в изображении, захваченном устройством 102 формирования изображения. Процессор 110, следовательно, получает информацию о формировании изображения от устройства 102 формирования изображения (классифицирующую информацию во время AF-управления и захваченные изображения) в процессе получения информации, определяет направление лица водителя в изображении, которое захватывается устройством 102 формирования изображения, в процессе оценки места установки, и оценивает место установки устройства 100 отображения на основе результата определения.

[0045] Фиг. 10 и 11 - это блок-схемы последовательности операций, иллюстрирующие процедуру управления процесса отображения изображения, выполняемого системой 11 отображения информации в транспортном средстве согласно другому варианту осуществления настоящего изобретения. Программа обработки, иллюстрированная в блок-схемах последовательности операций этих чертежей, начинается, когда прикладное программное обеспечение, установленное в устройстве 100 отображения, активируется. Описание той же процедуры, что и в системе 10 отображения информации в транспортном средстве согласно вышеописанному варианту осуществления, будет пропущено, и вышеприведенное описание будет заимствовано здесь.

[0046] В процессе отображения изображения согласно настоящему варианту осуществления, сначала, выполняется процесс оценки места установки устройства 100 отображения (этапы S201-S209). На этапе S201 процессор 110 получает информацию об обнаружении от датчиков, установленных в устройстве 100 отображения. Информация обнаружения от датчиков, полученная на этом этапе, включает в себя информацию об ускорении, обнаруженную посредством датчика 105 ускорения.

[0047] Затем, процессор 110 определяет, находится или нет устройство 100 отображения в неподвижном состоянии, на основе информации об ускорении, полученной на этапе S201 (этап S202). На этом этапе процессор 110 определяет, действительно или нет ускорение в направлении действия силы тяжести (направление Z-оси), обнаруженное посредством датчика 105 ускорения, равно или меньше предварительно определенного порогового значения. Когда отрицательное определение выполняется на этом этапе, программа возвращается к этапу S201, в то время как за положительным определением на этом этапе следует этап S203.

[0048] На этапе S203 процессор 110 определяет, движется или нет транспортное средство 1 прямо вперед, на основе скорости транспортного средства и угла поворота управляемых колес. За положительным определением на этом этапе следует этап S204, в то время когда выполняется отрицательное определение, процесс этапа S203 выполняется повторяющимся образом. На этапе S203 процессор 110 определяет, действительно или нет скорость транспортного средства равна или больше предварительно определенного порогового значения, и угол поворота управляемых колес равен или меньше предварительно определенного порогового значения. Пороговое значение скорости транспортного средства, когда используется здесь, устанавливается в значение, такое как 10 км/ч, с которым может быть выполнено определение, что транспортное средство 1 движется. Пороговое значение угла поворота управляемых колес устанавливается в значение, такое как 10°, с которым может быть выполнено определение, что транспортное средство 1 движется прямо вперед.

[0049] На этапе S204 процессор 110 анализирует изображение, захваченное устройством 102 формирования изображения, таким образом, чтобы определять направление лица водителя в изображении, захваченном посредством устройства 102 формирования изображения. Затем, процесс 110 определяет, является или нет направление лица водителя, определенное на этапе S204, передним направлением (этап S205). За положительным определением на этом этапе следует этап S206, в то время как за отрицательным определением на этом этапе следует этап S207.

[0050] На этапе S207 процессор 110 определяет, является или нет направление лица водителя, определенное на этапе S204, направлением вправо (направлением, в котором левая сторона лица выглядит передней). За положительным определением на этом этапе следует этап S208, в то время как за отрицательным определением на этом этапе следует этап S209.

[0051] На этапе S206 процессор 110 оценивает место установки устройства 100 отображения как место (2) установки. С другой стороны, на этапе S208, процессор 110 определяет место установки устройства 100 отображения как место (1) установки. Дополнительно, на этапе S209, процессор 110 оценивает место установки устройства 100 отображения как место (3) установки. Затем, за этапами S206, S208 и S209 следует этап S101 на фиг. 11.

[0052] Т.е., когда направление лица водителя в изображении, захваченном устройством 102 формирования изображения, является направлением вправо, процессор 110 оценивает место установки устройства 100 отображения как место (1) установки. С другой стороны, когда направление лица водителя в изображении, захваченном устройством 102 формирования изображения, является направлением влево, процессор 110 оценивает место установки устройства 100 отображения как место (3) установки. Дополнительно, когда направление лица водителя в изображении, захваченном устройством 102 формирования изображения, является передним направлением, процессор 110 оценивает место установки устройства 100 отображения как место (2) установки.

[0053] После этапов S206, S208 и S209 выполняются вышеописанные этапы S101-S104. Фиг. 12 - это вид, иллюстрирующий отображаемое изображение, соответствующее Disp=1 настоящего варианта осуществления, фиг. 5 - это вид, иллюстрирующий отображаемое изображение, соответствующее Disp=2 настоящего варианта осуществления, а фиг. 6 - это вид, иллюстрирующий отображаемое изображение, соответствующее Disp=3, которое будет описано позже.

[0054] Как иллюстрировано на фиг. 12, отображаемое изображение, соответствующее Disp=1 настоящего варианта осуществления, включает в себя абстрактную информацию, такую как значок, и материализованную информацию, такую как текст. С другой стороны, как иллюстрировано на фиг. 5, отображаемое изображение, соответствующее Disp=2 настоящего варианта осуществления, включает в себя только абстрактную информацию, такую как значок. Дополнительно, как иллюстрировано на фиг. 6, отображаемое изображение, соответствующее Disp=3 настоящего варианта осуществления, включает в себя только материализованную информацию, такую как текст. Здесь, абстрактная информация ссылается на уведомляющую информацию о возникновении события для уведомления о том, что событие, такое как превышение скорости, возникает. С другой стороны, материализованная информация относится к уведомляющей информации о содержимом произошедшего события для уведомления о содержимом произошедшего события.

[0055] Обращаясь снова к блок-схеме последовательности операций на фиг. 11, на этапе S105, процессор 110 определяет, происходит или нет событие, которое должно быть отображено в блоке 101 отображения для уведомления, на основе информации транспортного средства, полученной от блока 20 связи. За положительным определением на этапе S105 следует этап S106, в то время как за отрицательным определением на этапе S105 следует этап S109.

[0056] На этапе S106 процессор 110 определяет, является или нет настройкой для информации, которая должна быть отображена в блоке 101 отображения, Disp=1. За положительным определением на этапе S106 следует этап S301, в то время как за отрицательным определением на этапе S106 следует этап S302.

[0057] На этапе S301 процессор 110 создает изображение, соответствующее Disp=1, как иллюстрировано на фиг. 12, и управляет блоком 101 отображения, чтобы отображать изображение. С другой стороны, на этапе S302, процессор 110 определяет, является или нет место установки устройства 100 отображения каким-либо местом из мест (1) и (3) установки. За положительным определением на этапе S302 следует этап S303, в то время как за отрицательным определением на этапе S302 следует этап S306.

[0058] На этапе S303 процессор 110 создает изображение, соответствующее Disp=2, как иллюстрировано на фиг. 5, и управляет блоком 101 отображения, чтобы отображать изображение. Аналогично, на этапе S306, процессор 110 создает изображение, соответствующее Disp=2, и управляет блоком 101 отображения, чтобы отображать изображение. Т.е., блок 101 отображения управляется, чтобы отображать абстрактную информацию (уведомляющая информация о возникновении события), и когда устройство 100 отображения находится в периферической области P поля зрения, и когда устройство 100 отображения не находится в периферической области P поля зрения.

[0059] После выполнения этапа S303 процессор 110 определяет, прошло или нет предварительно определенное время (например, время 1 с или менее, такое как 0,5 с) (этап S304). Этап S304 повторяется до тех пор, пока не будет выполнено положительно определение, и за положительным определением на этапе S304 следует этап S305.

[0060] На этапе S305 процессор 110 создает изображение, соответствующее Disp=3, как иллюстрировано на фиг. 6, и управляет блоком 101 отображения, чтобы отображать изображение. Т.е., когда устройство 100 отображения находится в периферической области P поля зрения водителя, информация для отображения блока 101 отображения переключается с абстрактной информации на материализованную информацию, после того как абстрактная информация отображается в блоке 101 отображения в течение предварительно определенного времени (времени, равного 1 с или менее). С другой стороны, когда устройство 100 отображения отсутствует не только в центральной области C поля зрения водителя, но также в периферической области P поля зрения, абстрактная информация непрерывно отображается в блоке 101 отображения, даже после того как вышеупомянутое предварительно определенное время прошло (этап S306).

[0061] После выполнения этапов S301, S305 и S306 процессор 110 определяет, выключен или нет переключатель зажигания (этап S109). Когда положительное определение выполняется на этапе S109, процессор 110 завершает работу прикладного программного обеспечения и завершает процесс. С другой стороны, когда отрицательное определение выполняется на этапе S109, программа возвращается к этапу S201 на фиг. 10, чтобы повторять процесс.

[0062] В настоящем варианте осуществления, даже когда блок 101 отображения не находится в периферической области P поля зрения, блок 101 отображения управляется, чтобы отображать уведомляющую информацию во второй форме отображения, имеющей высокий уровень абстракции, но это не является необходимым, и уведомляющая информация может не отображаться в блоке 101 отображения, когда блок 101 отображения не находится ни в центральной области C поля зрения, ни в периферической области P поля зрения.

[0063] Как описано выше, в системе 11 отображения информации в транспортном средстве согласно одному или более вариантам осуществления настоящего изобретения, когда блок 101 отображения устройства 100 отображения попадает в периферическую область P поля зрения, уведомляющая информация отображается в блоке 101 отображения во второй форме отображения, такой как значок, имеющий высокий уровень абстракции, и после того как предварительно определенное время затем проходит, форма отображения переключается с первой формы отображения, имеющий высокий уровень материальности, на отображение уведомляющей информации в блоке 101 отображения. Это предоставляет возможность водителю поворачивать линию взгляда на уведомляющую информацию о содержимом произошедшего события, имеющую высокий уровень материальности, в состоянии распознавания уведомляющей информации о возникновении события, имеющей высокий уровень абстракции, в периферическом поле зрения. Следовательно, возможно сокращать время распознавания уведомляющей информации о содержимом произошедшего события, имеющей высокий уровень материальности.

[0064] В системе 11 отображения информации в транспортном средстве согласно одному или более вариантам осуществления настоящего изобретения лицо водителя изображается посредством устройства 102 формирования изображения, предусмотренного на поверхности устройства 100 отображения, в котором предусматривается блок 101 отображения, и местоположение блока 101 отображения оценивается на основе направления изображенного лица водителя. Когда оцененная позиция блока 101 отображения попадает в периферическую область P поля зрения, уведомляющая информация отображается в блоке 101 отображения во второй форме отображения, такой как значок, имеющей высокий уровень абстракции, и после того как предварительно определенное время затем проходит, форма отображения переключается на первую форму отображения, имеющую высокий уровень материальности, чтобы отображать уведомляющую информацию в блоке 101 отображения. Это может препятствовать необязательному переключению формы отображения уведомляющей информации, когда блок 101 отображения не попадает в периферическую область P поля зрения.

[0065] Варианты осуществления, поясненные выше, описываются для того, чтобы упрощать понимание настоящего изобретения, а не для того, чтобы ограничивать настоящее изобретение. Следовательно, подразумевается, что элементы, раскрытые в вышеописанных вариантах осуществления, включают в себя все конструктивные модификации и эквиваленты, которые попадают в пределы объема настоящего изобретения.

[0066] Например, в вышеописанных вариантах осуществления, устройство 102 формирования изображения объединено с устройством 100 отображения, но это не является обязательным. Например, устройство 102 формирования изображения может быть предусмотрено около устройства 100 отображения как отдельный объект от устройства 100 отображения, например, посредством предоставления устройства 102 формирования изображения на крепежном устройстве 4 для крепления устройства 100 отображения. В этом случае предпочтительно предусматривать устройство 102 формирования изображения поблизости от устройства 100 отображения. Здесь, когда устройство 102 формирования изображения предусматривается "около" или "поблизости от" устройства 100 отображения как отдельный объект от устройства 100 отображения, расстояние между устройством 102 формирования изображения и устройством 100 отображения может быть задано таким, что соотношение между устройством 100 отображения и полем зрения пользователя является таким же, что и соотношение в случае объединения устройства 102 формирования изображения с устройством 100 отображения. Случай, в котором "соотношение между устройством 100 отображения и полем зрения пользователя является таким же", ссылается на ситуацию, в которой устройство 100 отображения находится в центральной области C поля зрения пользователя, и когда устройство 102 формирования изображения объединяется с устройством 100 отображения, и когда устройство 102 формирования изображения является отдельным объектом от устройства 102 формирования изображения, или ситуацию, в которой устройство 100 отображения находится в периферической области P поля зрения пользователя, и когда устройство 102 формирования изображения объединяется с устройством 100 отображения, и когда устройство 102 формирования изображения является отдельным объектом от устройства 100 отображения. Термин "около", когда используется в данном случае, ссылается на случай размещения устройства 102 формирования изображения отдельно от устройства отображения, например, в месте, в котором центральное поле зрения и периферическое поле зрения пользователя являются воспринимаемыми относительно устройства 100 отображения. Термин "поблизости", когда используется в данном документе, ссылается на случай размещения устройства 102 формирования изображения рядом с устройством 100 отображения так, что, например, они находятся в соприкосновении друг с другом.

[0067] Блок 101 отображения не ограничивается блоком, который отображает один элемент уведомляющей информации, такой как исключительно элемент предупреждающей информации, и может также быть блоком, который отображает навигационную информацию или т.п. в качестве основной информации и временно отображает уведомляющую информацию, такую как предупреждающая информация.

[0068] В вышеописанных вариантах осуществления, когда происходит событие уведомления, определение выполняется относительно того, находится ли блок 101 отображения в центральной области C поля зрения, или периферической области P поля зрения, чтобы определять форму отображения уведомляющей информации, но это не является обязательным. В альтернативном варианте осуществления, когда происходит событие уведомления, блок 101 отображения может управляться, чтобы отображать уведомляющую информацию в предварительно определенной форме отображения, а после того как событие уведомления происходит, определение может быть выполнено относительно того, находится ли блок 101 отображения в центральной области C поля зрения или периферической области P поля зрения, и форма отображения уведомляющей информации может быть переключена на основе результата определения.

[0069] В вышеописанных вариантах осуществления настоящее изобретение было описано со ссылкой на примерную ситуацию, в которой устройство 100 отображения располагается перед водителем в транспортном средстве, но настоящее изобретение может также быть применено к ситуациям, в которых устройство 100 отображения используется для корабля, летательного аппарата или машины, отличной от транспортных средств, такой как строительные машины, или использоваться в офисе.

Описание позиционных обозначений

[0070] 30 Сервер

310 Процессор

100 Устройство отображения

101 Блок отображения

102 Устройство формирования изображения

110 Процессор

Группа изобретений относится к отображению информации на дисплее. Технический результат - предоставление средств отображения информации, с помощью которых отображаемая информация задается относительно линии взгляда пользователя. Для этого предложен способ отображения информации, который содержит формирование изображения пользователя устройства с помощью устройства формирования изображения, обнаружение линии взгляда пользователя, определение того, находится ли блок отображения в центральной области поля зрения, центрированной на обнаруженной линии взгляда пользователя, или в периферической области поля зрения, отображение уведомляющей информации в блоке отображения в первой форме отображения, когда блок отображения находится в центральной области поля зрения, и отображение уведомляющей информации в блоке отображения во второй форме отображения, когда блок отображения находится в периферической области поля зрения. 2 н. и 3 з.п. ф-лы, 12 ил.

1. Способ отображения информации на дисплее с помощью устройства управления отображением, выполненного с возможностью управлять устройством отображения, чтобы отображать информацию, причем устройство отображения содержит дисплей, причем способ содержит этапы, на которых:

формируют изображение пользователя устройства отображения с помощью устройства формирования изображения, объединенного с устройством отображения или предусмотренного около устройства отображения;

обнаруживают линию взгляда пользователя из изображения, захваченного устройством формирования изображения;

определяют, находится ли дисплей в центральной области поля зрения, центрированной на обнаруженной линии взгляда пользователя, или в периферической области поля зрения, расположенной за пределами центральной области поля зрения;

отображают уведомляющую информацию на дисплее в первой форме отображения, когда дисплей находится в центральной области поля зрения; и

отображают уведомляющую информацию на дисплее во второй форме отображения, когда дисплей находится в периферической области поля зрения, причем вторая форма отображения имеет более высокий уровень абстракции, чем уровень абстракции в первой форме отображения,

причем, когда дисплей находится в периферической области поля зрения, после того как предварительно определенное время проходит с момента, когда уведомляющая информация отображается на дисплее во второй форме отображения, вторая форма отображения переключается на первую форму отображения, чтобы отображать уведомляющую информацию с тем же значением, что и уведомляющая информация, отображаемая во второй форме отображения на дисплее.

2. Способ по п. 1, в котором

устройство формирования изображения предусматривается на поверхности устройства отображения, в котором предусматривается дисплей,

лицо пользователя изображается посредством устройства формирования изображения,

местоположение дисплея оценивается на основе направления лица пользователя, изображенного посредством устройства формирования изображения, и,

когда оцененное местоположение дисплея находится в периферической области поля зрения, после того как предварительно определенное время проходит с момента, когда уведомляющая информация отображается на дисплее во второй форме отображения, вторая форма отображения переключается на первую форму отображения, чтобы отображать уведомляющую информацию на дисплее.

3. Способ по п. 1 или 2, в котором

первая форма отображения включает в себя текст, и

вторая форма отображения включает в себя значок.

4. Способ по п. 1 или 2, в котором

устройство отображения располагается перед водительским сиденьем в транспортном средстве, и

уведомляющая информация является информацией, которая должна быть сообщена водителю транспортного средства.

5. Устройство управления отображением, содержащее процессор для управления устройством отображения, чтобы отображать уведомляющую информацию, причем устройство отображения содержит дисплей, выполненный с возможностью отображать информацию, причем процессор выполнен с возможностью:

управлять устройством формирования изображения, чтобы изображать пользователя устройства отображения, причем устройство формирования изображения объединено с устройством отображения или предусмотрено около устройства отображения;

обнаруживать линию взгляда пользователя из изображения, захваченного устройством формирования изображения;

определять, находится ли дисплей устройства отображения в центральной области поля зрения, центрированной на обнаруженной линии взгляда пользователя, или в периферической области поля зрения, расположенной за пределами центральной области поля зрения;

отображать уведомляющую информацию на дисплее в первой форме отображения, когда дисплей находится в центральной области поля зрения; и

отображать уведомляющую информацию на дисплее во второй форме отображения, когда дисплей находится в периферической области поля зрения, причем вторая форма отображения имеет более высокий уровень абстракции, чем уровень абстракции в первой форме отображения,

причем, когда дисплей находится в периферической области поля зрения, после того как предварительно определенное время проходит с момента, когда уведомляющая информация отображается на дисплее во второй форме отображения, вторая форма отображения переключается на первую форму отображения, чтобы отображать уведомляющую информацию с тем же значением, что и уведомляющая информация, отображаемая во второй форме отображения на дисплее.