СПОСОБ И УСТРОЙСТВО УПРАВЛЕНИЯ ОТОБРАЖЕНИЕМ Российский патент 2019 года по МПК G08G1/16 B60R1/00 G06K9/20 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к способу управления отображением и к устройству управления отображением для выполнения управления отображением информации по обнаружению объектов.

Уровень техники

[0002] На сегодняшний день известны технологии, в которых захваченные изображения области за пределами транспортного средства, захваченные посредством камер, отображаются на мониторе, предоставленном в транспортном средстве. Такие технологии включают в себя технологию увеличения размера захваченного изображения, в которой изображение объекта захватывается, когда скорость движения транспортного средства является высокой (например, патентный документ 1).

Документы предшествующего уровня техники

Патентные документы

[0003] Патентный документ 1. JP2014-182543A

Сущность изобретения

Проблемы, решаемые изобретением

[0004] Тем не менее, в захваченном изображении, пейзаж и другие необязательные виды захватываются в дополнение к объекту, и водитель может испытывать информационную перегрузку в зависимости от скорости движения транспортного средства. В силу этого, для водителя может быть затруднительным воспринимать необходимую информацию относительно объекта.

[0005] Проблема, которая должна разрешаться посредством настоящего изобретения, заключается в том, чтобы предоставлять способ управления отображением и устройство управления отображением, допускающие надлежащее отображение информации по обнаружению объекта.

Средство решения проблем

[0006] Настоящее изобретение разрешает вышеуказанную проблему посредством переключения и отображения первого изображения на основе захваченного изображения, захваченного посредством камеры, и второго изображения на основе изображения, подготовленного посредством рендеринга на основе результата обнаружения детектора, в соответствии с индексом скорости транспортного средства для транспортного средства.

Преимущества изобретения

[0007] Согласно настоящему изобретению, первое изображение на основе захваченного изображения, захваченного посредством камеры, и второе изображение на основе изображения, подготовленного посредством рендеринга на основе результата обнаружения детектора, переключаются в соответствии с индексом скорости транспортного средства для транспортного средства, и информация по обнаружению объекта в силу этого может отображаться в соответствующей форме для отображения в соответствии со скоростью движения рассматриваемого транспортного средства.

Краткое описание чертежей

[0008] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства представления информации согласно одному или более вариантов осуществления настоящего изобретения.

Фиг. 2 является диаграммой, иллюстрирующей пример взаимосвязи между информацией по движению и индексом скорости транспортного средства.

Фиг. 3 является диаграммой, иллюстрирующей пример взаимосвязи между индексом скорости транспортного средства и типом изображения для изображения представления.

Фиг. 4 является набором видов, иллюстрирующих пример изображения представления с типом захваченного изображения и пример изображения представления с типом обзорного изображения.

Фиг. 5 является диаграммой для описания взаимосвязи между индексом скорости транспортного средства или скоростью движения рассматриваемого транспортного средства и захваченным изображением, используемым для формирования изображения представления.

Фиг. 6 является набором видов для описания взаимосвязи между скоростью движения рассматриваемого транспортного средства и шириной маски захваченного изображения.

Фиг. 7 является набором видов, иллюстрирующих пример изображения, в котором изображение капота накладывается на изображение после процесса маскирования, проиллюстрированного в части (B) по фиг. 6.

Фиг. 8 является набором видов, иллюстрирующих пример изображения, в котором обнаруженные объекты отображаются с помощью выделения в изображении, проиллюстрированном в части (A) по фиг. 6.

Фиг. 9 является набором видов, иллюстрирующих пример изображения, в котором объект управления отображается с помощью выделения в изображении, проиллюстрированном в части (A) по фиг. 8.

Фиг. 10 является набором видов, иллюстрирующих пример изображения (изображения представления на основе захваченного изображения), в котором информация расстояния от рассматриваемого транспортного средства до обнаруженных объектов накладывается на изображение, проиллюстрированное в частях (A) и (B) по фиг. 9.

Фиг. 11 является набором видов, иллюстрирующих пример обзорного изображения, подготовленного посредством рендеринга на основе индекса скорости транспортного средства.

Фиг. 12 является набором видов, иллюстрирующих пример изображения, в котором один или более обнаруженных объектов размещаются в изображении, проиллюстрированном на фиг. 11.

Фиг. 13 является набором видов, иллюстрирующих пример изображения, в котором объект управления отображается с помощью выделения в изображении, проиллюстрированном на фиг. 12.

Фиг. 14 является набором видов, иллюстрирующих пример изображения (изображения представления на основе обзорного изображения), в котором направляющие линии расстояния накладываются на изображение, проиллюстрированное на фиг. 13.

Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей пример процесса представления информации согласно одному или более вариантов осуществления настоящего изобретения.

Фиг. 16 является блок-схемой последовательности операций способа, иллюстрирующей процесс представления захваченных изображений этапа S108.

Фиг. 17 является блок-схемой последовательности операций способа, иллюстрирующей процесс представления обзорных изображений этапа S109.

Фиг. 18 является блок-схемой последовательности операций способа, иллюстрирующей процесс переключения изображений этапа S113.

Фиг. 19 является набором видов, иллюстрирующих пример переключающего изображения из изображения представления на основе захваченного изображения на изображение представления на основе обзорного изображения.

Фиг. 20 является набором видов, иллюстрирующих пример переключающего изображения из изображения представления на основе обзорного изображения на изображение представления на основе захваченного изображения.

Фиг. 21 является набором видов, иллюстрирующих пример взаимосвязи между индексом скорости транспортного средства и переходом между изображениями представления.

Вариант(ы) осуществления изобретения

[0009] Далее описываются один или более вариантов осуществления настоящего изобретения со ссылками на чертежи. В вариантах осуществления, примерно иллюстрируется для описания устройство представления информации, установленное в транспортном средстве. Устройство представления информации согласно одному или более вариантов осуществления настоящего изобретения обнаруживает пешеходов, велосипеды, мотоциклы, автомобили, помехи на дороге, конструкции, светофоры, дорожные знаки, полосы движения, края дороги (к примеру, бордюрные камни и дорожное ограждение) и т.д. в качестве объектов и представляет информацию представления обнаруженных объектов водителю транспортного средства.

[0010] Фиг. 1 является блок-схемой, иллюстрирующей конфигурацию устройства 100 представления информации согласно одному или более вариантов осуществления настоящего изобретения. Как проиллюстрировано на фиг. 1, устройство 100 представления информации согласно одному или более вариантов осуществления настоящего изобретения содержит камеру 110, датчик 120 дальности, датчик 130 скорости транспортного средства, навигационное устройство 140, дисплей 150, устройство 160 выдачи уведомлений и устройство 170 управления. Эти устройства соединяются друг с другом через контроллерную сеть (CAN) или другую бортовую LAN для взаимного обмена информацией.

[0011] Камера 110 состоит из одной или более камер, которые захватывают изображения рядом с рассматриваемым транспортным средством. В одном или более вариантов осуществления настоящего изобретения, камера 110 для захвата изображений впереди рассматриваемого транспортного средства включает в себя короткофокусную камеру, подходящую для захвата изображений объектов, существующих на коротких расстояниях от рассматриваемого транспортного средства, среднефокусную камеру, подходящую для захвата изображений объектов, существующих на средних расстояниях от рассматриваемого транспортного средства, и длиннофокусную камеру, подходящую для захвата изображений объектов, существующих на больших расстояниях от рассматриваемого транспортного средства. Захваченные изображения, захваченные посредством камеры 110, выводятся в устройство 170 управления.

[0012] Датчик 120 дальности состоит из радаров, таких как передний радар, который обнаруживает объекты впереди рассматриваемого транспортного средства, задний радар, который обнаруживает объекты позади рассматриваемого транспортного средства, и боковые радары, которые обнаруживают объекты, существующие по бокам от рассматриваемого транспортного средства. Ультразвуковые датчики, звуковые волновые датчики, инфракрасные датчики и другие соответствующие датчики также могут использоваться в качестве датчика 120 дальности. Датчик 120 дальности обнаруживает позиции объектов, существующих рядом с рассматриваемым транспортным средством, и расстояния от рассматриваемого транспортного средства до объектов и выводит результаты обнаружения в устройство 170 управления.

[0013] Датчик 130 скорости транспортного средства измеряет частоту вращения приводной системы, к примеру, ведущего вала и определяет скорость движения транспортного средства (также в дальнейшем называемую "скоростью транспортного средства") на основе измеренной частоты вращения. Информация скорости транспортного средства, определенная посредством датчика 130 скорости транспортного средства, выводится в устройство 170 управления.

[0014] Навигационное устройство 140, которое включает в себя картографическую базу данных, GPS-датчик и датчик ориентации, измеряет текущую позицию рассматриваемого транспортного средства и отображает картографические данные около измеренной текущей позиции на дисплее 150. Помимо этого или альтернативно, навигационное устройство 140 указывает тип дороги, по которой движется рассматриваемое транспортное средство (например, автомобильная парковка, дорога в городском районе, скоростная автомагистраль и т.д.), и выводит указанный тип дороги в устройство 170 управления. Навигационное устройство 140 может быть выполнено с возможностью служить также в качестве дисплея 150, устройства 160 выдачи уведомлений и устройства 170 управления.

[0015] Под управлением посредством устройства 170 управления, дисплей 150 представляет информацию представления относительно объектов, существующих рядом с рассматриваемым транспортным средством, на экране дисплея 150. Примеры дисплея 150 включают в себя дисплей навигационного устройства 140, дисплей, включенный в зеркало заднего вида, дисплей, включенный в приборный блок, и дисплей на лобовом стекле, проецируемый на ветровом стекле.

[0016] Устройство 160 выдачи уведомлений формирует звук, голос, свет, вибрацию и т.д., чтобы за счет этого уведомлять водителя относительно того, что информация представления на основе захваченного изображения и информация представления на основе обзорного изображения переключаются, как описано ниже. Примеры устройства 160 выдачи уведомлений включают в себя динамик, лампу аварийной сигнализации и тактильное устройство, такое как ручка и сиденье, в которое встраивается вибратор.

[0017] Устройство 170 управления состоит из постоянного запоминающего устройства (ROM), которое сохраняет программы для выполнения управления отображением информации представления относительно объектов, центрального процессора (CPU), который выполняет программы, сохраненные в ROM, и оперативного запоминающего устройства (RAM), которое служит в качестве доступного устройства хранения данных. В качестве замены или в дополнение к CPU, в качестве функциональной схемы также может использоваться микропроцессор (MPU), процессор цифровых сигналов (DSP), специализированная интегральная схема (ASIC), программируемая пользователем вентильная матрица (FPGA) или другой соответствующий компонент и т.п.

[0018] Устройство 170 управления выполняет программы, сохраненные в ROM, с использованием CPU, чтобы за счет этого достигать функции получения информации для получения различных элементов информации по движению, функции обнаружения объектов для обнаружения объектов, существующих рядом с рассматриваемым транспортным средством, функции задания индексов скорости транспортного средства для задания индекса скорости транспортного средства, функции выбора типов изображений для выбора типа изображения для изображения представления, первой функции формирования изображений для формирования изображения представления на основе захваченного изображения, второй функции формирования изображений для формирования изображения представления на основе обзорного изображения, функции отображения для отображения изображения представления на дисплее 150 и функции управления движением для управления автоматизированным вождением рассматриваемого транспортного средства. Ниже описываются эти функции устройства 170 управления.

[0019] Устройство 170 управления использует функцию получения информации для того, чтобы получать различные элементы информации по движению из камеры 110, датчика 120 дальности, датчика 130 скорости транспортного средства и навигационного устройства 140. Например, функция получения информации служит для того, чтобы получать захваченное изображение, захваченное посредством камеры 110, из камеры 110, получать результат обнаружения датчика 120 дальности из датчика 120 дальности, получать скорость движения рассматриваемого транспортного средства из датчика 130 скорости транспортного средства и получать позиционную информацию рассматриваемого транспортного средства (включающую в себя информацию типа дороги, по которой движется рассматриваемое транспортное средство) из навигационного устройства 140.

[0020] Устройство 170 управления использует функцию обнаружения объектов для того, чтобы обнаруживать объекты, существующие рядом с рассматриваемым транспортным средством, на основе захваченного изображения, захваченного посредством камеры 110, и результата обнаружения датчика 120 дальности. Функция обнаружения объектов также служит для того, чтобы обнаруживать позиции объектов и расстояния от рассматриваемого транспортного средства до объектов на основе захваченного изображения, захваченного посредством камеры 110, и/или результата обнаружения датчика 120 дальности. Функция обнаружения объектов дополнительно может служить для того, чтобы обнаруживать тип объекта, такого как пешеход, велосипед, мотоцикл, автомобиль, помеха на дороге, конструкция, светофор, дорожный знак, полоса движения и край дороги (бордюрный камень, дорожное ограждение и т.д.), ограничение скорости, описанное на дорожном знаке, цвет сигнала светофора и другие признаки на основе цвета и/или формы объекта, захваченного в захваченном изображении.

[0021] Устройство 170 управления использует функцию задания индексов скорости транспортного средства для того, чтобы задавать индекс, ассоциированный со скоростью движения рассматриваемого транспортного средства, в качестве индекса скорости транспортного средства. В одном или более вариантов осуществления настоящего изобретения, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства на пяти стадиях 1-5. Индекс скорости транспортного средства имеет тенденцию быть более низким числовым значением в окружении, в котором рассматриваемое транспортное средство движется на меньшей скорости, в то время как индекс скорости транспортного средства имеет тенденцию быть более высоким числовым значением в окружении, в котором рассматриваемое транспортное средство движется на большей скорости.

[0022] Фиг. 2 является диаграммой, иллюстрирующей пример взаимосвязи между различными элементами информации по движению и индексом скорости транспортного средства. Функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства в соответствии со скоростью V движения рассматриваемого транспортного средства. Например, в примере, проиллюстрированном на фиг. 2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 1, когда скорость V движения рассматриваемого транспортного средства равна нулю или выше и ниже X1, и может выполняться определение в отношении того, что рассматриваемое транспортное средство остановлено или движется на очень низкой скорости. Когда скорость V движения рассматриваемого транспортного средства составляет X1 или выше и ниже X2, и может выполняться определение в отношении того, что рассматриваемое транспортное средство движется на низкой скорости, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 2. Аналогично, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным большему числовому значению по мере того, как скорость V движения рассматриваемого транспортного средства является более высокой. В примере, проиллюстрированном на фиг. 2, взаимосвязь между X1, X2, X3 и X4 представляет собой X1<X2<X3<X4.

[0023] Помимо этого или альтернативно, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства в соответствии с передаточным отношением трансмиссии. Например, функция задания индексов скорости транспортного средства служит для того, чтобы получать информацию относительно передаточного отношения из трансмиссии и выполнять определение того, чему соответствует передаточное отношение трансмиссии, из числа "первой передачи", "второй передачи", "третьей передачи", "четвертой передачи" и "пятой передачи или выше". Например, в примере, проиллюстрированном на фиг. 2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 1, когда передаточное отношение трансмиссии представляет собой передаточное отношение, соответствующее "первой передаче". Когда передаточное отношение трансмиссии представляет собой передаточное отношение, соответствующее "второй передаче", функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 2. Аналогично, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным большему числовому значению по мере того, как передаточное отношение трансмиссии является более низким. Когда передаточное отношение трансмиссии может изменяться посредством управления рычагом переключения передач, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства в соответствии с позицией рычага переключения передач.

[0024] Помимо этого или альтернативно, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства на основе типа дороги для дороги, по которой движется рассматриваемое транспортное средство. Например, функция задания индексов скорости транспортного средства служит для того, чтобы получать информацию типа дороги, по которой движется рассматриваемое транспортное средство, из навигационного устройства 140. После этого, когда рассматриваемое транспортное средство паркуется, останавливается или движется на "автомобильной парковке", функция задания индексов скорости транспортного средства служит для того, чтобы определять то, что рассматриваемое транспортное средство остановлено или очень медленно движется на уменьшенной скорости, и задавать индекс скорости транспортного средства равным 1. Когда рассматриваемое транспортное средство движется по "общей муниципальной дороге, за исключением городских районов", функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 2. Аналогично, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства равным 3, когда рассматриваемое транспортное средство движется на "городской дороге", задавать индекс скорости транспортного средства равным 4, когда рассматриваемое транспортное средство движется на "магистральной дороге", и задавать индекс скорости транспортного средства равным 5, когда рассматриваемое транспортное средство движется на "автомагистрали или скоростной автомагистрали".

[0025] Помимо этого или альтернативно, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства на основе предельной скорости Vr дороги, по которой движется рассматриваемое транспортное средство. Например, в примере, проиллюстрированном на фиг. 2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 1, когда предельная скорость Vr дороги, по которой движется рассматриваемое транспортное средство, ниже X1. Когда предельная скорость Vr дороги, по которой движется рассматриваемое транспортное средство, составляет X1 или выше и ниже X2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 2. Аналогично, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства равным большему числовому значению по мере того, как предельная скорость Vr дороги, по которой движется рассматриваемое транспортное средство, является более высокой.

[0026] Помимо этого или альтернативно, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства в соответствии с расстоянием D от рассматриваемого транспортного средства до объекта. Например, в примере, проиллюстрированном на фиг. 2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 1, когда расстояние D от рассматриваемого транспортного средства до объекта меньше D1. Когда расстояние D от рассматриваемого транспортного средства до объекта составляет D1 или более и меньше D2, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства равным 2. Аналогично, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства равным большему числовому значению по мере того, как расстояние D от рассматриваемого транспортного средства до объекта является большим. В примере, проиллюстрированном на фиг. 2, взаимосвязь между D1, D2, D3 и D4 представляет собой D1<D2<D3<D4.

[0027] Помимо этого или альтернативно, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства на основе окружения движения рассматриваемого транспортного средства. Например, функция задания индексов скорости транспортного средства служит для того, чтобы определять то, представляет собой или нет окружение движения рассматриваемого транспортного средства предварительно определенное окружение движения, на основе скорости V движения рассматриваемого транспортного средства, места движения рассматриваемого транспортного средства (например, такого как автомобильная парковка, торговый район и дорога с несколькими полосами движения), типа и числа объектов, обнаруженных рядом с рассматриваемым транспортным средством, и т.д. Затем, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства равным числовому значению, соответствующему каждому окружению движения.

[0028] Например, в примере, проиллюстрированном на фиг. 2, когда рассматриваемое транспортное средство движется в зоне автомобильной парковки или торговом районе, и определенное число пешеходов и/или велосипедов существуют рядом с рассматриваемым транспортным средством, функция задания индексов скорости транспортного средства служит для того, чтобы определять то, что окружение движения рассматриваемого транспортного средства представляет собой "окружение остановки/очень медленного движения". Затем, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может служить для того, чтобы задавать индекс скорости транспортного средства равным 1 согласно "окружению остановки/очень медленного движения". При обнаружении зоны велосипедного движения на стороне рассматриваемого транспортного средства и обнаружении велосипеда рядом с рассматриваемым транспортным средством, функция задания индексов скорости транспортного средства служит для того, чтобы определять то, что окружение движения рассматриваемого транспортного средства представляет собой "окружение параллельного велосипедного движения". Затем, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может задавать индекс скорости транспортного средства равным 2 согласно "окружению параллельного велосипедного движения". Когда рассматриваемое транспортное средство движется на дороге с двухсторонним движением, на которой рассматриваемое транспортное средство и встречное транспортное средство могут обгонять друг друга, и встречное транспортное средство движется на 15-40 км/ч, функция задания индексов скорости транспортного средства служит для того, чтобы определять то, что окружение движения рассматриваемого транспортного средства представляет собой "окружение городского движения". Затем, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может задавать индекс скорости транспортного средства равным 3 согласно "окружению городского транспортного движения". Когда рассматриваемое транспортное средство движется на дороге, имеющей множество полос движения, и другое транспортное средство движется на 40-60 км/ч, функция задания индексов скорости транспортного средства служит для того, чтобы определять то, что окружение движения рассматриваемого транспортного средства представляет собой "окружение пригородного движения". Затем, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может задавать индекс скорости транспортного средства равным 4 согласно "окружению пригородного транспортного движения". Когда рассматриваемое транспортное средство движется на дороге с множеством полос движения без светофоров, и другое транспортное средство движется на 60 км/ч или выше, функция задания индексов скорости транспортного средства служит для того, чтобы определять то, что окружение движения рассматриваемого транспортного средства представляет собой "окружение высокоскоростного движения". Затем, как проиллюстрировано на фиг. 2, функция задания индексов скорости транспортного средства может задавать индекс скорости транспортного средства равным 5 согласно "окружению высокоскоростного движения".

[0029] Устройство 170 управления использует функцию выбора типов изображений для того, чтобы выбирать тип изображения для изображения представления на основе индекса скорости транспортного средства, который задается с использованием функции задания индексов скорости транспортного средства. В частности, как проиллюстрировано на фиг. 3, когда индекс скорости транспортного средства равен 1 или 2, функция выбора типов изображений служит для того, чтобы выбирать тип захваченного изображения для представления изображения представления на основе захваченного изображения в качестве типа изображения для изображения представления. Как также проиллюстрировано на фиг. 3, когда индекс скорости транспортного средства равен 3-5, функция выбора типов изображений служит для того, чтобы выбирать тип обзорного изображения для представления изображения представления на основе обзорного изображения в качестве типа изображения для изображения представления.

[0030] Часть (A) по фиг. 4 является видом, иллюстрирующим пример изображения представления, когда выбирается тип захваченного изображения, тогда как часть (B) по фиг. 4 является видом, иллюстрирующим пример изображения представления, когда выбирается тип обзорного изображения. Таким образом, когда выбирается тип захваченного изображения, изображение представления на основе захваченного изображения отображается, как проиллюстрировано в части (A) по фиг. 4, тогда как, когда выбирается тип обзорного изображения, изображение представления на основе обзорного изображения отображается, как проиллюстрировано в части (B) по фиг. 4.

[0031] Когда тип захваченного изображения выбирается с использованием функции выбора типов изображений, устройство 170 управления использует первую функцию формирования изображений для того, чтобы формировать изображение представления на основе захваченного изображения, захваченного посредством камеры 110, как проиллюстрировано в части (A) по фиг. 4. Ниже подробно описывается способ формирования изображения представления с использованием первой функции формирования изображений.

[0032] Во-первых, первая функция формирования изображений служит для того, чтобы выбирать захваченное изображение, используемое для формирования изображения представления, на основе индекса скорости транспортного средства или скорости V движения рассматриваемого транспортного средства. Устройство 100 представления информации согласно одному или более вариантов осуществления настоящего изобретения включает в себя короткофокусную камеру, подходящую для захвата изображений объектов, существующих на коротких расстояниях от рассматриваемого транспортного средства, среднефокусную камеру, подходящую для захвата изображений объектов, существующих на средних расстояниях от рассматриваемого транспортного средства, и длиннофокусную камеру, подходящую для захвата изображений объектов, существующих на больших расстояниях от рассматриваемого транспортного средства. Например, как проиллюстрировано на фиг. 5, когда индекс скорости транспортного средства равен 1, первая функция формирования изображений служит для того, чтобы выбирать захваченное изображение, захваченное посредством короткофокусной камеры, в качестве захваченного изображения, используемого для формирования изображения представления. Аналогично, когда индекс скорости транспортного средства равен 2, первая функция формирования изображений служит для того, чтобы выбирать захваченное изображение, захваченное посредством среднефокусной камеры, в качестве захваченного изображения, используемого для формирования изображения представления. Длиннофокусная камера используется для обнаружения объектов, когда индекс скорости транспортного средства равен 3 или выше (т.е. когда изображение представления представляет собой тип обзорного изображения).

[0033] Помимо этого или альтернативно, как проиллюстрировано на фиг. 5, первая функция формирования изображений может выбирать захваченное изображение, захваченное посредством короткофокусной камеры, в качестве захваченного изображения, используемого для формирования изображения представления, когда скорость V движения рассматриваемого транспортного средства равна нулю или выше и ниже X1, и выбирать захваченное изображение, захваченное посредством среднефокусной камеры, в качестве захваченного изображения, используемого для формирования изображения представления, когда скорость V движения рассматриваемого транспортного средства составляет X1 или выше и ниже X2.

[0034] Затем первая функция формирования изображений выполняет процесс маскирования для выбранного захваченного изображения в соответствии со скоростью V движения рассматриваемого транспортного средства. Фиг. 6 является набором видов для описания процесса маскирования для захваченного изображения, в котором часть (A) представляет захваченное изображение перед процессом маскирования, и часть (B) представляет захваченное изображение после процесса маскирования. Например, как проиллюстрировано в части (A) по фиг. 6, когда ширина захваченного изображения, захваченного посредством камеры 110, составляет L, и процесс маскирования выполняется с шириной d маски, первая функция формирования изображений может служить для того, чтобы вычислять ширину d маски на основе скорости V движения рассматриваемого транспортного средства и верхней предельной скорости V_limit.

Ширина маски d=L/2 x V/V_limit... (1)

Верхняя предельная скорость V_limit является верхним пределом скорости V движения, когда выбирается тип захваченного изображения. Например, при условии, что скорость V движения меньше X2, когда индекс скорости транспортного средства задается равным 2, и изображение представления на основе захваченного изображения отображается, "X2" является верхней предельной скоростью V_limit.

[0035] Таким образом, чем выше скорость V движения рассматриваемого транспортного средства, тем более широкая первая функция формирования изображений служит для того, чтобы вычислять ширину d маски. Затем первая функция формирования изображений служит для того, чтобы выполнять процесс маскирования для маскирования концевых частей захваченного изображения в горизонтальном направлении (направлении по оси Y) посредством вычисленной ширины d маски. Через эту операцию, когда скорость V движения рассматриваемого транспортного средства является высокой, как проиллюстрировано в части (B) по фиг. 6, меньшее изображение в горизонтальном направлении (направлении по оси Y) формируется по сравнению с захваченным изображением, захваченным посредством камеры 110. Помимо этого или альтернативно, первая функция формирования изображений может служить для того, чтобы маскировать захваченное изображение с шириной d маски в соответствии с индексом скорости транспортного средства. В этом случае, первая функция формирования изображений служит для того, чтобы выполнять процесс маскирования таким образом, что ширина маски расширяется, когда индекс скорости транспортного средства равен 2, по сравнению с тем, когда индекс скорости транспортного средства равен 1.

[0036] Затем первая функция формирования изображений служит для того, чтобы накладывать изображение капота, имитирующее капот рассматриваемого транспортного средства, в захваченном изображении, для которого выполнен процесс маскирования. В частности, как проиллюстрировано в части (A) по фиг. 7, первая функция формирования изображений служит для того, чтобы накладывать изображение капота на нижнюю сторону захваченного изображения, для которого выполнен процесс маскирования. Изображение капота представляет собой изображение, которое предварительно подготавливается посредством рендеринга с использованием компьютерной графики, например, и может сохраняться в ROM устройства 170 управления. Помимо этого или альтернативно, захваченное изображение фактического капота рассматриваемого транспортного средства может сохраняться в качестве изображения капота в ROM устройства 170 управления. Части (A) и (B) по фиг. 7 являются видами, иллюстрирующими пример изображения, в котором изображение капота накладывается на изображение после процесса маскирования, проиллюстрированного в части (B) по фиг. 6.

[0037] Первая функция формирования изображений дополнительно может служить для того, чтобы изменять размер и/или форму изображения капота в соответствии со скоростью V движения рассматриваемого транспортного средства или индексом скорости транспортного средства. Например, когда скорость V движения рассматриваемого транспортного средства ниже X1, первая функция формирования изображений может служить для того, чтобы задавать длину изображения капота в вертикальном направлении (направлении по оси Х) относительно небольшой, как проиллюстрировано в части (A) по фиг. 7, тогда как, когда скорость V движения рассматриваемого транспортного средства не ниже X1, первая функция формирования изображений может служить для того, чтобы задавать длину изображения капота в вертикальном направлении (направлении по оси Х) большей, как проиллюстрировано в части (B) по фиг. 7. Помимо этого или альтернативно, когда скорость V движения рассматриваемого транспортного средства не ниже X1, первая функция формирования изображений может служить для того, чтобы задавать длину верхнего концевого участка изображения капота (верхнего базового участка, когда изображение капота является трапециевидным) относительно небольшой. Помимо этого или альтернативно, когда индекс скорости транспортного средства рассматриваемого транспортного средства равен 1, первая функция формирования изображений может служить для того, чтобы задавать длину изображения капота в вертикальном направлении (направлении по оси Х) относительно небольшой, как проиллюстрировано в части (A) по фиг. 7, тогда как, когда индекс скорости транспортного средства рассматриваемого транспортного средства равен 2, первая функция формирования изображений может служить для того, чтобы задавать длину изображения капота в вертикальном направлении (направлении по оси Х) относительно большой, как проиллюстрировано в части (B) по фиг. 7. В примерах, проиллюстрированных в частях (A) и (B) по фиг. 7, примерно иллюстрируется конфигурация, в которой размер и/или форма изображения капота изменяются на двух стадиях, но конфигурация не ограничена этим. Например, размер и/или форма изображения капота могут изменяться на трех или более стадий. Помимо этого или альтернативно, размер и/или форма изображения капота могут изменяться непрерывно в соответствии со скоростью V движения рассматриваемого транспортного средства.

[0038] Затем первая функция формирования изображений служит для того, чтобы отображать объекты в захваченном изображении с помощью выделения на основе результатов обнаружения, полученных с использованием функции обнаружения объектов. Фиг. 8 является набором видов, иллюстрирующих пример изображения, в котором объекты отображаются с помощью выделения в изображении, проиллюстрированном в части (A) по фиг. 6. В описательных целях, примеры, проиллюстрированные на фиг. 8, примерно иллюстрируют окружение, в котором только пешеходы обнаруживаются в качестве объектов (это применимо к фиг. 9 и 10, которые описываются ниже). В таких случаях, как проиллюстрировано в части (A) по фиг. 8, например, первая функция формирования изображений может накладывать линии рамок e1 и e2 вокруг объектов, обнаруженных с использованием функции обнаружения объектов (также в дальнейшем называемых "обнаруженными объектами"), чтобы за счет этого отображать обнаруженные объекты с помощью выделения. Помимо этого или альтернативно, как проиллюстрировано в части (B) по фиг. 8, например, первая функция формирования изображений может накладывать подчеркивания e3 и e4 под обнаруженными объектами, чтобы за счет этого отображать обнаруженные объекты с помощью выделения. Помимо этого или альтернативно, как проиллюстрировано в части (C) по фиг. 8, например, первая функция формирования изображений может накладывать круги e5 и e6 (точки) на обнаруженные объекты, чтобы за счет этого отображать обнаруженные объекты с помощью выделения.

[0039] Затем первая функция формирования изображений служит для того, чтобы отображать объект, предназначенный для автоматизированного вождения рассматриваемого транспортного средства (также в дальнейшем называемый "объектом управления"), из обнаруженных объектов, обнаруженных с использованием функции обнаружения объектов, с помощью выделения в форме для отображения, отличающейся от формы для отображения других обнаруженных объектов. Фиг. 9 является набором видов, иллюстрирующих пример изображения, в котором объект управления отображается с помощью выделения в изображении, проиллюстрированном в части (A) по фиг. 8. Например, при наложении желтой линии e1 рамки (указываемой посредством черной сплошной линии в части (A) по фиг. 9) вокруг обнаруженного объекта, как проиллюстрировано в части (A) по фиг. 9, первая функция формирования изображений может служить для того, чтобы накладывать красную линию f1 рамки (указываемую посредством черной пунктирной линии в части (A) по фиг. 9) вокруг объекта управления, чтобы за счет этого отображать объект управления с помощью выделения в форме для отображения, отличающейся от формы для отображения других обнаруженных объектов. Помимо этого или альтернативно, при наложении тонкой линии e1 рамки вокруг обнаруженного объекта, как проиллюстрировано в части (B) по фиг. 9, первая функция формирования изображений может служить для того, чтобы накладывать толстую линию f2 рамки вокруг объекта управления, чтобы за счет этого отображать объект управления с помощью выделения в форме для отображения, отличающейся от формы для отображения других обнаруженных объектов.

[0040] Затем первая функция формирования изображений служит для того, чтобы накладывать информацию расстояния от рассматриваемого транспортного средства до обнаруженных объектов (включающих в себя объект управления) в изображении, в котором объект управления отображается с помощью выделения. Фиг. 10 является набором видов, иллюстрирующих пример изображения, в котором информация расстояния от рассматриваемого транспортного средства до обнаруженных объектов (включающих в себя объект управления) накладывается на изображение, проиллюстрированное в частях (A) и (B) по фиг. 9. Например, как проиллюстрировано в частях (A) и (B) по фиг. 10, первая функция формирования изображений может служить для того, чтобы накладывать числовые значения, представляющие расстояния от рассматриваемого транспортного средства до обнаруженных объектов (включающих в себя объект управления), под обнаруженными объектами, чтобы за счет этого накладывать информацию расстояния от рассматриваемого транспортного средства до обнаруженных объектов. Помимо этого или альтернативно, как проиллюстрировано в части (C) по фиг. 10, первая функция формирования изображений может служить для того, чтобы накладывать рисунки g1 и g2 (к примеру, графические рисунки и значки), представляющие расстояния от рассматриваемого транспортного средства до обнаруженных объектов (включающих в себя объект управления), под обнаруженными объектами. В примере, проиллюстрированном в части (C) по фиг. 10, чем больше расстояние от рассматриваемого транспортного средства до обнаруженного объекта (включающего в себя объект управления), тем больше длина рисунка.

[0041] Как описано выше, для захваченного изображения, захваченного посредством камеры 110, первая функция формирования изображений служит для того, чтобы выполнять (1) процесс маскирования, (2) процесс наложения изображения капота, (3) отображение обнаруженных объектов с помощью выделения, (4) отображение объекта управления с помощью выделения и (5) процесс наложения информации расстояния, чтобы за счет этого формировать изображение представления.

[0042] Устройство 170 управления использует вторую функцию формирования изображений для того, чтобы подготавливать посредством рендеринга изображение, к примеру, с использованием компьютерной графики, чтобы за счет этого формировать обзорное изображение, как если рассматриваемое транспортное средство просматривается сверху. Затем вторая функция формирования изображений служит для того, чтобы формировать изображение представления на основе сформированного обзорного изображения. Ниже подробно описывается способ формирования изображения представления с использованием второй функции формирования изображений.

[0043] Во-первых, как проиллюстрировано на фиг. 11, вторая функция формирования изображений служит для того, чтобы подготавливать посредством рендеринга обзорное изображение с углом снижения в соответствии с индексом скорости транспортного средства. Например, когда индекс скорости транспортного средства равен 3, вторая функция формирования изображений служит для того, чтобы подготавливать посредством рендеринга обзорное изображение с относительно небольшим углом снижения, как проиллюстрировано в части (A) по фиг. 11. Когда индекс скорости транспортного средства равен 4, вторая функция формирования изображений служит для того, чтобы подготавливать посредством рендеринга обзорное изображение со средним углом снижения, как проиллюстрировано в части (B) по фиг. 11, и когда индекс скорости транспортного средства равен 5, вторая функция формирования изображений служит для того, чтобы подготавливать посредством рендеринга обзорное изображение с относительно большим углом снижения, как проиллюстрировано в части (C) по фиг. 11. Таким образом, вторая функция формирования изображений подготавливает посредством рендеринга обзорное изображение с большим углом снижения по мере того, как индекс скорости транспортного средства становится больше. Затем вторая функция формирования изображений служит для того, чтобы подготавливать посредством рендеринга значок, представляющий рассматриваемое транспортное средство V1 на центре или ниже центра обзорного изображения. Фиг. 11 является набором видов, иллюстрирующих пример обзорного изображения, подготовленного посредством рендеринга на основе индекса скорости транспортного средства. Фиг. 11 иллюстрирует примеры, каждый из которых примерно показывает обзорное изображение, подготовленное посредством рендеринга в окружении, в котором рассматриваемое транспортное средство V1 движется по трехполосной дороге, но когда может выполняться определение в отношении того, что окружение представляет собой окружение, в котором рассматриваемое транспортное средство V1 движется по двухполосной дороге, к примеру, с использованием камеры 110, датчика 120 дальности, навигационного устройства 140 и т.д., может подготавливаться посредством рендеринга обзорное изображение, которое представляет окружение, в котором рассматриваемое транспортное средство V1 движется по двухполосной дороге.

[0044] Затем, как проиллюстрировано в частях (A)-(C) по фиг. 12, вторая функция формирования изображений служит для того, чтобы размещать один или более значков, представляющих обнаруженные объекты, обнаруженные с использованием функции обнаружения объектов, в подготовленном посредством рендеринга обзорном изображении. Например, вторая функция формирования изображений служит для того, чтобы получать информацию касательно относительных позиций обнаруженных объектов и относительных расстояний от обнаруженных объектов с использованием функции обнаружения объектов. Затем, как проиллюстрировано в частях (A)-(C) по фиг. 12, вторая функция формирования изображений служит для того, чтобы размещать значки, представляющие обнаруженные объекты, в позициях в обзорном изображении, соответствующих фактическим позиционным взаимосвязям между рассматриваемым транспортным средством V1 и обнаруженными объектами. Например, в примерах, проиллюстрированных в частях (A)-(C) по фиг. 12, другое транспортное средство t1 движется впереди рассматриваемого транспортного средства V1, и в силу этого также в обзорном изображении, значок, представляющий другое транспортное средство t1, располагается перед значком, представляющим рассматриваемое транспортное средство V1.

[0045] В одном или более вариантов осуществления настоящего изобретения, как проиллюстрировано в частях (A)-(C) по фиг. 12, обзорное изображение подготавливается посредством рендеринга таким образом, что рассматриваемое транспортное средство просматривается еще более сверху по мере того, как индекс скорости транспортного средства становится больше. Соответственно, чем больше индекс скорости транспортного средства, тем более широким является диапазон отображения, в котором отображаются обнаруженные объекты. Например, только обнаруженный объект t1 отображается в обзорном изображении части (A) по фиг. 12, поскольку угол снижения является относительно небольшим, обнаруженные объекты t1-t3 отображаются в обзорном изображении части (B) по фиг. 12, поскольку угол снижения является средним углом, и обнаруженные объекты t1-t5 отображаются в обзорном изображении части (C) по фиг. 12, поскольку угол снижения является относительно большим. Части (A)-(C) по фиг. 12 являются видами, иллюстрирующими примеры изображений, в которых обнаруженные объекты размещаются в обзорных изображениях, проиллюстрированных в частях (A)-(C) по фиг. 11, соответственно.

[0046] Затем, как проиллюстрировано на фиг. 13, вторая функция формирования изображений служит для того, чтобы отображать объект управления с помощью выделения в обзорном изображении, в котором размещаются обнаруженные объекты. Фиг. 13 является набором видов, иллюстрирующих пример изображения, в котором объект управления отображается с помощью выделения в изображении, проиллюстрированном на фиг. 12. Например, как проиллюстрировано в частях (A)-(C) по фиг. 13, вторая функция формирования изображений может отображать весь значок, представляющий объект c1 управления из обнаруженных объектов, в желтом цвете (указываемом посредством темно-серого цвета в примере, проиллюстрированном на фиг. 13), чтобы за счет этого отображать объект управления с помощью выделения в форме для отображения, отличающейся от формы для отображения обнаруженных объектов. Помимо этого или альтернативно, как проиллюстрировано в частях (D)-(F) по фиг. 13, вторая функция формирования изображений может накладывать красную линию рамки (указываемую посредством черной линии рамки в примере, проиллюстрированном на фиг. 13) вокруг значка, представляющего объект управления, чтобы за счет этого отображать объект управления с помощью выделения.

[0047] Затем, как проиллюстрировано в частях (A)-(F) по фиг. 14, вторая функция формирования изображений служит для того, чтобы накладывать направляющие линии расстояния на обзорное изображение, в котором объект управления отображается с помощью выделения. Фиг. 14 является набором видов, иллюстрирующих пример изображения, в котором направляющие линии расстояния накладываются на изображение, проиллюстрированное на фиг. 13. Вторая функция формирования изображений может изменять расстояние, представленное посредством направляющих линий расстояния, на основе расстояния между рассматриваемым транспортным средством и другим транспортным средством. Например, когда расстояние между транспортными средствами между рассматриваемым транспортным средством и другим транспортным средством является небольшим, вторая функция формирования изображений может уменьшать расстояние, представленное посредством направляющих линий расстояния.

[0048] Таким образом, вторая функция формирования изображений служит для того, чтобы выполнять (1) рендеринг обзорного изображения с углом снижения в соответствии с индексом скорости транспортного средства, (2) компоновку обнаруженных объектов, (3) отображение объекта управления с помощью выделения и (4) процесс наложения для направляющих линий расстояния, чтобы за счет этого формировать изображение представления.

[0049] Устройство 170 управления использует функцию отображения для того, чтобы передавать данные изображений для изображения представления, сформированного с использованием первой функции формирования изображений или второй функции формирования изображений, на дисплее 150 и отображать изображение представления на экране дисплея 150. Это обеспечивает возможность представления изображения представления водителю.

[0050] Устройство 170 управления использует функцию управления движением для того, чтобы управлять автоматизированным вождением рассматриваемого транспортного средства. Например, функция управления движением может служить для того, чтобы обнаруживать разделительные линии полосы движения, в которой движется рассматриваемое транспортное средство (также в дальнейшем называемой "полосой движения рассматриваемого транспортного средства"), на основе результатов обнаружения камеры 110 и/или датчика 120 дальности и выполнять управление удержанием на полосе движения, чтобы управлять позицией движения рассматриваемого транспортного средства в направлении ширины дороги таким образом, что рассматриваемое транспортное средство движется в полосе движения рассматриваемого транспортного средства. В этом случае, функция управления движением может служить для того, чтобы управлять работой актуатора рулевого управления и т.п. таким образом, что рассматриваемое транспортное средство движется в соответствующей позиции движения. Помимо этого или альтернативно, функция управления движением может служить для того, чтобы выполнять управление движением в режиме "ехать за", чтобы автоматически ехать за едущим впереди транспортным средством с определенным расстоянием от едущего впереди транспортного средства. В этом случае, функция управления движением может служить для того, чтобы управлять работой приводного механизма, такого как двигатель и тормоз, так что рассматриваемое транспортное средство движется с постоянным расстоянием между рассматриваемым транспортным средством и едущим впереди транспортным средством. Помимо этого или альтернативно, функция управления движением служит для того, чтобы управлять движением рассматриваемого транспортного средства на основе объекта управления, указываемого с использованием функции обнаружения объектов. Например, функция управления движением служит для того, чтобы управлять актуатором рулевого управления, двигателем, тормозом и другими компонентами таким образом, чтобы объезжать объект управления или останавливаться перед объектом управления.

[0051] Далее описывается процесс представления информации согласно одному или более вариантов осуществления настоящего изобретения со ссылкой на фиг. 15. Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей процесс представления информации согласно одному или более вариантов осуществления настоящего изобретения. Процесс представления информации, описанный ниже, выполняется посредством устройства 170 управления. Процесс представления информации, описанный ниже, начинается, когда зажигание включается, и многократно выполняется до тех пор, пока не будет выключено зажигание.

[0052] Во-первых, на этапе S101, функция получения информации служит для того, чтобы получать различные элементы информации по движению, такие как захваченное изображение, захваченное посредством камеры 110, результаты обнаружения датчика 120 дальности, скорость V движения рассматриваемого транспортного средства, определенная посредством датчика 130 скорости транспортного средства, и позиционная информация рассматриваемого транспортного средства, обнаруженная посредством навигационного устройства 140. Затем на этапе S102, функция задания индексов скорости транспортного средства служит для того, чтобы задавать индекс скорости транспортного средства, как проиллюстрировано на фиг. 2, на основе различных элементов информации по движению, полученных на этапе S101.

[0053] На этапе S103, функция обнаружения объектов служит для того, чтобы обнаруживать объекты, существующие рядом с рассматриваемым транспортным средством, в качестве обнаруженных объектов на основе захваченного изображения и результатов обнаружения датчика 120 дальности, полученных на этапе S101. Помимо этого, на этапе S104, функция обнаружения объектов служит для того, чтобы указывать объект, предназначенный для управления автоматизированным вождением, из обнаруженных объектов в качестве объекта управления.

[0054] На этапе S105, функция выбора типов изображений служит для того, чтобы определять то, представляет собой или нет последний процесс этапа S102 (процесс этапа S102, выполняемого в настоящей обработке) процесс начального задания для индекса скорости транспортного средства. Таким образом, на этапе S105, сразу после того, как включается зажигание, и начинается процесс представления информации по фиг. 15, индекс скорости транспортного средства не задается до последнего процесса этапа S102; в силу этого выполняется определение в отношении того, что последний процесс этапа S102 представляет собой процесс начального задания для индекса скорости транспортного средства, и процедура переходит к этапу S106. С другой стороны, после того, как индекс скорости транспортного средства задается на этапе S102, когда определение этапа S110 выполняется таким образом, что зажигание включается, процедура возвращается к этапу S101, и после этого процесс этапа S102 выполняется снова, определение не выполняется таким образом, что последний процесс этапа S102 представляет собой процесс начального задания для индекса скорости транспортного средства, и процедура переходит к этапу S112.

[0055] На этапе S106, функция выбора типов изображений служит для того, чтобы выбирать тип изображения для изображения представления на основе индекса скорости транспортного средства, заданного на этапе S102. Затем на этапе S107, устройство 170 управления определяет то, представляет собой тип изображения для изображения представления, выбранного на этапе S206, тип захваченного изображения или тип обзорного изображения. Когда тип изображения для изображения представления представляет собой тип захваченного изображения, процедура переходит к этапу S108, тогда как, когда тип изображения для изображения представления представляет собой тип обзорного изображения, процедура переходит к этапу S109.

[0056] На этапе S108, процесс представления захваченных изображений выполняется для формирования изображения представления на основе захваченного изображения, захваченного посредством камеры 110, и представления изображения представления на основе захваченного изображения. Фиг. 16 является блок-схемой последовательности операций способа, иллюстрирующей процесс представления захваченных изображений, проиллюстрированный на этапе S108. Ниже описывается процесс представления захваченных изображений этапа S108 со ссылкой на фиг. 16.

[0057] Во-первых, на этапе S201, первая функция формирования изображений служит для того, чтобы определять захваченное изображение, используемое для формирования изображения представления, из числа захваченных изображений, захваченных посредством множества камер 110. Например, как проиллюстрировано на фиг. 5, первая функция формирования изображений может служить для того, чтобы выбирать захваченное изображение, используемое для формирования изображения представления, в соответствии со скоростью V движения рассматриваемого транспортного средства или индексом скорости транспортного средства.

[0058] На этапе S202, первая функция формирования изображений служит для того, чтобы выполнять процесс маскирования для захваченного изображения, выбранного на этапе S201. Например, как проиллюстрировано в частях (A) и (B) по фиг. 6, первая функция формирования изображений может маскировать концевые части захваченного изображения в горизонтальном направлении (направлении по оси Y) посредством ширины d маски в соответствии со скоростью V движения рассматриваемого транспортного средства. Через эту операцию, как проиллюстрировано в части (B) по фиг. 6, захваченное изображение, для которого выполняется процесс маскирования, формируется на основе захваченного изображения, проиллюстрированного в части (A) по фиг. 6.

[0059] На этапе S203, как проиллюстрировано на фиг. 7, первая функция формирования изображений служит для того, чтобы накладывать изображение капота на захваченное изображение, для которого процесс маскирования выполняется на этапе S202. Первая функция формирования изображений также может служить для того, чтобы изменять размер и/или форму изображения капота и накладывать изображение капота на захваченное изображение на основе скорости V движения рассматриваемого транспортного средства или индекса скорости транспортного средства.

[0060] На этапе S204, первая функция формирования изображений служит для того, чтобы отображать обнаруженные объекты с помощью выделения в захваченном изображении, на которое изображение капота накладывается на этапе S203. Например, как проиллюстрировано в частях (A)-(C) по фиг. 8, метки, такие как линии рамок, подчеркивания и круги (точки), накладываются на обнаруженные объекты, обнаруженные на этапе S103, чтобы за счет этого отображать обнаруженные объекты с помощью выделения.

[0061] На этапе S205, первая функция формирования изображений служит для того, чтобы отображать объект управления с помощью дополнительного выделения в захваченном изображении, в котором обнаруженные объекты отображаются с помощью выделения на этапе S204. Например, как проиллюстрировано в частях (A) и (B) по фиг. 9, первая функция формирования изображений может служить для того, чтобы накладывать некоторую метку, такую как линия рамки, которая имеет форму для отображения, отличающуюся от формы для отображения других обнаруженных объектов, на объект управления, указываемый на этапе S104, чтобы за счет этого отображать объект управления с помощью выделения в форме для отображения, отличающейся от формы для отображения других обнаруженных объектов.

[0062] На этапе S206, первая функция формирования изображений служит для того, чтобы накладывать информацию расстояния от рассматриваемого транспортного средства до обнаруженных объектов (включающих в себя объект управления) на захваченное изображение, в котором объект управления отображается с помощью выделения на этапе S205. Например, как проиллюстрировано в частях (A) и (B) по фиг. 10, первая функция формирования изображений может служить для того, чтобы накладывать информацию расстояния обнаруженных объектов, полученную на этапе S103, под обнаруженными объектами.

[0063] Таким образом, на этапах S202-S206, захваченное изображение, выбранное на этапе S201, подвергается процессу маскирования, процессу наложения изображения капота, отображению обнаруженных объектов с помощью выделения, отображению объекта управления с помощью выделения и процессу наложения информации расстояния, и изображение представления за счет этого формируется. Затем на этапе S207, функция отображения служит для того, чтобы отображать изображение представления, сформированное на этапе S206, на экране дисплея 150.

[0064] После того, как изображение представления отображается на этапе S207, процедура переходит к этапу S110 по фиг. 15. На этапе S110, устройство 170 управления определяет то, выключается или нет зажигание, и процесс представления информации, проиллюстрированный на фиг. 15, повторяется до тех пор, пока не будет выключено зажигание. Когда зажигание выключается, процесс представления информации, проиллюстрированный на фиг. 15, завершается.

[0065] Когда, на этапе S107, выполняется определение в отношении того, что тип изображения для изображения представления представляет собой тип обзорного изображения, процедура переходит к этапу S109. На этапе S109, процесс представления обзорных изображений выполняется для формирования изображения представления на основе обзорного изображения, подготовленного посредством рендеринга с использованием компьютерной графики и т.п., и представления изображения представления на основе сформированного обзорного изображения. Фиг. 17 является блок-схемой последовательности операций способа, иллюстрирующей процесс представления обзорных изображений, проиллюстрированный на этапе S109. Ниже описывается процесс представления обзорных изображений этапа S109 со ссылкой на фиг. 17.

[0066] Во-первых, на этапе S301, как проиллюстрировано на фиг. 11, вторая функция формирования изображений служит для того, чтобы подготавливать посредством рендеринга обзорное изображение с углом снижения в соответствии с индексом скорости транспортного средства. Таким образом, вторая функция формирования изображений служит для того, чтобы определять угол снижения обзорного изображения на основе индекса скорости транспортного средства, заданного на этапе S102, и подготавливать посредством рендеринга обзорное изображение с определенным углом снижения, как проиллюстрировано в частях (A)-(C) по фиг. 11.

[0067] На этапе S302, вторая функция формирования изображений служит для того, чтобы размещать один или более значков, представляющих обнаруженные объекты, в обзорном изображении, подготовленном посредством рендеринга на этапе S301. В частности, как проиллюстрировано в частях (A)-(C) по фиг. 12, вторая функция формирования изображений служит для того, чтобы размещать значки, представляющие обнаруженные объекты, обнаруженные на этапе S103, в позициях в обзорном изображении, соответствующих фактическим позиционным взаимосвязям между рассматриваемым транспортным средством V1 и обнаруженными объектами.

[0068] На этапе S303, как проиллюстрировано в частях (A)-(F) по фиг. 13, вторая функция формирования изображений служит для того, чтобы отображать объект управления с помощью выделения в обзорном изображении, в котором обнаруженные объекты размещаются на этапе S302. Дополнительно, как проиллюстрировано в частях (A)-(F) по фиг. 14, вторая функция формирования изображений служит для того, чтобы накладывать направляющие линии расстояния на обзорное изображение, в котором объект управления отображается с помощью выделения на этапе S303.

[0069] Таким образом, на этапах S302-S304, обзорное изображение, подготовленное посредством рендеринга на этапе S301, подвергается компоновке обнаруженных объектов, отображению объекта управления с помощью выделения и процессу наложения для направляющих линий расстояния, и изображение представления за счет этого формируется. Затем на этапе S305, функция отображения служит для того, чтобы отображать изображение представления, сформированное на этапе S304, на экране дисплея 150.

[0070] Снова ссылаясь на этап S105 по фиг. 15, когда выполняется определение в отношении того, что задание индекса скорости транспортного средства на этапе S102 не представляет собой начальное задание индекса скорости транспортного средства, т.е. когда индекс скорости транспортного средства задается в предыдущем процессе, процедура переходит к этапу S112.

[0071] На этапе S112, функция отображения служит для того, чтобы определять то, изменяется или нет индекс скорости транспортного средства на индекс скорости транспортного средства, при котором тип изображения для изображения представления отличается. В одном или более вариантов осуществления настоящего изобретения, когда индекс скорости транспортного средства равен 1 или 2, тип захваченного изображения выбирается в качестве типа изображения для изображения представления, тогда как, когда индекс скорости транспортного средства равен 3-5, тип обзорного изображения выбирается в качестве типа изображения для изображения представления. Соответственно, когда индекс скорости транспортного средства изменяется с 2 на 3, и тип изображения для изображения представления изменяется с "типа захваченного изображения" на "тип обзорного изображения", функция отображения служит для того, чтобы определять то, что индекс скорости транспортного средства изменяется на индекс скорости транспортного средства, при котором тип изображения для изображения представления отличается. Аналогично, когда индекс скорости транспортного средства изменяется с 3 на 2, и тип изображения для изображения представления изменяется с "типа обзорного изображения" на "тип захваченного изображения", функция отображения служит для того, чтобы определять то, что индекс скорости транспортного средства изменяется на индекс скорости транспортного средства, при котором тип изображения для изображения представления отличается.

[0072] Когда выполняется определение в отношении того, что индекс скорости транспортного средства изменяется на индекс скорости транспортного средства, при котором тип изображения для изображения представления отличается, процедура переходит к этапу S113. Когда выполняется определение в отношении того, что индекс скорости транспортного средства не изменяется на индекс скорости транспортного средства, при котором тип изображения для изображения представления отличается, процедура переходит к этапу S107, с которого выполняются вышеописанные процессы этапа S107-S110.

[0073] На этапе S113, тип изображения для изображения представления изменяется, и процесс переключения изображений в силу этого выполняется для переключения между изображением представления на основе захваченного изображения и изображением представления на основе обзорного изображения. Фиг. 18 является блок-схемой последовательности операций способа, иллюстрирующей процесс переключения изображений, проиллюстрированный на этапе S113. Ниже описывается процесс переключения изображений этапа S113 со ссылкой на фиг. 18.

[0074] На этапе S401, функция отображения служит для того, чтобы задавать время переключения для переключения между изображением представления на основе захваченного изображения и изображением представления на основе обзорного изображения. Например, функция отображения может служить для того, чтобы задавать предварительно определенное время (например, одна секунда) в качестве времени переключения. Помимо этого или альтернативно, функция отображения может служить для того, чтобы задавать время переключения на основе ускорения рассматриваемого транспортного средства. Например, функция отображения может сокращать время переключения по мере того, как ускорение рассматриваемого транспортного средства является более высоким.

[0075] На этапе S402, функция отображения служит для того, чтобы выполнять процесс уведомления для уведомления водителя относительно того, что изображение представления на основе захваченного изображения и изображение представления на основе обзорного изображения должны переключаться. Например, функция отображения может служить для того, чтобы выводить звук аварийного сигнала и/или голос с инструкциями, представляющий переключение между изображениями представления с динамика в качестве устройства 160 выдачи уведомлений, либо вызывать вибрацию в тактильном устройстве, таком как ручка и сиденье, в которое встраивается вибратор, чтобы за счет этого обеспечивать возможность водителю воспринимать переключение между изображениями представления, даже когда водитель не обращает внимание на дисплей 150.

[0076] На этапе S403, функция отображения служит для того, чтобы отображать переключающее изображение. Как проиллюстрировано на фиг. 19 и 20, функция отображения служит для того, чтобы отображать анимационное изображение, которое переходит из изображения представления на основе захваченного изображения к изображению представления на основе обзорного изображения, или анимационное изображение, которое переходит из изображения представления на основе обзорного изображения к изображению представления на основе захваченного изображения, в качестве переключающего изображения на дисплее 150. Функция отображения служит для того, чтобы отображать анимацию переключающего изображения в течение времени переключения изображений, заданного на этапе S401. Через эту операцию, изображение представления на основе захваченного изображения и изображение представления на основе обзорного изображения переключаются в течение времени переключения изображений.

[0077] Фиг. 19 является набором видов, иллюстрирующих пример переключающего изображения, когда изображение представления на основе захваченного изображения переходит к изображению представления на основе обзорного изображения. Когда изображение представления на основе захваченного изображения переходит к изображению представления на основе обзорного изображения, во-первых, как проиллюстрировано в частях (B) и (C) по фиг. 19, функция отображения служит для того, чтобы постепенно уменьшать изображение представления на основе захваченного изображения, проиллюстрированного в части (A) по фиг. 19, от внешней стороны к центру. При уменьшении изображения представления на основе захваченного изображения, как проиллюстрировано в частях (B) и (C) по фиг. 19, функция отображения также служит для того, чтобы отображать изображение представления на основе обзорного изображения таким образом, что оно поднимается из области ниже дисплея 150. Как результат, как проиллюстрировано в части (D) по фиг. 19, изображение представления на основе захваченного изображения исчезает, и только изображение представления на основе обзорного изображения отображается на экране дисплея 150.

[0078] Фиг. 20 является набором видов, иллюстрирующих пример переключающего изображения, когда изображение представления на основе обзорного изображения переходит к изображению представления на основе захваченного изображения. Когда изображение представления на основе обзорного изображения переходит к изображению представления на основе захваченного изображения, во-первых, как проиллюстрировано в частях (B) и (C) по фиг. 20, функция отображения служит для того, чтобы отображать изображение представления на основе обзорного изображения, проиллюстрированного в части (A) по фиг. 20, таким образом, что оно исчезает в области ниже дисплея 150, как проиллюстрировано в частях (B) и (C) по фиг. 20. При отображении изображения представления на основе обзорного изображения таким образом, что оно исчезает ниже дисплея 150, как проиллюстрировано в частях (B) и (C) по фиг. 20, функция отображения также служит для того, чтобы отображать изображение представления на основе захваченного изображения таким образом, что оно постепенно увеличивается от центра дисплея 150. Как результат, как проиллюстрировано в части (D) по фиг. 20, изображение представления на основе обзорного изображения исчезает, и только изображение представления на основе захваченного изображения отображается на экране дисплея 150.

[0079] Процесс представления информации согласно одному или более вариантов осуществления настоящего изобретения выполняется, как указано выше. После этого, со ссылкой на фиг. 21, описывается взаимосвязь между индексом скорости транспортного средства и переходом между изображениями представления, отображаемыми на экране дисплея 150. Фиг. 21 является набором видов, иллюстрирующих пример взаимосвязи между индексом скорости транспортного средства и переходом между изображениями представления.

[0080] Например, когда индекс скорости транспортного средства равен 1, изображение представления на основе захваченного изображения отображается, как проиллюстрировано в части (A) по фиг. 21. Когда индекс скорости транспортного средства изменяется с 1 на 2, изображение представления на основе захваченного изображения отображается таким же образом, но, как проиллюстрировано в части (B) по фиг. 21, изображение представления отображается таким образом, что правая и левая концевые части маскируются посредством процесса маскирования по сравнению со случаем, в котором индекс скорости транспортного средства равен 1. Когда индекс скорости транспортного средства дополнительно изменяется с 2 на 3, во-первых, как проиллюстрировано в части (C) по фиг. 21, переключающее изображение отображается, и процесс переключения изображений выполняется. Затем, как проиллюстрировано в части (D) по фиг. 21, изображение представления на основе обзорного изображения отображается. Когда индекс скорости транспортного средства изменяется с 3 на 4, как проиллюстрировано в части (E) по фиг. 21, изображение представления на основе обзорного изображения с большим углом снижения представляется. Когда индекс скорости транспортного средства изменяется с 4 на 5, как проиллюстрировано в части (F) по фиг. 21, изображение представления на основе обзорного изображения с наибольшим углом снижения представляется. Также, когда индекс скорости транспортного средства уменьшается, изображение представления отображается в соответствии с каждым индексом скорости транспортного средства, и когда индекс скорости транспортного средства изменяется с 3 на 2, переключающее изображение отображается, и процесс переключения изображений выполняется.

[0081] Изображение представления может переходить в соответствии с индексом скорости транспортного средства только тогда, когда выполняется управление автоматизированным вождением. В этом случае, когда управление автоматизированным вождением отменяется, изображение представления переходит к изображению представления, проиллюстрированному в части (D) по фиг. 21, независимо от индекса скорости транспортного средства, и изображение представления, проиллюстрированное в части (D) по фиг. 21, представляется до тех пор, пока не возобновится управление автоматизированным вождением.

[0082] Как описано выше, устройство 100 представления информации согласно одному или более вариантов осуществления настоящего изобретения отображает изображение представления на основе захваченного изображения, когда индекс скорости транспортного средства является низким, и отображает изображение представления на основе обзорного изображения, когда индекс скорости транспортного средства является высоким. Когда индекс скорости транспортного средства является низким, рассматриваемое транспортное средство может двигаться на относительно низкой скорости на автомобильной парковке, общей муниципальной дороге и т.п., и определенное число пешеходов, велосипедов, светофоров и т.д. зачастую существуют рядом с рассматриваемым транспортным средством. В таком случае, помехи, такие как пешеходы, велосипеды и светофоры, представляются в фактическом захваченном изображении, и водитель в силу этого может надлежащим образом воспринимать то, могут или нет помехи, такие как пешеходы, велосипеды и светофоры, обнаруживаться, по сравнению с обзорным изображением. Случай, в котором скорость движения рассматриваемого транспортного средства является высокой, представляет окружение, в котором рассматриваемое транспортное средство движется на общей дороге или скоростной автомагистрали, и другие движущиеся транспортные средства зачастую существуют рядом с рассматриваемым транспортным средством. В таком случае, изображение представления на основе обзорного изображения может отображаться, чтобы за счет этого обеспечивать возможность водителю надлежащим образом воспринимать состояние движения других транспортных средств рядом с рассматриваемым транспортным средством. В частности, в одном или более вариантов осуществления настоящего изобретения, обзорное изображение подготавливается посредством рендеринга, к примеру, с использованием компьютерной графики. Таким образом, по сравнению со случаем захваченного изображения, состояние движения других транспортных средств рядом с рассматриваемым транспортным средством может отображаться на одном экране, и информация относительно объектов, которые должны отображаться на экране, может сужаться. Водитель в силу этого может надлежащим образом воспринимать информацию относительно других объектов, движущихся рядом с рассматриваемым транспортным средством, которая требуется водителю.

[0083] В одном или более вариантов осуществления настоящего изобретения, индекс скорости транспортного средства задается более низким по мере того, как скорость V движения рассматриваемого транспортного средства является более низкой, в то время как индекс скорости транспортного средства задается более высоким по мере того, как скорость V движения рассматриваемого транспортного средства является более высокой. Помимо этого или альтернативно, индекс скорости транспортного средства задается более низким по мере того, как передаточное отношение трансмиссии является более высоким, в то время как индекс скорости транспортного средства задается более высоким по мере того, как передаточное отношение трансмиссии является более низким. Аналогично, когда тип дороги и ограничение Vr скорости дороги, по которой движется рассматриваемое транспортное средство, расстояние D от рассматриваемого транспортного средства до объекта или окружение движения рассматриваемого транспортного средства представляет состояние движения, которое оценивается в окружении, в котором определенное число пешеходов, велосипедов, светофоров и т.д. существуют рядом с рассматриваемым транспортным средством, и рассматриваемое транспортное средство движется на относительно низкой скорости, индекс скорости транспортного средства задается более низким. С другой стороны, когда тип дороги и ограничение Vr скорости дороги, по которой движется рассматриваемое транспортное средство, расстояние D от рассматриваемого транспортного средства до объекта или окружение движения рассматриваемого транспортного средства представляет состояние движения, которое оценивается в окружении, в котором определенное число других транспортных средств существуют рядом с рассматриваемым транспортным средством, и рассматриваемое транспортное средство движется на относительно высокой скорости, индекс скорости транспортного средства задается более высоким. Посредством вышеуказанного задания, когда индекс скорости транспортного средства является низким, изображение представления может представляться на основе захваченного изображения, подходящего для окружения, в котором определенное число пешеходов, велосипедов, светофоров и т.д. существуют рядом с рассматриваемым транспортным средством. Кроме того, когда индекс скорости транспортного средства является высоким, изображение представления может представляться на основе обзорного изображения, подходящего для окружения, в котором определенное число других транспортных средств существуют рядом с рассматриваемым транспортным средством.

[0084] В одном или более вариантов осуществления настоящего изобретения, когда изображение представления на основе захваченного изображения представляется, процесс маскирования выполняется для правой и левой концевых частей захваченного изображения с увеличенной шириной d маски по мере того, как скорость V движения рассматриваемого транспортного средства является более высокой. Известно, что поле зрения водителя сужается по мере того, как скорость V движения рассматриваемого транспортного средства увеличивается. В одном или более вариантов осуществления настоящего изобретения, процесс маскирования выполняется с увеличенной шириной d маски по мере того, как скорость V движения рассматриваемого транспортного средства является более высокой, так что взаимосвязь между скоростью V движения рассматриваемого транспортного средства и размером захваченного изображения совпадает со взаимосвязью между скоростью V движения рассматриваемого транспортного средства и полем зрения водителя, и некомфортное ощущение, возникающее у водителя, в силу этого может уменьшаться. Помимо этого, по мере того, как скорость V движения рассматриваемого транспортного средства увеличивается, скорость, с которой пейзаж протекает назад в правой и левой концевых частях захваченного изображения (оптический поток), увеличивается, чтобы размывать изображение в правой и левой концевых частях. В одном или более вариантов осуществления настоящего изобретения, по мере того, как скорость движения рассматриваемого транспортного средства увеличивается, правая и левая концевые части захваченного изображения могут маскироваться, чтобы за счет этого уменьшать некомфортное ощущение, возникающее у водителя вследствие такой размытости изображения.

[0085] Чтобы согласовывать взаимосвязь между скоростью V движения рассматриваемого транспортного средства и полем зрения водителя, если изображение представления, которое должно представляться водителю, уменьшается по мере того, как скорость V движения рассматриваемого транспортного средства увеличивается, информация относительно объекта не может надлежащим образом представляться водителю. Кроме того, когда скорость V движения рассматриваемого транспортного средства является высокой, считается, что этот случай представляет окружение, в котором другие транспортные средства, движущиеся по идентичной дороге для рассматриваемого транспортного средства, существуют рядом с рассматриваемым транспортным средством, а не окружение, в котором пешеходы и велосипеды передвигаются рядом с рассматриваемым транспортным средством. В таком случае, позиционные взаимосвязи между рассматриваемым транспортным средством и другими транспортными средствами являются важными. Следовательно, в одном или более вариантов осуществления настоящего изобретения, когда индекс скорости транспортного средства равен 3 или выше, изображение представления на основе обзорного изображения представляется. Это может уменьшать некомфортное ощущение, возникающее у водителя, даже когда взаимосвязь между скоростью V движения рассматриваемого транспортного средства и полем зрения водителя не согласуется, поскольку изображение представления на основе обзорного изображения значительно отличается от изображения, просматриваемого с точки зрения водителя. Кроме того, информация относительно других транспортных средств, движущихся рядом с рассматриваемым транспортным средством, которая является важной, когда скорость V движения рассматриваемого транспортного средства является высокой, может надлежащим образом представляться водителю.

[0086] В одном или более вариантов осуществления настоящего изобретения, когда изображение представления на основе захваченного изображения представляется, как проиллюстрировано в частях (A) и (B) по фиг. 7, изображение капота, имитирующее капот рассматриваемого транспортного средства, накладывается и отображается. Это обеспечивает возможность водителю интуитивно воспринимать, что захваченное изображение представляет собой изображение, захваченное впереди рассматриваемого транспортного средства. В одном или более вариантов осуществления настоящего изобретения, длина изображения капота в вертикальном направлении (направлении по оси Х) увеличивается по мере того, как скорость V движения рассматриваемого транспортного средства или индекс скорости транспортного средства является более высокой. Это обеспечивает возможность получения визуального эффекта таким образом, что капот рассматриваемого транспортного средства просматривается с более высоким углом по мере того, как скорость V движения рассматриваемого транспортного средства является более высокой. Как результат, некомфортное ощущение, возникающее у водителя вследствие изменения угла, может уменьшаться, даже когда рассматриваемое транспортное средство затем ускоряется, и изображение представления на основе захваченного изображения изменяется на изображение представления на основе обзорного изображения, чтобы за счет этого изменять угол изображения представления таким образом, что рассматриваемое транспортное средство просматривается еще более сверху, поскольку угол изменяется в соответствии со скоростью V движения рассматриваемого транспортного средства до того, как представляется изображение представления на основе обзорного изображения.

[0087] В одном или более вариантов осуществления настоящего изобретения, камера 110, которая захватывает изображения впереди рассматриваемого транспортного средства, включает в себя короткофокусную камеру (камеру типа "рыбий глаз"), подходящую для захвата изображений объектов, существующих на коротких расстояниях от рассматриваемого транспортного средства, среднефокусную камеру, подходящую для захвата изображений объектов, существующих на средних расстояниях от рассматриваемого транспортного средства, и длиннофокусную камеру, подходящую для захвата изображений объектов, существующих на больших расстояниях от рассматриваемого транспортного средства. Когда индекс скорости транспортного средства является низким, изображение представления формируется на основе захваченного изображения, захваченного посредством короткофокусной камеры, тогда как, когда индекс скорости транспортного средства является высоким, изображение представления формируется на основе захваченного изображения, захваченного посредством среднефокусной камеры. Таким образом, когда индекс скорости транспортного средства является низким, пешеходы, велосипеды и т.д., передвигающиеся около рассматриваемого транспортного средства, могут надлежащим образом обнаруживаться, а когда индекс скорости транспортного средства является высоким, велосипеды, мотоциклы, и т.д. движущиеся впереди рассматриваемого транспортного средства, могут надлежащим образом обнаруживаться.

[0088] В одном или более вариантов осуществления настоящего изобретения, когда изображение представления на основе захваченного изображения представляется, обнаруженные объекты, обнаруженные посредством камеры 110 и/или датчика 120 дальности, отображаются с помощью выделения. Это обеспечивает возможность водителю надлежащим образом воспринимать обнаруженные объекты, которые обнаруживает устройство 100 представления информации. В одном или более вариантов осуществления настоящего изобретения, объект управления, предназначенный для управления автоматизированным вождением, отображается с помощью выделения в форме для отображения, отличающейся от формы для отображения других обнаруженных объектов. Это обеспечивает возможность водителю надлежащим образом воспринимать объект управления, предназначенный для управления автоматизированным вождением. В одном или более вариантов осуществления настоящего изобретения, информация расстояния от рассматриваемого транспортного средства до обнаруженных объектов (включающих в себя объект управления) накладывается на обнаруженные объекты и отображается. Это обеспечивает возможность водителю надлежащим образом воспринимать расстояния от рассматриваемого транспортного средства до обнаруженных объектов.

[0089] В одном или более вариантов осуществления настоящего изобретения, когда изображение представления на основе обзорного изображения представляется, обзорное изображение подготавливается посредством рендеринга с различным углом снижения в соответствии с индексом скорости транспортного средства. В частности, по мере того, как индекс скорости транспортного средства является более высоким, обзорное изображение с большим углом снижения подготавливается посредством рендеринга, чтобы получать визуальный эффект таким образом, что рассматриваемое транспортное средство просматривается еще более сверху. Через эту операцию, как проиллюстрировано в частях (A)-(F) по фиг. 14, по мере того, как скорость рассматриваемого транспортного средства является более высокой, более широкая область рядом с рассматриваемым транспортным средством отображается, и водителю может представляться состояние движения других транспортных средств, движущихся рядом с рассматриваемым транспортным средством. Как результат, даже когда скорость движения рассматриваемого транспортного средства является средней скоростью, или рассматриваемое транспортное средство движется на высокой скорости, другое транспортное средство, приближающееся к рассматриваемому транспортному средству, может надлежащим образом представляться водителю до того, как рассматриваемое транспортное средство и другое транспортное средство подъезжают вплотную друг к другу. Например, когда рассматриваемое транспортное средство движется на высокой скорости, другое транспортное средство имеет тенденцию приближаться к рассматриваемому транспортному средству на большей скорости по сравнению со случаем, в котором рассматриваемое транспортное средство движется на низкой скорости. Даже в таком случае, более широкая область рядом с рассматриваемым транспортным средством может отображаться, чтобы за счет этого представлять другое транспортное средство, приближающееся к рассматриваемому транспортному средству на высокой скорости, водителю раньше (до того, как другое транспортное средство приближается к рассматриваемому транспортному средству).

[0090] В одном или более вариантов осуществления настоящего изобретения, когда изображение представления на основе обзорного изображения представляется, обнаруженные объекты, обнаруженные посредством камеры 110 и/или датчика 120 дальности, размещаются в позициях в обзорном изображении, соответствующих фактическим позиционным взаимосвязям между рассматриваемым транспортным средством и обнаруженными объектами. Это обеспечивает возможность водителю надлежащим образом воспринимать позиции, в которых объекты, обнаруженные посредством устройства 100 представления информации, движутся рядом с рассматриваемым транспортным средством. В одном или более вариантов осуществления настоящего изобретения, объект управления, предназначенный для управления автоматизированным вождением, отображается с помощью выделения. Это обеспечивает возможность водителю воспринимать объект управления, предназначенный для управления автоматизированным вождением. В одном или более вариантов осуществления настоящего изобретения, направляющие линии расстояния, предполагающие расстояния от рассматриваемого транспортного средства до обнаруженных объектов, накладываются на обзорное изображение и отображаются. Это обеспечивает возможность водителю надлежащим образом воспринимать расстояния от рассматриваемого транспортного средства до обнаруженных объектов.

[0091] В одном или более вариантов осуществления настоящего изобретения, когда изображение представления на основе захваченного изображения и изображение представления на основе обзорного изображения переключаются, представляется переключающее изображение, которое представляет переход от изображения представления на основе захваченного изображения к изображению представления на основе обзорного изображения или переход от изображения представления на основе обзорного изображения к изображению представления на основе захваченного изображения. Это может уменьшать некомфортное ощущение, возникающее у водителя вследствие переключения с изображения представления на основе захваченного изображения, которое находится близко к изображению, просматриваемому с точки зрения водителя, на изображение представления на основе обзорного изображения, которое отличается от изображения, просматриваемого с точки зрения водителя. Аналогично, также можно уменьшать некомфортное ощущение, возникающее у водителя вследствие переключения с изображения представления на основе обзорного изображения, которое отличается от изображения, просматриваемого с точки зрения водителя, на изображение представления на основе захваченного изображения, которое находится близко к изображению, просматриваемому с точки зрения водителя. В частности, в одном или более вариантов осуществления настоящего изобретения, переключение между изображением представления на основе захваченного изображения и изображением представления на основе обзорного изображения может непрерывно отображаться в качестве анимации, чтобы за счет этого больше уменьшать некомфортное ощущение, возникающее у водителя. В одном или более вариантов осуществления настоящего изобретения, по мере того, как ускорение рассматриваемого транспортного средства является более высоким, время переключения (период времени, в течение которого представляется переключающее изображение) сокращается (скорость анимации увеличивается), так что операция переключения между изображениями представления выполняется в ассоциации с ускорением рассматриваемого транспортного средства, и водитель в силу этого может ощущать единство с рассматриваемым транспортным средством.

[0092] Варианты осуществления, поясненные выше, описываются для того, чтобы упрощать понимание настоящего изобретения, а не для того, чтобы ограничивать настоящее изобретение. Следовательно, подразумевается, что элементы, раскрытые в вышеописанных вариантах осуществления, включают в себя все конструктивные модификации и эквиваленты, которые попадают в пределы объема настоящего изобретения.

[0093] Например, в вышеописанных вариантах осуществления, примерно иллюстрируется конфигурация, в которой индекс скорости транспортного средства вычисляется на основе любого из скорости V движения рассматриваемого транспортного средства, передаточного отношения трансмиссии, типа дороги для дороги, по которой движется рассматриваемое транспортное средство, предельной скорости Vr дороги, по которой движется рассматриваемое транспортное средство, расстояния D от рассматриваемого транспортного средства до объекта и окружения движения рассматриваемого транспортного средства, и изображения представления переключаются на основе индекса вычисленной скорости транспортного средства, но настоящее изобретение не ограничено этой конфигурацией, и также может использоваться другая конфигурация, в которой, например, изображения представления переключаются непосредственно на основе скорости V движения, передаточного отношения трансмиссии, типа дороги, ограничения Vr скорости, расстояния D до объекта или окружения движения рассматриваемого транспортного средства без вычисления индекса скорости транспортного средства.

[0094] В вышеописанных вариантах осуществления, примерно иллюстрируется конфигурация, в которой когда изображение представления на основе захваченного изображения отображается, процесс маскирования выполняется для правой и левой концевых частей захваченного изображения на основе скорости V движения рассматриваемого транспортного средства или индекса скорости транспортного средства, но эта конфигурация может быть дополнительно модифицирована таким образом, что процесс маскирования выполняется для верхней и нижней концевых частей захваченного изображения на основе скорости V движения рассматриваемого транспортного средства или индекса скорости транспортного средства.

[0095] В вышеописанных вариантах осуществления, камера 110 соответствует камере в настоящем изобретении, и камера 110 и датчик 120 дальности соответствуют детектору в настоящем изобретении.

Описание ссылочных обозначений

[0096] 100 - устройство представления информации

110 - камера

120 - датчик дальности

130 - датчик скорости транспортного средства

140 - навигационное устройство

150 - дисплей

160 - устройство выдачи уведомлений

170 - устройство управления.

Изобретение относится к способу и устройству управления отображением для выполнения управления отображением информации по обнаружению объектов. Выполняют управление отображением информации по обнаружению объекта, обнаруженного посредством детектора, включающего в себя камеру. Информация по обнаружению включает первое изображение на основе захваченного изображения, захваченного посредством камеры, и второе изображение на основе изображения, подготовленного посредством рендеринга на основе результата обнаружения детектора. Отображают первое изображение, когда скорость движения транспортного средства ниже предварительно определенной скорости. Отображают второе изображение, когда скорость движения транспортного средства не ниже предварительно определенной скорости. Достоверно отображается информация по обнаружению объекта. 3 н. и 19 з.п. ф-лы, 21 ил.

1. Способ управления отображением, содержащий этапы, на которых:

- выполняют управление отображением информации по обнаружению объекта, обнаруженного посредством детектора, включающего в себя камеру, причем информация по обнаружению включает в себя первое изображение на основе захваченного изображения, захваченного посредством камеры, и второе изображение на основе изображения, подготовленного посредством рендеринга на основе результата обнаружения детектора;

- отображают первое изображение, когда скорость движения транспортного средства ниже предварительно определенной скорости; и

- отображают второе изображение, когда скорость движения транспортного средства не ниже предварительно определенной скорости.

2. Способ управления отображением, содержащий этапы, на которых:

- выполняют управление отображением информации по обнаружению объекта, обнаруженного посредством детектора, включающего в себя камеру, причем информация по обнаружению включает в себя первое изображение на основе захваченного изображения, захваченного посредством камеры, и второе изображение на основе изображения, подготовленного посредством рендеринга на основе результата обнаружения детектора;

- отображают первое изображение, когда индекс скорости транспортного средства представляет скорость транспортного средства ниже предварительно определенной скорости, причем индекс скорости транспортного средства представляет собой любое из скорости движения транспортного средства, передаточного отношения трансмиссии, ограничения скорости дороги, по которой движется транспортное средство, расстояния от транспортного средства до объекта и окружения движения транспортного средства, причем окружение движения включает в себя окружение остановки, окружение очень медленного движения, окружение параллельного велосипедного движения, окружение городского движения, окружение пригородного движения и окружение высокоскоростного движения; и

- отображают второе изображение, когда индекс скорости транспортного средства представляет скорость движения, равную или выше предварительно определенной скорости.

3. Способ управления отображением по п. 2, в котором:

- индекс скорости транспортного средства представляет собой передаточное отношение трансмиссии,

- первое изображение отображают, когда передаточное отношение не ниже предварительно определенного значения, и

- второе изображение отображают, когда передаточное отношение ниже предварительно определенного значения.

4. Способ управления отображением по п. 2, в котором:

- индекс скорости транспортного средства представляет собой скорость движения транспортного средства,

- первое изображение отображают, когда скорость движения ниже предварительно определенной скорости, и

- второе изображение отображают, когда скорость движения не ниже предварительно определенной скорости.

5. Способ управления отображением по п. 2, в котором:

- индекс скорости транспортного средства представляет собой ограничение скорости дороги, по которой движется транспортное средство,

- первое изображение отображают, когда ограничение скорости ниже предварительно определенной скорости, и

- второе изображение отображают, когда ограничение скорости не ниже предварительно определенной скорости.

6. Способ управления отображением по п. 2, в котором:

- индекс скорости транспортного средства представляет собой расстояние от транспортного средства до объекта,

- первое изображение отображают, когда расстояние меньше предварительно определенного расстояния, и

- второе изображение отображают, когда расстояние не меньше предварительно определенного расстояния.

7. Способ управления отображением по п. 2, в котором:

- индекс скорости транспортного средства представляет собой окружение движения транспортного средства,

- окружение движения транспортного средства определяют на основе состояния движения транспортного средства, и

- первое изображение и второе изображение переключают и отображают на основе окружения движения транспортного средства.

8. Способ управления отображением по любому из пп. 2-7, в котором:

- когда отображают первое изображение, выполняют процесс маскирования для концевой части первого изображения с шириной в соответствии со скоростью движения транспортного средства или индексом скорости транспортного средства.

9. Способ управления отображением по любому из пп. 2-7, в котором:

- когда отображают первое изображение, накладывают изображение капота, имитирующее капот транспортного средства, на первое изображение.

10. Способ управления отображением по п. 9, в котором:

- размер или форму изображения капота, которое должно накладываться на первое изображение, изменяют в соответствии со скоростью движения транспортного средства или индексом скорости транспортного средства.

11. Способ управления отображением по любому из пп. 2-7, в котором:

- камера содержит множество камер, захваченное изображение содержит множество захваченных изображений, получают захваченные изображения, захваченные посредством камер, и из числа захваченных изображений, захваченных посредством камер, выбирают захваченное изображение, используемое для формирования первого изображения.

12. Способ управления отображением по любому из пп. 2-7, в котором:

- объект, обнаруженный посредством детектора, отображают с помощью выделения в первом изображении.

13. Способ управления отображением по любому из пп. 2-7, в котором:

- объект содержит множество объектов, обнаруженных посредством детектора, и когда управление движением транспортного средства выполняют с одним или более целевыми объектами из обнаруженных объектов, отображают упомянутые один или более целевые объекты для управления в первом изображении с помощью выделения в форме для отображения, отличающейся от формы для отображения объектов, которые не являются целевыми.

14. Способ управления отображением по любому из пп. 2-7, в котором:

- когда отображают первое изображение, накладывают информацию расстояния, которая предполагает расстояние от транспортного средства до объекта, на первое изображение.

15. Способ управления отображением по любому из пп. 2-7, в котором:

- второе изображение представляет собой изображение на основе обзорного изображения, в котором рассматриваемое транспортное средство просматривается сверху.

16. Способ управления отображением по п. 15, в котором:

- когда отображают второе изображение, второе изображение отображают с различным углом снижения в соответствии с индексом скорости транспортного средства.

17. Способ управления отображением по любому из пп. 2-7, в котором:

- когда отображают второе изображение, объект, обнаруженный посредством детектора, размещают во втором изображении.

18. Способ управления отображением по любому из пп. 2-7, в котором:

- объект содержит множество объектов, обнаруженных посредством детектора, и когда управление движением транспортного средства выполняют с одним или более целевыми объектами из обнаруженных объектов, отображают упомянутые один или более целевые объекты для управления во втором изображении с помощью выделения.

19. Способ управления отображением по любому из пп. 2-7, в котором:

- когда отображают второе изображение, накладывают на второе изображение информацию расстояния, которая предполагает расстояние от транспортного средства до объекта.

20. Способ управления отображением по любому из пп. 2-7, в котором:

- когда первое изображение и второе изображение переключают, отображают переключающее изображение, представляющее переход от первого изображения ко второму изображению или переход от второго изображения к первому изображению.

21. Способ управления отображением по п. 20, в котором:

- время переключения между первым изображением и вторым изображением изменяют на основе ускорения транспортного средства.

22. Устройство управления отображением для выполнения управления отображением информации по обнаружению объекта, обнаруженного посредством детектора, включающего в себя камеру, в котором:

- информация по обнаружению включает в себя первое изображение на основе захваченного изображения, захваченного посредством камеры, и второе изображение на основе изображения, подготовленного посредством рендеринга на основе результата обнаружения детектора,

- первое изображение отображается, когда скорость движения транспортного средства ниже предварительно определенной скорости, и

- второе изображение отображается, когда скорость движения транспортного средства не ниже предварительно определенной скорости.