ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к устройству обнаружения трехмерных объектов и к способу обнаружения трехмерных объектов.
Данная заявка испрашивает приоритет японской заявки на патент № 2012-166496, поданной 27 июля 2012 года, и в указанных государствах, которые признают включение документа по ссылке, содержимое, описанное в вышеуказанной заявке, содержится в данном документе по ссылке и считается частью описания настоящей заявки.
УРОВЕНЬ ТЕХНИКИ
[0002] С точки зрения использования одной камеры для того, чтобы отслеживать окрестность транспортного средства и обнаруживать капли дождя, известны устройства мониторинга транспортного средства, которые отслеживают окрестность транспортного средства на основе изображений, захваченных посредством камеры, содержащей линзу, допускающую захват изображений с первым фокусным расстоянием для небольших расстояний, с тем чтобы захватывать капли дождя, прилипающие к транспортному средству, и захват изображений со вторым фокусным расстоянием для больших расстояний, с тем чтобы захватывать окрестность транспортного средства (см. патентный документ 1).
ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ
ПАТЕНТНЫЕ ДОКУМЕНТЫ
[0003] Патентный документ 1. Выложенная японская заявка на патент № 2005-225250
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ПРОБЛЕМЫ, РАЗРЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ
[0004] С точки зрения сокращения затрат в предшествующем уровне техники мониторинг окрестности транспортного средства и обнаружение капель дождя выполняются посредством одной камеры, но, когда фокусное расстояние становится небольшим, и обнаруживаются капли дождя, не может выполняться обнаружение других транспортных средств, присутствующих в окрестности транспортного средства. Это создает такую проблему, что снижается точность обнаружения других транспортных средств.
[0005] Настоящее изобретение разрешает проблему предоставления устройства обнаружения трехмерных объектов, которое может обнаруживать другое транспортное средство, движущееся в смежной полосе движения, с высокой точностью без создания времени необнаружения посредством непрерывного управления обнаружением трехмерных объектов без прерывания в соответствии со окружающей средой, даже во время дождливой погоды в случаях, если струя дождевой воды, которая разбрызгивается посредством рассматриваемого (ведущего) транспортного средства, прилипла к линзе, или в случаях, если свет отражается посредством лужи на поверхности дороги, при обнаружении других транспортных средств, движущихся в смежной полосе движения, рядом с полосой движения рассматриваемого транспортного средства, на основе информации форм разностных сигналов или информации краев.
СРЕДСТВО ДЛЯ РАЗРЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ
[0006] Настоящее изобретение разрешает вышеуказанную проблему посредством изменения диапазона настроек, который является пороговым значением скорости движения, применяемым при оценке того, представляет собой или нет трехмерный объект другое транспортное средство, таким образом, чтобы он был более узким, в случае, если обнаруживается состояние дождя, включающее в себя дождь, или в случае, если водяная пленка формируется на поверхности дороги вследствие дождя.
ПРЕИМУЩЕСТВО ИЗОБРЕТЕНИЯ
[0007] В настоящем изобретении во время дождливой погоды, в которой возникает состояние, в котором струя дождевой воды, которая разбрызгивается посредством рассматриваемого транспортного средства, прилипла к линзе, или свет отражается посредством лужи на поверхности дороги, изменяется диапазон настроек, который является пороговым значением скорости движения, применяемым при оценке того, представляет собой или нет трехмерный объект другое транспортное средство, таким образом, чтобы он был более узким, и, следовательно, может предотвращаться ошибочное обнаружение дождевой воды, прилипающей к линзе, или изображения, отражаемого посредством лужи, в качестве изображения другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства. Как результат, может предоставляться устройство обнаружения трехмерных объектов, которое обнаруживает с высокой точностью другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0008] Фиг. 1 является схематичным видом транспортного средства согласно варианту осуществления, к которому применяется устройство обнаружения трехмерных объектов настоящего изобретения.
Фиг. 2 является видом сверху, иллюстрирующим состояние движения транспортного средства на фиг. 1 (обнаружение трехмерных объектов с использованием информации формы разностного сигнала).
Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера по фиг. 1.
Фиг. 4 является видом для описания общего представления обработки модуля совмещения на фиг. 3 Фиг. 4(a) является видом сверху, иллюстрирующим состояние движения транспортного средства, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.
Фиг. 5 является схематичным видом, иллюстрирующим способ, которым генерируется форма разностного сигнала посредством модуля обнаружения трехмерных объектов по фиг. 3.
Фиг. 6 является видом, иллюстрирующим небольшие области, разделенные посредством модуля обнаружения трехмерных объектов по фиг. 3.
Фиг. 7 является видом, иллюстрирующим пример гистограммы, получаемой посредством модуля обнаружения трехмерных объектов по фиг. 3.
Фиг. 8 является видом, иллюстрирующим взвешивание посредством модуля обнаружения трехмерных объектов по фиг. 3.
Фиг. 9 является видом, иллюстрирующим обработку посредством модуля обнаружения размытостей по фиг. 3 и обработку посредством него для того, чтобы вычислять форму разностного сигнала.
Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной из модуля обнаружения трехмерных объектов по фиг. 3.
Фиг. 11 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация формы разностного сигнала, причем способ осуществляется посредством модуля преобразования точки обзора, модуля совмещения и модуля обнаружения размытостей по фиг. 3.
Фиг. 12 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация формы разностного сигнала, причем способ осуществляется посредством модуля преобразования точки обзора, модуля совмещения и модуля обнаружения размытостей по фиг. 3.
Фиг. 13 являются видами, иллюстрирующими состояние движения транспортного средства по фиг. 1 (обнаружение трехмерных объектов с использованием информации краев). Фиг. 13(a) является видом сверху, иллюстрирующим позиционную взаимосвязь областей обнаружения и т.п., а фиг. 13(b) является видом в перспективе, иллюстрирующим позиционную взаимосвязь областей обнаружения и т.п. в реальном пространстве.
Фиг. 14 является видом для описания работы модуля вычисления яркостного различия. Фиг. 14(a) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида «с высоты птичьего полета», а фиг. 14(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в реальном пространстве.
Фиг. 15 является видом для описания подробной работы модуля вычисления яркостного различия; фиг. 15(a) является видом, иллюстрирующим область обнаружения в изображении вида «с высоты птичьего полета», а фиг. 15(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в изображении вида «с высоты птичьего полета».
Фиг. 16 является видом, иллюстрирующим линию края и распределение яркости на линии края. Фиг. 16(a) является видом, иллюстрирующим распределение яркости, когда трехмерный объект (транспортное средство) присутствует в области обнаружения, а фиг. 16(b) является видом, иллюстрирующим распределение яркости, когда трехмерный объект не присутствует в области обнаружения.
Фиг. 17 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация краев, причем способ осуществляется посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов по фиг. 3.
Фиг. 18 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей способ обнаружения трехмерных объектов, в котором используется информация краев, причем способ осуществляется посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов по фиг. 3.
Фиг. 19 является видом, иллюстрирующим пример изображения для описания операции обнаружения краев.
Фиг. 20 является видом, иллюстрирующим пример информации изображений, захватываемой во время дождя.
Фиг. 21A является первой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.
Фиг. 21B является видом для описания способа для задания порогового значения скорости движения.
Фиг. 21C является второй блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.
Фиг. 21D является видом для описания способа для задания числа обнаружений в течение предварительно определенного времени.
Фиг. 22 является третьей блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.
Фиг. 23 является четвертой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, которая соответствует результату обнаружения состояния дождя.
Фиг. 24 является видом для описания обработки для того, чтобы сужать область обнаружения.
Фиг. 25 является видом, иллюстрирующим пример состояния области обнаружения, когда грязь прилипла к линзе.
Фиг. 26 является видом для описания примера информации краев, когда транспортное средство присутствует в области обнаружения.
Фиг. 27 является видом для описания примера информации краев, когда грязь прилипла к линзе.
Фиг. 28 является первой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления при оценке того, прилипла или нет грязь к линзе.
Фиг. 29A является первым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе длин краев.
Фиг. 29B является вторым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе длин краев.
Фиг. 30A является первым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе числа инверсий краев.
Фиг. 30B является вторым видом для описания способа для оценки того, прилипла или нет грязь к линзе, на основе числа инверсий краев.
Фиг. 31 является второй блок-схемой последовательности операций способа, иллюстрирующей процедуру управления при оценке того, прилипла или нет грязь к линзе.
Фиг. 32A является видом для описания способа для задания порогового значения скорости движения.
Фиг. 32B является видом для описания способа для задания числа обнаружений в течение предварительно определенного времени.
Фиг. 33 является первой блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки трехмерных объектов, когда вещество плотно прилипло к линзе.
ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
[0009] Фиг. 1 является схематичным видом транспортного средства согласно варианту осуществления, к которому применяется устройство 1 обнаружения трехмерных объектов согласно настоящему изобретению. Устройство 1 обнаружения трехмерных объектов согласно настоящему примеру представляет собой устройство для обнаружения, в качестве помехи, другого транспортного средства, на которое должен обращать внимание водитель рассматриваемого транспортного средства в процессе вождения, такое как, например, другое транспортное средство, которое может вступать в контакт, когда рассматриваемое транспортное средство V сменяет полосу движения. В частности, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру обнаруживает другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство (далее также просто называемой "смежной полосой движения"). Дополнительно, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру может вычислять проезжаемое расстояние и скорость движения обнаруженного другого транспортного средства. Следовательно, пример, описанный ниже, является примером, в котором устройство 1 обнаружения трехмерных объектов монтируется на рассматриваемом транспортном средстве V, и из числа трехмерных объектов, обнаруженных в окрестности рассматриваемого транспортного средства, обнаруживается другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V. Как проиллюстрировано на чертеже, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру содержит камеру 10, датчик 20 скорости транспортного средства, компьютер 30, датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70, содержащее устройство 71 связи и GPS-устройство 72.
[0010] Камера 10 присоединена к рассматриваемому транспортному средству V таким образом, что оптическая ось находится под углом θ вниз от горизонтали в местоположении на высоте h в задней части рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 1. Из этой позиции, камера 10 захватывает предварительно определенную область окружения рассматриваемого транспортного средства V. Камера 10 содержит линзу 11 для формирования изображения. В настоящем варианте осуществления, одна камера 10 предоставляется для обнаружения трехмерных объектов в задней части рассматриваемого транспортного средства V, но другие камеры для того, чтобы получать изображения окрестности транспортного средства, например, могут предоставляться для других вариантов применения. Датчик 20 скорости транспортного средства обнаруживает скорость движения рассматриваемого транспортного средства V и, например, вычисляет скорость транспортного средства из скорости вращения колес транспортного средства, обнаруженной посредством датчика скорости вращения колес для обнаружения скорости вращения колес транспортного средства. Компьютер 30 обнаруживает трехмерный объект позади транспортного средства и в настоящем примере вычисляет проезжаемое расстояние и скорость движения трехмерного объекта. Датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 обнаруживают информацию, связанную с дождем, и отправляют результаты обнаружения в модуль 41 обнаружения состояния дождя, описанный ниже.
[0011] Модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, включающее в себя то, идет или нет дождь, количество дождевых осадков, а также случаи, в которых водяная пленка формируется на поверхности дороги вследствие дождя. Модуль 41 обнаружения состояния дождя обнаруживает присутствие/отсутствие дождя на основе присутствия или отсутствия капель дождя или количества капель дождя, прилипающих к рассматриваемому транспортному средству V, обнаруженного посредством датчика 50 капель дождя, информации приведения в действие для стеклоочистителя 60, информации о погоде на участке движения, полученной через навигационное устройство 70, и т.п. Модуль 41 обнаружения состояния дождя обнаруживает количество дождевых осадков на участке движения рассматриваемого транспортного средства V на основе количества капель дождя, обнаруженных посредством датчика 50 капель дождя, скорости приведения в действие, периода приведения в действие или другой информации приведения в действие стеклоочистителя 60, количества дождевых осадков на участке движения, полученного через навигационное устройство 70, и т.п. Модуль 41 обнаружения состояния дождя может обнаруживать то, "формируется или нет водяная пленка на поверхности дороги вследствие дождя", на основе присутствия или отсутствия дождя и количества дождевых осадков и время от начала дождя. Настоящее обнаружение основано на оценке того, что если количество дождевых осадков равно или превышает предварительно определенное количество, и время, которое прошло с момента, когда закончился дождь, находится в пределах предварительно определенного времени, вероятность того, что водяная пленка формируется на поверхности дороги, является высокой. Например, когда количество капель дождя, обнаруженных посредством датчика 50 капель дождя, равно или превышает предварительно определенное количество, и время, которое прошло с момента, когда датчик 50 капель дождя обнаруживает то, что капли дождя не присутствуют, находится в пределах предварительно определенного времени, стеклоочиститель 60 приводится в действие с частотой, равной или превышающей предварительно определенное значение (период меньше предварительно определенного значения), и когда время, которое прошло с момента, когда завершено приведение в действие стеклоочистителя 60, находится в пределах предварительно определенного времени, и когда время, которое прошло от получения окончания дождя на участке движения посредством навигационного устройства 70, находится в пределах предварительно определенного времени, может обнаруживаться состояние дождя, в котором водяная пленка формируется на поверхности дороги вследствие дождя. Датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 могут составлять часть модуля 41 обнаружения состояния дождя. Каждое из устройств подробно описывается ниже.
[0012] Фиг. 2 является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V на фиг. 1. Как проиллюстрировано на чертеже, камера 10 захватывает заднюю часть транспортного средства под предварительно определенным углом a обзора. В это время, угол a обзора камеры 10 задается равным углу обзора, который обеспечивает возможность захвата левой и правой полос движения в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V. Область, которая может быть захвачена, представляет собой заднюю часть рассматриваемого транспортного средства V и включает в себя области A1, A2, которые должны быть обнаружены, в смежных полосах движения, которые являются смежными справа и слева относительно полосы движения рассматриваемого транспортного средства V. В настоящем варианте осуществления задняя часть транспортного средства включает в себя не только непосредственно заднюю часть транспортного средства, но также и заднюю сторону относительно транспортного средства. Область, захваченная позади транспортного средства, задается согласно углу обзора камеры 10. В качестве одного примера, когда непосредственно задняя часть транспортного средства вдоль направления длины транспортного средства становится равной нуль градусов, настройка может выполняться таким образом, чтобы включать в себя область, которая составляет от 0° до 90° справа и слева от направления непосредственно назад, а предпочтительно, от 0° до 70° и т.п.
[0013] Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера 30 по фиг. 1. На фиг. 3, камера 10, датчик 20 скорости транспортного средства, датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 также иллюстрируются, чтобы прояснять взаимосвязи соединений. Датчик 20 скорости транспортного средства, датчик 50 капель дождя, стеклоочиститель 60 и навигационное устройство 70 монтируются на транспортном средстве и могут передавать и принимать информацию в/из компьютера 30 через контроллерную локальную сеть (CAN) или другую бортовую сеть связи.
[0014] Как проиллюстрировано на фиг. 3, компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 совмещения, модуль 33 обнаружения трехмерных объектов, модуль 34 оценки трехмерных объектов, модуль 38 обнаружения посторонних веществ, модуль 41 обнаружения состояния дождя, контроллер 39 и модуль 40 обнаружения размытостей. Модуль 30 вычисления настоящего варианта осуществления имеет конфигурацию, связанную с блоком для обнаружения трехмерных объектов с использованием информации формы разностного сигнала. Модуль 30 вычисления настоящего варианта осуществления может иметь конфигурацию, связанную с блоком для обнаружения трехмерных объектов с использованием информации краев. В этом случае для конфигурации, проиллюстрированной на фиг. 3, блочная конфигурация A, сконфигурированная из модуля 32 совмещения и модуля 33 обнаружения трехмерных объектов, может быть заменена блочной конфигурацией B, обведенной посредством штрихпунктирной линии и сконфигурированной из модуля 35 вычисления яркостного различия, модуля 36 обнаружения линий краев и модуля 37 обнаружения трехмерных объектов. Как должно быть очевидным, как блочная конфигурация A, так и блочная конфигурация B могут предоставляться таким образом, что может выполняться как обнаружение трехмерных объектов с использованием информации формы разностного сигнала, так и обнаружение трехмерных объектов с использованием информации краев. Когда предоставляются как блочная конфигурация A, так и блочная конфигурация B, одна из блочной конфигурации A и блочной конфигурации B может быть задана с возможностью работать согласно, например, яркости или другим факторам окружающей среды. Ниже описывается каждая из конфигураций.
[0015] ОБНАРУЖЕНИЕ ТРЕХМЕРНЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИИ ФОРМЫ РАЗНОСТНОГО СИГНАЛА
Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает трехмерные объекты, присутствующие в правосторонней области обнаружения или в левосторонней области обнаружения позади транспортного средства, на основе информации изображений, полученной посредством однолинзовой камеры 1, которая захватывает заднюю часть транспортного средства.
[0016] Захваченные данные изображений предварительно определенной области, полученные посредством захвата, выполняемого посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, который преобразует точку обзора захваченных данных изображений, введенных таким способом, в данные изображений вида «с высоты птичьего полета», которые представляют собой состояние вида «с высоты птичьего полета». Состояние вида «с высоты птичьего полета» представляет собой состояние просмотра с точки зрения воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз. Преобразование точки обзора может быть выполнено способом, описанным, например, в выложенной японской заявке на патент № 2008-219063. Причина, по которой точка обзора захваченных данных изображений преобразуется в данные изображений вида «с высоты птичьего полета», основана на таком принципе, что вертикальные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, посредством преобразования точки обзора в данные изображений вида «с высоты птичьего полета», и использование этого принципа дает возможность различения плоского объекта и трехмерного объекта. Результат обработки преобразования изображений посредством модуля 31 преобразования точки обзора также используется при обнаружении трехмерных объектов с использованием информации краев, описанной ниже.
[0017] Данные изображений вида «с высоты птичьего полета», полученные посредством преобразования точки обзора, выполняемого посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, который совмещает позиции введенных данных изображений вида «с высоты птичьего полета» в различные моменты времени. Фиг. 4 является видом для описания общего представления обработки модуля 32 совмещения, фиг. 4(a) является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.
[0018] Как проиллюстрировано на фиг. 4(a), рассматриваемое транспортное средство V в данный момент времени размещается в V1, и рассматриваемое транспортное средство V за один момент времени до этого размещается в V2. Предполагается, что другое транспортное средство VX размещается в направлении с задней стороны рассматриваемого транспортного средства V и движется параллельно рассматриваемому транспортному средству V, и что другое транспортное средство VX в текущий момент времени размещается в V3, а другое транспортное средство VX за один момент времени до этого размещается в V4. Кроме того, предполагается, что рассматриваемое транспортное средство V проезжает расстояние d в течение одного момента времени. Фраза "за один момент времени до этого" может быть моментом времени в прошлом на время, определенное заранее (например, один цикл управления) с данного момента времени, либо может быть моментом времени в прошлом на произвольное время.
[0019] В этом состоянии, изображение PBt вида «с высоты птичьего полета» в текущий момент времени является таким, как показано на фиг. 4(b). Белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными в этом изображении PBt вида «с высоты птичьего полета» и являются относительно точными в виде сверху, но другое транспортное средство VX в позиции V3 сплющивается. То же применимо к изображению PBt-1 вида «с высоты птичьего полета» за один момент времени до этого; белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными в виде сверху, но другое транспортное средство VX в позиции V4 сплющивается. Как описано выше, это обусловлено тем, что вертикальные края трехмерного объекта (также включаются края, которые не располагаются вертикально прямо в трехмерном пространстве от поверхности дороги в строгом смысле вертикального края) выглядят как группа прямых линий вдоль направления сплющивания вследствие процесса для преобразования точки обзора в данные изображений вида «с высоты птичьего полета», но поскольку плоское изображение на поверхности дороги не включает в себя вертикальные края, такое сплющивание не возникает, даже когда точка обзора преобразована.
[0020] Модуль 32 совмещения совмещает изображения PBt и PBt-1 вида «с высоты птичьего полета», такие как изображения PBt и PBt-1, описанные выше, с точки зрения данных. Когда это выполняется, модуль 32 совмещения смещает изображение PBt-1 вида «с высоты птичьего полета» за один момент времени до этого и сопоставляет позицию с изображением PBt вида «с высоты птичьего полета» в данный момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения на проезжаемое расстояние d'. Величина d' смещения является величиной перемещения в данных изображений вида «с высоты птичьего полета», которая соответствует фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V, проиллюстрированного на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости транспортного средства и времени от одного момента времени до этого до данного момента времени.
[0021] После совмещения модуль 32 совмещения получает разность между изображениями PBt и PBt-1 вида «с высоты птичьего полета» и генерирует данные разностного изображения PDt. Пиксельные значения разностного изображения PDt могут быть абсолютными значениями разностей в пиксельных значениях изображений PBt и PBt-1 вида «с высоты птичьего полета» либо, для того чтобы соответствовать среде освещения, могут принимать значение 1, когда абсолютное значение превышает предварительно определенное пороговое значение p, и значение 0 в противном случае. Изображение справа на фиг. 4(b) представляет собой разностное изображение PDt. Пороговое значение p может задаваться заранее или может изменяться согласно команде управления, сгенерированной посредством контроллера 39, описанного ниже.
[0022] Возвращаясь к фиг. 3, модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе данных разностного изображения PDt, проиллюстрированных на фиг. 4(b). В этом случае модуль 33 обнаружения трехмерных объектов согласно настоящему примеру вычисляет проезжаемое расстояние трехмерного объекта в реальном пространстве. Модуль 33 обнаружения трехмерных объектов сначала генерирует форму разностного сигнала, когда обнаруживается трехмерный объект, и должно быть вычислено проезжаемое расстояние. Проезжаемое расстояние в единицу времени для трехмерного объекта используется при вычислении скорости движения трехмерного объекта. Скорость движения трехмерного объекта может быть использована при оценке того, представляет собой или нет трехмерный объект транспортное средство.
[0023] При генерировании формы разностного сигнала модуль 33 обнаружения трехмерных объектов согласно настоящему варианту осуществления задает область обнаружения в разностном изображении PDt. Устройство 1 обнаружения трехмерных объектов согласно настоящему примеру обнаруживает, в качестве объекта, который должен быть обнаружен, другое транспортное средство, на которое должен обращать внимание водитель рассматриваемого транспортного средства V, и в частности, другое транспортное средство, движущееся в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, и с которым может быть возможным контакт, когда рассматриваемое транспортное средство V сменяет полосу движения. Следовательно, в настоящем примере, в котором трехмерные объекты обнаруживаются на основе информации изображений, две области обнаружения задаются на левой стороне и на правой стороне рассматриваемого транспортного средства в изображениях, полученных посредством камеры 1. Более конкретно, в настоящем варианте осуществления прямоугольные области A1, A2 обнаружения задаются на левой стороне и на правой стороне позади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 2. Другое транспортное средство, обнаруженное в областях A1, A2 обнаружения, обнаруживается в качестве помехи, движущейся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V. Такие области A1, A2 обнаружения могут задаваться из позиций относительно рассматриваемого транспортного средства V или могут задаваться в отношении позиций белых линий дорожной разметки. Когда задано в отношении позиций белых линий дорожной разметки, устройство 1 обнаружения проезжаемого расстояния, например, может использовать известную технологию распознавания белых линий дорожной разметки.
[0024] Модуль 33 обнаружения трехмерных объектов распознает в качестве линий L1, L2 пересечения с землей (фиг. 2) границы областей A1, A2 обнаружения, заданные таким способом, на стороне рассматриваемого транспортного средства V (на стороне вдоль направления движения). В общем, линия пересечения с землей означает линию, в которой трехмерный объект находится в контакте с землей, но в настоящем варианте осуществления, линия пересечения с землей не представляет собой линию в контакте с землей, а вместо этого задается способом, описанным выше. Даже в таком случае, разность между линией пересечения с землей согласно настоящему варианту осуществления и исходной линией пересечения с землей, определенной из позиции другого транспортного средства VX, не является чрезвычайно большой, как определено посредством опыта, и фактически не представляет собой проблемы.
[0025] Фиг. 5 является схематичным видом, иллюстрирующим способ, которым генерируется форма разностного сигнала посредством модуля 33 обнаружения трехмерных объектов, проиллюстрированного на фиг. 3. Как проиллюстрировано на фиг. 5, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала из части, которая соответствует областям A1, A2 обнаружения в разностном изображении PDt (чертеж справа на фиг. 4(b)), вычисленном посредством модуля 32 совмещения. В этом случае, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала вдоль направления сплющивания трехмерного объекта посредством преобразования точки обзора. В примере, проиллюстрированном на фиг. 5, для удобства описана только область A1 обнаружения, но форма DWt разностного сигнала также генерируется для области A2 обнаружения с использованием идентичной процедуры.
[0026] Более конкретно, модуль 33 обнаружения трехмерных объектов задает линию La в направлении, в котором трехмерный объект сплющивается в данных разностного изображения DWt. Модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, указывающих предварительно определенную разность, на линии La. Когда пиксельные значения разностного изображения DWt являются абсолютными значениями разностей пиксельных значений в изображениях PBt, PBt-1 вида «с высоты птичьего полета», разностные пикселы DP, указывающие предварительно определенную разность, являются пикселами, превышающими предварительно определенное пороговое значение, а когда пиксельные значения разностного изображения DWt представляются посредством 0 и 1, разностные пикселы DP, указывающие предварительно определенную разность, являются пикселами, указывающими 1.
[0027] Модуль 33 обнаружения трехмерных объектов подсчитывает число разностных пикселов DP и после этого определяет точку CP пересечения линии La и линии L1 пересечения с землей. Модуль 33 обнаружения трехмерных объектов затем коррелирует точку CP пересечения и подсчитанное число, определяет позицию на горизонтальной оси, т.е. позицию на оси в вертикальном направлении на чертеже справа на фиг. 5, на основе позиции точки CP пересечения, определяет позицию на вертикальной оси, т.е. позицию на оси в поперечном направлении на чертеже справа на фиг. 5, из подсчитанного числа и определяет позиции на графике в качестве подсчитанного числа в точке CP пересечения.
[0028] Аналогично, модуль 33 обнаружения трехмерных объектов задает линии Lb, Lc, ..., в направлении, в котором трехмерный объект сплющивается, подсчитывает число разностных пикселов DP, определяет позицию на горизонтальной оси на основе позиции каждой точки CP пересечения, определяет позицию на вертикальной оси из подсчитанного числа (числа разностных пикселов DP) и определяет позиции на графике. Модуль 33 обнаружения трехмерных объектов повторяет вышеуказанное в последовательности, чтобы формировать частотное распределение и за счет этого генерировать форму DWt разностного сигнала, как проиллюстрировано на чертеже справа на фиг. 5.
[0029] Линии La, Lb в направлении, в котором трехмерный объект сплющивается, имеют различные расстояния, которые перекрывают область A1 обнаружения, как проиллюстрировано на чертеже слева на фиг. 5. Соответственно, число разностных пикселов DP больше на линии La, чем на линии Lb, когда предполагается, что область A1 обнаружения заполнена разностными пикселами DP. По этой причине, модуль 33 обнаружения трехмерных объектов выполняет нормализацию на основе расстояния, на котором перекрываются линии La, Lb в направлении, в котором трехмерный объект сплющивается, и область A1 обнаружения, когда позиция на вертикальной оси определяется из подсчитанного числа разностных пикселов DP. В конкретном примере, предусмотрено шесть разностных пикселов DP на линии La, и предусмотрено пять разностных пикселов DP на линии Lb на чертеже слева на фиг. 5. Соответственно, когда позиция на вертикальной оси определяется из подсчитанного числа на фиг. 5, модуль 33 обнаружения трехмерных объектов делит подсчитанное число на расстояние перекрытия или выполняет нормализацию другим способом. Значения формы DWt разностного сигнала, которые соответствуют линиям La, Lb в направлении, в котором трехмерный объект сплющивается, в силу этого становятся практически идентичными, как проиллюстрировано в форме DWt разностного сигнала.
[0030] После того, как сгенерирована форма DWt разностного сигнала, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние посредством сравнения с формой DWt-1 разностного сигнала за один момент времени до этого. Другими словами, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из изменения во времени форм DWt и DWt-1 разностных сигналов.
[0031] Более конкретно, модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество небольших областей DWt1-DWtn (где n является произвольным целым числом, равным или превышающим 2), как проиллюстрировано на фиг. 6. Фиг. 6 является видом, иллюстрирующим небольшие области DWt1-DWtn, полученные посредством модуля 33 обнаружения трехмерных объектов посредством разделения. Небольшие области DWt1-DWtn разделяются таким образом, что они взаимно перекрываются, как проиллюстрировано, например, на фиг. 6. Например, небольшая область DWt1 и небольшая область DWt2 перекрывают друг друга, и небольшая область DWt2 и небольшая область DWt3 перекрывают друг друга.
[0032] Затем, модуль 33 обнаружения трехмерных объектов определяет величину смещения (величину перемещения в направлении по горизонтальной оси (в вертикальном направлении на фиг. 6) формы разностного сигнала) для каждой из небольших областей DWt1-DWtn. Здесь, величина смещения определяется из разности (расстояния в направлении по горизонтальной оси) между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени. В этом случае, модуль 33 обнаружения трехмерных объектов перемещает форму DWt-1 разностного сигнала за один момент времени до этого в направлении по горизонтальной оси для каждой из небольших областей DWt1-DWtn и после этого определяет позицию (позицию в направлении по горизонтальной оси), в которой ошибка относительно формы DWt разностного сигнала в данный момент времени является минимальной, и определяет в качестве величины смещения величину перемещения в направлении по горизонтальной оси в позиции, в которой ошибка относительно исходной позиции формы DWt-1 разностного сигнала является минимальной. Модуль 33 обнаружения трехмерных объектов затем подсчитывает величину смещения определенной для каждой из небольших областей DWt1-DWtn и формирует гистограмму.
[0033] Фиг. 7 является видом, иллюстрирующим пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 7, в величине смещения возникает некоторая величина переменности, которая представляет собой проезжаемое расстояние, в котором ошибка между небольшими областями DWt1-DWtn и формой DWt-1 разностного сигнала за один момент времени до этого является минимальной. Соответственно, модуль 33 обнаружения трехмерных объектов формирует величины смещения, включающие в себя переменность, на гистограмме и вычисляет проезжаемое расстояние из гистограммы. В этот момент, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта из максимального значения на гистограмме. Другими словами, в примере, проиллюстрированном на фиг. 7, модуль 33 обнаружения трехмерных объектов вычисляет величину смещения, указывающую максимальное значение гистограммы, в качестве проезжаемого расстояния τ*. Проезжаемое расстояние τ* представляет собой проезжаемое расстояние другого транспортного средства VX относительно рассматриваемого транспортного средства V. Соответственно, модуль 33 обнаружения трехмерных объектов вычисляет абсолютное проезжаемое расстояние на основе проезжаемого расстояния τ*, полученного таким способом, и сигнала из датчика 20 скорости транспортного средства, когда должно вычисляться абсолютное проезжаемое расстояние.
[0034] Когда должна формироваться гистограмма, модуль 33 обнаружения трехмерных объектов может применять взвешивание ко множеству небольших областей DWt1-DWtn и подсчитывать величины смещения, определенные для каждой из небольших областей DWt1-DWtn в соответствии со взвешиванием, чтобы формировать гистограмму. Фиг. 8 является видом, иллюстрирующим взвешивание, используемое посредством модуля 33 обнаружения трехмерных объектов.
[0035] Как проиллюстрировано на фиг. 8, небольшая область DWm (где m является целым числом, равным или превышающим 1 и равным или меньшим n-1) является плоской. Другими словами, в небольшой области DWm, имеется несущественная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов уменьшает взвешивание этого типа небольшой области DWm. Это обусловлено тем, что в плоской небольшой области DWm отсутствует характерность, и имеется высокая вероятность того, что ошибка должна быть усилена, когда вычисляется величина смещения.
[0036] С другой стороны, небольшая область DWm+k (где k является целым числом, равным или меньшим n-m) имеет значительную волнистость. Другими словами, в небольшой области DWm, имеется существенная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа небольшой области DWm. Это обусловлено тем, что небольшая область DWm+k с существенной волнистостью является характерной, и имеется высокая вероятность того, что величина смещения вычисляется точно. Взвешивание небольших областей таким способом позволяет повышать точность вычисления проезжаемого расстояния.
[0037] Форма DWt разностного сигнала разделяется на множество небольших областей DWt1-DWtn в настоящем варианте осуществления, чтобы повышать точность для вычисления проезжаемого расстояния, но разделение на небольшие области DWt1-DWtn не требуется, когда нет такой большой потребности в точности при вычислении проезжаемого расстояния. В этом случае, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из величины смещения формы DWt разностного сигнала, когда ошибка между формой DWt разностного сигнала и формой DWt-1 разностного сигнала является минимальной. Другими словами, способ для определения величины смещения между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени не ограничивается подробностями, описанными выше.
[0038] Возвращаясь к фиг. 3, компьютер 30 содержит модуль 40 обнаружения размытостей. Модуль 40 обнаружения размытостей обнаруживает область возникновения размытости из захваченных данных изображений, полученных посредством захвата изображений посредством камеры 10. Размытость является явлением размазанности, возникающим, например, в CCD-датчиках изображений, и, следовательно, модуль 40 обнаружения размытостей может опускаться при использовании камеры 10 с CMOS-датчиком изображений и т.п., в котором не возникают размытости.
[0039] Фиг. 9 является видом изображения для описания обработки посредством модуля 40 обнаружения размытостей и обработки для того, чтобы за счет этого вычислять форму DWt разностного сигнала. Во-первых, предполагается, что данные захваченного изображения P, в котором присутствует размытость S, вводятся в модуль 40 обнаружения размытостей. Модуль 40 обнаружения размытостей затем обнаруживает размытость S из захваченного изображения. Существуют различные способы для обнаружения размытости S; например, когда используется общая камера на основе прибора с зарядовой связью (CCD), размытость S возникает в направлении вниз в изображении из источника света. Следовательно, в настоящем варианте осуществления, поиск выполняется для области, имеющей значение яркости, равное или превышающее предварительно определенное значение от нижней стороны изображения вверх в изображении, которая, кроме того, является непрерывной в вертикальном направлении, и такая область указывается в качестве области возникновения размытости S.
[0040] Модуль 40 обнаружения размытостей генерирует данные изображения SP с размытостью, в которых значения пикселов в местоположении возникновения размытости S задаются равными 1, а значения в других местоположениях задаются равными 0. После генерирования модуль 40 обнаружения размытостей передает данные изображения SP с размытостью в модуль 31 преобразования точки обзора. Модуль 31 преобразования точки обзора, в который введены данные изображения SP с размытостью, выполняет преобразование точки обзора данных в вид «с высоты птичьего полета» и за счет этого генерирует данные изображения SBt вида «с высоты птичьего полета» с размытостью. После генерирования модуль 31 преобразования точки обзора передает данные изображения SBt вида «с высоты птичьего полета» с размытостью в модуль 33 совмещения. Модуль 31 преобразования точки обзора передает данные изображения SBt-1 вида «с высоты птичьего полета» с размытостью за один момент времени до этого в модуль 33 совмещения.
[0041] Модуль 32 совмещения выполняет совмещение данных изображений SBt, SBt-1 вида «с высоты птичьего полета» с размытостью. Конкретное совмещение является аналогичным при выполнении совмещения данных изображений PBt, PBt-1 вида «с высоты птичьего полета». После совмещения модуль 32 совмещения вычисляет логическую сумму области возникновения размытости S в изображениях SBt, SBt-1 вида «с высоты птичьего полета» с размытостью и за счет этого генерирует данные изображения MP с маской. После генерирования модуль 32 совмещения передает данные изображения MP с маской в модуль 33 обнаружения трехмерных объектов.
[0042] Модуль 33 обнаружения трехмерных объектов задает подсчитанное число частотного распределения равным нулю для местоположения, соответствующего области возникновения размытости S в изображении MP с маской. Другими словами, когда генерируется форма DWt разностного сигнала, к примеру, форма DWt разностного сигнала, проиллюстрированная на фиг. 9, модуль 33 обнаружения трехмерных объектов задает равным нулю подсчитанное число SC для размытости S и генерирует скорректированную форму DWt' разностного сигнала.
[0043] Модуль 33 обнаружения трехмерных объектов согласно настоящему варианту осуществления определяет скорость движения транспортного средства V (камера 10) и определяет величину смещения для стационарного объекта из скорости движения, определенной таким способом. После определения величины смещения стационарного объекта модуль 33 обнаружения трехмерных объектов игнорирует величину смещения, соответствующую стационарному объекту в максимальном значении гистограммы, и вычисляет проезжаемое расстояние трехмерного объекта.
[0044] Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Когда стационарный объект присутствует в дополнение к другому транспортному средству VX в пределах угла обзора камеры 10, два максимальных значения τ1, τ2 появляются на полученной гистограмме. В этом случае, одно из двух максимальных значений τ1, τ2 является величиной смещения стационарного объекта. Следовательно, модуль 33 обнаружения трехмерных объектов определяет величину смещения для стационарного объекта из скорости движения, игнорирует максимальное значение, соответствующее величине смещения, и использует оставшееся максимальное значение для того, чтобы вычислять проезжаемое расстояние трехмерного объекта.
[0045] Даже если величина смещения, соответствующая стационарному объекту, игнорируется, когда имеется множество максимальных значений, множество других транспортных средств VX может присутствовать в пределах угла обзора камеры 10. Тем не менее, присутствие множества других транспортных средств VX в областях A1, A2 обнаружения является чрезвычайно редким. Соответственно, модуль 33 обнаружения трехмерных объектов прекращает вычисление проезжаемого расстояния.
[0046] Далее описывается процедура для обнаружения трехмерных объектов с использованием информации формы разностного сигнала. Фиг. 11 и фиг. 12 являются блок-схемами последовательности операций способа, иллюстрирующими процедуру для обнаружения трехмерных объектов согласно настоящему варианту осуществления. Как проиллюстрировано на фиг. 11, сначала компьютер 30 вводит данные изображения P, захваченного посредством камеры 10, и модуль 40 обнаружения размытостей генерирует изображение SP с размытостью (S1). Затем, модуль 31 преобразования точки обзора генерирует данные изображения PBt вида «с высоты птичьего полета» из данных захваченного изображения P из камеры 10 и генерирует данные изображения SBt вида «с высоты птичьего полета» с размытостью из данных изображения SP с размытостью (S2).
[0047] Модуль 33 совмещения совмещает данные изображения PBt вида «с высоты птичьего полета» и данные изображения вида «с высоты птичьего полета» за один момент времени до этого PBt-1 и совмещает данные изображения SBt вида «с высоты птичьего полета» с размытостью и данные изображения SBt-1 вида «с высоты птичьего полета» с размытостью за один момент времени до этого (S3). После совмещения модуль 33 совмещения генерирует данные разностного изображения PDt и генерирует данные изображения MP с маской (S4). Затем, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала из данных разностного изображения PDt и данных разностного изображения PDt-1 за один момент времени до этого (S5). После генерирования формы DWt разностного сигнала модуль 33 обнаружения трехмерных объектов задает равным нулю подсчитанное число, соответствующее области возникновения размытости S в форме DWt разностного сигнала, чтобы подавлять эффект размытости S (S6).
[0048] Затем, модуль 33 обнаружения трехмерных объектов определяет то, равен или превышает либо нет пик формы DWt разностного сигнала первое пороговое значение α (S7). Первое пороговое значение α задается заранее и может быть изменено согласно команде управления контроллера 39, проиллюстрированного на фиг. 3; подробности описываются ниже. Когда пик формы DWt разностного сигнала не равен или превышает первое пороговое значение α, т.е. когда практически нет разности, считается, что трехмерный объект не присутствует в захваченном изображении P. Следовательно, когда пик формы DWt разностного сигнала оценивается как не равный или превышающий первое пороговое значение α (S7: "Нет"), модуль 33 обнаружения трехмерных объектов определяет то, что трехмерный объект не присутствует, и что другое транспортное средство VX не присутствует в качестве помехи (фиг. 12: S16). После этого завершается обработка, проиллюстрированная на фиг. 11 и фиг. 12.
[0049] Тем не менее, когда пик формы DWt разностного сигнала оценивается как равный или превышающий первое пороговое значение α (S7: "Да"), модуль 33 обнаружения трехмерных объектов определяет то, что присутствует трехмерный объект, и разделяет форму DWt разностного сигнала на множество небольших областей DWt1-DWtn (S8). Далее модуль 33 обнаружения трехмерных объектов затем применяет взвешивание к каждой из небольших областей DWt1-DWtn (S9). После этого, модуль 33 обнаружения трехмерных объектов вычисляет величину смещения для каждой из небольших областей DWt1-DWtn (S10) и генерирует гистограмму с учетом взвешиваний (S11).
[0050] На основе гистограммы, модуль 33 обнаружения трехмерных объектов затем вычисляет относительное проезжаемое расстояние, которое представляет собой проезжаемое расстояние трехмерного объекта относительно рассматриваемого транспортного средства V (S12). Затем, модуль 33 обнаружения трехмерных объектов вычисляет абсолютную скорость движения трехмерного объекта из относительного проезжаемого расстояния (S13). Модуль 33 обнаружения трехмерных объектов дифференцирует во времени относительное проезжаемое расстояние, чтобы вычислять относительную скорость движения, и суммирует скорость транспортного средства, обнаруженную посредством датчика 20 скорости транспортного средства, чтобы вычислять абсолютную скорость движения.
[0051] Затем модуль 33 обнаружения трехмерных объектов определяет то, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и кроме того, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V+60 км/ч или менее (S14). Когда оба условия удовлетворяются (S14: "Да"), модуль 33 обнаружения трехмерных объектов определяет трехмерный объект в качестве другого транспортного средства VX (S15). После этого завершается обработка, проиллюстрированная на фиг. 11 и фиг. 12. Тем не менее, когда любое из условий не удовлетворяется (S14: "Нет"), модуль 33 обнаружения трехмерных объектов определяет то, что другое транспортное средство VX не присутствует (S16). После этого завершается обработка, проиллюстрированная на фиг. 11 и фиг. 12.
[0052] В настоящем варианте осуществления, области A1, A2 обнаружения находятся на задней стороне рассматриваемого транспортного средства V, и основное внимание уделяется обнаружению другого транспортного средства VX, движущегося в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства, причем упомянутое транспортное средство VX представляет собой транспортное средство, на которое должно быть обращено внимание в ходе движения рассматриваемого транспортного средства V, и основное внимание уделяется, в частности, вероятности контакта, когда рассматриваемое транспортное средство V сменяет полосу движения. Это служит для того, чтобы оценивать вероятность контакта с другим транспортным средством VX, движущимся в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства, когда рассматриваемое транспортное средство V сменяет полосу движения. По этой причине, выполняется обработка этапа S14. Другими словами, при условии, что система согласно настоящему варианту осуществления активируется на скоростной автомагистрали, когда скорость трехмерного объекта меньше 10 км/ч, это редко представляет собой проблему, даже если присутствует другое транспортное средство, поскольку другое транспортное средство размещается далеко позади рассматриваемого транспортного средства V, когда выполняется смена полосы движения. Аналогично, когда относительная скорость движения трехмерного объекта превышает +60 км/ч относительно рассматриваемого транспортного средства V (т.е. когда трехмерный объект движется со скоростью, на 60 км/ч большей скорости рассматриваемого транспортного средства), это редко представляет собой проблему, поскольку находящееся в смежной полосе движения транспортное средство размещается перед рассматриваемым транспортным средством, когда выполняется смена полосы движения. Следовательно, этап S14 определяет другое транспортное средство VX, что может приводить к проблеме, когда выполняется смена полосы движения.
[0053] На этапе S14, посредством оценки того, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и кроме того, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V+60 км/ч или менее, достигается следующее преимущество. Например, возможный случай заключается в том, что абсолютная скорость движения стационарного объекта обнаруживается равной нескольким километров в час в зависимости от ошибки крепления камеры 10. Соответственно, оценка того, равна или нет скорость 10 км/ч или больше, позволяет уменьшать вероятность того, что стационарный объект оценивается в качестве другого транспортного средства VX. Кроме того, возможно то, что относительная скорость трехмерного объекта относительно рассматриваемого транспортного средства V обнаруживается как превышающая +60 км/ч вследствие шума. Соответственно, оценка того, равна или нет относительная скорость +60 км/ч или менее, позволяет уменьшать вероятность ошибочного обнаружения вследствие шума.
[0054] Дополнительно, вместо обработки этапа S14, может оцениваться то, что абсолютная скорость движения не является отрицательной или не составляет 0 км/ч. В настоящем варианте осуществления, основное внимание уделяется тому, имеется или нет вероятность контакта, когда рассматриваемое транспортное средство V сменяет полосу движения, и, следовательно, на этапе S15, когда обнаруживается другое транспортное средство VX, предупреждающий звук быть выдан водителю рассматриваемого транспортного средства, либо отображение, соответствующее предупреждению, может отображаться посредством предварительно определенного устройства отображения.
[0055] Таким образом, согласно процедуре для обнаружения трехмерных объектов с использованием информации формы разностного сигнала согласно настоящему примеру, число пикселов, указывающих предварительно определенную разность в данных разностного изображения PDt, подсчитывается вдоль направления, в котором трехмерный объект сплющивается вследствие преобразования точки обзора, и посредством формирования частотного распределения генерируется форма DWt разностного сигнала. Здесь, пиксел, указывающий предварительно определенную разность в данных разностного изображения PDt, является пикселом, который изменен в изображении в другой момент времени, или другими словами, местоположением, в котором присутствует трехмерный объект. Следовательно, посредством подсчета числа пикселов вдоль направления, в котором трехмерный объект сплющивается в местоположении, в котором присутствует трехмерный объект, и формирования частотного распределения, генерируется форма DWt разностного сигнала. В частности, число пикселов подсчитывается вдоль направления, в котором сплющивается трехмерный объект, и, следовательно, форма DWt разностного сигнала генерируется из информации направления высоты трехмерного объекта. Проезжаемое расстояние трехмерного объекта затем вычисляется из изменения во времени формы DWt разностного сигнала, содержащей информацию направления высоты. Следовательно, по сравнению со случаем, в котором рассматривается перемещение только одной точки, местоположение обнаружения перед изменением во времени и местоположение обнаружения после изменения во времени, включающие в себя информацию направления высоты, указываются и, соответственно, в итоге легко оказываются идентичным местоположением; проезжаемое расстояние вычисляется из изменения во времени в идентичном местоположении; и может повышаться точность для вычисления проезжаемого расстояния.
[0056] Подсчитанное число частотного распределения задается равным нулю для местоположения, соответствующего области возникновения размытости S в форме DWt разностного сигнала, за счет этого удаляя часть формы сигнала, в которой размытость S возникает в форме DWt разностного сигнала, так что может предотвращаться ситуация, в которой размытость S не распознается в качестве трехмерного объекта.
[0057] Проезжаемое расстояние трехмерного объекта вычисляется из величины смещения формы DWt разностного сигнала, когда ошибка формы DWt разностного сигнала, сгенерированной для различных моментов времени, является минимальной. Следовательно, проезжаемое расстояние вычисляется из величины смещения формы сигнала, которая является одномерной информацией, и, следовательно, могут сокращаться вычислительные затраты для вычисления проезжаемого расстояния.
[0058] Формы DWt разностных сигналов, сгенерированные для различных моментов времени, разделяются на множество небольших областей DWt1-DWtn. Посредством такого разделения на множество небольших областей DWt1-DWtn получается множество форм сигналов, каждая из которых выражает местоположение трехмерного объекта. Величина смещения, для которой является минимальной ошибка форм сигналов, определяется для каждой из небольших областей DWt1-DWtn, и посредством подсчета величин смещения, определенных для каждой из небольших областей DWt1-DWtn, и формирования гистограммы вычисляется проезжаемое расстояние трехмерного объекта. Следовательно, величина смещения определяется для каждого местоположения трехмерного объекта, и проезжаемое расстояние определяется из множества величин смещения, и, следовательно, может повышаться точность вычисления проезжаемого расстояния.
[0059] Взвешивание применяется к каждой из множества небольших областей DWt1-DWtn, величины смещения, определенные для каждой из небольших областей DWt1-DWtn, подсчитываются согласно взвешиванию, и формируется гистограмма. Следовательно, посредством увеличения взвешивания для характерных областей и снижения взвешивания для областей без характерности, проезжаемое расстояние может быть вычислено еще более надлежащим образом. Следовательно, дополнительно может повышаться точность вычисления проезжаемого расстояния.
[0060] Для каждой из небольших областей DWt1-DWtn формы DWt разностного сигнала, чем больше разность между максимальным значением и минимальным значением счетчика числа пикселов, указывающих предварительно определенную разность, тем большим задается взвешивание. Следовательно, чем больше разность между максимальным значением и минимальным значением области, имеющей характерную волнистость, тем большим является взвешивание, в то время как взвешивание является небольшим для плоской области, имеющей небольшую волнистость. Относительно формы, величина смещения может быть определена более точно для областей, которые имеют большую волнистость, чем для плоских областей, и, следовательно, посредством задания взвешивания большим для областей, для которых разность между максимальным значением и минимальным значением является большой, дополнительно может повышаться точность вычисления проезжаемого расстояния.
[0061] Проезжаемое расстояние трехмерного объекта вычисляется из максимального значения гистограммы, полученной посредством подсчета величин смещения, определенных для каждой из небольших областей DWt1-DWtn. Следовательно, даже когда имеется варьирование в величинах смещения, проезжаемое расстояние может быть вычислено более точно из максимального значения.
[0062] Величина смещения определяется для стационарного объекта, и величина смещения игнорируется, и, следовательно, может предотвращаться ситуация, в которой точность вычисления проезжаемого расстояния трехмерного объекта уменьшается вследствие стационарного объекта. Дополнительно, при игнорировании величины смещения, соответствующей стационарному объекту, когда имеется множество максимальных значений, прекращается вычисление проезжаемого расстояния трехмерного объекта. Следовательно, может предотвращаться ситуация, в которой проезжаемое расстояние вычисляется ошибочно, к примеру, когда имеется множество максимальных значений.
[0063] В вышеприведенном варианте осуществления, скорость транспортного средства для рассматриваемого транспортного средства V оценивается на основе сигнала из датчика 20 скорости транспортного средства, но ограничения на это не налагаются, и скорость транспортного средства может быть оценена из множества изображений в различные моменты времени. В этом случае, датчик скорости транспортного средства является необязательным, и может упрощаться конфигурация.
[0064] В вышеприведенном варианте осуществления, изображение, захваченное в текущий момент времени, и изображение, захваченное за один момент времени до этого, преобразуются в изображения вида «с высоты птичьего полета», и после совмещения преобразованных изображений вида «с высоты птичьего полета» генерируется разностное изображение PDt, сгенерированное разностное изображение PDt оценивается вдоль направления сплющивания (направления сплющивания трехмерного объекта при преобразовании захваченного изображения в изображение вида «с высоты птичьего полета»), чтобы генерировать форму DWt разностного сигнала, но ограничения на это не налагаются. Например, также можно использовать конфигурацию, в которой только изображение за один момент времени до этого преобразуется в вид «с высоты птичьего полета», преобразованный вид «с высоты птичьего полета» совмещается, затем преобразуется снова в эквивалентное захваченное изображение, разностное изображение генерируется с использованием этого изображения и изображения в данный момент времени, и сгенерированное разностное изображение оценивается вдоль направления, соответствующего направлению сплющивания (т.е. направления, полученного посредством преобразования направления сплющивания в направление в захваченном изображении), чтобы за счет этого генерировать форму DWt разностного сигнала. Другими словами, вид «с высоты птичьего полета» не должен быть явно сгенерирован как обязательный при условии, что изображение в данный момент времени и изображение за один момент времени до этого совмещаются, разностное изображение PDt генерируется из разности между двумя совмещенными изображениями, и разностное изображение PDt может быть оценено вдоль направления сплющивания трехмерного объекта, когда разностное изображение PDt преобразуется в вид «с высоты птичьего полета».
[0065] ОБНАРУЖЕНИЕ ТРЕХМЕРНЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИИ КРАЕВ
Далее описывается блок B обнаружения трехмерных объектов, который может активироваться вместо блока A обнаружения трехмерных объектов, проиллюстрированного на фиг. 3. Блок B обнаружения трехмерных объектов обнаруживает трехмерный объект с использованием информации краев, сформированной посредством модуля 35 вычисления яркостного различия, модуля 36 обнаружения линий краев и модуля 37 обнаружения трехмерных объектов. Фиг. 13 является видом, иллюстрирующим диапазон захвата камеры 10 по фиг. 3, при этом фиг. 13(a) является видом сверху, а фиг. 13(b), является видом в перспективе в реальном пространстве задней стороны рассматриваемого транспортного средства V. Как проиллюстрировано на фиг. 13(a), камера 10 имеет предварительно определенный угол a обзора и захватывает заднюю сторону рассматриваемого транспортного средства V, включенного в предварительно определенный угол a обзора. Угол a обзора камеры 10 задается таким образом, что он включает в себя смежные полосы движения в дополнение к полосе движения, в которой рассматриваемое транспортное средство V движется в диапазоне захвата камеры 10, аналогично случаю, проиллюстрированному на фиг. 2.
[0066] Области A1, A2 обнаружения в настоящем примере являются трапецеидальными при виде сверху (в состоянии вида «с высоты птичьего полета»), и позиция, размер и форма областей A1, A2 обнаружения определяются на основе расстояний d1-d4. Области A1, A2 обнаружения примера, проиллюстрированного на фиг. 13, не ограничены трапецеидальной формой и также могут иметь прямоугольную или другую форму в состоянии вида «с высоты птичьего полета», как проиллюстрировано на фиг. 2.
[0067] Здесь, расстояние d1 является расстоянием от рассматриваемого транспортного средства V до линий L1, L2 пересечения с землей. Линии L1, L2 пересечения с землей означают линию, в которой трехмерный объект, который присутствует в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, контактирует с землей. В настоящем варианте осуществления, цель заключается в этом, обнаруживать другое транспортное средство VX и т.п. (включающее в себя двухколесные транспортные средства и т.п.), движущееся в левой или правой полосе движения позади рассматриваемого транспортного средства V и смежной с полосой движения рассматриваемого транспортного средства V. Соответственно, расстояние d1, которое является позицией линий L1, L2 пересечения с землей другого транспортного средства VX, может быть определено таким образом, чтобы оно является практически фиксированным относительно расстояния d11 от рассматриваемого транспортного средства V до белой линии W дорожной разметки и расстояния d12 от белой линии W дорожной разметки до позиции, в которую, как прогнозируется, должно приехать другое транспортное средство VX.
[0068] Расстояние d1 не ограничивается фиксированным заданием и может быть переменным. В этом случае, компьютер 30 распознает позицию белой линии W дорожной разметки относительно рассматриваемого транспортного средства V с использованием такой технологии, как распознавание белых линий дорожной разметки и т.п., и расстояние d11 определяется на основе позиции распознанной белой линии W дорожной разметки. Расстояние d1 за счет этого переменно задается с использованием определенного расстояния d11. В настоящем варианте осуществления, описанном ниже, главным образом определяются позиция, в которой движется другое транспортное средство VX (расстояние d12 от белой линии W дорожной разметки), и позиция, в которой движется рассматриваемое транспортное средство V (расстояние d11 от белой линии W дорожной разметки), и, следовательно, расстояние d1 фиксированно определяется.
[0069] Расстояние d2 является расстоянием, идущим от задней концевой части рассматриваемого транспортного средства V в направлении движения транспортного средства. Расстояние d2 определяется таким образом, что области A1, A2 обнаружения размещаются, по меньшей мере, в пределах угла a обзора камеры 10. В настоящем варианте осуществления, в частности, расстояние d2 задается в контакте с диапазоном, секционированным в пределах угла a обзора. Расстояние d3 указывает длину областей A1, A2 обнаружения в направлении движения транспортного средства. Расстояние d3 определяется на основе размера трехмерного объекта, который должен быть обнаружен. В настоящем варианте осуществления, объект, который должен быть обнаружен, представляет собой другое транспортное средство V и т.п., и следовательно, расстояние d3 задается равным длине, которая включает в себя другое транспортное средство V.
[0070] Расстояние d4 указывает высоту, которая задана таким образом, что шины другого транспортного средства V2 и т.п. включаются в реальное пространство, как проиллюстрировано на фиг. 13(b). В изображении вида «с высоты птичьего полета» расстояние d4 является длиной, проиллюстрированной на фиг. 13(a). Расстояние d4 также может быть длиной, которая не включает в себя полосы движения, дополнительно смежные с левой и правой смежными полосами движения в изображении вида «с высоты птичьего полета» (т.е. смежные через одну полосы движения на расстоянии через полосу движения). Это обусловлено тем, что когда включаются полосы движения на расстоянии через полосу движения от полосы движения рассматриваемого транспортного средства V, более невозможно отличать то, присутствует или нет другое транспортное средство VX в смежных полосах движения слева и справа от полосы движения, в которой движется рассматриваемое транспортное средство V, либо то, присутствует или нет другое транспортное средство VX в находящейся через одну полосе движения на расстоянии через полосу движения.
[0071] Как описано выше, определяются расстояния d1-d4, и за счет этого определяются позиция, размер и форма областей A1, A2 обнаружения. Более конкретно, позиция верхней стороны b1 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством расстояния d1. Начальная позиция C1 верхней стороны b1 определяется посредством расстояния d2. Конечная позиция C2 верхней стороны b1 определяется посредством расстояния d3. Поперечная сторона b2 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L3, идущей от камеры 10 к начальной позиции C1. Аналогично, поперечная сторона b3 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L4, идущей от камеры 10 к конечной позиции C2. Позиция нижней стороны b4 областей A1, A2 обнаружения, которые формируют трапецию, определяется посредством расстояния d4. Таким образом, области, окруженные посредством сторон b1-b4, представляют собой области A1, A2 обнаружения. Области A1, A2 обнаружения являются обычными квадратами (прямоугольниками) в реальном пространстве позади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 13(b).
[0072] Возвращаясь к фиг. 3, модуль 31 преобразования точки обзора принимает ввод захваченных данных изображений предварительно определенной области, захваченных посредством камеры 10. Модуль 31 преобразования точки обзора преобразует точку обзора введенных захваченных данных изображений в данные изображений вида «с высоты птичьего полета», которые представляют собой состояние вида «с высоты птичьего полета». Состояние вида «с высоты птичьего полета» представляет собой состояние просмотра с точки зрения воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз (или немного под наклоном вниз). Преобразование точки обзора может быть выполнено с использованием технологии, описанной, например, в выложенной японской заявке на патент № 2008-219063.
[0073] Модуль 35 вычисления яркостного различия вычисляет яркостные различия в данных изображений вида «с высоты птичьего полета», которые подвергнуты преобразованию точки обзора посредством модуля 31 преобразования точки обзора, чтобы обнаруживать края трехмерного объекта, включенного в изображение вида «с высоты птичьего полета». Модуль 35 вычисления яркостного различия вычисляет, для каждой из множества позиций вдоль вертикальной воображаемой линии, идущей вдоль вертикального направления в реальном пространстве, яркостное различие между двумя пикселами около каждой позиции. Модуль 35 вычисления яркостного различия допускает вычисление яркостного различия посредством способа для задания одной вертикальной воображаемой линии, идущей в вертикальном направлении в реальном пространстве, или способа для задания двух вертикальных воображаемых линий.
[0074] Ниже описан конкретный способ для задания двух вертикальных воображаемых линий. Модуль 35 вычисления яркостного различия задает в изображении вида «с высоты птичьего полета», которое подвергнуто преобразованию точки обзора, первую вертикальную воображаемую линию, которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и вторую вертикальную воображаемую линию, которая отличается от первой вертикальной воображаемой линии и которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве. Модуль 35 вычисления яркостного различия определяет яркостное различие между точкой на первой вертикальной воображаемой линии и точкой на второй вертикальной воображаемой линии непрерывно вдоль первой вертикальной воображаемой линии и второй вертикальной воображаемой линии. Ниже подробно описывается работа модуля 35 вычисления яркостного различия.
[0075] Модуль 35 вычисления яркостного различия задает первую вертикальную воображаемую линию La (ниже называемую "линией La концентрации внимания"), которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и которая проходит через область A1 обнаружения, как проиллюстрировано на фиг. 14(a). Модуль 35 вычисления яркостного различия задает вторую вертикальную воображаемую линию Lr (ниже называемую "опорной линией Lr"), которая отличается от линии La концентрации внимания, соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и проходит через область A1 обнаружения. Здесь, опорная линия Lr задается в позиции на предварительно определенном расстоянии в реальном пространстве от линии La концентрации внимания. Линии, которые соответствуют сегментам линии, идущим в вертикальном направлении в реальном пространстве, представляют собой линии, которые расходятся в радиальном направлении от позиции Ps камеры 10 в изображении вида «с высоты птичьего полета». Эти линии, расходящиеся в радиальном направлении, представляют собой линии, которые следуют направлению сплющивания трехмерного объекта при преобразовании в вид «с высоты птичьего полета».
[0076] Модуль 35 вычисления яркостного различия задает точку Pa концентрации внимания на линии La концентрации внимания (точку на первой вертикальной воображаемой линии). Модуль 35 вычисления яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй вертикальной воображаемой линии). Линия La концентрации внимания, точка Pa концентрации внимания, опорная линия Lr и опорная точка Pr имеют взаимосвязь в реальном пространстве, проиллюстрированную на фиг. 14(b). Из фиг. 14(b) очевидно то, что линия La концентрации внимания и опорная линия Lr представляют собой линии, идущие в вертикальном направлении в реальном пространстве, и что точка Pa концентрации внимания и опорная точка Pr представляют собой точки, заданные с практически идентичной высотой в реальном пространстве. Точка Pa концентрации внимания и опорная точка Pr не обязательно должны строго поддерживаться на идентичной высоте, и разрешается определенная величина ошибки, позволяющая точке Pa концентрации внимания и опорной точке Pr считаться находящимся на идентичной высоте.
[0077] Модуль 35 вычисления яркостного различия определяет яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr. Если яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr является большим, возможно то, что край присутствует между точкой Pa концентрации внимания и опорной точкой Pr. Соответственно, модуль 36 обнаружения линий краев, проиллюстрированный на фиг. 3, обнаруживает линию края на основе яркостного различия между точкой Pa концентрации внимания и опорной точкой Pr.
[0078] Этот аспект описывается подробнее. Фиг. 15 является видом для описания подробной работы модуля 35 вычисления яркостного различия. Фиг. 15(a) иллюстрирует изображение вида «с высоты птичьего полета» состояния вида «с высоты птичьего полета», а фиг. 15(b) является укрупненным видом части B1 изображения вида «с высоты птичьего полета», проиллюстрированного на фиг. 15(a). На фиг. 15, также проиллюстрирована и описана только область A1 обнаружения, но яркостное различие вычисляется с использованием идентичной процедуры для области A2 обнаружения.
[0079] Когда другое транспортное средство VX появляется в захваченном изображении, захваченном посредством камеры 10, другое транспортное средство VX появляется в области A1 обнаружения в изображении вида «с высоты птичьего полета», как проиллюстрировано на фиг. 15(a). Линия La концентрации внимания задается на резиновом участке шины другого транспортного средства VX в изображении вида «с высоты птичьего полета» на фиг. 15(b), как проиллюстрировано в укрупненном виде области B1 на фиг. 15(a). В этом состоянии, сначала модуль 35 вычисления яркостного различия задает опорную линию Lr. Опорная линия Lr задается вдоль вертикального направления в позиции, заданной на предварительно определенном расстоянии в реальном пространстве от линии La концентрации внимания. В частности, в устройстве 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, опорная линия Lr задается в позиции на расстоянии на расстоянии в 10 см в реальном пространстве от линии La концентрации внимания. Опорная линия Lr за счет этого задается на колесе шины другого транспортного средства VX, заданном, например, на расстоянии, которое соответствует 10 см от резины шины другого транспортного средства VX в изображении вида «с высоты птичьего полета».
[0080] Затем, модуль 35 вычисления яркостного различия задает множество точек Pa1-PaN концентрации внимания на линии La концентрации внимания. На фиг. 15(b), шесть точек Pa1-Pa6 концентрации внимания (ниже называемых "точкой Pai концентрации внимания" при указании произвольной точки) задаются для удобства описания. Произвольное число точек Pa концентрации внимания может задаваться на линии La концентрации внимания. В нижеприведенном описании, N точек Pa концентрации внимания задаются на линии La концентрации внимания.
[0081] Модуль 35 вычисления яркостного различия затем задает опорные точки Pr1-PrN таким образом, что они имеют высоту, идентичную высоте точек Pa1-PaN концентрации внимания в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие между парами из точки Pa концентрации внимания и опорной точки Pr на идентичной высоте. Модуль 35 вычисления яркостного различия за счет этого вычисляет яркостное различие между двумя пикселами для каждой из множества позиций (1-N) вдоль вертикальной воображаемой линии, идущей в вертикальном направлении в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие, например, между первой точкой Pa1 концентрации внимания и первой опорной точкой Pr1 и вычисляет яркостное различие между второй точкой Pa2 концентрации внимания и второй опорной точкой Pr2. Модуль 35 вычисления яркостного различия за счет этого определяет яркостное различие непрерывно вдоль линии La концентрации внимания и опорной линии Lr. Другими словами, модуль 35 вычисления яркостного различия последовательно определяет яркостное различие между третьей-N-ой точками Pa3-PaN концентрации внимания и третьей-N-ой опорными точками Pr3-PrN.
[0082] Модуль 35 вычисления яркостного различия повторяет процесс задания вышеописанной опорной линии Lr, задания точки Pa концентрации внимания, задания опорной точки Pr и вычисления яркостного различия при сдвиге линии La концентрации внимания в области A1 обнаружения. Другими словами, модуль 35 вычисления яркостного различия многократно выполняет вышеописанный процесс при изменении позиций линии La концентрации внимания и опорной линии Lr на идентичное расстояние в реальном пространстве вдоль направления, в котором идет линия L1 пересечения с землей. Модуль 35 вычисления яркостного различия, например, задает линию, которая представляет собой опорную линию Lr в предыдущем процессе, в качестве линии La концентрации внимания, задает опорную линию Lr относительно линии La концентрации внимания и последовательно определяет яркостное различие.
[0083] Возвращаясь к фиг. 3, модуль 36 обнаружения линий краев обнаруживает линию края из непрерывного яркостного различия, вычисленного посредством модуля 35 вычисления яркостного различия. Например, в случае, проиллюстрированном на фиг. 15(b), первая точка Pa1 концентрации внимания и первая опорная точка Pr1 размещаются в идентичном участке шины, и следовательно, яркостное различие является небольшим. С другой стороны, вторая-шестая точки Pa2-Pa6 концентрации внимания размещаются в резиновом участке шины, а вторая-шестая опорные точки Pr2-Pr6 размещаются в участке колеса шины. Следовательно, яркостное различие между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6 является большим. Соответственно, модуль 36 обнаружения линий краев допускает обнаружение того, что край присутствует между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, где яркостное различие является высоким.
[0084] В частности, когда должна обнаруживаться линия края, модуль 36 обнаружения линий краев сначала назначает атрибут i-ой точке Pai концентрации внимания из яркостного различия между i-ой точкой Pai концентрации внимания (координаты (xi, yi)) и i-ой опорной точкой Pri (координаты (xi', yi')) в соответствии с формулой 1, приведенной ниже.
[Формула 1] s(xi, yi)=1, когда I(xi, yi)>I(xi', yi')+t
s(xi, yi)=-1, когда I(xi, yi)<I(xi', yi')-t
s(xi, yi)=0, когда вышеуказанное не справедливо.
[0085] В вышеприведенной формуле 1, t представляет пороговое значение, I(xi, yi) представляет значение яркости i-ой точки Pai концентрации внимания, и I(xi', yi') представляет значение яркости i-ой опорной точки Pri. В соответствии с формулой 1, атрибут s(xi, yi) точки Pai концентрации внимания равен 1, когда значение яркости точки Pai концентрации внимания превышает значение яркости, полученное посредством прибавления порогового значения t к опорной точке Pri. С другой стороны, атрибут s(xi, yi) точки Pai концентрации внимания равен -1, когда значение яркости точки Pai концентрации внимания меньше значения яркости, полученного посредством вычитания порогового значения t из опорной точки Pri. Атрибут s(xi, yi) точки Pai концентрации внимания равен 0, когда значение яркости точки Pai концентрации внимания и значение яркости опорной точки Pri находятся во взаимосвязи, отличной от вышеизложенной взаимосвязи. Пороговое значение t задается заранее и может быть изменено согласно команде управления, выданной посредством контроллера 39, проиллюстрированного на фиг. 3; подробности описываются ниже.
[0086] Затем, модуль 36 обнаружения линий краев определяет то, представляет собой или нет линия La концентрации внимания линию края, из неразрывности c(xi, yi) атрибута s вдоль линии La концентрации внимания, на основе следующей формулы 2.
[Формула 2] c(xi, yi)=1, когда s(xi, yi)=s(xi+1, yi+1) (за исключением 0=0)
c(xi, yi)=0, когда вышеуказанное не справедливо.
[0087] Неразрывность c(xi, yi) равна 1, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания являются идентичными. Неразрывность c(xi, yi) равна 0, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания не являются идентичными.
[0088] Затем, модуль 36 обнаружения линий краев определяет сумму неразрывностей c всех точек Pa концентрации внимания на линии La концентрации внимания. Модуль 36 обнаружения линий краев делит сумму неразрывностей c, определенных таким способом, на число N точек Pa концентрации внимания, чтобы за счет этого нормализовать неразрывность c. Модуль 36 обнаружения линий краев определяет линию La концентрации внимания в качестве линии края, когда нормализованное значение превышает пороговое значение θ. Пороговое значение θ задается заранее посредством экспериментирования или другого средства. Пороговое значение θ может задаваться заранее или может быть изменено согласно команде управления из контроллера 39, описанного ниже.
[0089] Другими словами, модуль 36 обнаружения линий краев определяет то, представляет собой или нет линия La концентрации внимания линию края, на основе формулы 3, приведенной ниже. Модуль 36 обнаружения линий краев затем определяет то, представляют собой или нет все линии La концентрации внимания, нарисованные в области A1 обнаружения, линии краев.
[Формула 3] ∑c(xi, yi)/N>θ
[0090] Возвращаясь к фиг. 3, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе количества линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Как описано выше, устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает линию края, идущую в вертикальном направлении в реальном пространстве. Обнаружение множества линий краев, идущих в вертикальном направлении, указывает, что имеется высокая вероятность того, что трехмерный объект присутствует в областях A1, A2 обнаружения. Соответственно, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе количества линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Дополнительно, до обнаружения трехмерного объекта, модуль 37 обнаружения трехмерных объектов определяет то, являются или нет линии краев, обнаруженные посредством модуля 36 обнаружения линий краев, корректными. Модуль 37 обнаружения трехмерных объектов определяет то, равно или превышает либо нет изменение яркости вдоль линий краев в изображении вида «с высоты птичьего полета» предварительно определенное пороговое значение. Когда изменение яркости на линиях краев в изображении вида «с высоты птичьего полета» равно предварительно определенному пороговому значению, оценивается то, что линии краев обнаружены посредством ошибочной оценки. С другой стороны, когда изменение яркости на линиях краев в изображении вида «с высоты птичьего полета» меньше предварительно определенного порогового значения, оценивается то, что линии краев являются корректными. Пороговое значение задается заранее посредством экспериментирования или другого средства.
[0091] Фиг. 16 является видом, иллюстрирующим распределение яркости на линии края, при этом фиг. 16(a) иллюстрирует линию края и распределение яркости, когда другое транспортное средство VX в качестве трехмерного объекта присутствует в области A1 обнаружения, а фиг. 16(b) иллюстрирует линию края и распределение яркости, когда трехмерный объект не присутствует в области A1 обнаружения.
[0092] Как проиллюстрировано на фиг. 16(a), предполагается, что оценено то, что линия La концентрации внимания, заданная на резиновом участке шины другого транспортного средства VX, находится на линии края в изображении вида «с высоты птичьего полета». В этом случае, изменение яркости на линии La концентрации внимания в изображении вида «с высоты птичьего полета» является постепенным. Это обусловлено преобразованием изображения, захваченного посредством камеры 10, в точке обзора, в изображение вида «с высоты птичьего полета», в силу чего шина другого транспортного средства VX укрупнена в изображении вида «с высоты птичьего полета». С другой стороны, предполагается, что линия La концентрации внимания, заданная в участке знаков белого цвета "50", нарисованном на поверхности дороги, в изображении вида «с высоты птичьего полета» ошибочно оценивается как линия края, как проиллюстрировано на фиг. 16(b). В этом случае, изменение яркости на линии La концентрации внимания в изображении вида «с высоты птичьего полета» имеет значительную волнистость. Это обусловлено тем, что участки низкой яркости, такие как дорога и т.п., смешиваются с участками высокой яркости в знаках белого цвета на линии края.
[0093] Модуль 37 обнаружения трехмерных объектов определяет то, обнаружена или нет линия края посредством ошибочной оценки на основе разностей в распределении яркости на линии La концентрации внимания, как описано выше. Модуль 37 обнаружения трехмерных объектов определяет то, что линия края обнаружена посредством ошибочной оценки, когда изменение яркости вдоль линии края превышает предварительно определенное пороговое значение, и линия края не используется при обнаружении трехмерного объекта. Следовательно, снижение точности для обнаружения трехмерного объекта за счет этого подавляется, когда знаки белого цвета, такие как "50" на поверхности дороги, придорожная растительность и т.п., оцениваются в качестве линий краев.
[0094] В частности, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линии края с использованием нижеприведенной формулы 4 или 5. Изменение яркости линии края соответствует значению оценки в реальном пространстве в вертикальном направлении. Формула 4 оценивает распределение яркости с использованием совокупного значения квадратов разностей между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания. Формула 5 оценивает распределение яркости с использованием совокупного значения абсолютных значений разностей между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания.
[Формула 4] Значение оценки в вертикальном эквивалентном направлении =∑[{I(xi, yi)-I(xi+1, yi+1)}-2]
[Формула 5] Значение оценки в вертикальном эквивалентном направлении =∑|I(xi, yi)-I(xi+1, yi+1)|
[0095] При использовании формулы 5 ограничения не налагаются, и также можно преобразовывать в двоичную форму атрибут b смежного значения яркости с использованием порогового значения t2 и затем суммировать преобразованный в двоичную форму атрибут b для всех точек Pa концентрации внимания, аналогично формуле 6, приведенной ниже.
[Формула 6] Значение оценки в вертикальном эквивалентном направлении =∑b(xi, yi)
где b(xi, yi)=1, когда |I(xi, yi)-I(xi+1, yi+1)|>t2
и b(xi, yi)=0, когда вышеуказанное не справедливо.
[0096] Атрибут b(xi, yi) точки Pa концентрации внимания (xi, yi) равен 1, когда абсолютное значение яркостного различия между значением яркости точки Pai концентрации внимания и значением яркости опорной точки Pri превышает пороговое значение t2. Когда вышеуказанная взаимосвязь не справедлива, атрибут b(xi, yi) точки Pai концентрации внимания равен 0. Пороговое значение t2 задается заранее посредством экспериментирования или другого средства, так что линия La концентрации внимания не оценивается как находящаяся на идентичном трехмерном объекте. Модуль 37 обнаружения трехмерных объектов затем суммирует атрибут b для всех точек Pa концентрации внимания на линии La концентрации внимания и определяет значение оценки в вертикальном эквивалентном направлении, чтобы за счет этого оценивать то, является или нет линия края корректной.
[0097] Далее описывается способ обнаружения трехмерных объектов с использованием информации краев согласно настоящему варианту осуществления. Фиг. 17 и фиг. 18 являются блок-схемами последовательности операций способа, указывающими подробности способа обнаружения трехмерных объектов согласно настоящему варианту осуществления. На фиг. 17 и фиг. 18, для удобства описания поясняется только обработка области A1 обнаружения, но идентичная обработка также выполняется для области A2 обнаружения.
[0098] Как проиллюстрировано на фиг. 17, во-первых, на этапе S21 камера 10 захватывает предварительно определенную область, указываемую посредством угла a обзора и позиции присоединения. Затем, на этапе S22, модуль 31 преобразования точки обзора принимает в качестве ввода захваченные данные изображений, захваченные посредством камеры 10 на этапе S21, выполняет преобразование точки обзора и генерирует данные изображений вида «с высоты птичьего полета».
[0099] Затем, на этапе S23, модуль 35 вычисления яркостного различия задает линию La концентрации внимания в области A1 обнаружения. В это время, модуль 35 вычисления яркостного различия задает в качестве линии La концентрации внимания линию, соответствующую линии, идущей в вертикальном направлении в реальном пространстве. Затем, на этапе S24, модуль 35 вычисления яркостного различия задает опорную линию Lr в области A1 обнаружения. В это время, модуль 35 вычисления яркостного различия задает в качестве опорной линии Lr линию, соответствующую сегменту линии, идущему в вертикальном направлении в реальном пространстве, и на предварительно определенном расстоянии в реальном пространстве от линии La концентрации внимания.
[0100] Затем, на этапе S25 модуль 35 вычисления яркостного различия задает множество точек Pa концентрации внимания на линии La концентрации внимания. В это время, модуль 35 вычисления яркостного различия задает достаточное число линий Pa концентрации внимания, так что проблемы не возникают во время обнаружения краев посредством модуля 36 обнаружения линий краев. На этапе S26, модуль 35 вычисления яркостного различия задает опорные точки Pr таким образом, что точки Pa концентрации внимания и опорные точки Pr имеют практически идентичную высоту в реальном пространстве, и, следовательно, пары из точек Pa концентрации внимания и опорных точек Pr выстраиваются в практически горизонтальном направлении, и упрощается обнаружение линий краев, идущих в вертикальном направлении в реальном пространстве.
[0101] Затем, на этапе S27, модуль 35 вычисления яркостного различия вычисляет яркостное различие между точками Pa концентрации внимания и опорными точками Pr на идентичной высоте в реальном пространстве. Модуль 36 обнаружения линий краев затем вычисляет атрибут s точек Pa концентрации внимания в соответствии с формулой 1, описанной выше. На этапе S28, модуль 36 обнаружения линий краев затем вычисляет неразрывность c атрибута s точек Pa концентрации внимания в соответствии с формулой 2. На этапе S29, модуль 36 обнаружения линий краев, кроме того, определяет то, превышает или нет значение, полученное посредством нормализации суммы неразрывности c, пороговое значение θ в соответствии с формулой 3. Когда оценено то, что нормализованное значение превышает пороговое значение θ (этап S29: "Да"), модуль 36 обнаружения линий краев обнаруживает линию La концентрации внимания в качестве линии края на этапе S30. Обработка затем переходит к этапу S31. Когда оценено то, что нормализованное значение не превышает пороговое значение θ (этап S29: "Нет"), модуль 36 обнаружения линий краев не обнаруживает то, что линия La концентрации внимания представляет собой линию края, и обработка переходит к этапу S31. Пороговое значение θ может задаваться заранее или может быть изменено согласно команде управления посредством контроллера 39.
[0102] На этапе S31, компьютер 30 определяет то, выполнены или нет процессы этапов S23-S30 для всех линий La концентрации внимания, которые могут задаваться в области A1 обнаружения. Когда оценено то, что вышеуказанные процессы не выполнены для всех линий La концентрации внимания (этап S31: "Нет"), процесс возвращается к этапу S23, задает новую линию La концентрации внимания и повторяет процесс посредством этапа S31. С другой стороны, когда оценено то, что процессы выполнены для всех линий La концентрации внимания (этап S31: "Да"), процесс переходит к этапу S32 по фиг. 18.
[0103] На этапе S32 по фиг. 18, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости вдоль линии края для каждой линии краев, обнаруженной на этапе S30 по фиг. 17. Модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линий краев в соответствии с любой из формул 4, 5 и 6. Далее, на этапе S33, модуль 37 обнаружения трехмерных объектов исключает, из числа линий краев, линии краев, в которых изменение яркости превышает предварительно определенное пороговое значение. Другими словами, когда линия края, имеющая большое изменение яркости, не оценивается в качестве корректной линии края, линия края не используется для обнаружения трехмерного объекта. Как описано выше, это осуществляется для того, чтобы подавлять обнаружение знаков на поверхности дороги, придорожной растительности и т.п., включенных в область A1 обнаружения в качестве линий краев. Следовательно, предварительно определенное пороговое значение определяется посредством экспериментирования или другого средства заранее и задается на основе изменения яркости, которое возникает вследствие знаков на поверхности дороги, придорожной растительности и т.п.
[0104] Затем, на этапе S34, модуль 37 обнаружения трехмерных объектов определяет то, равно или превышает либо нет количество линий краев второе пороговое значение β. Здесь, второе пороговое значение β задается заранее равным значению, которое определяется заранее посредством экспериментирования и т.п., и также может быть изменено согласно команде управления, выданной посредством контроллера 39, проиллюстрированного на фиг. 3; подробности описываются ниже. Например, когда четырехколесное транспортное средство задается в качестве трехмерного объекта, который должен быть обнаружен, второе пороговое значение β задается заранее, посредством экспериментирования и т.п., на основе числа линий краев четырехколесного транспортного средства, появляющегося в области A1 обнаружения. Когда оценено то, что количество линий краев равно или превышает второе пороговое значение β (S34: "Да"), модуль 37 обнаружения трехмерных объектов на этапе S35 определяет то, что трехмерный объект присутствует в области A1 обнаружения. С другой стороны, когда оценивается то, что количество линий краев не равно или превышает второе пороговое значение β (S34: "Нет"), модуль 37 обнаружения трехмерных объектов определяет то, что трехмерный объект не присутствует в области A1 обнаружения. После этого, завершается обработка, проиллюстрированная на фиг. 17 и фиг. 18. Обнаруженный трехмерный объект может оцениваться в качестве другого транспортного средства VX, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, или скорость обнаруженного трехмерного объекта относительно рассматриваемого транспортного средства V может рассматриваться для оценки того, представляет собой или нет трехмерный объект другое транспортное средство VX, движущееся в смежной полосе движения. Второе пороговое значение β может задаваться заранее, но второе пороговое значение β также может быть изменено согласно команде управления посредством контроллера 39.
[0105] Как описано выше, согласно способу для обнаружения трехмерного объекта с использованием информации краев согласно настоящему варианту осуществления, вертикальная воображаемая линия задается в качестве сегмента линии, идущего в вертикальном направлении в реальном пространстве относительно изображения вида «с высоты птичьего полета», чтобы обнаруживать трехмерный объект, присутствующий в областях A1, A2 обнаружения. Для каждой из множества позиций вдоль вертикальной воображаемой линии вычисляется яркостное различие между двумя пикселами около каждой позиции, и присутствие трехмерного объекта может оцениваться на основе неразрывности яркостного различия.
[0106] В частности, в областях A1, A2 обнаружения в изображении вида «с высоты птичьего полета», задаются линия La концентрации внимания, соответствующая сегменту линии, который идет в вертикальном направлении в реальном пространстве, и опорная линия Lr, отличающаяся от линии La концентрации внимания. Затем, яркостные различия между точками Pa концентрации внимания на линии La концентрации внимания и опорными точками Pr на опорной линии Lr определяются непрерывно вдоль линии La концентрации внимания и опорной линии La. Посредством такого непрерывного определения яркостных различий пар, определяется яркостное различие между линией La концентрации внимания и опорной линией Lr. Когда яркостное различие между линией La концентрации внимания и опорной линией Lr является большим, имеется высокая вероятность того, что край трехмерного объекта присутствует в заданном местоположении линии La концентрации внимания. Таким образом, трехмерный объект может быть обнаружен на основе непрерывного яркостного различия. В частности, яркости сравниваются между вертикальными воображаемыми линиями, идущими в вертикальном направлении в реальном пространстве, и, следовательно, трехмерный объект укрупнен, согласно высоте от поверхности дороги, посредством преобразования в изображение вида «с высоты птичьего полета». Следовательно, согласно способу согласно настоящему примеру, может повышаться точность обнаружения трехмерного объекта.
[0107] Дополнительно, в настоящем примере определяется яркостное различие между двумя точками практически на идентичной высоте около вертикальных воображаемых линий. В частности, яркостное различие определяется между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr практически на идентичной высоте в реальном пространстве, и, следовательно, может безусловно обнаруживаться яркостное различие, когда присутствует край, идущий в вертикальном направлении.
[0108] В настоящем примере, атрибут назначается точке Pa концентрации внимания на основе яркостного различия между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr, и то, представляет собой или нет линия La концентрации внимания линию края, оценивается на основе неразрывности c атрибутов вдоль линии La концентрации внимания. Следовательно, граница между областью, имеющей высокую яркость, и областью, имеющей низкую яркость, обнаруживается в качестве линии края, и обнаружение краев может выполняться в соответствии с естественными ощущениями людей. Ниже подробно описывается преимущество вышеуказанного. Фиг. 19 является видом, иллюстрирующим пример изображения для того, чтобы описывать обработку модуля 36 обнаружения линий краев. Этот пример изображения представляет собой изображение, в котором первый полосковый шаблон 101 и второй полосковый шаблон 102 являются смежными друг с другом, при этом первый полосковый шаблон 101 указывает полосковый шаблон, в котором повторяются области с высокой яркостью и области с низкой яркостью, а второй полосковый шаблон 102 указывает полосковый шаблон, в котором повторяются области с низкой яркостью и области с высокой яркостью. Кроме того, в этом примере изображения области первого полоскового шаблона 101, в которых яркость является высокой, и области второго полоскового шаблона 102, в которых яркость является низкой, являются смежными друг с другом, и области первого полоскового шаблона 101, в которых яркость является низкой, и области второго полоскового шаблона 102, в которых яркость является высокой, являются смежными друг с другом. Часть 103, размещаемая на границе между первым полосковым шаблоном 101 и вторым полосковым шаблоном 102, имеет тенденцию не восприниматься как край посредством органов чувств человека.
[0109] Напротив, поскольку области с низкой яркостью и области с высокой яркостью являются смежными друг с другом, часть 103 распознается в качестве края, когда край обнаруживается только посредством яркостного различия. Тем не менее, модуль 36 обнаружения линий краев определяет часть 103 в качестве линии края только тогда, когда существует неразрывность в атрибутах яркостного различия, в дополнение к яркостному различию. Следовательно, модуль 36 обнаружения линий краев допускает подавление ошибочной оценки в качестве линии края части 103, которая не распознается в качестве линии края посредством органов чувств человека, и, следовательно, края могут быть обнаружены в соответствии с органами чувств человека.
[0110] В настоящем примере, когда изменение яркости линии края, обнаруженной посредством модуля 36 обнаружения линий краев, превышает предварительно определенное пороговое значение, оценивается то, что линия края обнаружена посредством ошибочной оценки. При преобразовании захваченного изображения, полученного посредством камеры 10, в изображение вида «с высоты птичьего полета», трехмерный объект, включенный в захваченное изображение, имеет тенденцию появляться в изображении вида «с высоты птичьего полета» в укрупненном состоянии. Например, когда шина другого транспортного средства VX укрупнена, как описано выше, одна часть, которая является шиной, укрупнена, и, следовательно, имеется тенденция того, что изменение яркости в изображении вида «с высоты птичьего полета» является небольшим в направлении укрупнения. Тем не менее, когда знаки, нарисованные на поверхности дороги и т.п., ошибочно оцениваются в качестве линий краев, области высокой яркости, которые представляют собой части символов, и области низкой яркости, которые представляют собой части поверхности дороги, смешанно включаются в изображение вида «с высоты птичьего полета». В этом случае, имеется тенденция того, что изменения яркости в укрупненном направлении становятся значительными. Следовательно, посредством оценки изменений яркости в изображении вида «с высоты птичьего полета» вдоль линий краев, как указано в настоящем примере, могут распознаваться линии краев, обнаруженные посредством ошибочной оценки, и может повышаться точность обнаружения трехмерных объектов.
[0111] КОНЕЧНАЯ ОЦЕНКА ТРЕХМЕРНОГО ОБЪЕКТА
Возвращаясь к фиг. 3, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру содержит два вышеописанных модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов), модуль 34 оценки трехмерных объектов, модуль 38 обнаружения посторонних веществ, модуль 41 обнаружения состояния дождя и контроллер 39. Модуль 34 оценки трехмерных объектов в конечном счете определяет то, представляет собой или нет обнаруженный трехмерный объект другое транспортное средство VX в областях A1, A2 обнаружения, на основе результатов обнаружения модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов). Контроллер 39 устройства 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления управляет подробностями обработки модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов) и/или модуля 34 оценки трехмерных объектов на основе результатов обнаружения модуля 41 обнаружения состояния дождя.
[0112] Модуль 41 обнаружения состояния дождя согласно настоящему варианту осуществления обнаруживает то, имеется или нет состояние дождя в позиции движения рассматриваемого транспортного средства V. В частности, модуль 41 обнаружения состояния дождя обнаруживает то, имеется или нет состояние дождя в позиции движения рассматриваемого транспортного средства V (включающее в себя информацию в отношении того, идет или нет фактически дождь, количество дождевых осадков, когда идет дождь, либо формируется или нет водяная пленка на поверхности дороги вследствие дождя), на основе информации, полученной из датчика 50 капель дождя, стеклоочистителя 60 и/или навигационного устройства 70. Более конкретно, модуль 41 обнаружения состояния дождя обнаруживает то, прилипают или нет капли дождя, либо имеется высокая вероятность того, что капли дождя прилипают к части за пределами кузова рассматриваемого транспортного средства V и, в частности, к линзе 11 камеры 10, либо обнаруживает количество прилипающих капель дождя (количество дождевых осадков).
[0113] Датчик 50 капель дождя согласно настоящему варианту осуществления содержит уступ, состоящий из полупрозрачного материала, такого как стекло и т.п., к которому могут прилипать капли дождя, светоизлучающий модуль, который облучает уступ инфракрасным светом, и светоприемный модуль, который принимает отраженный свет, который представляет собой излучаемый свет из светоизлучающего модуля. Одна основная поверхность уступа является открытой наружу рассматриваемого транспортного средства, и капли дождя прилипают к ней во время дождя. Когда капли дождя не прилипают к открытой поверхности уступа, излучаемый свет из светоизлучающего модуля подвергается полному отражению на поверхности уступа (стекла), и, следовательно, светоприемный модуль принимает отраженный свет с силой, практически идентичной силе излучаемого света. Тем не менее, когда капли дождя прилипают к открытой поверхности уступа, излучаемый свет из светоизлучающего модуля пропускается наружу через капли дождя, прилипающие к уступу (стеклу), и, следовательно, светоприемная часть принимает отраженный свет, который имеет ослабленную силу по сравнению с излучаемым светом. Посредством сравнения излучаемого света из светоизлучающего модуля и отраженного света, принимаемого посредством светоприемного модуля, может оцениваться то, прилипают или нет капли дождя к открытой поверхности (одной основной поверхности) уступа. Дополнительно, количество капель дождя, прилипающих к открытой поверхности (одной основной поверхности) уступа, может быть обнаружено на основе значения, полученного посредством вычитания интенсивности излучаемого света из светоизлучающего модуля из силы отраженного света, принимаемого посредством светоприемного модуля, т.е. на основе величины ослабления излучаемого света. Когда имеется большое количество капель дождя, прилипающих к открытой поверхности уступа, большое количество излучаемого света проходит наружу, и, следовательно, величина ослабления является большой. Тем не менее, когда имеется небольшое количество капель дождя, прилипающих к открытой поверхности уступа, небольшое количество света проходит наружу, и величина ослабления излучаемого света является небольшой. Это может быть использовано посредством датчика 50 капель дождя для того, чтобы оценивать то, что количество капель дождя, прилипающих к уступу, больше (количество дождевых осадков больше), когда величина ослабления излучаемого света больше, и что количество капель дождя, прилипающих к уступу, меньше (количество дождевых осадков меньше), когда величина ослабления излучаемого света меньше. Информация, связанная с тем, присутствуют или отсутствуют капли дождя, а также с количеством капель дождя, передается в модуль 41 обнаружения состояния дождя компьютера 30, описанного ниже. Ограничения не налагаются на конфигурацию датчика 50 капель дождя, и может использоваться надлежащим образом другой датчик 50 капель дождя, известный на момент подачи заявки. Модуль 41 обнаружения состояния дождя обнаруживает то, присутствуют или отсутствуют капли дождя, количество капель дождя и количество дождевых осадков, на основе информации обнаружения капель дождя, полученной из датчика 50 капель дождя, и передает обнаруженные результаты в контроллер 39.
[0114] Стеклоочиститель 60 представляет собой устройство для удаления капель дождя, прилипающих к ветровому стеклу и к заднему ветровому стеклу рассматриваемого транспортного средства V. Независимо от ручной или автоматической настройки, частота операции удаления капель дождя посредством стеклоочистителя 60 повышается по мере того, как возрастает количество прилипающих капель дождя. Эта взаимосвязь может быть использована для того, чтобы оценивать то, что чем выше частота приведения в действие (интенсивность приведения в действие) стеклоочистителя 60, тем больше количество капель дождя (тем больше количество дождевых осадков), и чем ниже частота приведения в действие (интенсивность приведения в действие) стеклоочистителя 60, тем меньше количество капель дождя (тем меньше количество дождевых осадков). Результат обнаружения для того, присутствуют или отсутствуют капли дождя, а также количество капель дождя передается в модуль 41 обнаружения состояния дождя компьютера 30, описанного ниже. Конкретные ограничения не налагаются на конкретную конфигурацию стеклоочистителя 60 согласно настоящему варианту осуществления, и может использоваться надлежащим образом стеклоочиститель 60, который известен на момент подачи заявки. Модуль 41 обнаружения состояния дождя обнаруживает присутствие капель дождя, количество капель дождя и количество дождевых осадков на основе информации обнаружения капель дождя, полученной из стеклоочистителя 60, и передает результаты обнаружения в контроллер 39.
[0115] Навигационное устройство 70 содержит устройство 71 связи для обмена информацией с внешним устройством, и аналогично общим навигационным устройствам, известным на момент подачи заявки, выступает в качестве устройства не только для поиска маршрута, но также и для предоставления различной информации, включающей в себя информацию о погоде, которая включает в себя информацию дождевых осадков, ассоциированную с информацией позиции, из сервера предоставления информации. Информация дождевых осадков, которая получается, включает в себя то, присутствует или отсутствует дождь, и объем дождевых осадков. Навигационное устройство 70 использует GPS-устройство 72, чтобы обнаруживать текущую позицию рассматриваемого транспортного средства V, и получает информацию о погоде, включающую в себя информацию дождевых осадков в текущей позиции, и за счет этого может получать информацию из внешнего устройства, связанную с присутствием или отсутствием дождя (прилипанием капель дождя) и объемом дождевых осадков. Полученная информация дождевых осадков передается в модуль 41 обнаружения состояния дождя компьютера 30, описанного ниже. На основе информации по обнаружению, полученной из навигационного устройства 70, модуль 41 обнаружения состояния дождя обнаруживает то, находится или нет участок движения рассматриваемого транспортного средства V в состоянии дождя (идет или нет дождь, либо существует или нет состояние, в котором водяная пленка формируется на поверхности дороги после дождя), и если идет дождь, обнаруживает количество дождевых осадков и передает обнаруженные результаты в контроллер 39.
[0116] Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает трехмерный объект на основе изображения, захваченного посредством камеры 10, и определяет то, представляет собой или нет обнаруженный трехмерный объект другое транспортное средство VX. Фиг. 20 иллюстрирует пример информации K изображений, полученной, когда капли дождя прилипают к линзе 11 камеры 10, присоединенной к рассматриваемому транспортному средству V и, в частности, к рассматриваемому транспортному средству V в состоянии дождя. Информация изображений, проиллюстрированная на фиг. 20, захватывается через линзу 11, к которой прилипают капли дождя или другое постороннее вещество. Изображение в нижней стороне на фиг. 20 представляет собой изображение номерного знака LP, и заштрихованная серым часть на верхней стороне представляет собой изображение кожуха C камеры 10. Изображение в области между номерным знаком LP и кожухом C изменяется в зависимости от текущего момента времени наряду с движением рассматриваемого транспортного средства V. Как проиллюстрировано на фиг. 20, информация K изображений в области между номерным знаком LP и кожухом C включает в себя изображение поверхности RD дороги для дороги, на которой движется рассматриваемое транспортное средство V, и изображение неба SK сзади и идущее выше поверхности RD дороги. Информация K изображений, проиллюстрированная на фиг. 20, также включает в себя изображения CL постороннего вещества, такого как капли дождя и т.п., прилипающие к линзе 11. Дополнительно, когда имеется большое количество дождевых осадков, вода может накапливаться на поверхности дороги, и информация K изображений, проиллюстрированная на фиг. 20, включает в себя отраженное изображение D, сформированное посредством водяной пленки из воды, накопленной на поверхности дороги. Таким образом, во время дождя, могут возникать явления, при которых капли дождя непосредственно прилипают к линзе 11, или капли воды дождевой воды, разбрызгиваемой посредством рассматриваемого транспортного средства, прилипают к линзе 11, или грязь, включенная в грязную воду, которая разбрызгивается, прилипает к линзе 11.
[0117] Возвращаясь к фиг. 20, когда информация изображений, захватываемая через линзу 11, к которой прилипло постороннее вещество, такое как капли дождя и т.п. во время состояния дождя, используется для того, чтобы выполнять преобразование изображений, изображение CL постороннего вещества, такого как капли дождя и т.п., может быть ошибочно распознано в качестве изображения трехмерного объекта, или скорость движения может быть ошибочно обнаружена. Следовательно, возникают случаи, в которых изображение CL может быть ошибочно распознано в качестве изображения другого транспортного средства VX или может приводить к ошибочным результатам оценки. В частности, во время дождя, информация контура (компоненты краев, пиксельные композиции, формирующие контур) трехмерного объекта может быть неточной вследствие присутствия постороннего вещества, такого как капли дождя и т.п., прилипающие к линзе 11 камеры 10, и, следовательно, точное обнаружение скорости движения трехмерного объекта является трудным.
[0118] В устройстве 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления регулируется диапазон настроек скоростей движения трехмерного объекта, предварительно заданный и применяемый при оценке того, представляет собой или нет трехмерный объект другое транспортное средство VX, с тем чтобы повышать точность оценки другого транспортного средства VX во время дождя. Как описано выше, модуль 34 оценки трехмерных объектов согласно настоящему варианту осуществления определяет обнаруженный трехмерный объект в качестве другого транспортного средства VX, когда скорость движения трехмерного объекта, обнаруженная посредством модулей 33, 37 обнаружения трехмерных объектов, находится в пределах диапазона настроек. В частности, средство 39 управления согласно настоящему варианту осуществления изменяет диапазон настроек скорости движения для оценки того, представляет собой или нет трехмерный объект другое транспортное средство VX, таким образом, чтобы он был более узким, когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, чтобы подавлять оценку трехмерного объекта в качестве другого транспортного средства VX.
[0119] За счет этого можно предотвращать ошибочную оценку трехмерного объекта, который не представляет собой другое транспортное средство VX, в качестве другого транспортного средства VX в состоянии дождя на основе относительной скорости трехмерного объекта, которая может легко быть ошибочно вычислена вследствие присутствия капель дождя, прилипающих к линзе 11, и отражения посредством водяной пленки, сформированной на поверхности дороги. Как результат, может подавляться ошибочное обнаружение постороннего вещества, прилипающего к линзе 11, в качестве другого транспортного средства VX, и ошибочное обнаружение в качестве другого транспортного средства VX трехмерного объекта, который не представляет собой транспортное средство, но изображение которого искажается посредством капель дождя, прилипающих к линзе 11, и, следовательно, могут точно обнаруживаться другие транспортные средства VX.
[0120] В частности, вышеописанное ошибочное обнаружение скорости движения легко возникает, когда обнаруженный трехмерный объект движется назад, т.е. когда относительная скорость обнаруженного трехмерного объекта является отрицательным значением. Следовательно, контроллер 39 согласно настоящему варианту осуществления изменяет диапазон настроек скорости движения таким образом, чтобы он был более узким, когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, и скорость движения трехмерного объекта, вычисленная посредством модулей 33, 37 обнаружения трехмерных объектов, является отрицательным значением, за счет этого подавляя оценку обнаруженного трехмерного объекта в качестве другого транспортного средства VX.
[0121] За счет этого можно подавлять обработку для того, чтобы обнаруживать другое транспортное средство VX только в обстановке дождя, в которой может ошибочно обнаруживаться относительная скорость, и, следовательно, ошибочное обнаружение может подавляться при обеспечении исходной точности операции для обнаружения другого транспортного средства VX. Обстановка, в которой трехмерный объект движется назад, возникает, например, когда рассматриваемое транспортное средство V обгоняет другое транспортное средство VX, и представляет собой случаи, в которых водитель рассматриваемого транспортного средства V может легко различать обстановку. Посредством ограничения обработки для того, чтобы подавлять обнаружение другого транспортного средства VX, случаями, в которых скорость движения трехмерного объекта является отрицательным значением, может подавляться возникновение проблем вследствие подавления операции обнаружения другого транспортного средства VX.
[0122] В вышеописанной обработке для того, чтобы подавлять обнаружение другого транспортного средства VX, контроллер 39 согласно настоящему варианту осуществления задает диапазон настроек скорости движения более узким по мере того, как количество дождевых осадков (включенных в состоянии дождя), обнаруженное посредством модуля 41 обнаружения состояния дождя, становится больше, и за счет этого подавляет оценку трехмерного объекта в качестве другого транспортного средства VX. Чем больше количество дождевых осадков, тем в большей степени имеет тенденцию снижаться точность скорости движения трехмерного объекта, и, следовательно, посредством задания диапазона настроек скорости движения более узким, с тем чтобы подавлять обнаружение другого транспортного средства VX, когда существуют большие количества дождевых осадков, может повышаться точность обнаружения другого транспортного средства VX.
[0123] Фиг. 21A является блок-схемой последовательности операций способа, иллюстрирующей процедуру управления. Как проиллюстрировано на фиг. 21A, на этапе S41 модуль 41 обнаружения состояния дождя выполняет обработку на основе результата обнаружения капель дождя посредством датчика 50 капель дождя, информации приведения в действие стеклоочистителя 60 и информации дождевых осадков из навигационного устройства 70, чтобы обнаруживать то, находится или нет позиция движения рассматриваемого транспортного средства V в состоянии дождя. Когда на этапе S42 обнаруживается состояние дождя посредством модуля 41 обнаружения состояния дождя, обработка переходит к этапу S51.
[0124] На этапе S51, выполняется оценка в отношении того, составляет или нет скорость движения трехмерного объекта, обнаруженная посредством модулей 33, 37 обнаружения трехмерных объектов, отрицательное значение, и если значение является отрицательным, обработка переходит к этапу S52. На этапе S52, контроллер 39 изменяет диапазон настроек скорости движения, используемый при оценке того, представляет собой или нет трехмерный объект другое транспортное средство, таким образом, чтобы он был более узким по сравнению с диапазоном настроек по умолчанию. При этом, контроллер 39 может определять диапазон настроек скорости движения для сброса согласно количеству дождевых осадков, обнаруженному посредством модуля 41 обнаружения состояния дождя. Контроллер 39 согласно настоящему варианту осуществления задает диапазон настроек скорости движения более узким для больших количеств дождевых осадков. Фиг. 21B иллюстрирует пример взаимосвязи между количеством дождевых осадков и нижним пределом диапазона настроек скорости движения. Как проиллюстрировано на фиг. 21B, чем больше количество дождевых осадков, тем выше задается нижний предел и тем более узким становится диапазон настроек скорости движения. Аналогично, чем больше количество дождевых осадков, тем в большей степени может понижаться верхний предел диапазона настроек скорости движения. Затем обработка переходит к этапу S43, и выполняется обработка обнаружения трехмерных объектов на основе информации формы разностного сигнала или информации краев. Когда обнаружено состояние дождя на этапе S42, возможно, что обработка пропускает этап S51 и переходит к этапу S52.
[0125] Эта обработка для того, чтобы обнаруживать трехмерный объект, выполняется согласно обработке посредством модуля 33 обнаружения трехмерных объектов с использованием информации формы разностного сигнала, проиллюстрированной на фиг. 11 и фиг. 12, или согласно обработке посредством модуля 37 обнаружения трехмерных объектов с использованием информации краев, проиллюстрированной на фиг. 17 и фиг. 18. На этапе S44, трехмерный объект обнаруживается в областях A1, A2 обнаружения посредством модулей 33, 37 обнаружения трехмерных объектов, и когда трехмерный объект оценивается в качестве другого транспортного средства VX посредством модуля 34 управления трехмерными объектами, обработка переходит к этапу S45, и обнаруженный трехмерный объект оценивается в качестве другого транспортного средства VX. С другой стороны, когда трехмерный объект не обнаруживается в областях A1, A2 обнаружения посредством модулей 33, 37 обнаружения трехмерных объектов, или трехмерный объект оценивается как не представляющий собой другое транспортное средство VX посредством модуля обнаружения трехмерных объектов 34, обработка переходит к этапу S46, и оценивается то, что другое транспортное средство VX не присутствует в областях A1, A2 обнаружения. Когда на этапе S42 обнаруживается состояние дождя, и рассматриваемое транспортное средство V обгоняет другое транспортное средство, обработка может переходить к этапу S47, и может прекращаться обработка для того, чтобы обнаруживать трехмерный объект, или обработка может переходить к этапу S46, и может выполняться оценка того, что другое транспортное средство VX не присутствует в областях A1, A2 обнаружения.
[0126] Модуль 34 оценки трехмерных объектов согласно настоящему варианту осуществления определяет трехмерный объект в качестве другого транспортного средства, когда трехмерный объект, имеющий скорость движения, находящуюся в пределах диапазона настроек скорости движения, обнаружен предварительно определенное число раз или более в течение предварительно определенного времени. Когда трехмерный объект, имеющий скорость движения, находящуюся в пределах диапазона предварительно определенной настройки, обнаруживается только несколько раз в течение предварительно определенного времени, считается, что некоторое изображение ошибочно обнаружено. Если трехмерный объект обнаруживается в качестве другого транспортного средства VX на основе этой информации, может снижаться точность обнаружения. Следовательно, модуль 34 оценки трехмерных объектов согласно настоящему варианту осуществления определяет трехмерный объект, имеющий скорость движения, находящуюся в предварительно определенном диапазоне, в качестве другого транспортного средства VX только тогда, когда обнаружено предварительно определенное число раз или более в течение предварительно определенного времени.
[0127] Относительно этой обработки посредством модуля 34 оценки трехмерных объектов, контроллер 39 изменяет "предварительно определенное число раз, когда трехмерный объект, имеющий скорость движения, находящуюся в предварительно определенном диапазоне, обнаруживается в течение предварительно определенного времени", которое является пороговым значением при оценке трехмерного объекта, на высокое значение, когда обнаружено состояние дождя посредством модуля 41 обнаружения состояния дождя, за счет этого подавляя оценку трехмерного объекта в качестве другого транспортного средства VX.
[0128] Фиг. 21C иллюстрирует процедуру управления для обработки, выполняемой посредством контроллера 39. Обработка, проиллюстрированная на фиг. 21C, является в основном общей с обработкой, проиллюстрированной на фиг. 21A. Когда на этапах S41 и S42 обнаруживается состояние дождя и на этапе S51 скорость движения имеет отрицательное значение, обработка переходит к этапу S53. На этапе S53, контроллер 39 изменяет "предварительно определенное число раз, когда трехмерный объект, имеющий скорость движения, находящуюся в предварительно определенном диапазоне, обнаруживается в течение предварительно определенного времени", которое является пороговым значением при оценке трехмерного объекта, на высокое значение. В этом случае, контроллер 39 может изменять "предварительно определенное число раз, когда трехмерный объект, имеющий скорость движения, находящуюся в предварительно определенном диапазоне, обнаруживается в течение предварительно определенного времени" на более высокое значение для больших количеств дождевых осадков. Фиг. 21D иллюстрирует пример взаимосвязи между количеством дождевых осадков и "предварительно определенным числом раз, когда трехмерный объект, имеющий скорость движения, находящуюся в предварительно определенном диапазоне, обнаруживается в течение предварительно определенного времени". Как проиллюстрировано на фиг. 21D, чем больше количество дождевых осадков, тем больше предварительно определенное число раз. Обработка этапов S43-S47 является общей с процедурой управления, проиллюстрированной на фиг. 21A.
[0129] Таким образом, во время дождя, когда ошибочное обнаружение относительной скорости легко возникает, в дополнение к сужению предварительно определенного диапазона скоростей движения для оценки того, представляет собой или нет трехмерный объект другое транспортное средство VX, "предварительно определенное число раз", используемое для того, чтобы оценивать частоту, с которой обнаруживается трехмерный объект, имеющий скорость движения в предварительно определенном диапазоне, изменяется на высокое значение, и в силу этого может повышаться точность оценки того, представляет собой или нет трехмерный объект другое транспортное средство VX. Конечно, только обработка для того, чтобы сужать диапазон настроек скорости движения, или только обработка для того, чтобы изменять "предварительно определенное число раз" на высокое значение, может выполняться независимо.
[0130] Дополнительно, когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 генерирует команду управления для изменения первого порогового значения α на более высокое таким образом, что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 33 обнаружения трехмерных объектов. Когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 генерирует команду управления для понижения значений, полученных посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида «с высоты птичьего полета», и формирования частотного распределения и выводит команду управления в модуль 33 обнаружения трехмерных объектов. Посредством такого повышения первого порогового значения α или понижения и вывода частотно-распределенных значений, подавляется обнаружение трехмерных объектов, и как результат может предотвращаться ошибочное обнаружение другого транспортного средства VX.
[0131] В этом случае, контроллер 39 согласно настоящему варианту осуществления понижает и выводит частотно-распределенные значения информации формы разностного сигнала, и за счет этого подавляется обнаружение трехмерных объектов, и, следовательно, может предотвращаться ошибочное обнаружение другого транспортного средства VX.
[0132] Когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 согласно настоящему варианту осуществления генерирует команду управления для изменения порогового значения θ на высокое таким образом, что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 37 обнаружения трехмерных объектов. Дополнительно, когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 уменьшает и выводит объем информации краев, включающей в себя обнаруженные длины краев. Посредством такого повышения порогового значения θ или уменьшения частотно-распределенных значений, подавляется обнаружение трехмерных объектов, и, следовательно, может предотвращаться ошибочное обнаружение другого транспортного средства VX.
[0133] В этом случае, контроллер 39 согласно настоящему варианту осуществления уменьшает и выводит оцененные длины краев, которые являются длинами краев в информации краев для части, соответствующей предварительно определенной области, включающей в себя пикселы, соответствующие числу оцениваемых инверсий, и за счет этого подавляется обнаружение трехмерных объектов, и, следовательно, может предотвращаться ошибочное обнаружение других транспортных средств VX.
[0134] Когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 может изменять на высокое значение пороговое значение p, связанное с разностью в пиксельных значениях при генерировании информации формы разностного сигнала, в дополнение к изменению первого порогового значения α, используемого при оценке трехмерного объекта из информации формы разностного сигнала. Контроллер 39 может изменять на высокое значение второе пороговое значение β, используемое при оценке трехмерного объекта из информации краев, в дополнение к изменению порогового значения θ, используемого для оценки длин краев при генерировании информации краев. Первое пороговое значение α используется для того, чтобы оценивать пики формы DWt разностного сигнала на этапе S7 по фиг. 11. Пороговое значение θ является пороговым значением, используемым для того, чтобы оценивать значения (длины краев), полученные посредством нормализации суммы неразрывностей c атрибутов точек Pa концентрации внимания на этапе S29 по фиг. 17, а второе пороговое значение β является пороговым значением для оценки количества (числа) линий краев на этапе S34 по фиг. 18. Таким образом, посредством изменения пороговых значений для оценок на более высокие значения, чувствительность обнаружения регулируется таким образом, что другое транспортное средство VX, движущееся в полосе движения, смежной с полосой движения рассматриваемого транспортного средства V, легко не обнаруживается, и, следовательно, может предотвращаться ошибочное обнаружение другого транспортного средства VX.
[0135] Когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 согласно настоящему варианту осуществления выводит в модуль 33 обнаружения трехмерных объектов команду управления для понижения значений, полученных посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида «с высоты птичьего полета», и формирования частотного распределения и выводит команду управления в модуль 33 обнаружения трехмерных объектов. Значения, полученные посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида «с высоты птичьего полета», и формирования частотного распределения, являются значениями вдоль вертикальной оси формы DWt разностного сигнала, сгенерированной на этапе S5 по фиг. 11.
[0136] Когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 согласно настоящему варианту осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления, чтобы уменьшать и выводить обнаруженную информацию краев. Обнаруженная информация краев является длиной края, которая является нормализованным значением суммы неразрывностей c атрибутов точек Pa концентрации внимания на этапе S29 по фиг. 17, а также количеством линий краев на этапе S34 по фиг. 18. Когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 изменяет нормализованное значение суммы неразрывностей c атрибутов линий Pa концентрации внимания таким образом, что оно является более низким, или уменьшает количество линий краев таким образом, что трехмерные объекты легко не обнаруживаются. Посредством такого уменьшения выходных значений чувствительность обнаружения может регулироваться таким образом, что другие транспортные средства VX легко не обнаруживаются, и, следовательно, может предотвращаться ошибочное обнаружение других транспортных средств VX.
[0137] Процедура управления для обработки, выполняемой посредством контроллера 39, проиллюстрирована на фиг. 22. Обработка, проиллюстрированная на фиг. 22, является в основном общей с обработкой, проиллюстрированной на фиг. 21A. Когда обнаруживается состояние дождя на этапах S41 и S42, и скорость движения имеют отрицательное значение на этапе S51, обработка переходит к этапу S54. На этапе S54, контроллер 39 изменяет любое одно или более пороговых значений, используемых при оценке трехмерного объекта, которые являются первым пороговым значением α, пороговым значением θ и вторым пороговым значением β, или понижает и выводит каждое из выходных значений. Обработка этапов S43-S47 является общей с процедурой управления, проиллюстрированной на фиг. 21A.
[0138] За счет этого можно подавлять обнаружение трехмерных объектов во время дождя, и, следовательно, может предотвращаться ошибочное обнаружение других транспортных средств VX.
[0139] Когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 согласно настоящему варианту осуществления подавляет оценку трехмерного объекта в качестве другого транспортного средства VX в одной частичной области на задней стороне транспортного средства из числа областей A1, A2 обнаружения. В этом случае, контроллер 39 сужает диапазон настроек скорости движения, который служит в качестве пороговых значений, при оценке трехмерного объекта из изображения при обработке изображения (захваченного изображения или изображения вида «с высоты птичьего полета»), соответствующего одной частичной области на задней стороне транспортного средства из числа областей A1, A2 обнаружения, и изменяет на высокое значение "предварительно определенное число раз", которое является пороговым значением для числа раз, когда трехмерный объект, имеющий скорость движения, находящуюся в пределах диапазона настроек, обнаруживается в течение предварительно определенного времени.
[0140] Чтобы подавлять обнаружение трехмерного объекта посредством модулей 33, 37 обнаружения трехмерных объектов или оценку трехмерного объекта в качестве другого транспортного средства посредством модуля 37 оценки трехмерных объектов, контроллер 39 изменяет каждое из пороговых значений, используемых при различной обработке, на более высокие значения (так что обнаружение выполняется не так легко), и изменяет выходные значения по сравнению с пороговыми значениями таким образом, что они ниже (так что обнаружение выполняется не так легко).
[0141] Чтобы подавлять обнаружение трехмерного объекта посредством модулей 33, 37 обнаружения трехмерных объектов или оценку трехмерного объекта в качестве другого транспортного средства посредством модуля 37 оценки трехмерных объектов, контроллер 39 изменяет пороговые значения, используемые при обработке, таким образом, что они выше начальных значений, опорных значений или других настроек (так что обнаружение выполняется не так легко), или изменяет выходные значения по сравнению с пороговыми значениями таким образом, что они ниже (так что обнаружение выполняется не так легко). Когда контроллер 39 выполняет ускорение обработки, ускорение обработки представляет собой обработку подавления и управление оценкой.
[0142] Конкретные подробности обработки заключаются в следующем.
[0143] Когда модуль 33 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации формы разностного сигнала, обнаруживает трехмерный объект, когда информация формы разностного сигнала равна или превышает предварительно определенное первое пороговое значение α, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения первого порогового значения α на высокое таким образом, что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 33 обнаружения трехмерных объектов.
[0144] Аналогично, когда модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект с информацией формы разностного сигнала, равной или превышающей предварительно определенное первое пороговое значение α, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения на меньшие значения и выводит значения, полученные посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида «с высоты птичьего полета», и формирования частотного распределения, и выводит команду управления в модуль 38 обнаружения трехмерных объектов.
[0145] Дополнительно, когда модуль 33 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации формы разностного сигнала, извлекает число пикселов, указывающих пиксельные значения, равные или превышающие пороговое значение p, в качестве числа пикселов, указывающих предварительно определенную разность, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения порогового значения p на более высокое значение таким образом, что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 38 обнаружения трехмерных объектов.
[0146] Аналогично, когда модуль 33 обнаружения трехмерных объектов извлекает число пикселов, указывающих пиксельные значения, равные или превышающие пороговое значение p, в качестве числа пикселов, указывающих предварительно определенную разность, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения на меньшее значение и выводит число пикселов, извлеченное в разностном изображении вдоль направления, в котором сплющивается трехмерный объект, когда выполняется преобразование точки обзора в изображение вида «с высоты птичьего полета», и выводит команду управления в модуль 38 обнаружения трехмерных объектов.
[0147] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, извлекает линии краев на основе пикселов, указывающих яркостное различие, равное или превышающее предварительно определенное пороговое значение t, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения предварительно определенного порогового значения t на более высокое значение таким образом, что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.
[0148] Аналогично, когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, извлекает линии краев на основе пикселов, указывающих яркостное различие, равное или превышающее предварительно определенное пороговое значение t, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения значений яркости пикселов на меньшие значения и выводит значения и выводит команду управления в модуль 37 обнаружения трехмерных объектов.
[0149] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе линий краев, включенных в информацию краев, имеющую длины, равные или превышающие пороговое значение θ, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения порогового значения θ на более высокое значение таким образом, что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.
[0150] Аналогично, когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе линий краев, включенных в информацию краев, имеющую длины, равные или превышающие пороговое значение θ, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для меньших значений и выводит значения длины линий краев обнаруженной информации краев и выводит команду управления в модуль 37 обнаружения трехмерных объектов.
[0151] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе оценки того, превышает или равно либо нет число линий краев предварительно определенной длины или более, включенных в информацию краев, например, линий краев, имеющих длину, равную или превышающую пороговое значение θ, второе пороговое значение β, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения второго порогового значения β на более высокое значение таким образом, что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.
[0152] Когда модуль 37 обнаружения трехмерных объектов, который обнаруживает трехмерные объекты с использованием информации краев, обнаруживает трехмерный объект на основе оценки того, превышает или равно либо нет число линий краев предварительно определенной длины или более, включенных в информацию краев, например, линий краев, имеющих длину, равную или превышающую пороговое значение θ, второе пороговое значение β, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления, чтобы сокращать число обнаруженных линий краев длины, равной или превышающей предварительно определенную длину, и выводить число, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.
[0153] Дополнительно, когда модуль 34 оценки трехмерных объектов определяет трехмерный объект в качестве другого транспортного средства, и скорость движения обнаруженного трехмерного объекта равна или превышает предварительно определенную скорость, предварительно заданную, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения на более высокое значение предварительно определенной скорости, которая является нижним пределом при оценке трехмерного объекта в качестве другого транспортного средства, так что трехмерный объект легко не обнаруживается, и выводит команду управления в модуль 34 оценки трехмерных объектов.
[0154] Аналогично, когда модуль 34 оценки трехмерных объектов определяет трехмерный объект в качестве другого транспортного средства, и скорость движения обнаруженного трехмерного объекта равна или превышает предварительно определенную скорость, предварительно заданную, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения на меньшее значение скорости движения трехмерного объекта по сравнению с предварительно определенной скоростью, которая является нижним пределом при оценке трехмерного объекта в качестве другого транспортного средства, и выводит команду управления в модуль 34 оценки трехмерных объектов.
[0155] Дополнительно, когда модуль 34 оценки трехмерных объектов определяет трехмерный объект в качестве другого транспортного средства, и скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, предварительно заданной, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения на меньшее значение предварительно определенной скорости, которая является верхним пределом при оценке трехмерного объекта в качестве другого транспортного средства, и выводит команду управления в модуль 34 оценки трехмерных объектов.
[0156] Аналогично, когда модуль 34 оценки трехмерных объектов определяет трехмерный объект в качестве другого транспортного средства, и скорость движения обнаруженного трехмерного объекта меньше предварительно определенной скорости, предварительно заданной, когда обнаружено состояние дождя, контроллер 39 генерирует команду управления для изменения на более высокое значение скорости движения трехмерного объекта по сравнению с предварительно определенной скоростью, которая является верхним пределом при оценке трехмерного объекта в качестве другого транспортного средства, и выводит команду управления в модуль 34 оценки трехмерных объектов.
[0157] Здесь "скорость движения" включает в себя абсолютную скорость трехмерного объекта и скорость трехмерного объекта относительно рассматриваемого транспортного средства. Абсолютная скорость трехмерного объекта может быть вычислена из относительной скорости трехмерного объекта, и относительная скорость трехмерного объекта может быть вычислена из абсолютной скорости трехмерного объекта.
[0158] Первое пороговое значение α является пороговым значением для оценки пика формы DWt разностного сигнала на этапе S7 по фиг. 11. Пороговое значение p является пороговым значением для извлечения пикселов, имеющих предварительно определенное пиксельное значение. Предварительно определенное пороговое значение t является пороговым значением для извлечения пикселов или компонентов краев, имеющих предварительно определенное яркостное различие. Пороговое значение θ является пороговым значением для оценки нормализованного значения (длины края) суммы неразрывностей c атрибутов точек Pa концентрации внимания на этапе S29 по фиг. 17, а второе пороговое значение β является пороговым значением для оценки количества (числа) линий краев на этапе S34 по фиг. 18. Таким образом, посредством изменения на более высокие значения пороговых значений, используемых при оценке, чувствительность обнаружения регулируется таким образом, что другое транспортное средство VX, движущееся в полосе движения, смежной с полосой движения рассматриваемого транспортного средства V, легко не обнаруживается, и, следовательно, может предотвращаться ошибочное обнаружение другого транспортного средства VX.
[0159] Контроллер 39 согласно настоящему варианту осуществления выводит в модуль 33 обнаружения трехмерных объектов команду управления для понижения значений, полученных посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида «с высоты птичьего полета», и формирования частотного распределения. Значения, полученные посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида «с высоты птичьего полета», и формирования частотного распределения, являются значениями вдоль вертикальной оси формы DWt разностного сигнала, сгенерированной на этапе S5 по фиг. 11. Контроллер 39 согласно настоящему варианту осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления, чтобы уменьшать и выводить обнаруженную информацию краев. Обнаруженная информация краев является длиной края, которая является нормализованным значением суммы неразрывностей c атрибутов точек Pa концентрации внимания на этапе S29 по фиг. 17, а также количеством линий краев на этапе S34 по фиг. 18. Контроллер 39 изменяет нормализованное значение суммы неразрывностей c атрибутов линий Pa концентрации внимания таким образом, что оно является более низким, или уменьшает количество линий краев, так что в следующей обработке, трехмерный объект легко не обнаруживается. Посредством такого уменьшения выходных значений чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, движущееся в полосе движения, смежной с полосой движения рассматриваемого транспортного средства V, легко не обнаруживается, и, следовательно, может предотвращаться ошибочное обнаружение другого транспортного средства VX, движущегося в смежной полосе движения.
[0160] Дополнительно, когда модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, контроллер 39 маскирует частичную область на задней стороне относительно транспортного средства из числа областей A1, A2 обнаружения и за счет этого подавляет оценку трехмерного объекта в качестве другого транспортного средства VX. Контроллер 39 обозначает информацию позиции (информацию координат изображения) части областей A1, A2 обнаружения на задней стороне транспортного средства и генерирует команду управления, чтобы не выполнять обработку для того, чтобы обнаруживать трехмерный объект в маскированной области, или не оценивать, представляет собой или нет трехмерный объект другое транспортное средство VX, или команду управления, чтобы инструктировать выводу такого результата, что трехмерный объект не обнаруживается в маскированной области, или что трехмерный объект в маскированной области не представляет собой другое транспортное средство VX, и передает команду управления в модуль 33 обнаружения трехмерных объектов (или модуль 37 обнаружения трехмерных объектов) или в модуль 34 оценки трехмерных объектов. Команда управления, чтобы инструктировать выводу такого результата, что трехмерный объект не обнаруживается в маскированной области, или что трехмерный объект не представляет собой другое транспортное средство VX в маскированной области, включает в себя команду, чтобы обозначать данные изображений маскированной области, и команду, чтобы изменять каждое из пороговых значений или каждое из выходных значений, как описано выше.
[0161] Процедура управления обработки, выполняемой посредством контроллера 39, проиллюстрирована на фиг. 23. Обработка, проиллюстрированная на фиг. 23, является в основном общей с обработкой, проиллюстрированной на фиг. 21A. На этапах S41 и S42, обнаруживается состояние дождя, и когда на этапе S51 скорость движения имеет отрицательное значение, обработка переходит к этапу S54. На этапе S55, контроллер 39 сужает диапазон настроек скорости движения, который служит в качестве пороговых значений при обработке изображения частичной области позади транспортного средства, увеличивает "предварительно определенное число раз" или повышает, по меньшей мере, одно из первого порогового значения α, порогового значения θ и второго порогового значения β либо другого порогового значения. На этапе S55, контроллер 39 может маскировать частичную область позади транспортного средства. Как проиллюстрировано на фиг. 24, из областей A1, A2 обнаружения, проиллюстрированных посредством пунктирных линий, маскируются области A12, A22 на противоположной стороне (в направлении +y на чертеже) относительно направления продвижения (направления -y на чертеже) транспортного средства. Другими словами, области A11, A12 обнаружения длины L1 вдоль обратного направления транспортного средства (направления +y на чертеже) сокращаются до длины L2.
[0162] Во время дождя, имеется тенденция снижения точности скорости движения трехмерного объекта в частичных областях на задней стороне транспортного средства областей A1, A2 обнаружения. В настоящем варианте осуществления, во время дождя, подавляется обнаружение трехмерного объекта и/или обнаружение другого транспортного средства VX из изображения, соответствующего частичной области на задней стороне транспортного средства, и в силу этого может поддерживаться точность обнаружения другого транспортного средства VX.
[0163] Дополнительно, контроллер 39 регулирует вышеописанные пороговые значения на основе результатов обнаружения модуля 38 обнаружения посторонних веществ, чтобы дополнительно подавлять обнаружение другого транспортного средства VX. В вышеописанной обработке, когда датчик 50 капель дождя и т.п., смонтированный на рассматриваемом транспортном средстве V, обнаруживает капли дождя, предполагается, что имеется высокая вероятность ошибочного обнаружения другого транспортного средства VX, и подавляется обнаружение другого транспортного средства VX. В настоящем варианте осуществления, когда модуль 38 обнаружения посторонних веществ фактически обнаруживает постороннее вещество, прилипающее к линзе 11, регулируется каждое из вышеописанных пороговых значений, и дополнительно подавляется обнаружение другого транспортного средства VX.
[0164] Ниже описывается модуль 38 обнаружения посторонних веществ.
На основе информации формы разностного сигнала или информации краев, модуль 38 обнаружения посторонних веществ обнаруживает то, прилипло или нет постороннее вещество к линзе 11 камеры 10, которая захватывает изображения областей A1, A2 обнаружения. Когда модуль 38 обнаружения посторонних веществ обнаруживает постороннее вещество, прилипающее к линзе, контроллер 39 дополнительно подавляет оценку обнаруженного трехмерного объекта в качестве другого транспортного средства VX. В частности, контроллер 39 выводит команду управления, чтобы управлять каждым из узлов (включающих в себя контроллер 39), составляющих компьютер 30, так что подавляется оценка изображения, соответствующего обнаруженному постороннему веществу, в качестве другого транспортного средства VX, присутствующего в областях A1, A2 обнаружения. Контроллер 39 регулирует пороговые значения и выходные значения, используемые при обнаружении и оценке, или укрупняет маскированную область для областей A1, A2 обнаружения таким образом, что подавляется результат обнаружения присутствия трехмерного объекта посредством модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов) или результат конечной оценки того, что трехмерный объект представляет собой другое транспортное средство VX, посредством модуля 34 оценки трехмерных объектов. Дополнительно, контроллер 39 генерирует команду управления, чтобы прекращать обработку обнаружения трехмерных объектов или оценку того, представляет собой или нет трехмерный объект другое транспортное средство VX, или команду управления, чтобы инструктировать выводу такого результата, что трехмерный объект не обнаруживается, или что трехмерный объект не представляет собой другое транспортное средство VX, и передает команду управления в модуль 33 обнаружения трехмерных объектов (или модуль 37 обнаружения трехмерных объектов) или в модуль 34 оценки трехмерных объектов.
[0165] Модуль 33 обнаружения трехмерных объектов (или модуль 37 обнаружения трехмерных объектов) согласно настоящему варианту осуществления регулирует пороговые значения или выходные значения, выполняет обнаружение трехмерных объектов с использованием строгих критериев, выполняет обработку для того, чтобы выводить результат обнаружения, указывающий, что трехмерный объект не обнаружен, либо прекращает непосредственно обработку обнаружения трехмерных объектов, согласно командам управления из контроллера 39. Аналогично, модуль 38 оценки трехмерных объектов регулирует пороговые значения или выходные значения, определяет то, представляет собой или нет обнаруженный трехмерный объект другое транспортное средство VX, с использованием строгих критериев, выводит оценку того, что трехмерный объект не представляет собой другое транспортное средство VX, или прекращает непосредственно обработку оценки трехмерных объектов, согласно командам управления из контроллера 39.
[0166] Ниже описывается обработка обнаружения посредством модуля 38 обнаружения посторонних веществ. Модуль 38 обнаружения посторонних веществ получает информацию изображений, захватываемую позади рассматриваемого транспортного средства V посредством камеры 10. Фиг. 20, описанный выше, также является примером информации полученных изображений K. Когда обработка преобразования изображений выполняется с использованием информации изображений, захватываемой через линзу 11, к которой прилипло постороннее вещество, как проиллюстрировано на фиг. 20, изображение CL2, которое соответствует изображению CL постороннего вещества, появляется в области A11 обнаружения, как проиллюстрировано на фиг. 25. Когда информация формы разностного сигнала или информация краев вычисляется с использованием вышеописанных способов на основе такого изображения вида «с высоты птичьего полета», и выполняется обработка обнаружения трехмерных объектов, возникают случаи, в которых изображение CL2 ошибочно распознается в качестве изображения другого транспортного средства VX.
[0167] В частности, как проиллюстрировано на фиг. 26, когда постороннее вещество не прилипло к линзе 11, когда другое транспортное средство VX присутствует в области A1 обнаружения, пикселы, для которых информация формы разностного сигнала (распределение) равна или превышает предварительно определенное пороговое значение, или количества краев, для которых яркостное различие равно или превышает предварительно определенное значение, распределяются в величинах, равных или превышающих пороговое значение sb вдоль направлений EL1-EL4 сплющивания трехмерного объекта, когда выполняется преобразование точки обзора в изображение вида «с высоты птичьего полета», причем распределение формы сигнала и яркостное различие соответствуют характеристике другого транспортного средства VX, например, границе между шиной и колесом. Тем не менее, как проиллюстрировано на фиг. 27, когда эксперименты используются для того, чтобы оценивать случай, в котором постороннее вещество CL прилипло к линзе 11, даже когда другое транспортное средство VX или некоторый другой трехмерный объект не присутствует в области A1 обнаружения, имеется тенденция обнаружения частотного распределения информации формы разностного сигнала или количества краев, имеющих яркостное различие, равное или большее предварительно определенного значения, превышающего пороговое значение sb, вдоль направлений EL1-EL4 сплющивания трехмерного объекта при выполнении преобразования точки обзора изображения вида «с высоты птичьего полета». Пиксельная информация, соответствующая изображению, возникающему в результате постороннего вещества CL, прилипающего к линзе 11, в силу этого налагает ошибочное обнаружение другого транспортного средства VX или другого трехмерного объекта.
[0168] Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления извлекает первое максимальное значение из информации формы разностного сигнала, сгенерированной в одно или множество первых времен посредством модуля 33 обнаружения трехмерных объектов, и кроме того, получает опорное значение на основе первого максимального значения и извлекает второе максимальное значение, соответствующее позиции или времени первого максимального значения в изображении вида «с высоты птичьего полета», из информации формы разностного сигнала, вновь сгенерированной в одно или множество вторых времен позднее первого времени, и кроме того, получает значение для оценки на основе второго максимального значения. Модуль 38 обнаружения посторонних веществ затем обнаруживает то, прилипло или нет постороннее вещество к линзе, на основе изменения во времени в разности между значением для оценки и опорным значением.
[0169] Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления извлекает первое максимальное значение, включенное в информацию формы разностного сигнала, сгенерированную в первое время, получает x-значение (позицию или время) и y-значение (значение счетчика), указывающее первое максимальное значение, и получает опорное значение на основе первого максимального значения (y-значения). Опорное значение может задаваться как значение, равное или меньшее первого максимального значения (y-значения), или значение, которое составляет предварительно определенную часть первого максимального значения (y-значения), или значение, полученное посредством вычитания предварительно определенного значения из первого максимального значения (y-значения). Максимальное значение, включенное в информацию формы разностного сигнала, сгенерированную во второе время, максимальное значение, соответствующее x-значению (позиции или времени) первого максимального значения или имеющее разность в x-значении в пределах предварительно определенного значения, извлекается в качестве второго максимального значения. Значение для оценки получается на основе второго максимального значения (y-значения). Значение для оценки может быть значением, равным или меньшим второго максимального значения (y-значения), или значением, которое составляет предварительно определенную часть второго максимального значения (y-значения), или значением, полученным посредством вычитания предварительно определенного значения из второго максимального значения (y-значения). Этот способ может быть использован вместе со способом для извлечения опорного значения из первого максимального значения.
[0170] Модуль 38 обнаружения посторонних веществ получает во времени разность между значением для оценки и опорным значением и вычисляет изменение во времени в разности, полученной в различные моменты времени. Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления обнаруживает то, прилипло или нет постороннее вещество к линзе, на основе величины изменения во времени между значением для оценки, соответствующим позиции или времени, и опорным значением. В качестве изменения во времени, сопровождающего прохождение времени, модуль 38 обнаружения посторонних веществ определяет степень сдвига (варьирования) между значением для оценки и опорным значением. Если величина изменения между значением для оценки и опорным значением является небольшой даже со временем, может быть оценено, что объект, обнаруженный в первое время, и объект, обнаруженный во второе время, представляют собой идентичный объект, т.е. объект (постороннее вещество), прилипающий к линзе 11.
[0171] Когда модуль 38 обнаружения посторонних веществ, для того чтобы оценивать изменение значения для оценки и опорного значения, сопровождающее прохождение времени, определяет то, что степень изменения во времени в разности между значением для оценки и опорным значением находится в предварительно определенном диапазоне оценки, модуль 38 обнаружения посторонних веществ определяет то, что изображение, включающее в себя пикселы, соответствующие значению для оценки, представляет собой изображение, возникающее в результате постороннего вещества, прилипающего к линзе, и обнаруживает то, что постороннее вещество прилипло к линзе 11. В частности, когда состояние, в котором разность между значением для оценки и опорным значением находится в пределах предварительно определенного значения, продолжается в течение предварительно определенного времени, определено то, что постороннее вещество прилипло к линзе 11, и когда разность между значением для оценки и опорным значением превышает предварительно определенное значение, или когда состояние, в котором разность между двумя вышеуказанными значениями находится в пределах предварительно определенного значения, не продолжается в течение предварительно определенного времени, определено то, что постороннее вещество не прилипло к линзе 11.
[0172] Модуль 38 обнаружения посторонних веществ извлекает характеристику информации формы разностного сигнала, сгенерированной в одно или множество первых времен посредством модуля 33 обнаружения трехмерных объектов. Следовательно, модуль 33 обнаружения трехмерных объектов выполняет обработку сигналов с использованием, по меньшей мере, полосового фильтра в отношении сгенерированной информации формы разностного сигнала. Полосовой фильтр блокирует прохождение или ослабляет сигналы в обозначенной полосе частот и дает возможность прохождения сигналов в требуемой полосе частот. Полосовой фильтр выполняет обработку вдоль позиционного направления, например, направления удаления от камеры 10 вдоль обратного направления рассматриваемого транспортного средства V (направления +y на фиг. 23), направления времени или направления пространства.
[0173] В настоящем варианте осуществления, фильтр нижних частот (фильтр низких частот), который блокирует или ослабляет высокочастотные компоненты, используется в качестве полосового фильтра. Посредством выполнения обработки сигналов информации формы разностного сигнала с использованием фильтра нижних частот информация формы разностного сигнала может подвергаться сглаживанию, усреднению или размыванию. Когда выполняется обработка сигналов с использованием фильтра нижних частот, удаляются небольшие максимальные значения, которые могут оцениваться в качестве шума, могут демонстрироваться максимальные значения, указывающие сравнительно большие изменения, и могут извлекаться характеристики информации полученных изображений, и в силу этого могут демонстрироваться максимальные значения в информации формы разностного сигнала или информации краев, возникающие в результате присутствия постороннего вещества, прилипающего к линзе 11, и могут извлекаться характеристики информации изображений, соответствующей постороннему веществу.
[0174] Дополнительно, модуль 38 обнаружения посторонних веществ может использовать два или более полосовых фильтра, которые блокируют или ослабляют две или более различных частоты. Например, модуль 38 обнаружения посторонних веществ может использовать фильтр нижних частот, имеющий относительно низкую пропускаемую частоту (например, 0,3 Гц), и фильтр нижних частот, имеющий относительно высокую пропускаемую частоту (например, 1 Гц), для того чтобы выполнять обработку сигналов и может сравнивать значения с идентичными позициями, временами, пространством либо другими позициями на горизонтальной оси и выбирать меньшее значение (обработку выбора низких значений). Таким образом, при извлечении максимальных значений, которые являются характеристиками других трехмерных объектов, к примеру, других транспортных средств VX и т.п., высокочастотные компоненты, возникающие вследствие шума или светового окружения, блокируются или ослабляются, и, следовательно, может предотвращаться подавление обнаружения, возникающего несмотря на присутствие другого транспортного средства VX, которое должно быть обнаружено, при подавлении ошибочного обнаружения вследствие светового окружения.
[0175] Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления выполняет обработку сигналов с использованием модуля ограничения скорости изменения, в дополнение к вышеописанной обработке сигналов с использованием полосового фильтра. Посредством выполнения обработки сигналов с использованием модуля ограничения скорости изменения может быть дополнительно сглажена информация формы разностного сигнала, могут удаляться небольшие максимальные значения, которые могут оцениваться в качестве шума, и могут извлекаться характеристики информации изображений, соответствующей максимальным значениям, указывающим сравнительно большие изменения, и в силу этого могут извлекаться характеристики информации изображений, возникающей в результате присутствия постороннего вещества, прилипающего к линзе 11.
[0176] "Опорное значение" получается на основе "максимальных значений информации форм опорных сигналов", полученных посредством выполнения обработки сигналов с использованием полосового фильтра. Задается "предварительно определенный диапазон оценки" для оценки постороннего вещества на основе полученного "опорного значения". Например, при рассмотрении "опорного значения" в качестве центрального значения, "предварительно определенный диапазон оценки" задается на основе значения, полученного посредством суммирования значения допустимого запаса с опорным значением, и значения, полученного посредством вычитания значения допустимого запаса из опорного значения.
[0177] Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления получает "значение для оценки" на основе максимальных значений информации формы разностного сигнала, вновь сгенерированной в одно или множество вторых времен позднее первого времени, и увеличивает число раз, когда разность между "значением для оценки" и "опорным значением", общая для позиции в изображении вида «с высоты птичьего полета», находится "в пределах предварительно определенного диапазона оценки". Увеличение может выполняться в течение предварительно определенного времени оценки, которое задается заранее. Когда увеличенное число становится равным или превышающим предварительно определенное значение, модуль 38 обнаружения посторонних веществ определяет то, что изображение, включающее в себя пикселы, которые соответствуют значениям оценки, извлекаемой из увеличенных результатов, обусловлено посторонним веществом, прилипающим к линзе 11.
[0178] Вышеописанная обработка модуля 38 обнаружения посторонних веществ может выполняться на основе информации краев. Модуль 38 обнаружения посторонних веществ извлекает первое максимальное значение из информации краев, включающей в себя информацию линий краев, сгенерированных посредством модуля 37 обнаружения трехмерных объектов в одно или множество первых времен, и кроме того, получает длину опорного края на основе первого максимального значения. Информация линий краев включает в себя информацию (включающую в себя число пикселов) относительно длин краев, имеющих предварительно определенную неразрывность, и указывающую яркостные различия, равные или превышающие предварительно определенное пороговое значение. Модуль 38 обнаружения посторонних веществ извлекает второе максимальное значение, соответствующее первому максимальному значению в изображении вида «с высоты птичьего полета», из информации краев, вновь сгенерированной в одно или множество вторых времен позднее первого времени, и кроме того, получает длину оцениваемого края на основе второго максимального значения. На основе изменения во времени в разности между длиной оцениваемого края и длиной опорного края, обнаруживается то, прилипло или нет постороннее вещество к линзе. Значимость "изменения" соответствует значимости "изменения" при обработке на основе информации формы разностного сигнала.
[0179] В частности, модуль 38 обнаружения посторонних веществ выполняет обработку сигналов информации краев, включающей в себя информацию линий краев, сгенерированных в первое время, с использованием, по меньшей мере, полосового фильтра, и после обработки сигналов получает "длину опорного края" на основе "максимального значения информации опорных краев". Затем, на основе максимального значения информации краев, вновь сгенерированной в одно или множество вторых времен позднее первого времени, получается "длина опорного края", и на основе числа раз, когда оценивается то, что разность между длиной оцениваемого края и длиной опорного края, общая для позиции на изображении вида «с высоты птичьего полета», находится "в пределах предварительно определенного диапазона оценки", изображение, содержащее пикселы, соответствующие длине оцениваемого края, оценивается как обусловленное посторонним веществом, прилипающим к линзе 11. Эта оценка может выполняться в течение предварительно определенного времени оценки, которое задается заранее. Тот факт, что фильтр нижних частот может быть использован в качестве полосового фильтра, и его работа и преимущества, а также тот факт, что полоса частот блокирования/ослабления полосового фильтра может быть изменена согласно состоянию обнаружения посторонних веществ, и его работа и преимущества являются общими с описанием, которое здесь применяется. "Информация опорных краев" при обработке обнаружения посторонних веществ на основе информации краев соответствует вышеописанной "информации опорных формы разностного сигнала", "длина опорного края" соответствует вышеописанному "опорному значению", "длина оцениваемого края" соответствует вышеописанному "значению для оценки", и "предварительно определенный диапазон оценки" для оценки "длины оцениваемого края" соответствует "предварительно определенному диапазону оценки" для оценки "значения для оценки" в вышеописанной обработке с использованием информации форм опорных сигналов. Во избежание дублированных описаний, пояснения в настоящем описании изобретения должны применяться и логически выводиться надлежащим образом на основе вышеуказанных отношений соответствия.
[0180] Другое транспортное средство VX и т.п., которые представляют собой исходные объекты для обнаружения, движутся независимо от настоящего устройства 1, и, следовательно, значение (абсолютная величина) и позиция (позиция в областях A1, A2 обнаружения) для максимального значения информации формы разностного сигнала или информации краев, которые соответствуют характеристикам другого транспортного средства VX, изменяются в зависимости от текущего момента времени. Тем не менее, постороннее вещество, прилипающее к линзе 11, движется вместе с настоящим устройством 1, и, следовательно, по сравнению со случаем, в котором другое транспортное средство VX присутствует в областях A1, A2 обнаружения, изменение во времени значения (абсолютной величины) и позиции (позиции в областях A1, A2 обнаружения) для максимального значения информации формы разностного сигнала или информации краев, соответствующей характеристикам постороннего вещества, зачастую является небольшим.
[0181] При рассмотрении характеристик постороннего вещества CL, прилипающего к линзе 11, когда "значение для оценки"/"длина оцениваемого края", в которой разность с "опорным значением"/"длиной опорного края" попадает в пределы диапазона оценки, обнаруживается предварительно определенное число раз или более в идентичной позиции в качестве максимального значения информации формы разностного сигнала или информации краев, сгенерированной в первое время (идентичная позиция в областях A1, A2 обнаружения), либо когда обнаружение возникает с предварительно определенной частотой или более в течение предварительно определенного времени оценки, максимальное значение информации формы разностного сигнала или информации краев во второе время может оцениваться как не составляющее максимальное значение, соответствующее характеристике движущегося трехмерного объекта. Другими словами, максимальное значение информации формы разностного сигнала или информации краев во второе время не имеет четкого контура (края), к примеру, в трехмерном объекте и может оцениваться в качестве постороннего вещества, прилипающего к линзе 11, которое движется вместе с настоящим устройством 1. Следовательно, как указано выше, информация (информация формы разностного сигнала, информация краев), обнаруженная в качестве постороннего вещества, может оцениваться как не представляющая собой информацию (информацию формы разностного сигнала, информацию краев), указывающую изображение другого транспортного средства VX, движущегося в полосе движения, смежной с рассматриваемым транспортным средством V.
[0182] Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления извлекает характеристики, отличительные для постороннего вещества, прилипающего к линзе 11, из информации изображений, фактически захваченной через линзу 11, и на основе извлеченных характеристик определяет то, что постороннее вещество прилипло к линзе 11, и, следовательно, может точно оцениваться состояние линзы 11. Как результат, может подавляться ошибочное обнаружение постороннего вещества, прилипающего к линзе 11, в качестве другого транспортного средства VX, и, следовательно, могут точно обнаруживаться другие транспортные средства VX.
[0183] Дополнительно, при обнаружении постороннего вещества, прилипающего к линзе 11, с использованием информации формы разностного сигнала в настоящем варианте осуществления, используется максимальное значение из значений, полученных посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении, и формирования частотного распределения, но вместо этого значения может быть извлечено множество пиксельных групп, в которых разность с пиксельными значениями смежных пикселов меньше предварительно определенного значения из числа пикселов, составляющих максимальное значение, и может использоваться максимальное значение числа точек инверсии из числа пиксельных групп. Пиксельная группа, пиксельные значения смежных пикселов которой меньше предварительно определенного значения, является частью, которая является яркой (или темной) согласно характеристической точке (разности, краю и т.п.) объекта для обнаружения, и между этими пиксельными группами предусмотрены темные (или яркие) части, которые инвертируются с ярких на темные (или с темных на яркие). Число инверсий пиксельных групп, имеющих пиксельные значения, отличающиеся на предварительно определенное значение или больше, соответствует характеристикам объекта для обнаружения, и может выполняться аналогичная обработка, с аналогичной точностью, как и при использовании результатов подсчета числа пикселов, указывающих предварительно определенную разность.
[0184] В частности, при обнаружении постороннего вещества на основе информации разностных изображений, модуль 33 обнаружения трехмерных объектов совмещает, в виде «с высоты птичьего полета», позиции изображений вида «с высоты птичьего полета» в различные моменты времени и извлекает множество пиксельных групп, в которых разность с пиксельными значениями смежных пикселов меньше предварительно определенного значения из числа пикселов, указывающих предварительно определенную разность в разностном изображении для совмещенных изображений вида «с высоты птичьего полета» вдоль направления сплющивания трехмерного объекта, когда выполняется преобразование точки обзора в изображение вида «с высоты птичьего полета». Когда группируются множества пикселов с общими пиксельными значениями, существуют пикселы, имеющие менее чем предварительно определенное значение между пиксельными группами. Иными словами, существуют пикселы, имеющие низкие пиксельные значения между одной пиксельной группой и другой пиксельной группой, и здесь возникают инверсии яркого/темного. Интервалы между пиксельными группами рассматриваются в качестве точек инверсии, и посредством подсчета их числа и формирования частотного распределения генерируется "информация форм сигналов инверсий". Эта "информация форм сигналов инверсий" соответствует вышеописанной "информации формы разностного сигнала" при обработке обнаружения посторонних веществ согласно настоящему варианту осуществления.
[0185] Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления получает из модуля 33 обнаружения трехмерных объектов информацию форм сигналов инверсий, полученную посредством совмещения позиций изображений вида «с высоты птичьего полета» в различные моменты времени в виде «с высоты птичьего полета» и в разностном изображении для совмещенного изображения вида «с высоты птичьего полета», извлечения множества пиксельных групп, в которых разность с пиксельными значениями смежных пикселов меньше предварительно определенного значения из числа пикселов, указывающих предварительно определенную разность в разностном изображении вдоль направления, в котором сплющивается трехмерный объект, когда выполняется преобразование точки обзора, подсчета точек инверсии между пиксельными группами и формирование частотного распределения. Эта информация форм сигналов инверсий также может быть сгенерирована посредством модуля 38 обнаружения посторонних веществ на основе информации, полученной из модуля 33 обнаружения трехмерных объектов.
[0186] Модуль 38 обнаружения посторонних веществ извлекает первое максимальное значение из информации форм сигналов инверсий, сгенерированной в одно или множество первых времен, и кроме того, получает опорное число инверсий на основе первого максимального значения и извлекает второе максимальное значение, соответствующее первому максимальному значению в изображении вида «с высоты птичьего полета», из информации форм сигналов инверсий, вновь сгенерированной в одно или множество вторых времен позднее первого времени. Затем, на основе второго максимального значения, получается оцениваемое число инверсий, и на основе изменения во времени в разности между оцениваемым числом инверсий и опорным числом инверсий, обнаруживается то, прилипло или нет постороннее вещество к линзе 11.
[0187] Модуль 38 обнаружения посторонних веществ извлекает первое максимальное значение, включенное в информацию форм сигналов инверсий, сгенерированную в первое время, получает x-значение (позицию или время) и y-значение (число инверсий), указывающее первое максимальное значение, и на основе первого максимального значения (y-значения) получает опорное значение. Опорное число инверсий может задаваться как значение, равное или меньшее первого максимального значения (y-значения), значение, которое составляет предварительно определенную часть первого максимального значения (y-значения), или значение, полученное посредством вычитания предварительно определенного значения из первого максимального значения (y-значения). Затем, второе максимальное значение извлекается в качестве максимального значения, включенного в информацию форм сигналов инверсий, сгенерированную во второе время, максимального значения, соответствующего x-значению (позиции или времени) первого максимального значения или имеющего разность в x-значении в пределах предварительно определенного значения. На основе второго максимального значения (y-значения), получается оцениваемое число инверсий. Оцениваемое число инверсий может задаваться как значение, равное или меньше второго максимального значения (y-значения), значение, которое составляет предварительно определенную часть второго максимального значения (y-значения), или значение, полученное посредством вычитания предварительно определенного значения из второго максимального значения (y-значения). Этот способ может быть использован вместе со способом для извлечения опорного числа инверсий из первого максимального значения.
[0188] Модуль 38 обнаружения посторонних веществ получает, во времени, разность между оцениваемым числом инверсий и опорным числом инверсий и вычисляет изменение во времени в разности, полученной в различные моменты времени. Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления обнаруживает то, прилипло или нет постороннее вещество к линзе, на основе величины изменения во времени в оцениваемом числе инверсий и опорной инверсии, которые соответствуют в позиции или времени. Модуль 38 обнаружения посторонних веществ определяет степень сдвига (варьирования) между значением для оценки и опорным числом инверсий в качестве изменения во времени, сопровождающего прохождение времени. Если величина изменения в оцениваемом числе инверсий и опорном числе инверсий является небольшой даже со временем, может быть оценено, что объект, обнаруженный в первое время, и объект, обнаруженный во второе время, представляют собой идентичный объект, т.е. объект (постороннее вещество), прилипающий к линзе 11.
[0189] Когда для того, чтобы оценивать изменение в оцениваемом числе инверсий и опорном числе инверсий, сопровождающее прохождение времени, модуль 38 обнаружения посторонних веществ оценивает то, что степень изменения во времени в разности между оцениваемым числом инверсий и опорным числом инверсий находится в пределах предварительно определенного диапазона оценки, модуль 38 обнаружения посторонних веществ определяет то, что изображение, включающее в себя пикселы, соответствующие оцениваемому числу инверсий, представляет собой изображение, возникающее в результате постороннего вещества, прилипающего к линзе, и обнаруживает то, что постороннее вещество прилипло к линзе 11. В частности, когда состояние, в котором разность между оцениваемым числом инверсий и опорным числом инверсий находится в пределах предварительно определенного значения, продолжается в течение предварительно определенного времени, обнаруживается прилипание постороннего вещества к линзе 11, а когда разность между оцениваемым числом инверсий и опорным числом инверсий превышает предварительно определенное значение, или когда состояние, в котором разность между двумя вышеуказанными значениями находится в пределах предварительно определенного значения, не продолжается в течение предварительно определенного времени, обнаруживается неприлипание постороннего вещества к линзе 11.
[0190] В частности, модуль 38 обнаружения посторонних веществ выполняет обработку сигналов с использованием, по меньшей мере, полосового фильтра с "информацией форм сигналов инверсий" в первое время, полученной из модуля 33 обнаружения трехмерных объектов, и получает "опорное число инверсий" на основе максимального значения "информации форм сигналов опорных инверсий", вытекающей из обработки сигналов. Дополнительно, "оцениваемое число инверсий" получается на основе "максимального значения информации форм сигналов инверсий", вновь сгенерированной в одно или множество вторых времен позднее первого времени. Затем, на основе числа раз, когда разность между "оцениваемым числом инверсий" и "опорным числом инверсий", имеющими общую позицию на виде «с высоты птичьего полета», находится "в пределах предварительно определенного диапазона оценки", оценивается то, что изображение, включающее в себя пикселы, соответствующие "оцениваемому числу инверсий", сгенерированное во второе время, обусловлено посторонним веществом, прилипающим к линзе 11. Обработка для того, чтобы обнаруживать постороннее вещество, прилипающее к линзе 11, с использованием информации форм сигналов инверсий, демонстрирует работу и преимущества, аналогичные вышеописанной обработке для того, чтобы обнаруживать постороннее вещество, прилипающее к линзе 11, с использованием информации формы разностного сигнала, и может применяться аналогичный модифицированный режим. "Информация форм сигналов инверсий" в настоящем примере обработки соответствует вышеописанной "информации формы разностного сигнала", "опорное число инверсий" соответствует вышеописанному "опорному значению", "оцениваемое число инверсий" соответствует вышеописанному "значению для оценки", и "предварительно определенный диапазон оценки" соответствует "предварительно определенному диапазону оценки" в вышеописанной обработке с использованием информации форм опорных сигналов. Во избежание дублированных описаний, пояснения в настоящем описании изобретения должны применяться и логически выводиться надлежащим образом на основе вышеуказанных отношений соответствия.
[0191] Кроме того, даже когда используется информация краев, может выполняться обработка, аналогичная вышеописанной обработке.
В этом случае, модуль 33 обнаружения трехмерных объектов извлекает множество пиксельных групп, в которых яркостное различие смежных пикселов меньше предварительно определенного значения из числа компонентов краев, имеющих неразрывность, которые являются пикселами областей изображения, которые являются смежными вдоль направления сплющивания трехмерного объекта, когда выполняется преобразование точки обзора в изображение вида «с высоты птичьего полета», и которые имеют яркостное различие, превышающее или равное предварительно определенному значению t. Когда группируются множества пикселов, имеющих общие пиксельные значения, существуют пикселы между сгруппированными пиксельными группами, яркостное различие которых меньше предварительно определенного значения. Другими словами, существуют пикселы, имеющие низкую яркость между одной пиксельной группой и другой пиксельной группой, и здесь возникают инверсии яркого/темного. Интервалы между пиксельными группами рассматриваются в качестве точек инверсии, и посредством подсчета их числа и формирования частотного распределения, генерируется "информация инверсий краев". Эта "информация инверсий краев" соответствует вышеописанной "информации форм сигналов инверсий" при обработке обнаружения посторонних веществ согласно настоящему варианту осуществления.
[0192] Модуль 38 обнаружения посторонних веществ согласно настоящему варианту осуществления выполняет обработку сигналов, с использованием, по меньшей мере, полосового фильтра, для "информации инверсий краев" в первое время, сгенерированной посредством модуля 33 обнаружения трехмерных объектов, и на основе максимального значения "информации опорных инверсий краев", вытекающей из обработки сигналов, получает "опорное число инверсий". Затем, на основе "максимального значения информации инверсий краев", вновь сгенерированной в одно или множество вторых времен позднее первого времени, получается "оцениваемое число инверсий", и на основе числа оценок того, что разность между "оцениваемым числом инверсий" и "опорным числом инверсий", имеющих общую позицию на виде «с высоты птичьего полета», находится "в пределах предварительно определенного диапазона оценки", оценивается то, что изображение, включающее в себя пикселы, соответствующие "оцениваемому числу инверсий", сгенерированное во второе время, обусловлено посторонним веществом, прилипающим к линзе 11. Обработка для того, чтобы обнаруживать постороннее вещество, прилипающее к линзе 11, с использованием информации инверсий краев, демонстрирует работу и преимущества, аналогичные вышеописанной обработке для того, чтобы обнаруживать постороннее вещество, прилипающее к линзе 11, с использованием информации форм сигналов инверсий, и может применяться аналогичный модифицированный режим. "Информация инверсий краев", полученная из "информации краев" в настоящем примере обработки, соответствует вышеописанной "информации форм сигналов инверсий", полученной из "информации формы разностного сигнала", "опорное число инверсий" в "информации опорных инверсий краев" соответствует "опорному числу инверсий" в вышеописанной "информации форм сигналов опорных инверсий", "оцениваемое число инверсий" в "информации инверсий краев" соответствует "оцениваемому числу инверсий" в вышеописанной "информации форм сигналов инверсий", и "предварительно определенный диапазон оценки" для оценки "оцениваемого числа инверсий" в "информации инверсий краев" соответствует "предварительно определенному диапазону оценки". Во избежание дублированных описаний, пояснения в настоящем описании изобретения должны применяться и логически выводиться надлежащим образом на основе вышеуказанных отношений соответствия.
[0193] На основе числа раз, когда оценивается то, что "значение для оценки" равно или превышает предварительно определенную часть порогового значения α, заданного для оценки других транспортных средств VX, модуль 38 обнаружения посторонних веществ определяет то, что изображение, включающее в себя пикселы, соответствующие значениям для оценки информации формы разностного сигнала, сгенерированное во второе время, обусловлено посторонним веществом, прилипающим к линзе 11. Даже когда "значение для оценки" не может оцениваться как находящаяся в пределах диапазона оценки, вероятность того, что объект, соответствующий чрезвычайно низким пиксельным значениям, представляет собой постороннее вещество, является низкой. Когда обнаруживается "значение для оценки", которое равно или превышает предварительно определенную часть первого порогового значения α, заданного для того, чтобы оценивать другое транспортное средство VX, имеется вероятность того, что постороннее вещество ошибочно обнаружено в качестве другого транспортного средства VX. Следовательно, в настоящем варианте осуществления, когда "значение для оценки" равно или превышает предварительно определенную часть первого порогового значения α, обработка обнаружения посторонних веществ ускоряется таким образом, что она приводит к оценке в качестве постороннего вещества, и в силу этого может понижаться вероятность ошибочной оценки постороннего вещества в качестве другого транспортного средства VX.
[0194] Аналогично, на основе числа раз, когда "длина оцениваемого края" оценивается в качестве значения, равного или превышающего предварительно определенную часть порогового значения θ, заданного для оценки других транспортных средств VX, модуль 38 обнаружения посторонних веществ определяет то, что изображение, включающее в себя пикселы, соответствующие длинам оцениваемых краев в информации краев, сгенерированное во второе время, обусловлено посторонним веществом, прилипающим к линзе 11. Даже когда "длина оцениваемого края" не может оцениваться как находящаяся в пределах диапазона оценки, вероятность того, что объект, соответствующий чрезвычайно небольшим длинам оцениваемых краев, представляет собой постороннее вещество, является низкой. Когда обнаруживается "длина оцениваемого края", которая равна или превышает предварительно определенную часть порогового значения θ, заданного для того, чтобы оценивать другое транспортное средство VX, имеется вероятность того, что постороннее вещество ошибочно обнаружено в качестве другого транспортного средства VX. Следовательно, в настоящем варианте осуществления, когда "длина оцениваемого края" равна или превышает предварительно определенную часть порогового значения θ, обработка обнаружения посторонних веществ ускоряется таким образом, что она приводит к оценке в качестве постороннего вещества, и в силу этого может понижаться вероятность ошибочной оценки постороннего вещества в качестве другого транспортного средства VX.
[0195] Фиг. 28 является блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для обработки обнаружения посторонних веществ, когда используется информация краев.
[0196] На этапе S141, модуль 38 обнаружения посторонних веществ получает "информацию краев" и/или "информацию инверсий краев" в первое время, сгенерированную посредством модуля 37 обнаружения трехмерных объектов. На этапе S142, модуль 38 обнаружения посторонних веществ выполняет обработку сигналов "информации краев" и/или "информации инверсий краев" с использованием фильтра нижних частот и получает "информацию опорных краев" и/или "информацию опорных инверсий краев". Фиг. 29A иллюстрирует модель "информации краев" в первое время и "информации опорных краев", к которой применена обработка фильтрации нижних частот. "Информация краев" является длиной края, в качестве величины компонента края, вдоль направления сплющивания каждого трехмерного объекта для каждой позиции обнаружения (позиции в областях R1, R2 обнаружения вдоль направлений, удаляющихся от камеры 10) в направлении сплющивания каждого трехмерного объекта (элемента выборки). Позиции обнаружения максимальных значений "информации краев" и позиции обнаружения максимальных значений "информации опорных краев", проиллюстрированные на чертеже, являются общими. На этапе S43, модуль 38 обнаружения посторонних веществ получает максимальные значения "информации опорных краев" в качестве "длин опорных краев". "Длина опорного края" может быть максимальным значением, умноженным на предварительно определенный коэффициент, или может быть максимальным значением, из которого вычитается предварительно определенное значение.
[0197] На этом этапе, модуль 38 обнаружения посторонних веществ задает диапазон оценки с "длиной опорного края" в качестве центрального значения. Фиг. 29B иллюстрирует пример диапазона оценки. Аналогично, модуль 38 обнаружения посторонних веществ получает максимальное значение "информации опорных инверсий краев" в качестве "опорного числа инверсий" и задает диапазон оценки с "опорным числом инверсий" в качестве центрального значения. Фиг. 30A иллюстрирует модель "информации инверсий краев" в первое время, "информации опорных инверсий краев", подвергнутой обработке фильтрации нижних частот, и "опорного числа инверсий", соответствующего максимальным значениям информации опорных инверсий краев. Фиг. 30B иллюстрирует "информацию инверсий краев" и диапазон оценки во второе время.
[0198] Параллельно, на этапе S251 модуль 38 обнаружения посторонних веществ получает информацию краев/информация инверсий краев во второе время позднее первого времени. Второе время является одним или множеством времен позднее первого времени. Второе время может задаваться в пределах "времени оценки", которое задается в качестве времени, требуемого для того, чтобы выполнять обнаружение посторонних веществ. Информация краев/информация инверсий краев во второе время проиллюстрирована посредством пунктирной линии на фиг. 30B. На этапе S252, модуль 38 обнаружения посторонних веществ получает максимальные значения a, b длин краев, включенных в информацию краев, в качестве "длин оцениваемых краев".
[0199] Переходя к этапу S144, модуль 38 обнаружения посторонних веществ определяет то, находятся или нет длины a, b оцениваемых краев во второе время находятся в пределах диапазона оценки. В примере, проиллюстрированном на фиг. 30B, "длина оцениваемого края", соответствующая правостороннему пику, находится за пределами предварительно определенного диапазона, и, следовательно, вероятность того, что это постороннее вещество, является низкой, а вероятность того, что это трехмерный объект или другое транспортное средство VX, является высокой. С другой стороны, длина b оцениваемого края, соответствующая левостороннему пику, находится в пределах предварительно определенного диапазона, и, следовательно, вероятность того, что это постороннее вещество, может оцениваться как высокая. Если длины a, b оцениваемых краев находятся в пределах диапазона оценки, то вероятность того, что это постороннее вещество, является высокой, и обработка переходит к этапу S145 и первый количественный показатель G увеличивается (суммируется). С другой стороны, если длины находятся за пределами диапазона оценки, вероятность того, что это постороннее вещество, является низкой, обработка переходит к этапу S146, и второй количественный показатель D уменьшается (вычитается).
[0200] В настоящем варианте осуществления, абсолютное значение первого количественного показателя задается выше абсолютного значения второго количественного показателя. Таким образом, когда "длина оцениваемого края" находится в пределах предварительно определенного диапазона, суммируется большое значение, а когда "длина оцениваемого края" находится за пределами предварительно определенного диапазона, вычитается небольшое значение, и в силу этого высокое взвешивание применяется согласно тому факту, что "длина оцениваемого края" оценивается как находящаяся в предварительно определенном диапазоне. На результат обнаружения другого транспортного средства VX в настоящем варианте осуществления легко оказывает влияние свет, к примеру, солнце, уличные фонари, передние фары едущего позади транспортного средства и т.п. Даже когда свет, имеющий высокую яркость, который оказывает влияние на результат обнаружения, падает на линзу 11, и "длина оцениваемого края" оценивается как находящаяся за пределами "предварительно определенного диапазона", вероятность постороннего вещества, прилипающего к линзе 11, не может быть отклонена. Следовательно, даже если "длина оцениваемого края" оценивается как находящаяся за пределами "предварительно определенного диапазона", вычитаемое значение становится относительно небольшим значением, чтобы подавлять влияние на результат обнаружения другого транспортного средства VX. Как результат, может точно оцениваться присутствие постороннего вещества, прилипающего к линзе 11.
[0201] Конкретные ограничения не налагаются на взаимосвязь между абсолютным значением G первого количественного показателя и абсолютным значением D второго количественного показателя, и взаимосвязь может задаваться надлежащим образом посредством экспериментирования и т.п. В качестве одного примера, взаимосвязь может задаваться таким образом, что G(8-12): D(1-3), так что, например, D=1, когда G=10. Взаимосвязь между абсолютным значением G первого количественного показателя и абсолютным значением D второго количественного показателя может задаваться надлежащим образом согласно таким факторам окружающей среды, как время, местоположение движения, климат и т.п.
[0202] Затем, на этапе S147, выполняется оценка в отношении того, находятся или нет оцениваемые числа инверсий на основе информации инверсий краев во второе время, полученные на этапе S151, в пределах диапазона оценки. Способ оценки является общим со способом оценки этапа S144, и его описание применяется надлежащим образом. Если оцениваемые числа a', b' инверсий находятся в пределах диапазона оценки, вероятность того, что это постороннее вещество, является высокой, обработка переходит к этапу S148, и первый количественный показатель G увеличивается (суммируется). С другой стороны, если числа находятся за пределами диапазона оценки, вероятность того, что это постороннее вещество, является низкой, обработка переходит к этапу S149, и второй количественный показатель D уменьшается (вычитается).
[0203] На следующем этапе S148, модуль 38 обнаружения посторонних веществ определяет то, равна или превышает либо нет "длина оцениваемого края", полученная на этапе S152, предварительно определенную часть порогового значения θ, заданного для оценки другого транспортного средства VX, и когда "длина оцениваемого края" превышает или равна предварительно определенной части порогового значения θ, обработка переходит к этапу S150, и первый количественный показатель G увеличивается (суммируется). С другой стороны, если длина находится за пределами диапазона оценки, обработка переходит к этапу S151, и второй количественный показатель D уменьшается (вычитается).
[0204] Первый количественный показатель G на этапах S145, S148 и S150 и второй количественный показатель D на этапах S146, S149 и S151 могут быть идентичными значениями или могут быть различными значениями. В настоящем варианте осуществления, первый количественный показатель G этапа S148, который удовлетворяет двум условиям, которые представляют собой условие, связанное с длиной края этапа S144, и условие, связанное с числом инверсий этапа S147, задается выше первого количественного показателя G этапа S145.
[0205] На этапе S152, модуль 38 обнаружения посторонних веществ суммирует значение счетчика. На этапе S153, когда суммированное значение счетчика равно или превышает предварительно определенное значение, заданное заранее, обработка переходит к этапу S154m, и оценивается то, что постороннее вещество прилипло к линзе 11, тогда как, когда суммированное значение счетчика меньше предварительно определенного значения, заданного заранее, обработка переходит к этапу S155, и оценивается то, что постороннее вещество не прилипло к линзе 11. Результат оценки передается в модуль 34 оценки трехмерных объектов и контроллер 39.
[0206] Фиг. 31 является блок-схемой последовательности операций способа, иллюстрирующей процедуру управления для оценки того, прилипло или нет постороннее вещество к линзе 11, с использованием информации формы разностного сигнала. Обработка по фиг. 31 является общей с обработкой по фиг. 28, и, следовательно, для того, чтобы опускать дублированные описания, описание процедуры управления по фиг. 28 применяется надлежащим образом.
[0207] Когда модуль 38 обнаружения посторонних веществ определяет то, что обнаруживается постороннее вещество, прилипающее к линзе, контроллер 39 согласно настоящему варианту осуществления генерирует команду управления, чтобы подавлять оценку трехмерного объекта, обнаруженного из захваченного изображения, в качестве другого транспортного средства VX. Когда модуль 38 обнаружения посторонних веществ оценивает то, что обнаружено постороннее вещество, прилипающее к линзе 11, контроллер 39 согласно настоящему варианту осуществления дополнительно сужает диапазон настроек скорости движения для оценки того, присутствует или нет другое транспортное средство VX, и дополнительно подавляет оценку трехмерного объекта в качестве другого транспортного средства VX.
[0208] Когда обнаружен дождь, контроллер 39 сужает диапазон настроек скорости движения таким образом, что трехмерный объект легко не обнаруживается в качестве другого транспортного средства VX, независимо от того, прилипло или нет постороннее вещество фактически к линзе 11, и когда определено то, что постороннее вещество фактически прилипло к линзе 11, дополнительно сужает диапазон настроек скорости движения таким образом, что может выполняться подавление обнаружения, соответствующее обстановке. Как результат, может повышаться точность обнаружения другого транспортного средства VX.
[0209] Дополнительно, когда модуль 38 обнаружения посторонних веществ определяет то, что постороннее вещество прилипло к линзе 11, контроллер 39 согласно настоящему варианту осуществления изменяет "предварительно определенное число раз, когда трехмерный объект, имеющий скорость движения в предварительно определенном диапазоне, обнаруживается в течение предварительно определенного времени", которое является пороговым значением для оценки трехмерного объекта, на еще более высокое значение и дополнительно подавляет оценку трехмерного объекта в качестве другого транспортного средства VX.
[0210] Когда обнаружен дождь, независимо от того, прилипло или нет постороннее вещество фактически к линзе 11, контроллер 39 сужает "предварительно определенное число раз, когда трехмерный объект, имеющий скорость движения, находящуюся в предварительно определенном диапазоне, обнаруживается в течение предварительно определенного времени", так что трехмерный объект легко не обнаруживается в качестве другого транспортного средства VX, и когда обнаруживается фактическое прилипание постороннего вещества к линзе 11, контроллер 39 дополнительно увеличивает "предварительно определенное число раз", так что обнаружение подавляется надлежащим образом согласно обстановке. Как результат, может повышаться точность обнаружения другого транспортного средства VX.
[0211] Помимо этого, когда модуль 38 обнаружения посторонних веществ определяет то, что постороннее вещество прилипло к линзе 11, контроллер 39 регулирует пороговые значения, используемые при обработке обнаружения трехмерных объектов, и дополнительно подавляет оценку того, что трехмерный объект представляет собой другое транспортное средство VX. Пороговые значения включают в себя первое пороговое значение α, используемое при оценке трехмерного объекта из информации формы разностного сигнала, пороговое значение θ при генерировании информации краев и второе пороговое значение β, используемое при оценке трехмерного объекта из информации краев.
[0212] Когда постороннее вещество прилипло к линзе 11, контроллер 39 регулирует пороговые значения таким образом, что дополнительно подавляется оценка трехмерного объекта в качестве другого транспортного средства VX, по сравнению с тем, когда постороннее вещество не прилипло к линзе 11. В частности, как проиллюстрировано на фиг. 32A, взаимосвязь, согласно которой нижнее предельное значение диапазона настроек скорости движения задается равным более высокому значению для большего количества дождевых осадков, сдвигается таким образом, что пороговое значение по-прежнему является более высоким. Аналогично, как проиллюстрировано на фиг. 32B, взаимосвязь, согласно которой "предварительно определенное число раз, когда трехмерный объект, имеющий скорость движения, находящуюся в предварительно определенном диапазоне, обнаруживается в течение предварительно определенного времени", задается выше для большего количества дождевых осадков, сдвигается таким образом, что пороговое значение по-прежнему является более высоким.
[0213] Далее, описывается работа устройства 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления на основе блок-схемы последовательности операций способа по фиг. 33. Процедура управления, проиллюстрированная на фиг. 33, является в основном общей с процедурой управления, проиллюстрированной на фиг. 21A. На этапах S41 и S42, если модуль 41 обнаружения состояния дождя обнаруживает состояние дождя, обработка переходит к этапу S51, и оценивается то, имеет или нет скорость движения отрицательное значение. Затем, на этапе S61, модуль 38 обнаружения посторонних веществ обнаруживает то, "прилипло или нет постороннее вещество к линзе 11", на основе информации формы разностного сигнала для левой и правой областей A1, A2 обнаружения, сгенерированной посредством модуля 37 обнаружения трехмерных объектов, или на основе информации краев для левой и правой областей A1, A2 обнаружения, сгенерированной посредством модуля 37 обнаружения трехмерных объектов.
[0214] Когда модуль обнаружения посторонних веществ 39 оценивает то, что "постороннее вещество прилипло к линзе 11", обработка переходит к этапу S62. На этапе S62, контроллер 39 генерирует вышеописанные команды управления, чтобы подавлять оценку трехмерного объекта, обнаруженного из захваченного изображения, в качестве другого транспортного средства VX. В частности, контроллер 39 генерирует команды управления, чтобы дополнительно сужать диапазон настроек скорости движения этапа S52 на фиг. 21A, чтобы изменять на более высокое значение "предварительно определенное число раз" этапа S53 на фиг. 21C, чтобы задавать высокие пороговые значения или понижать выходное значение на этапе S54 по фиг. 22 или укрупнять область маскирования этапа S55 на фиг. 23. После этого, выполняется обработка этапа S43 и далее. Обработка этапа S43 и далее является общей с обработкой, например, фиг. 21A, описание которой применяется и здесь опускается.
[0215] Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления согласно настоящему изобретению, сконфигурированное и работающее так, как описано выше, демонстрирует следующие преимущества.
(1) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, когда обнаружено состояние дождя, можно предотвращать ошибочную оценку трехмерного объекта, который не представляет собой другое транспортное средство VX, в качестве другого транспортного средства VX на основе скорости движения трехмерного объекта, которая легко вычисляется ошибочно вследствие присутствия капель дождя, прилипающих к линзе 11, и отражения водяной пленки, сформированной на поверхности дороги. Как результат, может подавляться ошибочное обнаружение постороннего вещества, прилипающего к линзе 11, в качестве другого транспортного средства VX, и ошибочное обнаружение в качестве другого транспортного средства VX трехмерного объекта, который не представляет собой транспортное средство, но изображение которого искажается посредством капель дождя, прилипающих к линзе 11, и, следовательно, могут точно обнаруживаться другие транспортные средства VX. Дополнительно, устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обеспечивает точность обнаружения с использованием скорости движения трехмерного объекта, и, следовательно, обработка обнаружения не прерывается вследствие дождя, и, следовательно, не создается время необнаружения. Следовательно, может поддерживаться высокая точность обнаружения. Работа и преимущества являются аналогичными в случаях, если другое транспортное средство VX обнаруживается с использованием информации формы разностного сигнала, и в случаях, если другое транспортное средство VX обнаруживается с использованием информации краев.
[0216] (2) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, во время дождя, обработка для того, чтобы обнаруживать другое транспортное средство VX, подавляется только в обстановке, в которой относительная скорость легко обнаруживается ошибочно, и, следовательно, ошибочное обнаружение может подавляться при обеспечении исходной точности операции для обнаружения другого транспортного средства VX. Обстановка, в которой трехмерный объект движется назад, возникает, например, когда рассматриваемое транспортное средство V обгоняет другое транспортное средство VX, и представляет собой случаи, в которых водитель рассматриваемого транспортного средства V может легко различать обстановку. Посредством ограничения обработки для того, чтобы подавлять обнаружение другого транспортного средства VX, случаями, в которых скорость движения трехмерного объекта является отрицательным значением, может подавляться возникновение проблем вследствие подавления операции обнаружения другого транспортного средства VX.
[0217] (3) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, по мере того, как увеличивается количество дождевых осадков, обнаруженное посредством модуля 41 обнаружения состояния дождя, диапазон настроек скорости движения задается узким, и подавляется оценка трехмерного объекта в качестве другого транспортного средства VX. Чем больше количество дождевых осадков, тем в большей степени имеет тенденцию снижаться точность скорости движения трехмерного объекта, и, следовательно, посредством задания диапазона настроек скорости движения более узким, с тем чтобы подавлять обнаружение другого транспортного средства VX, когда существуют большие количества дождевых осадков, может повышаться точность обнаружения другого транспортного средства VX.
[0218] (4) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, во время дождя, когда ошибочное обнаружение относительной скорости легко возникает, в дополнение к сужению предварительно определенного диапазона скоростей движения для оценки того, представляет собой или нет трехмерный объект другое транспортное средство VX, "предварительно определенное число раз", используемое для того, чтобы оценивать частоту, с которой трехмерный объект обнаруживается при скорости движения в пределах предварительно определенного диапазона, изменяется на высокое значение, и в силу этого может повышаться точность оценки того, представляет собой или нет трехмерный объект другое транспортное средство VX.
[0219] (5) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, во время дождя, возникает тенденция для снижения точности скорости движения трехмерного объекта в частичных областях на задней стороне транспортного средства областей A1, A2 обнаружения. В настоящем варианте осуществления, во время дождя, подавляется обнаружение трехмерного объекта и/или обнаружение другого транспортного средства VX из изображения, соответствующего частичной области на задней стороне транспортного средства, и в силу этого может поддерживаться точность обнаружения другого транспортного средства VX.
[0220] (6) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, когда обнаружено состояние дождя посредством изменения первого порогового значения α на высокое, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, движущееся в полосе движения, смежной с полосой движения рассматриваемого транспортного средства V, легко не обнаруживается. Следовательно, даже во время дождя, может предотвращаться ошибочное обнаружение изображения объекта, отличного от другого транспортного средства VX, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.
[0221] (7) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, когда обнаружено состояние дождя посредством понижения выходных значений при генерировании информации формы разностного сигнала, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, движущееся в полосе движения, смежной с полосой движения рассматриваемого транспортного средства V, легко не обнаруживается. Следовательно, даже во время дождя, может предотвращаться ошибочное обнаружение изображения объекта, отличного от другого транспортного средства VX, в качестве другого транспортного средства VX.
[0222] (8) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, когда обнаружено состояние дождя посредством изменения пороговых значений для оценки при генерировании информации краев на более высокие значения, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, движущееся в полосе движения, смежной с полосой движения рассматриваемого транспортного средства V, легко не обнаруживается. Следовательно, даже во время дождя, может предотвращаться ошибочное обнаружение изображения объекта, отличного от другого транспортного средства VX, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.
[0223] (9) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, когда обнаружено состояние дождя посредством понижения выходных значений при генерировании информации краев, чувствительность обнаружения может регулироваться таким образом, что другое транспортное средство VX, движущееся в полосе движения, смежной с полосой движения рассматриваемого транспортного средства V, легко не обнаруживается. Следовательно, даже во время дождя, может предотвращаться ошибочное обнаружение изображения объекта, отличного от другого транспортного средства VX, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.
[0224] (10) Согласно устройству 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления, когда обнаружен дождь, в дополнение к сужению диапазона настроек скорости движения или предварительно определенного диапазона скоростей движения таким образом, что трехмерный объект легко не обнаруживается в качестве другого транспортного средства VX, когда обнаруживается фактическое прилипание постороннего вещества к линзе 11, сужается диапазон настроек скорости движения, либо дополнительно увеличивается "предварительно определенное число раз", так что обнаружение подавляется надлежащим образом согласно обстановке. Как результат, может повышаться точность обнаружения другого транспортного средства VX.
[0225] Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления демонстрирует аналогичную работу и преимущества, когда другое транспортное средство VX обнаруживается посредством обработки на основе информации формы разностного сигнала, и когда другое транспортное средство VX обнаруживается посредством обработки на основе информации краев.
[0226] Вышеописанная камера 10 соответствует средству захвата изображений согласно настоящему изобретению, линза 11 соответствует линзе согласно настоящему изобретению, вышеописанный модуль 31 преобразования точки обзора соответствует средству преобразования изображений согласно настоящему изобретению, вышеописанные модуль 32 совмещения и модуль 33 обнаружения трехмерных объектов соответствуют средству обнаружения трехмерных объектов согласно настоящему изобретению, вышеописанные модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев и модуль 37 обнаружения трехмерных объектов соответствуют средству обнаружения трехмерных объектов согласно настоящему изобретению, вышеописанный модуль 34 оценки трехмерных объектов соответствует средству оценки трехмерных объектов, вышеописанный модуль 38 обнаружения посторонних веществ соответствует средству обнаружения посторонних веществ, модуль 41 обнаружения состояния дождя соответствует средству обнаружения состояния дождя, и вышеописанный контроллер 39 соответствует средству управления.
[0227] Настоящее описание изобретения описывает пример обнаружения постороннего вещества, прилипающего к линзе 11, на основе информации формы разностного сигнала при обнаружении трехмерного объекта на основе информации формы разностного сигнала и пример обнаружения постороннего вещества, прилипающего к линзе 11, на основе информации краев при обнаружении трехмерного объекта на основе информации краев. Тем не менее, постороннее вещество, прилипающее к линзе 11, может быть обнаружено на основе информации краев при обнаружении трехмерного объекта на основе информации формы разностного сигнала, и постороннее вещество, прилипающее к линзе 11, может быть обнаружено на основе информации формы разностного сигнала при обнаружении трехмерного объекта на основе информации краев.
СПИСОК НОМЕРОВ ССЫЛОК
[0228] 1 - устройство обнаружения трехмерных объектов
10 - камера
20 - датчик скорости транспортного средства
30 - компьютер
31 - модуль преобразования точки обзора
32 - модуль совмещения
33, 37 - модуль обнаружения трехмерных объектов
34 - модуль оценки трехмерных объектов
35 - модуль вычисления яркостного различия
36 - модуль обнаружения краев
38 - модуль обнаружения посторонних веществ
39 - контроллер
40 - модуль обнаружения размытостей
41 - модуль обнаружения состояния дождя
50 - датчик капель дождя
60 - стеклоочиститель
70 - навигационное устройство
a - угол обзора
A1, A2 - область обнаружения
CP - точка пересечения
DP - разностные пикселы
DWt, DWt' - форма разностного сигнала
DWt1-DWm, DWm+k-DWtn - небольшая область
L1, L2 - линия пересечения с землей
La, Lb - линия в направлении, в котором трехмерный объект сплющивается
P - захваченное изображение
PBt - изображение вида «с высоты птичьего полета»
PDt - разностное изображение
MP - изображение с маской
S - размытость
SP - изображение с размытостью
SBt - изображение вида «с высоты птичьего полета» с размытостью
V - рассматриваемое транспортное средство
VX - другое транспортное средство
Изобретение относится к средствам обнаружения препятствий при движении транспортного средства. Техническим результатом является повышение точности обнаружения движущегося объекта при движении транспортного средства. Устройство содержит средство захвата изображений задней части транспортного средства, средство обнаружения трехмерных объектов позади транспортного средства и вычисления скорости движения трехмерного объекта на основе полученного изображения, средство обнаружения дождя или формирования водяной пленки на поверхности дороги вследствие дождя, средство оценки трехмерных объектов в качестве другого транспортного средства, средство управления для изменения диапазона настроек скорости движения. 3 н. и 13 з.п. ф-лы 39 ил.
1. Устройство обнаружения трехмерных объектов, содержащее:
- средство захвата изображений для захвата задней части транспортного средства;
- средство обнаружения трехмерных объектов для обнаружения трехмерного объекта позади транспортного средства и вычисления скорости движения трехмерного объекта на основе изображения, полученного средством захвата изображений;
- средство обнаружения состояния дождя для обнаружения состояния дождя, включающего в себя случаи дождя или формирования водяной пленки на поверхности дороги вследствие дождя; и
- средство оценки трехмерных объектов для оценки трехмерного объекта в качестве другого транспортного средства, когда скорость движения трехмерного объекта, обнаруженного средством обнаружения трехмерных объектов, находится в пределах предварительно установленного диапазона настроек; и
- дополнительно содержащее средство управления для изменения диапазона настроек скорости движения таким образом, чтобы он был более узким, когда средство обнаружения состояния дождя обнаружило состояние дождя.
2. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что оно дополнительно содержит средство преобразования изображений для выполнения преобразования точки обзора изображения, полученного средством захвата изображений, в изображение вида «с высоты птичьего полета»,
- причем средство обнаружения трехмерных объектов совмещает, в виде «с высоты птичьего полета», позиции изображений вида «с высоты птичьего полета» в различные моменты времени, полученных средством преобразования изображений, генерирует информацию формы разностного сигнала в разностном изображении совмещенных изображений вида «с высоты птичьего полета» посредством формирования частотного распределения при подсчете числа пикселов, указывающих предварительно определенную разность в разностном изображении вдоль направления, в котором
сплющивается трехмерный объект, когда выполняется преобразование точки обзора изображений вида «с высоты птичьего полета», обнаруживает трехмерный объект, присутствующий в области обнаружения, заданной в каждой из правой стороны и левой стороны позади транспортного средства, на основе информации формы разностного сигнала, и вычисляет скорость движения трехмерного объекта из изменения во времени в форме сигнала информации формы разностного сигнала.
3. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что оно дополнительно содержит средство преобразования изображений для выполнения преобразования точки обзора изображения, полученного средством захвата изображений, в изображение вида «с высоты птичьего полета»,
- причем средство обнаружения трехмерных объектов генерирует информацию краев, включающую себя информацию линии края, обнаруженной на основе компонента края, который имеет неразрывность и для которого яркостное различие областей изображения, которые являются взаимно смежными вдоль направления сплющивания трехмерного объекта, когда выполняется преобразование точки обзора в изображение вида «с высоты птичьего полета», составляет предварительно определенное пороговое значение t или более в изображении вида «с высоты птичьего полета», полученном средством преобразования изображений; обнаруживает, на основе информации краев, трехмерный объект, присутствующий в области обнаружения, заданной в каждой из правой стороны и левой стороны позади транспортного средства; и вычисляет скорость движения трехмерного объекта из изменения во времени в информации краев.
4. Устройство обнаружения трехмерных объектов по любому из пп. 1-3, отличающееся тем, что когда средство обнаружения состояния дождя обнаружило состояние дождя, и скорость движения трехмерного объекта, вычисленная средством обнаружения трехмерных объектов, является отрицательным значением, средство управления изменяет диапазон настроек скорости движения таким образом, чтобы он был более узким, и подавляет оценку трехмерного объекта в качестве другого транспортного средства.
5. Устройство обнаружения трехмерных объектов по любому из пп. 1-3, отличающееся тем, что средство обнаружения состояния дождя также обнаруживает количество дождя; и диапазон настроек скорости движения задается более узким с увеличенным количеством дождя, обнаруженным средством обнаружения состояния дождя, и подавляется оценка трехмерного объекта в качестве другого транспортного средства.
6. Устройство обнаружения трехмерных объектов по любому из пп. 1-3, отличающееся тем, что средство оценки трехмерных объектов оценивает трехмерный объект, имеющий скорость движения в пределах диапазона настроек скорости движения, в качестве другого транспортного средства, когда трехмерный объект обнаружен предварительно определенное число раз или более в течение предварительно определенного времени, и
- когда средство обнаружения состояния дождя обнаружило состояние дождя, средство управления изменяет предварительно определенное число раз, которое является пороговым значением при оценке трехмерного объекта, на более высокое число и подавляет оценку трехмерного объекта в качестве другого транспортного средства.
7. Устройство обнаружения трехмерных объектов по любому из пп. 2-3, отличающееся тем, что когда состояние дождя обнаружено средством обнаружения состояния дождя, средство управления подавляет оценку трехмерного объекта в качестве другого транспортного средства в частичной области для области обнаружения позади транспортного средства.
8. Устройство обнаружения трехмерных объектов по любому из пп. 2-3, отличающееся тем, что когда средство обнаружения состояния дождя обнаружило состояние дождя, средство управления маскирует частичную область области обнаружения на задней стороне относительно транспортного средства и подавляет оценку трехмерного объекта в качестве другого транспортного средства.
9. Устройство обнаружения трехмерных объектов по п. 2, отличающееся тем, что:
- средство захвата изображений содержит линзу для формирования изображения задней части транспортного средства;
- дополнительно предусмотрено средство обнаружения посторонних веществ для извлечения первого максимального значения из информации формы разностного сигнала, сгенерированной в одно или множество первых времен средством обнаружения трехмерных объектов, получения опорного значения на основе извлеченного первого максимального значения, извлечения второго максимального значения, соответствующего первому максимальному значению в изображении вида «с высоты птичьего полета», из информации формы разностного сигнала, вновь сгенерированной в одно или множество вторых времен позднее первого времени, получения значения для оценки на основе второго максимального значения и обнаружения того, прилипло или нет постороннее вещество к линзе, на основе изменения во времени в разности между значением для оценки и опорным значением; и
- когда средство обнаружения посторонних веществ обнаружило постороннее вещество, прилипающее к линзе, средство управления дополнительно сужает диапазон настроек скорости движения и дополнительно подавляет оценку трехмерного объекта в качестве другого транспортного средства.
10. Устройство обнаружения трехмерных объектов по п. 3, отличающееся тем, что:
- средство захвата изображений содержит линзу для формирования изображения задней части транспортного средства;
- дополнительно предусмотрено средство обнаружения посторонних веществ для извлечения первого максимального значения из информации краев, включающей в себя информацию линии края, сгенерированной средством обнаружения трехмерных объектов в одно или множество первых времен, получения длины опорного края на основе первого максимального значения, извлечения второго максимального значения, соответствующего первому максимальному значению в изображении вида «с высоты птичьего полета», из информации краев, вновь сгенерированной в одно или множество вторых времен позднее первого времени, получения длины оцениваемого края на основе второго максимального значения и обнаружения того, прилипло или нет постороннее вещество к линзе, на основе изменения во времени в разности между длиной оцениваемого края и длиной опорного края; и
- когда средство обнаружения посторонних веществ обнаружило постороннее вещество, прилипающее к линзе, средство управления дополнительно сужает диапазон настроек скорости движения и дополнительно подавляет оценку трехмерного объекта в качестве другого транспортного средства.
11. Устройство обнаружения трехмерных объектов по любому из пп. 2, 9, отличающееся тем, что:
- средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации формы разностного сигнала и первого порогового значения α; и
- когда средство обнаружения состояния дождя обнаружило состояние дождя, средство управления выводит в средство обнаружения трехмерных объектов команду управления для регулирования вверх первого порогового значения α так, чтобы трехмерный объект обнаруживался не так легко, и подавляет оценку трехмерного объекта в качестве другого транспортного средства.
12. Устройство обнаружения трехмерных объектов по любому из пп. 2, 9, отличающееся тем, что:
- средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации формы разностного сигнала и первого порогового значения α; и
- когда средство обнаружения состояния дождя обнаружило состояние дождя, средство управления генерирует команду управления для понижения значения, полученного посредством подсчета числа пикселов, которые указывают предварительно определенную разность в разностном изображении для изображений вида «с высоты птичьего полета», и формирования частотного распределения, выводит команду управления в средство обнаружения трехмерных объектов и подавляет оценку трехмерного объекта в качестве другого транспортного средства.
13. Устройство обнаружения трехмерных объектов по любому из пп. 3, 10, отличающееся тем, что:
- средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации краев и второго
порогового значения β; и
- когда средство обнаружения состояния дождя обнаружило состояние дождя, средство управления выводит в средство обнаружения трехмерных объектов команду управления для регулирования вверх второго порогового значения β так, чтобы трехмерный объект обнаруживался не так легко, и подавляет оценку трехмерного объекта в качестве другого транспортного средства.
14. Устройство обнаружения трехмерных объектов по любому из пп. 3, 10, отличающееся тем, что:
- средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации краев и второго порогового значения β; и
- когда средство обнаружения состояния дождя обнаружило состояние дождя, средство управления выводит в средство обнаружения трехмерных объектов команду управления для понижения и вывода обнаруженного объема информации краев и подавляет оценку трехмерного объекта в качестве другого транспортного средства.
15. Способ обнаружения трехмерных объектов, содержащий этапы, на которых:
- выполняют преобразование точки обзора в изображение вида «с высоты птичьего полета» из изображения, полученного установленным на транспортном средстве средством захвата изображений для захвата изображения области, включающей в себя область обнаружения, заданную в каждой из правой стороны и левой стороны позади транспортного средства;
- совмещают, в виде «с высоты птичьего полета», позиции изображений вида «с высоты птичьего полета», полученных в различные моменты времени, генерируют информацию формы разностного сигнала в разностном изображении совмещенных изображений вида «с высоты птичьего полета» посредством формирования частотного распределения при подсчете числа пикселов, указывающих предварительно определенную разность в разностном изображении вдоль направления, в котором сплющивается трехмерный объект, когда выполняется преобразование точки обзора изображений вида «с высоты птичьего полета»; обнаруживают трехмерный объект, присутствующий в области обнаружения, заданной в каждой из правой стороны и левой стороны позади транспортного средства, на основе информации формы разностного сигнала, и вычисляют скорость движения трехмерного объекта из изменения во времени в форме сигнала для информации формы разностного сигнала;
- оценивают трехмерный объект в качестве другого транспортного средства, когда скорость движения обнаруженного трехмерного объекта находится в пределах предварительно установленного диапазона настроек;
- обнаруживают состояние дождя, которое включает в себя случаи дождя, а также случаи, в которых водяная пленка формируется на поверхности дороги вследствие дождя; и
- изменяют диапазон настроек скорости движения таким образом, чтобы он был более узким, когда обнаружено состояние дождя.
16. Способ обнаружения трехмерных объектов, содержащий этапы, на которых:
- выполняют преобразование точки обзора в изображение вида «с высоты птичьего полета» из изображения, полученного установленным на транспортном средстве средством захвата изображений для захвата области, включающей в себя область обнаружения, заданную в каждой из правой стороны и левой стороны позади транспортного средства;
- генерируют информацию краев, включающую в себя информацию линии края, обнаруженной на основе компонента края, который имеет неразрывность и для которого яркостное различие областей изображения, которые являются взаимно смежными вдоль направления сплющивания трехмерного объекта, когда выполняется преобразование точки обзора в изображение вида «с высоты птичьего полета», составляет предварительно определенное пороговое значение t или более в полученном изображении вида «с высоты птичьего полета»;
- обнаруживают, на основе информации краев, трехмерный объект, присутствующий в области обнаружения, заданной в каждой из правой стороны и левой стороны позади транспортного средства, и вычисляют скорость движения трехмерного объекта из изменения во времени в информации краев;
- оценивают трехмерный объект в качестве другого транспортного средства, когда скорость движения обнаруженного трехмерного объекта находится в пределах предварительно установленного диапазона настроек;
- обнаруживают состояние дождя, которое включает в себя случаи дождя, а также случаи, в которых водяная пленка формируется на поверхности дороги вследствие дождя; и
- изменяют диапазон настроек скорости движения таким образом, чтобы он был более узким, когда обнаружено состояние дождя.
| US 5530420 A, 25.06.1996 | |||
| US 20100104199 A1, 29.04.2010 | |||
| US 6704653 B2, 09.03.2004 | |||
| US 20100245574 A1, 30.09.2010 | |||
| СИСТЕМА И СПОСОБ ОТСЛЕЖИВАНИЯ ОБЪЕКТА | 2004 |
|
RU2370817C2 |
| СИСТЕМА СОПРОВОЖДЕНИЯ ПОДВИЖНЫХ ОБЪЕКТОВ | 2008 |
|
RU2388010C1 |
