БОРТОВОЕ УСТРОЙСТВО РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК B60R1/00 H04N5/225 G08G1/16 G06T1/00 H04N5/232 

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к бортовому устройству распознавания изображений, которое определяет позицию другого транспортного средства, позицию разделительной линии и т.п. посредством смонтированной на транспортном средстве камеры.

Уровень техники

[0002] В последнее время на практике применяется бортовое устройство распознавания изображений. Такое бортовое устройство распознавания изображений наблюдает окружающую область транспортного средства посредством смонтированной на транспортном средстве камеры, определяет позицию другого транспортного средства, позицию разделительной линии и т.п. из наблюдаемого изображения и определяет вероятность контакта с другим транспортным средством или вероятность выезда за пределы полосы движения на основе обнаруженной позиции другого транспортного средства или обнаруженной позиции разделительной линии, с тем чтобы оповещать водителя.

[0003] В такой системе в то время когда транспортное средство движется в дождь, вода, разбрызгиваемая посредством транспортного средства, может прилипать к поверхности линзы камеры. Кроме того, в то время когда транспортное средство движется по грунтовой дороге, пыль, поднимаемая посредством транспортного средства, может прилипать к поверхности линзы камеры. Дополнительно, в то время когда транспортное средство движется на дороге, на которой распределен реагент для обеспечения таяния снега, реагент для обеспечения таяния снега, разбрызгиваемый посредством транспортного средства, может прилипать к поверхности линзы камеры. Эти вещества, прилипшие так, как описано выше, высыхают, и примеси в воде, пыль или реагент для обеспечения таяния снега осаждаются и скапливаются на поверхности линзы, чтобы вызывает загрязненность (в дальнейшем в этом документе белую замутненность) на поверхности линзы.

[0004] Когда часть белой замутненности формируется на поверхности линзы, свет, поступающий в линзу, рассеивается в части белой замутненности, и, следовательно, возникает размытие или расплывание в наблюдаемом изображении. Поскольку контрастность изображения другого транспортного средства или разделительной линии, которая является целью обнаружения, понижается вследствие такого размытия или расплывания, может возникать отсутствие обнаружения или ложное обнаружение другого транспортного средства или разделительной линии. Вследствие возникновения отсутствия обнаружения или ложного обнаружения водителю может не предоставляться надлежащее оповещение касательно позиции другого транспортного средства или позиции разделительной линии.

[0005] В системе, в которой пассажиры и водитель в транспортном средстве не могут визуально распознавать изображение, полученное посредством камеры, пассажиры и водитель не могут подтверждать, что линза имеет часть белой замутненности, и вышеописанное отсутствие обнаружения или ложное обнаружение, следовательно, вызывает у пассажиров и водителя чувство сомнения в системе.

[0006] Чтобы предотвращать такое отсутствие обнаружения или ложное обнаружение, например, раскрывается детектор помех для транспортного средства (например, патентный документ 1).

Список библиографических ссылок

Патентные документы

[0007] Патентный документ 1. JP 2012-38048A

Сущность изобретения

Задача, которая должна быть решена

[0008] В детекторе помех для транспортного средства, описанном в патентном документе 1, посторонние вещества, прилипшие к линзе камеры, обнаруживаются в качестве неперемещаемой области, позиция которой временно не изменяется, и обнаруженная неперемещаемая область исключается из цели обнаружения помехи, с тем чтобы повышать точность обнаружения помех.

[0009] Тем не менее, затруднительно обнаруживать помеху, такую как вода, имеющая высокую проницаемость, которая прилипла к линзе, в качестве неперемещаемой области.

[0010] Кроме того, когда расширяется область, в которой вещества прилипают к линзе, сужается область, которая выполняет обнаружение помехи, что приводит к ухудшению рабочих характеристик обнаружения помех.

[0011] Настоящее изобретение осуществлено с учетом вышеизложенных проблем, и цель настоящего изобретения заключается в том, чтобы обеспечить бортовое устройство распознавания изображений, которое может надежно определять позицию другого транспортного средства или позицию разделительной линии, несмотря на то, что часть белой замутненности формируется на линзе, или прилипшее вещество прилипло к линзе.

Решение задачи

[0012] Бортовое устройство распознавания изображений согласно настоящему изобретению относится к бортовому устройству распознавания изображений, которое может определять позицию другого транспортного средства или позицию разделительной линии, даже когда белая замутненность возникает в линзе, или прилипшее вещество, к примеру, грязь или капля воды, прилипло к линзе.

[0013] Более конкретно, бортовое устройство распознавания изображений по п. 1 настоящего изобретения включает в себя модуль формирования изображений, который располагается в транспортном средстве с возможностью наблюдать окружающую область транспортного средства через линзу и преобразовывать световой сигнал наблюдаемой окружающей области транспортного средства в сигнал изображения, модуль выполнения приложения для распознавания изображений, имеющий предварительно определенную чувствительность обнаружения для того, чтобы обнаруживать движущийся объект, присутствующий в окружающей области транспортного средства, из изображения, полученного посредством модуля формирования изображений, модуль вычисления уровня белой замутненности, который вычисляет уровень белой замутненности линзы из сигнала изображения, модуль вычисления уровня прилипания, который вычисляет уровень прилипания прилипшего вещества, такого как грязь или капля воды, к линзе, и модуль регулирования чувствительности обнаружения, который регулирует чувствительность обнаружения таким образом, что она увеличивается согласно уровню белой замутненности, при этом модуль регулирования чувствительности обнаружения корректирует чувствительность обнаружения на основе уровня прилипания прилипшего вещества, такого как грязь или капля воды, к линзе.

[0014] Согласно бортовому устройству распознавания изображений по п. 1 настоящего изобретения, в модуле регулирования чувствительности обнаружения, который регулирует чувствительность обнаружения таким образом, что она увеличивается согласно уровню белой замутненности, чувствительность обнаружения модуля выполнения приложения для распознавания изображений, который обнаруживает движущийся объект, присутствующий в окружающей области транспортного средства, с предварительно определенной чувствительностью обнаружения из изображения, полученного посредством модуля формирования изображений, расположенного в транспортном средстве с возможностью наблюдать окружающую область транспортного средства через линзу, и преобразовывать световой сигнал наблюдаемой окружающей области транспортного средства в сигнал изображения, корректируется на основе уровня прилипания прилипшего вещества, такого как грязь или капля воды, к линзе, который вычисляется посредством модуля вычисления уровня прилипания. При этой конфигурации, даже когда прилипшее вещество, такое как грязь или капля воды, прилипло к линзе, управляется чрезмерное повышение чувствительности обнаружения, и за счет этого может эффективно обнаруживаться движущийся объект, присутствующий в окружающей области транспортного средства.

Преимущества изобретения

[0015] Согласно бортовому устройству распознавания изображений настоящего изобретения, позиция другого транспортного средства или позиция разделительной линии может быть эффективно обнаружена независимо от состояния прилипания прилипшего вещества или уровня белой замутненности в линзе.

Краткое описание чертежей

[0016] Фиг. 1 является видом, описывающим систему BSW (предупреждения о мертвой зоне) в качестве одного примера бортовой системы, в которой устанавливается бортовое устройство распознавания изображений согласно настоящему изобретению.

Фиг. 2 является блок-схемой, иллюстрирующей схематичную конфигурацию бортового устройства распознавания изображений согласно варианту 1 осуществления настоящего изобретения.

Фиг. 3 является блок-схемой, иллюстрирующей подробную конфигурацию модуля вычисления первого уровня белой замутненности по настоящему изобретению.

Фиг. 4 является блок-схемой, иллюстрирующей подробную конфигурацию модуля вычисления второго уровня белой замутненности по настоящему изобретению.

Фиг. 5 является блок-схемой, иллюстрирующей подробную конфигурацию модуля вычисления уровня прилипших веществ по настоящему изобретению.

Фиг. 6 является блок-схемой, иллюстрирующей подробную конфигурацию детектора находящихся рядом транспортных средств по настоящему изобретению.

Фиг. 7 является блок-схемой последовательности операций способа основной процедуры, которая выполняется в варианте 1 осуществления настоящего изобретения.

Фиг. 8(a) и 8(b) являются видами, описывающими ситуацию, в которой белая замутненность формируется на линзе; фиг. 8(a) иллюстрирует пример изображения, полученного в состоянии без белой замутненности, и пример распределения яркости в изображении, а фиг. 8(b) иллюстрирует пример изображения, полученного в состоянии с белой замутненностью, и пример распределения яркости в изображении.

Фиг. 9 является блок-схемой последовательности операций способа, иллюстрирующей последовательность операций процесса вычисления уровня белой замутненности на основе градиента яркости, который выполняется в варианте 1 осуществления настоящего изобретения.

Фиг. 10(a)-10(d) являются видами, иллюстрирующими пример процесса обнаружения областей источников света в варианте 1 осуществления настоящего изобретения; фиг. 10(a) иллюстрирует полученное изображение, фиг. 10(b) иллюстрирует изображение, полученное посредством миниатюризации полученного изображения, фиг. 10(c) иллюстрирует изображение, полученное посредством преобразования в двоичную форму изображения на фиг. 10(b), и изображение, для которого выполняется процесс пометки, а фиг. 10(d) иллюстрирует результат обнаружения области источников света, удовлетворяющей условию, из изображения на фиг. 10(c).

Фиг. 11 является видом, описывающим диапазон для того, чтобы выполнять процесс обнаружения областей источников света, для вычисления уровня белой замутненности на основе градиента яркости в варианте 1 осуществления настоящего изобретения.

Фиг. 12(a) и 12(b) являются видами, иллюстрирующими формы области, которая обнаруживается в процессе обнаружения исходной области света для вычисления уровня белой замутненности; фиг. 12(a) иллюстрирует пример формы области источников света, которая должна быть обнаружена, а фиг. 12(b) иллюстрирует примеры форм, которые не должны быть обнаружены.

Фиг. 13 является видом, иллюстрирующим пример предварительно определенной линии, чтобы вычислять градиент яркости для вычисления уровня белой замутненности, и пример градиента яркости.

Фиг. 14 является видом, описывающим сдвиг состояния, иллюстрирующий сдвиг коэффициента достоверности уровня белой замутненности в варианте 1 осуществления настоящего изобретения.

Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей последовательность операций процесса вычисления уровня белой замутненности на основе контрастности края, которая выполняется в варианте 1 осуществления настоящего изобретения.

Фиг. 16 является блок-схемой последовательности операций способа, иллюстрирующей последовательность операций процесса обнаружения прилипших веществ, который выполняется в варианте 1 осуществления настоящего изобретения.

Фиг. 17 является видом, иллюстрирующим пример, в котором блоки задаются в полученном изображении в варианте 1 осуществления настоящего изобретения.

Фиг. 18(a) является видом, иллюстрирующим пример полученного изображения, а фиг. 18(b) является видом, иллюстрирующим пример точки конфигурации краев, обнаруженной из изображения.

Фиг. 19 является видом, описывающим процесс подсчета яркого периферийного блока в варианте 1 осуществления настоящего изобретения.

Фиг. 20(a) и 20(b) являются видами, кратко описывающими процесс совмещения подвергнутых преобразованию точки обзора изображений, которое выполняется в варианте 1 осуществления настоящего изобретения; фиг. 20(a) является видом сверху, иллюстрирующим движущиеся транспортные средства, а фиг. 20(b) является видом, кратко описывающим совмещение.

Фиг. 21(a) и 21(b) являются видами, описывающими формирование формы разностного сигнала на основе разностного результата подвергнутого преобразованию точки обзора изображения в варианте 1 осуществления настоящего изобретения; фиг. 21(a) является видом, описывающим способ формирования формы разностного сигнала из разностного результата подвергнутого преобразованию точки обзора изображения, а фиг. 21(b) является видом, иллюстрирующим пример сформированной формы разностного сигнала.

Фиг. 22 является видом, иллюстрирующим небольшую область, разделенную в детекторе трехмерных объектов в варианте 1 осуществления настоящего изобретения.

Фиг. 23 является видом, иллюстрирующим один пример гистограммы, которая получается в детекторе трехмерных объектов в варианте 1 осуществления настоящего изобретения.

Фиг. 24 является видом, иллюстрирующим способ коррекции порогового значения в процессе обнаружения транспортных средств согласно уровню загрязненности линзы.

Фиг. 25 является блок-схемой последовательности операций способа, иллюстрирующей последовательность операций процесса обнаружения транспортных средств на основе вычисления разности, которое выполняется в варианте 1 осуществления настоящего изобретения.

Фиг. 26(a) и 26(b) являются видами, описывающими обнаружение трехмерных объектов на основе информации краев; фиг. 26(a) является видом сверху, иллюстрирующим позиционную взаимосвязь области обнаружения, а фиг. 26(b) является видом в перспективе, иллюстрирующим позиционную взаимосвязь области обнаружения в реальном пространстве.

Фиг. 27(a) и 27(b) являются видами, описывающими работу модуля вычисления яркостного различия; фиг. 27(a) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в подвергнутом преобразованию точки обзора изображении, а фиг. 27(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в реальном пространстве.

Фиг. 28(a) и 28(b) являются видами, описывающими подробную работу модуля вычисления яркостного различия; фиг. 28(a) является видом, иллюстрирующим область обнаружения в подвергнутом преобразованию точки обзора изображении, а фиг. 28(b) является видом, иллюстрирующим позиционную взаимосвязь между линией концентрации внимания, опорной линией, точкой концентрации внимания и опорной точкой в подвергнутом преобразованию точки обзора изображении.

Фиг. 29(a) и 29(b) являются видами, иллюстрирующими линию края и распределение яркости на линии края; фиг. 29(a) является видом, иллюстрирующим распределение яркости, когда трехмерный объект (транспортное средство) существует в области обнаружения, а фиг. 29(b) является видом, иллюстрирующим распределение яркости, когда трехмерный объект не существует в области обнаружения.

Фиг. 30 является другим видом, иллюстрирующим способ коррекции порогового значения в процессе обнаружения транспортных средств согласно уровню загрязненности линзы.

Фиг. 31 является блок-схемой последовательности операций способа, иллюстрирующей последовательность операций процесса обнаружения транспортных средств на основе информации краев, которая выполняется в варианте 1 осуществления настоящего изобретения.

Подробное описание варианта осуществления

[0017] В дальнейшем в этом документе описывается вариант осуществления бортового устройства распознавания изображений согласно настоящему изобретению со ссылкой на чертежи. В нижеприведенном описании, уровень яркости, сохраненный в изображении, упоминается в качестве значения яркости.

Вариант 1 осуществления

[0018] Настоящий вариант осуществления является примером, в котором бортовое устройство распознавания изображений настоящего изобретения устанавливается в транспортном средстве, включающем в себя BSW-систему (приложение для распознавания изображений), которая отслеживает обстановку сзади транспортного средства, в то время когда транспортное средство движется и оповещает водителя, когда находящееся рядом транспортное средство движется на находящейся рядом полосе движения сзади транспортного средства.

[0019] Сначала описывается работа BSW-системы со ссылкой на фиг. 1. Модуль 10 формирования изображений, который отслеживает обстановку сзади транспортного средства 5, прикрепляется с обратной стороны к задней части транспортного средства 5. Модуль 10 формирования изображений формирует изображение диапазона , включающего в себя правую и левую находящиеся рядом полосы движения сзади транспортного средства 5 (диапазона, включающего в себя полосы Y₁, Y₂, Y₃ движения дороги 2). Находящееся рядом транспортное средство в области X1 обнаружения по полосе Y₁ движения и находящееся рядом транспортное средство в области X2 обнаружения на полосе Y₃ движения рядом друг с другом обнаруживаются из полученного изображения посредством процесса формирования изображения.

[0020] BSW-система активируется в то время, когда транспортное средство 5 движется с предварительно определенной скоростью или более. BSW-система распознает другое транспортное средство 6 в качестве находящегося рядом транспортного средства, когда другое транспортное средство 6 обнаруживается на полосах Y₁, Y₃ движения рядом с полосой Y₂ движения в пределах предварительного диапазона расстояния от модуля 10 формирования изображений, и подтверждается то, что обнаруженное другое транспортное средство 6 находится рядом с транспортным средством 5.

[0021] То что другое транспортное средство 6 находится рядом с транспортным средством 5, определяется на основе анализа временных рядов изображения, полученного посредством модуля 10 формирования изображений. Ниже описываются подробности такого определения.

[0022] Когда распознается то, что другое транспортное средство 6 находится рядом с транспортным средством 5, наличие другого транспортного средства 6 сообщается водителю в качестве визуальной информации, например, посредством включения светового индикатора, предоставленного в транспортном средстве 5 (первого предупреждения).

[0023] Когда водитель пытается сменять полосу движения к полосе Y₁ движения, на которой существует другая полоса движения 6, с помощью указателя поворота без визуальной информации, BSW-система более четко информирует водителя относительно наличия другого транспортного средства 6 посредством включения светового индикатора и активации сигнала тревоги (второго предупреждения), с тем чтобы прерывать смену полосы движения.

[0024] Далее описывается конфигурация бортового устройства распознавания изображений согласно варианту 1 осуществления со ссылкой на фиг. 2. Фиг. 2 иллюстрирует конфигурационный вид, в котором бортовое устройство распознавания изображений согласно настоящему варианту осуществления устанавливается в транспортном средстве 5, включающем в себя BSW-систему.

[0025] Как проиллюстрировано на фиг. 2, бортовое устройство 8 распознавания изображений согласно варианту 1 осуществления включает в себя модуль 10 формирования изображений, который располагается около расположенного сзади номерного знака транспортного средства 5 (см. фиг. 1), с тем чтобы отслеживать диапазон ω, проиллюстрированный на фиг. 1, детектор 20 загрязненности линзы, который обнаруживает уровень прилипания прилипшего вещества, такого как грязь или капля воды, и уровень белой замутненности линзы 12, смонтированной на передней части модуля 10 формирования изображений, из изображения, полученного посредством модуля 10 формирования изображений, модуль 30 вычисления уровня загрязненности линзы, который вычисляет уровень загрязненности линзы 12 на основе обнаруженного уровня прилипания прилипшего вещества, такого как грязь или капля воды, и обнаруженного уровня белой замутненности линзы 12, модуль 50 регулирования чувствительности обнаружения, который регулирует чувствительность обнаружения другого транспортного средства 6 в нижеописанном детекторе 70 транспортных средств, модуль 60 получения информации касательно транспортного средства, который получает скорость транспортного средства транспортного средства 5, и детектор 70 транспортных средств (модуль выполнения приложения для распознавания изображений), который обнаруживает другое транспортное средство 6, приближающееся к транспортному средству 5 сзади относительно транспортного средства 5.

[0026] Модуль 10 формирования изображений, модуль 50 регулирования чувствительности обнаружения, модуль 60 получения информации касательно транспортного средства и детектор 70 транспортных средств составляют BSW-систему 9.

[0027] Модуль 10 формирования изображений включает в себя линзу 12, фотоэлектрический преобразователь 14, изготовленный из CMOS-элемента, например, для того чтобы фотоэлектрически преобразовывать световой сигнал в электрический сигнал, и модуль 16 регулирования усиления, который регулирует усиление фотоэлектрически преобразованного электрического сигнала.

[0028] Детектор 20 загрязненности линзы включает в себя модуль 25 вычисления уровня белой замутненности, имеющий модуль 22 вычисления первого уровня белой замутненности, который вычисляет уровень белой замутненности линзы 12 на основе градиента яркости в изображении, полученном посредством модуля 10 формирования изображений, и модуль 24 вычисления второго уровня белой замутненности, который вычисляет уровень белой замутненности линзы 12 на основе дисперсии значения яркости в изображении, полученном посредством модуля 10 формирования изображений, и модуль 26 вычисления уровня прилипших веществ, который обнаруживает прилипшее вещество, такое как грязь или капля воды, прилипшее к линзе 12.

[0029] Детектор 70 транспортных средств включает в себя детектор 72 находящихся рядом транспортных средств, который обнаруживает трехмерный объект сзади транспортного средства 5 из изображения, полученного посредством модуля 10 формирования изображений, и вычисляет проезжаемое расстояние и скорость движения трехмерного объекта для того, чтобы обнаруживать трехмерный объект в качестве находящегося рядом транспортного средства, и модуль 74 вывода оповещений, который оповещает водителя с помощью индикатора или зуммера, когда находящееся рядом транспортное средство обнаруживается в детекторе 72 находящихся рядом транспортных средств.

[0030] Далее описывается подробная конфигурация детектора 20 загрязненности линзы со ссылкой на фиг. 3-5.

[0031] Как проиллюстрировано на фиг. 3, модуль 22 вычисления первого уровня белой замутненности, который составляет модуль 25 вычисления уровня белой замутненности, включает в себя детектор 22a областей, который обнаруживает изображение передних фар едущего сзади транспортного средства, модуль 22b вычисления градиента яркости, который вычисляет градиент яркости на предварительно определенной линии в области, обнаруженной в детекторе 22a областей, модуль 22c вычисления подобия, который определяет то, являются или нет области, обнаруженные в детекторе 22a областей в разные моменты времени, изображениями посредством идентичного источника света, и модуль 22d определения коэффициентов достоверности, который определяет коэффициент достоверности вычисленного уровня белой замутненности.

[0032] Как проиллюстрировано на фиг. 4, модуль 24 вычисления второго уровня белой замутненности модуля 25 вычисления уровня белой замутненности включает в себя модуль 24a вычисления интенсивности краев, который вычисляет интенсивность краев изображения, полученного посредством модуля 10 формирования изображений, и модуль 24b анализа интенсивности краев, который получает распределение интенсивности краев изображения из интенсивности краев, вычисленной в модуле 24a вычисления интенсивности краев, и вычисляет уровень белой замутненности линзы 12 на основе распределения интенсивности краев изображения.

[0033] Как проиллюстрировано на фиг. 5, модуль 26 вычисления уровня прилипших веществ включает в себя модуль 26a задания обрабатываемых областей, который задает обрабатываемую область в изображении, полученном посредством модуля 10 формирования изображений, и разделяет обрабатываемую область на множество блоков, детектор 26b краев, который обнаруживает область, имеющую слабую интенсивность краев, из изображения, модуль 26c вычисления распределения яркости, который получает значение яркости в области со слабой интенсивностью краев и периферийной области и вычисляет распределение яркости, модуль 26d вычисления изменения яркости, который вычисляет изменение по временному ряду значения яркости на основе значения яркости, накопленного во временном ряде, и модуль 26e определения прилипших веществ, который определяет наличие или отсутствие прилипшего вещества линзы 12 на основе результатов обработки детектора 26b краев, модуля 26c вычисления распределения яркости и модуля 26d вычисления изменения яркости.

[0034] Далее описывается подробная конфигурация детектора 72 находящихся рядом транспортных средств детектора 70 транспортных средств со ссылкой на фиг. 6.

[0035] Детектор 72 находящихся рядом транспортных средств, проиллюстрированный на фиг. 6, обнаруживает находящееся рядом транспортное средство (другое транспортное средство 6) с использованием информации форм разностных сигналов и включает в себя преобразователь 72a точки обзора, модуль 72b совмещения и детектор 72c трехмерных объектов.

[0036] Помимо этого, детектор 72 находящихся рядом транспортных средств по варианту 1 осуществления может обнаруживать находящееся рядом транспортное средство (другое транспортное средство 6) с использованием информации краев. В этом случае, как проиллюстрировано на фиг. 6, блок A1 обнаружения, включающий в себя модуль 72b совмещения и детектор 72c трехмерных объектов, заменяется блоком A2 обнаружения, включающим в себя модуль 72g вычисления яркостного различия, детектор 72h линий краев и детектор 72i трехмерных объектов, которые обведены посредством пунктирной линии.

[0037] Детектор 72 находящихся рядом транспортных средств может включать в себя как блок A1 обнаружения, так и блок A2 обнаружения для того, чтобы обнаруживать находящееся рядом транспортное средство с использованием информации форм разностных сигналов и обнаруживать находящееся рядом транспортное средство с использованием информации краев. Когда детектор 72 находящихся рядом транспортных средств включает в себя как блок A1 обнаружения, так и блок A2 обнаружения, любой из блока A1 обнаружения и блока A2 обнаружения может активироваться согласно фактору окружающей среды, такому как яркость.

[0038] Далее описывается последовательность операций бортового устройства 8 распознавания изображений согласно варианту 1 осуществления со ссылкой на блок-схему последовательности операций способа по фиг. 7.

[0039] Сначала на этапе S скорость транспортного средства получается в качестве информации касательно транспортного средства транспортного средства 5 в модуле 60 получения информации касательно транспортного средства.

[0040] Затем на этапе S2 определяется то, составляет или нет значение сигнала скорости транспортного средства, получаемое в модуле 60 получения информации касательно транспортного средства, предварительно определенное значение (например, 1 км/ч) или более. Когда значение сигнала скорости транспортного средства составляет предварительно определенное значение или более, процесс переходит к этапу S3, чтобы инициировать BSW-систему 9. С другой стороны, когда скорость транспортного средства меньше предварительно определенного значения, процесс возвращается к этапу S1.

[0041] Затем на этапе S4 изображение обстановки сзади транспортного средства 5 получается посредством модуля 10 формирования изображений. Световой сигнал, пропускаемый в линзу 12, преобразуется в электрический сигнал в фотоэлектрическом преобразователе 14, и электрический сигнал усиливается в модуле 16 регулирования усиления, с тем чтобы формировать сигнал I(x, y) изображения. В дальнейшем в этом документе, сигнал I(x, y) изображения называется просто "изображением I(x, y)".

[0042] Модуль 16 регулирования усиления предоставляет надлежащее усиление для того, чтобы усиливать электрический сигнал таким образом, что электрический сигнал, преобразованный в фотоэлектрическом преобразователе 14, имеет предварительно определенный уровень, и формирует изображение I(x, y). Изображение I(x, y), имеющее высокое SN-отношение, за счет этого получается вследствие надлежащего усиления, даже когда изображение получается в темном окружении. Помимо этого, регулировка усиления выполняется по мере необходимости вместе с формированием изображений, и самое последнее значение усиления может отслеживаться в модуле 16 регулирования усиления.

[0043] Затем на этапе S5 уровень белой замутненности линзы 12 вычисляется в модуле 22 вычисления первого уровня белой замутненности и модуле 24 вычисления второго уровня белой замутненности. Процедура этого процесса проиллюстрирована на фиг. 8, 9, и ниже описываются подробности процесса.

[0044] Затем на этапе S6 прилипшее вещество, такое как грязь или капля воды, прилипшее к линзе 12, обнаруживается в модуле 26 вычисления уровня прилипания. Процедура этого процесса проиллюстрирована на фиг. 10, и ниже описываются подробности процесса.

[0045] Затем на этапе S7 уровень загрязненности линзы 12 вычисляется в модуле 30 вычисления уровня загрязненности линзы. Ниже описываются подробности этого процесса.

[0046] На этапе S8 уровень белой замутненности линзы 12, вычисленный в модулях 22, 24 вычисления первого и второго уровня белой замутненности, и уровень прилипания прилипшего вещества, такого как грязь или капля воды, прилипшего к линзе 12, вычисленный в модуле 26 вычисления уровня прилипших веществ, сообщаются в модуль 50 регулирования чувствительности обнаружения, и чувствительность обнаружения транспортных средств корректируется на основе сообщенных уровней белой замутненности и прилипших веществ линзы 12 в модуле 50 регулирования чувствительности обнаружения.

[0047] Затем на этапе S9 находящееся рядом транспортное средство обнаруживается из изображения, полученного посредством модуля 10 формирования изображений в детекторе 72 находящихся рядом транспортных средств. Процедура этого процесса проиллюстрирована на фиг. 25, 31, и ниже описываются подробности процесса.

[0048] Затем на этапе S10 необходимость предупреждения определяется на основе наличия или отсутствия другого транспортного средства 6, обнаруженного в детекторе 72 находящихся рядом транспортных средств, и относительной скорости другого транспортного средства 6 относительно транспортного средства 5. Когда необходимо выводить предупреждение, процесс переходит к этапу S11, а когда необязательно выводить предупреждение, процесс возвращается к этапу S4.

[0049] Затем на этапе S11 в модуле 74 вывода оповещений, предупреждение выводится с помощью индикатора или зуммера, и наличие находящегося рядом транспортного средства сообщается водителю транспортного средства 5, с тем чтобы оповещать водителя.

[0050] Далее последовательно подробно описываются соответствующие процессы, которые выполняются на блок-схеме последовательности операций способа по фиг. 7.

[0051] Процесс вычисления уровня белой замутненности на основе градиента яркости

Сначала, описываются подробности процесса вычисления уровня белой замутненности, который выполняется на этапе S5 на фиг. 7, со ссылкой на фиг. 8-15. В модуле 25 вычисления уровня белой замутненности, уровень белой замутненности линзы 12 вычисляется с помощью способа на основе градиента яркости в изображении, полученном посредством модуля 10 формирования изображений, и способа на основе распределения интенсивности краев в изображении, полученном посредством модуля 10 формирования изображений. В этом случае, U1 обозначает уровень белой замутненности линзы 12, вычисленный на основе градиента яркости, а U2 обозначает уровень белой замутненности линзы 12, вычисленный на основе распределения интенсивности краев.

[0052] Модуль 22 вычисления первого уровня белой замутненности обнаруживает изображение передних фар едущего сзади транспортного средства или изображение посредством отражения солнечного света из изображения I(x, y) полученного модулем 10 формирования изображений, задает предварительно определенную линию в обнаруженном изображении и вычисляет уровень U1 белой замутненности линзы на основе градиента яркости на предварительно определенной линии.

[0053] Это обусловлено тем, что изображение источника яркого света, к примеру, передних фар или солнца, рассеивается в силу белой замутненности линзы, и уровень рассеяния изменяется согласно уровню белой замутненности линзы, так что изображение источника яркого света наблюдается в качестве изображения, имеющего более широкую яркую область, когда уровень белой замутненности является высоким.

[0054] Фиг. 8(a), 8(b) иллюстрируют изображение I(x, y), фактически наблюдаемое посредством модуля 10 формирования изображений в бортовом устройстве 8 распознавания изображений и включающее в себя передние фары едущего сзади транспортного средства, движущегося в полосе движения, идентичной полосе движения транспортного средства 5. Фиг. 8(a) иллюстрирует изображение в случае, если поверхность линзы 12 не имеет белой замутненности. Фиг. 8(b) иллюстрирует изображение в случае, если поверхность линзы 12 имеет белую замутненность.

[0055] Графики, проиллюстрированные под изображениями I(x, y) на фиг. 8(a), 8(b), иллюстрируют распределение значения яркости (в дальнейшем в этом документе называется "распределением Ld яркости") в направлении OP (линии) сканирования, идущем влево от начальной точки O сканирования в изображении передних фар в качестве начальной точки, и распределение Ld яркости в линии OQ, идущей вправо от начальной точки O сканирования в изображении передних фар, в качестве начальной точки, показанной на одном графике.

[0056] На фиг. 8(a) задается то, что число пикселов в направлении слева направо или в горизонтальном направлении от точки, в которой распределение Ld яркости на линии OP опускается ниже порогового значения A, до точки, в которой распределение Ld яркости опускается ниже порогового значения B, которое ниже порогового значения A, упоминается в качестве L_W, и число пикселов в направлении слева направо или в горизонтальном направлении от точки, в которой распределение Ld яркости на линии OQ опускается ниже порогового значения A, до точки, в которой распределение Ld яркости опускается ниже порогового значения B, которое ниже порогового значения A, упоминается в качестве R_W. Затем, градиент g яркости вычисляется посредством использования яркостного различия D_I(=A-B) в качестве D_I/L_W (градиент яркости на линии OP) и -D_I/R_W (градиент яркости на линии OQ). В случае по фиг. 8(a), если линза не имеет белой замутненности, абсолютное значение градиента g яркости является большим значением, и распределение Ld яркости имеет небольшую дисперсию и становится резче.

[0057] С другой стороны, в случае по фиг. 8(b), когда линза имеет белую замутненность, абсолютное значение градиента g яркости является небольшим значением, и увеличивается распределение Ld яркости.

[0058] Модуль 22 вычисления первого уровня белой замутненности вычисляет уровень U1 белой замутненности линзы 12 с использованием абсолютной величины градиента g яркости. Более конкретно, по мере того, как становится меньше абсолютное значение градиента g яркости, уровень белой замутненности вычисляется как более высокий уровень. Помимо этого, как подробно описано ниже, чтобы повышать коэффициент достоверности вычисления уровня белой замутненности, определяется то, что белая замутненность возникает, когда небольшой градиент g яркости поддерживается в течение определенного периода.

[0059] В дальнейшем в этом документе подробно описывается способ вычисления уровня белой замутненности U1, который осуществляется в модуле 22 вычисления первого уровня белой замутненности, со ссылкой на фиг. 9.

[0060] На этапе S20 изображение I(x, y) (в дальнейшем в этом документе называется "изображением I"), полученное посредством модуля 10 формирования изображений, миниатюризируется посредством предварительно определенного коэффициента, и формируется миниатюризированное изображение I′(x, y) (в дальнейшем в этом документе называется "миниатюризированным изображением I′"). Изображение миниатюризируется так, как описано выше, с тем чтобы уменьшать требуемый объем запоминающего устройства для процесса формирования изображения и повышать скорость обработки. Конкретный масштаб определяется с учетом используемых спецификаций компьютера, рабочих характеристик разрешения изображений и т.п.

[0061] Уменьшение изображения выполняется посредством прореживания пикселов и может выполняться посредством усреднения значений яркости смежных пикселов. Благодаря этому процессу, изображение, проиллюстрированное на фиг. 10(a), миниатюризируется в изображение, проиллюстрированное на фиг. 10(b).

[0062] Затем на этапе S21 область для обнаружения изображения передних фар едущего сзади транспортного средства или отраженного изображения солнечного света задается в миниатюризированном изображении I′, полученном на этапе S20. В этом варианте осуществления, задается область, имеющая изображение передних фар едущего сзади транспортного средства, движущегося в полосе Y₂ движения, идентичной полосе Y₂ движения транспортного средства 5, и из области обнаруживается изображение передних фар едущего сзади транспортного средства либо отраженное изображение солнечного света. Вследствие ограничения обрабатываемой области, как описано выше, может уменьшаться нагрузка компьютера.

[0063] Пример обрабатываемой области, заданной так, как описано выше, проиллюстрирован на фиг. 11. Как проиллюстрировано на фиг. 11, область E обработки задается с верхней левой позицией, заданной как (x1, y1), и нижней правой позицией, заданной как (x2, y2) относительно изображения, имеющего n пикселов в горизонтальном направлении и m пикселов в вертикальном направлении.

[0064] Вертикальная позиция области E обработки задается на основе позиции вертикальной координаты VY (см. фиг. 11) исчезающей точки, заданной посредством позиции установки по высоте, и вертикального угла установки модуля 10 формирования изображений на транспортном средстве 5. Исчезающая точка соответствует точке в бесконечности.

[0065] Горизонтальная позиция области E обработки задается согласно горизонтальной позиции установки модуля 10 формирования изображений на транспортном средстве 5. Иными словами, когда модуль 10 формирования изображений располагается в центре транспортного средства 5, область E обработки задается в миниатюризированном изображении I′ симметричным способом в горизонтальном направлении. Фиг. 11 является примером, когда позиция установки модуля 10 формирования изображений на транспортном средстве 5 смещается в горизонтальном направлении, и область E обработки задается асимметричным способом в горизонтальном направлении.

[0066] Затем на этапе S22 миниатюризированное изображение I′ преобразуется в двоичную форму с предварительно определенным пороговым значением в области E обработки, заданной на этапе S21, так что оно должно преобразовываться в преобразованное в двоичную форму изображение, и процесс пометки для того, чтобы присваивать номер каждой области, составляющей преобразованное в двоичную форму изображение, выполняется для преобразованного в двоичную форму изображения. В этом случае, в качестве предварительно определенного порогового значения, используются значение, при котором может обнаруживаться изображение передних фар едущего сзади транспортного средства, движущегося в полосе Y₂ движения, идентичной полосе Y₂ движения транспортного средства 5, и значение, при котором может обнаруживаться отраженное изображение солнечного света. Эти значения заблаговременно задаются посредством экспериментов и т.п. Помимо этого, это пороговое значение сохраняется в детекторе 22a областей.

[0067] Когда получается изображение I, значение усиления изображения I считывается из модуля 16 регулирования усиления. Когда значение считывания усиления составляет предварительно определенное значение или более, определяется то, что изображение I получается ночью, и изображение I преобразуется в двоичную форму посредством применения порогового значения для обнаружения изображения передних фар едущего сзади транспортного средства.

[0068] С другой стороны, когда значение усиления изображения I меньше предварительно определенного значения, определяется то, что изображение I получается днем, и изображение I преобразуется в двоичную форму посредством применения порогового значения для обнаружения отраженного изображения солнечного света.

[0069] Изображение, проиллюстрированное на фиг. 10(c), получается посредством процесса преобразования в двоичную форму и пометки.

[0070] Затем на этапе S23 определяется то, имеется или нет изображение передних фар или отраженное изображение солнечного света в изображении, для которого выполняется процесс пометки на этапе S22. Процесс, выполняемый на этапе S23, описывается со ссылкой на фиг. 12(a), 12(b).

[0071] Изображение передних фар едущего сзади транспортного средства, движущегося в полосе Y₂ движения, идентичной полосе Y₂ движения транспортного средства 5, которое получается посредством модуля 10 формирования изображений, имеет аппроксимированную круглую форму, показанную как область R₀ на фиг. 12(a). Соответственно, относительно каждой области, в которой выполняется процесс пометки, когда площадь H₀W₀ прямоугольной области (число H₀ вертикальных пикселов, число W₀ горизонтальных пикселов) описывается как область, определяется то, что площадь области занимает предварительно определенную долю или более в площади H₀W₀, и что ширина и высота квадрата, описанного как область, не отличаются друг от друга с предварительно определенным отношением или более. В силу этого можно определять то, имеется или нет изображение передних фар.

[0072] Отраженное изображение солнечного света, которое получается посредством модуля 10 формирования изображений, имеет аппроксимированную круглую форму, аналогично области R₀. Следовательно, пороговое значение заполнения, показывающее форму изображения, и пороговое значение отношения горизонтальной части к вертикальной описанного квадрата количественно определяются, аналогично изображению передних фар, так что определяется то, удовлетворяет или нет фактически обнаруженная область условиям.

[0073] Согласно определению, например, область, имеющая такую форму, как область R₁, R₂ или R₃, проиллюстрированная на фиг. 12(b), определяется как не представляющая собой изображение передних фар или отраженное изображение солнечного света, и отклоняется.

[0074] Согласно определению, выбирается одна область, удовлетворяющая словиям, как проиллюстрировано на фиг. 10(d). Когда выявляется множество областей, удовлетворяющих условиям, выбирается одна область, имеющая наибольшую площадь. Когда не выявляется ни одна область, удовлетворяющая условиям ("Нет" на этапе S23), процесс возвращается к основной процедуре (фиг. 7).

[0075] Затем на этапе S24 вычисляется центроидная позиция G области, выбранной на этапе S23. Когда координата центроидной позиции G области задается как G(Gx, Gy), горизонтальная позиция Gx центроидной позиции G вычисляется посредством деления суммы горизонтальных координат всех пикселов, формирующих область, на площадь области, и вертикальная позиция Gy центроидной позиции G вычисляется посредством деления суммы вертикальных координат всех пикселов, формирующих область, на площадь области.

[0076] Затем на этапе S25 начальная точка O сканирования для вычисления градиента g яркости и направление (линия) сканирования для вычисления градиента яркости задаются в миниатюризированном изображении I′. Начальная точка O сканирования и линия задаются согласно определению позиции и направления, которые являются нечувствительными к разбрызгиванию посредством транспортного средства 5, отражению от поверхности дороги передних фар едущего сзади транспортного средства, передних фар транспортного средства, движущегося в находящейся рядом полосе движения, и т.п., на основе экспериментов и т.п.

[0077] В этом варианте осуществления, как проиллюстрировано на фиг. 13, начальная точка O сканирования для вычисления градиента g яркости задается между центроидной позицией G области R₀ и самой верхней точкой J области R₀. Фиг. 13 является видом, описывающим пример задания линий OP, OQ для вычисления градиента яркости и пример градиента яркости, который вычисляется для линий OP, OQ.

[0078] Более конкретно, вертикальная координата Oy начальной точки O сканирования получается посредством уравнения 1:

уравнение 1

Oy=Jy+(Gy-Jy)/Th_y (1),

где Jy является вертикальной координатой самой верхней точки J области R₀. Пороговое значение Th_y задается равным значению, превышающему 0. Пороговое значение Th_y задается на основе экспериментов и т.п.

[0079] Как проиллюстрировано на фиг. 13, линии, параллельные горизонтальной линии, проходящей через начальную точку O сканирования и центроидную позицию G области R₀, задаются в качестве линий OP, OQ.

[0080] Затем на этапе S26 значения яркости, сохраненные в миниатюризированном изображении I′, считываются на линии OP от начальной точки O сканирования до точки P, чтобы вычислять распределение Ld яркости. Значения яркости, сохраненные в уменьшенном изображении I′, считываются на линии OQ, чтобы вычислять распределение Ld яркости.

[0081] Распределения Ld яркости, вычисляемые так, как описано выше, проиллюстрированы на графике по фиг. 13. График иллюстрирует распределение яркости на линии OP и распределение яркости на линии OQ на одном графике для целей описания.

[0082] Затем на этапе S27 получается размер границы распределения Ld яркости в горизонтальном направлении. Здесь, заблаговременно подготавливаются пороговое значение A для значения яркости и пороговое значение B для значения яркости, меньшее порогового значения A. В заблаговременно подготовленном распределении Ld яркости, значения яркости сканируются от начальной точки O сканирования до точки P в направлении влево, чтобы вычислять интервал между позицией, в которой значение яркости опускается ниже порогового значения A, и позицией, в которой значение яркости опускается ниже порогового значения B, в качестве числа L_W горизонтальных пикселов, как проиллюстрировано на фиг. 13. Затем, значения яркости сканируются от начальной точки O сканирования до точки Q в направлении вправо, чтобы вычислять интервал между позицией, в которой значение яркости опускается ниже порогового значения A, и позицией, в которой значение яркости опускается ниже порогового значения B, в качестве числа R_W горизонтальных пикселов.

[0083] Затем на этапе S28 вычисляется градиент g яркости. Более конкретно, яркостное различие D_I(=A-B), которое является разностным значением между пороговым значением A и пороговым значением B, используется для того, чтобы вычислять градиент g яркости для линии OP в качестве D_I/L_W и вычислять градиент g яркости для линии OQ в качестве -D_I/R_W.

[0084] Затем на этапе S29 определяется то, имеет или нет симметрию D_I/L_W и -D_I/R_W, которые являются правым и левым градиентами g яркости области R₀. Определение симметрии выполняется посредством подтверждения, составляет или нет разрыв G_I градиента g яркости, вычисленный посредством уравнения 2, предварительно определенное пороговое значение Th_G или ниже.

Уравнение 2

G_I=(|L_W|-|R_W|)/(|L_W|+|R_W|)

[0085] В случае если множество областей непрерывно появляется в горизонтальном направлении, абсолютная величина левого градиента g яркости отличается от абсолютной величины правого градиента g яркости, и, следовательно, разрыв G_I, вычисленный посредством уравнения 2, становится больше порогового значения Th_G. В этом случае, не выполняется вычисление уровня белой замутненности, и процесс переходит к этапу S35.

[0086] Затем на этапе S30 вычисляется уровень U1 белой замутненности линзы 12. Уровень U1 белой замутненности вычисляется как среднее значение абсолютных значений D_I/L_W и -D_I/R_W, которые являются ранее вычисленными левым и правым градиентами g яркости, как проиллюстрировано в уравнении 3.

Уравнение 3

U1={(L_W/D_I)+(R_W/D_I)}/2

В уравнении 3, усредняются инверсии градиентов g яркости. Такое вычисление служит для получения большего значения U1, поскольку уровень белой замутненности линзы 12 составляет более высокий уровень (уровень загрязненности составляет более высокий уровень).

[0087] Затем на этапе S31 определяется то, является или нет ранее обнаруженная область R₀ идентичной области R₀, обнаруженной за один этап до этого. А именно, определяется то, получаются или нет изображения из идентичного источника света.

[0088] Это определение выполняется посредством сравнения среднего значения Ave(U1) уровней U1 белой замутненности, вычисленного в предыдущем процессе, с самым последним уровнем белой замутненности, вычисленным посредством уравнения 3. Когда разность между средним значением Ave(U1) предыдущих уровней белой замутненности и самым последним уровнем U1 белой замутненности является небольшой, определяется то, что изображения получаются из идентичного источника света в области.

[0089] Этот процесс выполняется в модуле 22с вычисления подобия. Более конкретно, когда уравнение 4 удовлетворяется, определяется то, что изображения формируются из идентичного источника света:

уравнение 4

Th_LOW<U1/Ave(U1)<Th_HIGH,

где Th_LOW является минимальным пороговым значением для того, чтобы определять то, что изображения исходят из идентичного источника света, и Th_HIGH является максимальным пороговым значением для того, чтобы определять то, что изображения исходят из идентичного источника света.

[0090] На этапе S31, когда определяется то, что изображения исходят из идентичного источника света, то общее число T, показывающее то, что непрерывно обнаруживаются изображения, считающиеся исходящими из идентичного источника света, увеличивается на этапе S32, и процесс переходит к этапу S34. Помимо этого, процессы после этапа S32 выполняются в модуле 22d определения коэффициентов достоверности, и значение общего числа T, которое увеличивается на этапе S32, сохраняется по мере необходимости в модуле 22d определения коэффициентов достоверности.

[0091] С другой стороны, на этапе S31, когда определяется то, что изображения не исходят из идентичного источника света, общее число T постепенно уменьшается на этапе S33, и процесс переходит к этапу S35. Помимо этого, значение общего числа T, постепенно уменьшенное на этапе S33, сохраняется по мере необходимости в модуле 22d определения коэффициентов достоверности.

[0092] Затем на этапе S34 уровень U1 белой замутненности, ранее вычисленный на этапе S30, сохраняется в модуле 22d определения коэффициентов достоверности. Среднее значение Ave(U1) уровней белой замутненности повторно вычисляется и обновляется на основе среднего значения Ave(U1) уровней белой замутненности, вычисленного в предыдущем процессе, и ранее вычисленного уровня U1 белой замутненности. Обновленное среднее значение Ave(U1) уровней белой замутненности сохраняется в модуле 22d определения коэффициентов достоверности.

[0093] На этапе S35 определяется и обновляется коэффициент F достоверности вычисленного уровня белой замутненности. Коэффициент F достоверности выражается посредством значения общего числа T. Определяется то, что чем больше значение T, а именно оно рассматривается как уровень U1 белой замутненности, который непрерывно обнаруживается на основе градиента яркости изображения посредством идентичного источника, тем выше коэффициент F достоверности. После этого обновляется значение коэффициента F достоверности.

[0094] Помимо этого, в настоящем варианте осуществления, как проиллюстрировано на фиг. 14, коэффициент F достоверности управляется посредством разделения на четыре уровня, к примеру, Ph0, Ph1, Ph2 и Ph3. Ph3 показывает наибольший коэффициент F достоверности, а именно, он показывает то, что вычисленный уровень U1 белой замутненности является самым надежным. Уровень коэффициента F достоверности сдвигается согласно значению T.

[0095] А именно, на фиг. 14, в начальном состоянии, уровень коэффициента F достоверности составляет Ph0. Когда значение общего числа T, показывающее то, что непрерывно обнаруживаются изображения, считающиеся исходящими из идентичного источника света, превышает предварительно определенное значение T1, уровень коэффициента F достоверности сдвигается на Ph1. Затем, когда значение общего числа T превышает предварительно определенное значение T2, уровень коэффициента F достоверности сдвигается на Ph2. Когда значение общего числа T превышает предварительно определенное значение T3, уровень коэффициента F достоверности сдвигается на Ph3.

[0096] С другой стороны, когда уровень коэффициента F достоверности составляет Ph3, и значение общего числа T постепенно уменьшается и опускается ниже предварительно определенного значения T4, уровень коэффициента F достоверности сдвигается на Ph2. Затем, когда значение общего числа T опускается ниже предварительно определенного значения T5, уровень коэффициента F достоверности сдвигается на Ph1. Когда значение общего числа T опускается ниже предварительно определенного значения T6, уровень коэффициента F достоверности сдвигается на Ph0.

[0097] Когда коэффициент F достоверности сдвигается на другой уровень, чтобы предотвращать колебания в случае, в котором коэффициент F достоверности возвращается на исходный уровень, если коэффициент F достоверности сдвигается на верхний уровень, предварительно определенное значение Tc1 может суммироваться с общим числом T, и если коэффициент F достоверности сдвигается на нижний уровень, предварительно определенное значение Tc2 может вычитаться из общего числа T. Когда выполнено обновление коэффициента F достоверности, завершается процесс по фиг. 9, процесс возвращается к основной процедуре (фиг. 7).

[0098] Процесс вычисления уровня белой замутненности на основе интенсивности краев

Модуль 24 вычисления второго уровня белой замутненности вычисляет уровень U2 белой замутненности линзы на основе распределения интенсивности краев, из изображения I, полученного посредством модуля 10 формирования изображений.

[0099] Когда белая замутненность возникает на поверхности линзы 12, получается изображение I с размытостью. Уровень размытости становится более высоким по мере того, как становится более высоким уровень белой замутненности. В этом варианте осуществления, уровень размытости вычисляется на основе распределения интенсивности краев в изображении I.

[0100] В дальнейшем в этом документе описывается процедура вычисления уровня U2 белой замутненности со ссылкой на фиг. 15.

[0101] Сначала, ссылаясь на фиг. 15, на этапе S40 область для того, чтобы выполнять обнаружение краев, задается в изображении I, полученном посредством модуля 10 формирования изображений в модуле 24a вычисления интенсивности краев. Область для того, чтобы выполнять обнаружение краев, может задаваться равной всему изображению I или ограничиваться позицией, в которой с большой вероятностью появляется край.

[0102] Днем может задаваться область, включающая в себя линию горизонта сзади транспортного средства 5, обнаружение краев может быть выполнено для внутренней части области, и интенсивность краев может быть вычислена на основе края, сформированного посредством линии горизонта. Ночью, может задаваться область, включающая в себя полосы Y₁, Y₃ движения рядом с полосой Y₂ движения, в которой движется транспортное средство 5, обнаружение краев может выполняться для внутренней части области, и интенсивность краев может быть вычислена на основе края другого транспортного средства 6 на находящейся рядом полосе движения. В этом случае, день и ночь могут отличаться на основе значения усиления, регулируемого в модуле 16 регулирования усиления, как описано выше.

[0103] Затем на этапе S41 в модуле 24a вычисления интенсивности краев, интенсивность краев получается относительно каждого пиксела в изображении I с использованием оператора обнаружения краев в области, заданной на этапе S40. Коэффициент фильтрации обнаружения краев для использования в этом процессе не ограничен конкретным образом.

[0104] Затем на этапе S42 в модуле 24b анализа интенсивности краев, значения интенсивности краев, вычисленные относительно каждого пиксела изображения I, усредняются, чтобы вычислять среднюю интенсивность краев. Помимо этого, средняя интенсивность краев заблаговременно нормализуется посредством площади области для обнаружения краев. Следовательно, определяется то, что чем меньше вычисленная средняя интенсивность краев, тем ниже четкость изображения I, а именно, тем выше уровень белой замутненности. Кроме того, определяется то, что чем выше средняя интенсивность краев, тем выше четкость изображения I, а именно, тем ниже уровень белой замутненности.

[0105] Помимо этого, средняя интенсивность краев может быть вычислена не только из одного изображения, но также и из множества изображений, полученных в разные моменты времени. Когда средняя интенсивность краев вычисляется из множества изображений, средняя интенсивность краев вычисляется посредством усреднения средней интенсивности краев множества изображений. Четкость изображения I за счет этого может быть стабильно оценена, даже когда шум внезапно подмешивается в изображении I. В этом случае, изменение средней интенсивности краев получается в течение предварительно определенного времени. Когда изменение средней интенсивности краев является небольшим, определяется то, что вычисленная средняя интенсивность краев, а именно, надежность уровня белой замутненности является высокой, и может вычисляться вышеописанный коэффициент F достоверности.

[0106] На этапе S43 уровень U2 белой замутненности вычисляется на основе средней интенсивности краев. Более конкретно, например, инверсия нормализованной средней интенсивности краев вычисляется как уровень U2 белой замутненности.

[0107] Процесс обнаружения прилипших веществ

Далее описываются подробности процесса обнаружения прилипших веществ на этапе S6 по фиг. 7 со ссылкой на фиг. 16-19. В модуле 26 вычисления уровня прилипания, уровень прилипания прилипшего вещества, такого как грязь или капля воды, прилипшего к линзе 12, вычисляется на основе распределения значения яркости и интенсивности краев в изображении I. В этом случае, M обозначает уровень прилипания прилипшего вещества, вычисленный в модуле 26 вычисления уровня прилипания.

[0108] В дальнейшем в этом документе подробно описывается способ вычисления уровня M прилипания прилипшего вещества, который осуществляется в модуле 26 вычисления уровня прилипания, в отношении примера для того, чтобы обнаруживать прилипшее вещество в виде грязи.

[0109] На этапе S50 в модуле 26a задания обрабатываемых областей изображение I, полученное посредством модуля 10 формирования изображений, миниатюризируется с предварительно определенным коэффициентом, чтобы получать миниатюризированное изображение I′. Изображение миниатюризируется так, как описано выше, с тем чтобы уменьшать требуемый объем запоминающего устройства для процесса формирования изображения и повышать скорость обработки. Конкретный масштаб определяется с учетом используемых спецификаций компьютера, рабочих характеристик разрешения изображений и т.п. Затем, область для того, чтобы выполнять обнаружение прилипших веществ, задается в миниатюризированном изображении I′.

[0110] Миниатюризированное изображение I′, сформированное в данном документе, имеет ссылку с номером, идентичную ссылке с номером миниатюризированного изображения I′, сформированного для вычисления уровня белой замутненности. Тем не менее, масштаб не обязательно должен быть идентичным масштабом для обоих миниатюризированных изображений. Изображения миниатюризируются по масштабу в соответствии с надлежащими изображениями.

[0111] Все миниатюризированное изображение I′ может задаваться как область для того, чтобы выполнять обнаружение прилипших веществ. Тем не менее, в настоящем варианте осуществления, область, охватывающая область обнаружения транспортных средств BSW-системы 9, которая представляет собой приложение для распознавания изображений, которое должно быть использовано, задается как целевая обрабатываемая область. Посредством задания целевой обрабатываемой области так, как описано выше, может повышаться точность приложения для распознавания изображений, и также может повышаться эффективность обработки для процесса обнаружения прилипших веществ.

[0112] На этапе S50 заданная целевая обрабатываемая область разделяется на множество блоков 201, как проиллюстрировано на фиг. 17. Последующие процессы выполняются относительно каждого блока. В этом варианте осуществления, размер каждого блока 201 задается равным размеру прилипшего вещества, которое должно быть обнаружено, или ниже. Посредством задания размера каждого блока так, как описано выше, может надежно и эффективно обнаруживаться только грязь. Такая информация, как координата каждого блока 201, разделенного так, как описано выше, сохраняется в модуле 26a задания обрабатываемых областей в соответствии с номером блока, применяемым к каждому блоку.

[0113] Затем на этапе S51 в детекторе 26b краев выполняются процесс обнаружения краев и исключение шума относительно результата обнаружения краев. Процесс обнаружения краев выполняется для миниатюризированного изображения I′, сформированного на этапе S50. Это обнаружение краев выполняется посредством известного способа. Пороговый процесс выполняется для интенсивности краев, полученной посредством обнаружения краев, и извлекается только необходимая точка конфигурации краев. Иными словами, интенсивность ρ краев формирует краевое изображение E(x, y), включающее в себя только точку конфигурации краев (точку конфигурации слабых краев), имеющую значение в пределах предварительно определенного диапазона.

[0114] Фиг. 18(b) иллюстрирует один пример краевого изображения E(x, y), сформированного так, как описано выше. Фиг. 18(b) иллюстрирует краевое изображение E(x, y), полученное из миниатюризированного изображения I′, проиллюстрированного на фиг. 18(a). На фиг. 18(b), участки с грязью обнаруживаются в качестве слабых краев.

[0115] Грязь в то время, когда транспортное средство движется на дороге в плохом состоянии, к примеру, по бездорожью, и грязь в то время, когда транспортное средство движется по асфальтированной дороге, отличаются по концентрации и цвету и могут отличаться по слабому уровню интенсивности краев, хотя они представляют собой идентичную грязь. Интенсивность краев может отличаться согласно типу прилипшего вещества. По этой причине, множество пороговых значений подготавливается относительно интенсивности ρ краев согласно дорожным условиям, условиям движения, типам прилипших веществ, условия прилипания и т.п. Может быть определено, какое пороговое значение используется после выполнения процесса обнаружения прилипших веществ.

[0116] На этапе S51 выполняется процесс исключения шумов для исключения шума в сформированном краевом изображении E(x, y). В настоящем варианте осуществления, точка конфигурации краев, удовлетворяющая следующим условиям, задается как шум.

(a) Точка конфигурации краев, в которой точка конфигурации краев в изображении E (x, y), обнаруженная в предыдущем процессе, не обнаруживается в идентичной позиции в настоящем процессе обнаружения краев.

(b) Точка конфигурации краев, имеющая площадь с предварительно определенным значением или ниже.

[0117] Сначала получается краевое изображение E(x, y, t), сформированное во время t, и краевое изображение E(x, y, t-Δt), сформированное во время t-Δt посредством последнего процесса обнаружения краев, и точка конфигурации краев, удовлетворяющая вышеуказанному условию (a), исключается в качестве шума. Это обусловлено тем, что точка конфигурации краев, которая обнаруживается в процессе обнаружения прилипших веществ, является краем прилипшего вещества, прилипшего к линзе 12, и прилипшее вещество, прилипшее к линзе 12, существует в идентичной позиции в течение определенного периода.

[0118] Затем точка конфигурации краев, удовлетворяющая вышеуказанному условию (b), исключается в качестве шума. Это обусловлено тем, что край загрязненности, прилипшей к линзе 12, имеет определенный размер, так что считается, что независимый небольшой край не представляет собой загрязненность. Посредством исключения шума так, как описано выше, прилипшее к линзе вещество может обнаруживаться с высокой точностью.

[0119] Затем на этапе S52 в модуле 26c вычисления распределения яркости выполняется процесс вычисления распределения яркости. В этом случае, среднее значение Iave(u, v) яркости пикселов в каждом блоке 201 вычисляется относительно каждого блока 201, заданного на этапе S50. Здесь, u, v обозначает горизонтальную позицию и вертикальную позицию каждого блока. Помимо этого, среднее значение Iave(u, v) яркости вычисляется посредством получения суммы значений яркости пикселов в блоке 201 и деления полученной суммы значений яркости на площадь (число пикселов) блока 201.

[0120] Затем на этапе S53 блок концентрации внимания и блок вокруг блока концентрации внимания (в дальнейшем в этом документе периферийный блок) задаются на основе среднего значения Iave(u, v) яркости каждого блока. Блок, проиллюстрированный посредством жирной линии на фиг. 19, представляет собой блок 201a концентрации внимания. Блок 201a концентрации внимания выбирается из блоков, имеющих низкое среднее значение яркости. Иными словами, значение яркости области, в которой прилипла грязь, с большой вероятностью должно быть ниже среднего значения яркости области, в которой грязь не прилипла.

[0121] Кроме того, блоки, расположенные на внешней окружности блоков 201, смежных с блоком 201a концентрации внимания и расположенных на внешней окружности блока 201a концентрации внимания, выбираются в качестве периферийных блоков 201b. А именно, грязь обычно прилипает не только к одному блоку, но также и к смежным блокам. Следовательно, считается то, что разность в среднем значении Iave(u, v) яркости между блоком 201a концентрации внимания и смежными блоками является небольшой. По этой причине, блоки за пределами блоков, смежных с блоком 201a концентрации внимания, выбираются в качестве периферийных блоков 201b.

[0122] Помимо этого, способ задания периферийного блока 201b не ограничивается вышеуказанным. Когда площадь прилипания прилипшего вещества является небольшой, блок 201, смежный с блоком 201a концентрации внимания, может задаваться в качестве периферийного блока 201b. Кроме того, когда площадь прилипания прилипшего вещества является большой, блок на расстоянии в несколько блоков от блока 201a концентрации внимания может задаваться в качестве периферийного блока 201b.

[0123] Затем на этапе S54 подсчитывается число периферийных блоков 201b (яркий периферийный блок), имеющих среднее значение Iave(u, v) яркости выше среднего значения Iave(u, v) яркости блока 201a концентрации внимания. В этом случае, подсчет выполняется с использованием значения яркости перед преобразованием в двоичную форму. Затем, вычисляется доля яркого периферийного блока 201b (число ярких периферийных блоков/сумма периферийных блоков). В этом случае, доля яркого периферийного блока становится более высокой для блока (блока концентрации внимания), имеющего грязь.

[0124] Затем на этапе S55 число пикселов, составляющих слабый край, подсчитывается из краевого изображения E(x, y), обнаруженного в процессе обнаружения краев. Подсчет слабого края выполняется с использованием изображения после преобразования в двоичную форму. Грязь, прилипшая к линзе 12, не фокусируется и имеет рваный контур. Такая грязь с большой вероятностью имеет слабый край в качестве блока. Следовательно, в процессе обнаружения прилипших веществ настоящего варианта осуществления, число точек конфигурации слабых краев подсчитывается относительно каждого блока, и сохраняется подсчитанное число.

[0125] После выполнения вышеуказанного процесса, относительного одного миниатюризированного изображения I′, процесс определения времени обработки выполняется на этапе S56. На этапе S56, определяется то, прошло или нет предварительно определенное время. Когда прошло предварительно определенное время, процесс переходит к этапу S57. Когда не прошло предварительно определенное время, процесс возвращается к этапу S50.

[0126] Посредством повторения этапов S50-S55 в течение предварительно определенного времени, как описано выше, такая информация, как среднее значение яркости, доля яркого периферийного блока и подсчитанное число слабых краев, сохраняется в хронологическом порядке. Помимо этого, предварительно определенное время может быть свободно задано согласно типам прилипших веществ, информации касательно транспортного средства, такой как скорость транспортного средства, и т.п. Например, в дождливый день или во время движения по бездорожью, грязь часто прилипает к линзе. По этой причине, необходимо обнаруживать грязь за короткое время, и требуется быстрое предупреждение. Следовательно, предпочтительно задавать небольшое предварительно определенное время.

[0127] С другой стороны, в солнечный день или во время движения по асфальтированной дороге, грязь практически не прилипает к линзе. Чтобы обеспечивать высокоточное обнаружение, предпочтительно накапливать информацию в течение длительного периода времени. Следовательно, предпочтительно задавать большое предварительно определенное время.

[0128] Затем на этапе S57 в модуле 26d вычисления изменения яркости выполняется процесс извлечения изменения яркости. Поскольку грязь, прилипшая к линзе 12, практически не перемещается даже после истечения определенного периода времени, и проницаемость грязи является низкой, изменение значения яркости в направлении времени в области становится небольшим. Чтобы изучать такое изменение значения яркости в направлении времени, вычисляются дисперсия и среднее значение средних значений Iave(u, v) яркости в направлении времени в идентичных блоках.

[0129] На этапе S57 средние значения Iave(u, v) яркости идентичных блоков усредняются в направлении времени, так что среднее во времени значение E₀ яркости вычисляется относительно каждого блока.

[0130] Затем дисперсия V среднего значения Iave(u, v) яркости в направлении времени вычисляется относительно каждого блока на основе вычисленного среднего во времени значении E₀ яркости каждого блока.

[0131] Затем на этапе S58, определение грязи выполняется в модуле 26e определения прилипших веществ.

[0132] Определение грязи выполняется посредством вычисления количественного показателя грязи относительно каждого блока 201 на основе следующей информации.

[0133] Более конкретно, в блоке 201, имеющем подсчитанное число слабых краев, меньшее порогового значения, считается, что скорость прилипания грязи является низкой, и количественный показатель грязи является низким. Когда доля числа ярких блоков в периферийных блоках 201b выше порогового значения, считается, что количественный показатель грязи блока 201 является высоким. Когда дисперсия среднего значения яркости блока 201, имеющего высокий количественный показатель грязи, составляет предварительно определенное пороговое значение или ниже, считается, что грязь с большой вероятностью должна прилипать к блоку 201.

[0134] Согласно вычисленному количественному показателю грязи, когда количественный показатель грязи блока 201 составляет пороговое значение или более, и дисперсия V среднего во времени значения E₀ яркости блока 201 составляет предварительно определенное пороговое значение или ниже, определяется то, что блок 201 включает в себя грязь. Затем, вычисляется уровень M прилипания согласно количественному показателю грязи.

[0135] Помимо этого, определение грязи описывается в вышеприведенном примере. Тем не менее, прилипшее вещество не ограничивается грязью. Уровень M прилипания может быть аналогично вычислен, даже когда капля воды прилипла к линзе. Затем, после завершения этапа S58, процесс возвращается к основной процедуре (фиг. 7).

[0136] Процесс вычисления уровня загрязненности линзы

Далее описываются подробности процесса вычисления уровня загрязненности линзы, который выполняется на этапе S7 по фиг. 7.

[0137] В этом случае, уровень загрязненности линзы 12 количественно определяется на основе ранее вычисленного первого уровня U1 белой замутненности, второго уровня U2 белой замутненности и уровня M прилипания.

[0138] Более конкретно, сначала уровень U белой замутненности линзы 12 вычисляется на основе значения первого уровня U1 белой замутненности или значения второго уровня U2 белой замутненности. В этом случае, уровень U белой замутненности может быть вычислен только на основе первого уровня U1 белой замутненности, уровень U белой замутненности может быть вычислен только на основе второго уровня U2 белой замутненности, или уровень U белой замутненности может быть вычислен на основе как первого, так и второго уровней U1, U2 белой замутненности.

[0139] Использование первого уровня U1 белой замутненности или второго уровня U2 белой замутненности определяется на основе окружения, в котором вычисляются эти значения, и коэффициента достоверности первого уровня U1 белой замутненности или второго уровня U2 белой замутненности.

[0140] А именно, когда абсолютная величина усиления составляет предварительно определенное значение или более, после мониторинга значения усиления, регулируемого в модуле 16 регулирования усиления, т.е. ночью, передние фары едущего сзади транспортного средства транспортного средства 5 четко формируются в качестве картинки. Следовательно, значение уровня U белой замутненности вычисляется посредством использования значения первого уровня U1 белой замутненности, вычисленного из этого изображения передних фар.

[0141] Тем не менее, даже ночью, когда едущее сзади транспортное средство не существует, первый уровень U1 белой замутненности не может быть вычислен на основе изображения передних фар. В этом случае, значение уровня U белой замутненности вычисляется посредством использования значения второго уровня U2 белой замутненности, когда не обнаруживается изображение передних фар.

[0142] С другой стороны, когда абсолютная величина усиления не удовлетворяет предварительно определенному значению, т.е. днем, отраженное изображение солнечного света четко формируется в качестве картинки. Следовательно, значение уровня U белой замутненности вычисляется посредством использования значения первого уровня U1 белой замутненности, вычисленного из отраженного изображения солнечного света.

[0143] Тем не менее, даже днем, когда отраженное изображение солнечного света не существует, первый уровень U1 белой замутненности не может быть вычислен на основе отраженного изображения солнечного света. В этом случае, значение уровня U белой замутненности вычисляется посредством использования значения второго уровня U2 белой замутненности, когда не обнаруживается отраженное изображение солнечного света.

[0144] Затем вычисленное значение уровня U белой замутненности и ранее вычисленное значение уровня M прилипания сообщаются в модуль 50 регулирования чувствительности обнаружения.

[0145] Процесс коррекции порогового значения обнаружения транспортных средств

После этого, на этапе S8 по фиг. 7, корректируется чувствительность обнаружения транспортных средств, когда другое транспортное средство 6 обнаруживается в детекторе 70 транспортных средств. Этот процесс выполняется в модуле 50 регулирования чувствительности обнаружения.

[0146] В модуле 50 регулирования чувствительности обнаружения различные пороговые значения, которые используются для обнаружения транспортного средства в детекторе 70 транспортных средств, корректируются согласно значению уровня U белой замутненности и значению уровня M прилипания. Ниже описываются конкретные пороговые значения.

[0147] Когда значение уровня U белой замутненности является большим, т.е. когда поверхность линзы 12 имеет белую замутненность, ухудшается четкость изображения I, полученного посредством модуля 10 формирования изображений. По этой причине, в случае выполнения обнаружения краев, например, если пороговое значение обнаружения краев не корректируется до значения, меньшего значения, когда поверхность линзы 12 не имеет белой замутненности, не может обнаруживаться транспортное средство. В силу этого корректируются пороговые значения.

[0148] Тем не менее, фактически коррекция различных пороговых значений только на основе значения уровня U белой замутненности не является достаточной для обнаружения транспортного средства. А именно, когда поверхность линзы 12 имеет белую замутненность, и поверхность линзы 12 также имеет грязь или каплю воды, определяется то, что уровень белой замутненности дополнительно возрастает в модуле 22 вычисления первого уровня белой замутненности, даже когда уровень белой замутненности является неизменным, так что вычисляется уровень U белой замутненности, превышающий фактический уровень.

[0149] Когда различные пороговые значения корректируются на основе вычисленного более высокого уровня U белой замутненности, чувствительность обнаружения транспортного средства становится слишком высокой, и легко обнаруживается необязательный шум. Таким образом, становится затруднительным обнаруживать транспортное средство.

[0150] Модуль 50 регулирования чувствительности обнаружения, следовательно, управляет величиной коррекции различных пороговых значений с учетом не только значения уровня U белой замутненности, но также и значения уровня M прилипания, когда значение уровня M прилипания является большим, даже если значение уровня U белой замутненности (высокий уровень белой замутненности) является большим. Помимо этого, ниже описывается конкретный способ коррекции порогового значения.

[0151] Процесс обнаружения транспортных средств

Далее описываются подробности процесса обнаружения транспортных средств на этапе S9 по фиг. 7 со ссылкой на фиг. 25.

[0152] Обнаружение трехмерного объекта на основе информации форм разностных сигналов

Сначала на этапе S60 в модуле 50 регулирования чувствительности обнаружения, различные пороговые значения, скорректированные на основе уровня загрязненности (уровня U белой замутненности и уровня M прилипания) линзы 12, задаются для детектора 72 находящихся рядом транспортных средств. Ниже описываются подробности этого процесса.

[0153] Затем на этапе S61 в преобразователе 72a точки обзора, изображение I, полученное посредством модуля 10 формирования изображений, преобразуется в виртуальное нисходящее изображение. В дальнейшем в этом документе это преобразование упоминается в качестве преобразования точки обзора, и виртуальное изображение, сформированное посредством преобразования точки обзора, упоминается в качестве подвергнутого преобразованию точки обзора изображения.

[0154] Преобразование точки обзора выполняется через преобразование координат, чтобы исследовать поверхность дороги сверху, при условии, что изображение I, включающее в себя поверхность дороги, полученное посредством камеры, расположенной в позиции, имеющей известную взаимосвязь с поверхностью дороги, включает в себя поверхность дороги. Полученное изображение I преобразуется в подвергнутое преобразованию точки обзора изображение для того, чтобы отличать плоский объект и трехмерный объект, с использованием такого принципа, что вертикальный край, конкретный для трехмерного объекта, преобразуется в группу прямого освещения, проходящую через конкретную фиксированную точку, посредством преобразования точки обзора. Помимо этого, подвергнутое преобразованию точки обзора изображение, преобразованное посредством преобразования точки обзора, используется для обнаружения трехмерного объекта на основе нижеописанной информации краев.

[0155] Затем на этапе S62 подвергнутое преобразованию точки обзора изображение, полученное в преобразователе 72a точки обзора, последовательно вводится в модуль 72b позиционного совмещения, и совмещаются подвергнутые преобразованию точки обзора изображения, введенные в разные моменты времени.

[0156] Фиг. 20(a), 20(b) являются видами, описывающими процесс, который выполняется в модуле 72b позиционного совмещения. Фиг. 20(a) является видом сверху, иллюстрирующим состояние движения транспортного средства 5, а фиг. 20(b) является видом, кратко описывающим совмещение.

[0157] Как проиллюстрировано на фиг. 20(a), транспортное средство 5 расположено в позиции V1 в текущий момент времени, и транспортное средство 5 расположено в позиции V2 в предварительно определенный момент времени до этого. Кроме того, другое транспортное средство 6 расположено позади полосы движения рядом с полосой движения, по которой движется транспортное средство 5, другое транспортное средство 6 расположено в позиции V3 в текущий момент времени, и другое транспортное средство 6 расположено в позиции V4 в предварительно определенный момент времени до этого. Кроме того, транспортное средство 5 проезжает расстояние d за предварительно определенное время. Предварительно определенный момент времени до этого может представлять собой предыдущее время в течение предварительно определенного времени (например, один период управления) от текущего времени.

[0158] В этом случае, подвергнутое преобразованию точки обзора изображение PBt в текущий момент времени является таким, как проиллюстрировано на фиг. 20(b). В подвергнутом преобразованию точки обзора изображении PBt белая линия дорожной разметки на поверхности дороги имеет прямоугольную форму, но сплющенное изображение возникает в области другого транспортного средства 6, расположенного в позиции V3. Аналогично, в подвергнутом преобразованию точки обзора изображении PBt-1 в предварительно определенный момент времени до этого, белая линия дорожной разметки на поверхности дороги имеет прямоугольную форму, но сплющенное изображение возникает в области другого транспортного средства 6, расположенного в позиции V4.

[0159] Это обусловлено тем, что вертикальный край трехмерного объекта преобразуется в группу прямых линий вдоль направления сплющивания посредством преобразования точки обзора, но шаблон на поверхности дороги, такой как белая линия дорожной разметки, не включает в себя вертикальный край, так что такое сплющенное изображение не возникает, даже когда выполняется преобразование точки обзора.

[0160] Модуль 72b позиционного совмещения совмещает подвергнутое преобразованию точки обзора изображение PBt с подвергнутым преобразованию точки обзора изображением PBt-1, которые формируются так, как описано выше. В этом случае, подвергнутое преобразованию точки обзора изображение PBt-1 в предварительно определенный момент времени до этого смещается на величину, соответствующую расстоянию, которое транспортное средство 5 проезжает в течение предварительно определенного времени, так что подвергнутое преобразованию точки обзора изображение PBt-1 совмещается с подвергнутым преобразованию точки обзора изображением PBt в текущий момент времени.

[0161] Левостороннее подвергнутое преобразованию точки обзора изображение PBt и центральное подвергнутое преобразованию точки обзора изображение PBt-1 на фиг. 20(b) смещаются на величину d′ смещения. Величина d′ смещения является смещением на подвергнутом преобразованию точки обзора изображении, соответствующим фактическому проезжаемому расстоянию d транспортного средства 5, проиллюстрированного на фиг. 20(a), и определяется на основе скорости транспортного средства транспортного средства 5, полученной из модуля 60 получения информации касательно транспортного средства, и времени от предварительно определенного момента времени до этого до текущего времени.

[0162] Затем на этапе S63 после совмещения подвергнутых преобразованию точки обзора изображений PBt, PBt-1, получается их разность для того, чтобы формировать разностное изображение PDt. В этом случае, значение яркости, сохраненное в разностном изображении PDt, может быть абсолютным значением разности для значений яркости пикселов, соответствующих подвергнутым преобразованию точки обзора изображениям PBt, PBt-1, или значение яркости может задаваться равным 1, когда абсолютное значение превышает первое пороговое значение p, и значение яркости может задаваться равным 0, когда абсолютное значение не превышает первое пороговое значение, чтобы соответствовать изменению в окружающем освещении.

[0163] Правое изображение на фиг. 20(b) представляет собой разностное изображение PDt. Помимо этого, первое пороговое значение p является значением, заданным в детекторе 72 находящихся рядом транспортных средств на этапе S60, после коррекции в модуле 50 регулирования чувствительности обнаружения. Ниже описывается способ коррекции.

[0164] Затем после этапа S64 в детекторе 72c трехмерных объектов, трехмерный объект обнаруживается на основе разностного изображения PDt, проиллюстрированного на фиг. 20(b). В этом случае, детектор 72c трехмерных объектов также вычисляет проезжаемое расстояние трехмерного объекта.

[0165] Чтобы обнаруживать трехмерный объект и вычислять проезжаемое расстояние, на этапе S64, детектор 72c трехмерных объектов формирует форму DWt разностного сигнала, вычисленную на основе разностного изображения PDt.

[0166] Чтобы формировать форму DWt разностного сигнала, детектор 72c трехмерных объектов задает область обнаружения трехмерного объекта в разностном изображении PDt.

[0167] Детектор 72 находящихся рядом транспортных средств обнаруживает другое транспортное средство 6, с которым может контактировать транспортное средство 5, когда транспортное средство 5 сменяет полосу движения. Другое транспортное средство 6 движется по полосе движения рядом с полосой движения, по которой движется транспортное средство 5.

[0168] Две области обнаружения задаются слева и справа от транспортного средства 5 в изображении I, полученном посредством модуля 10 формирования изображений. В этом варианте осуществления, прямоугольные области X1, X2 обнаружения находятся сзади транспортного средства 5 слева и справа от транспортного средства 5, как проиллюстрировано на фиг. 1. Другое транспортное средство 6, обнаруженное в областях X1, X2 обнаружения, обнаруживается в качестве находящегося рядом транспортного средства. Помимо этого, такие области X1, X2 обнаружения могут задаваться на основе относительных позиций относительно транспортного средства 5 или могут задаваться на основе позиции белой линии дорожной разметки на дороге. Когда области обнаружения задаются на основе позиции белой линии дорожной разметки на дороге, позиция белой линии дорожной разметки, обнаруженная с использованием известной технологии распознавания белых линий дорожной разметки, например, используется в качестве стандарта.

[0169] Детектор 72c трехмерных объектов распознает стороны (сторону вдоль направления движения транспортного средства 5) областей X1, X2 обнаружения на стороне транспортного средства 5 в качестве линий L1, L2 контакта, как проиллюстрировано на фиг. 1.

[0170] Фиг. 21(a), 21(b) являются схематичными видами, описывающими формирование формы разностного сигнала в детекторе 72c трехмерных объектов. Как проиллюстрировано на фиг. 21(a), 21(b), детектор 72c трехмерных объектов формирует форму DWt разностного сигнала из участков, соответствующих внутренним частям областей X1, X2 обнаружения в разностном изображении PDt (вид для просмотра правым глазом по фиг. 20(b)), вычисленном в модуле 72b позиционного совмещения. В этом случае, форма DWt разностного сигнала формируется вдоль направления сплющивания трехмерного объекта вследствие преобразования точки обзора. Помимо этого, пример, проиллюстрированный на фиг. 21(a), 21(b), для простоты описывается посредством использования только области X1 обнаружения. Тем не менее, форма DWt разностного сигнала формируется с помощью аналогичной процедуры для области X2 обнаружения.

[0171] В дальнейшем в этом документе подробно описывается способ формирования формы DWt разностного сигнала. Сначала, детектор 72c трехмерных объектов задает линию La вдоль направления сплющивания трехмерного объекта в разностном изображении PDt, как проиллюстрировано на фиг. 21(a). Число пикселов DP, имеющих разностное значение в предварительно определенное значение или более, подсчитывается на заданной линии La. В этом случае, пиксел DP, имеющий разностное значение в предварительно определенное значение или более (в дальнейшем называется "пикселом DP"), представляет собой пиксел, превышающий первое пороговое значение p, когда значение яркости (пиксельное значение) разностного изображения PDt получается посредством абсолютного значения разности для значений яркости подвергнутых преобразованию точки обзора изображений PBt, PBt-1. Пиксел DP представляет собой пиксел, показывающий 1, когда значение яркости разностного изображения PDt выражается посредством 0 и 1.

[0172] Детектор 72c трехмерных объектов получает точку CP пересечения линии La и линии L1 контакта после подсчета числа пикселов DP, имеющих разностное значение в первое пороговое значение p или более. Затем, детектор 72c трехмерных объектов связывает точку CP пересечения с подсчитанным числом пикселов DP и определяет горизонтальную позицию, а именно, позицию на оси в вертикальном направлении на фиг. 21(b) на основе позиции точки CP пересечения, а также определяет вертикальную позицию, а именно, позицию на оси горизонтального направления на фиг. 21(b) на основе подсчитанного числа пикселов DP. Детектор 72c трехмерных объектов выполняет нанесение на график точки пересечения определенной позиции на горизонтальной оси и позиции на вертикальной оси.

[0173] Аналогично, детектор 72c трехмерных объектов задает линии Lb, Lc, …, вдоль направления сплющивания трехмерного объекта. Детектор 72c трехмерных объектов подсчитывает число пикселов DP, определяет соответствующую позицию горизонтальной оси на фиг. 21(b) на основе позиции каждой точки CP пересечения, определяет позицию на вертикальной оси из подсчитанного числа пикселов DP и выполняет нанесение на график этой позиции. Следовательно, формируется форма DWt разностного сигнала, проиллюстрированная на фиг. 21(b).

[0174] Как проиллюстрировано на фиг. 21(a), линии La, Lb вдоль направления сплющивания трехмерного объекта отличаются по направлению расстояния, пересекающему область X1 обнаружения. Когда область X1 обнаружения заполняется пикселом DP, подсчитанное число пикселов DP на линии La превышает подсчитанное число пикселов DP на линии Lb. Детектор 72c трехмерных объектов, следовательно, нормализует подсчитанное число пикселов DP на основе расстояний, на которые линии La, Lb вдоль направления сплющивания трехмерного объекта пересекают область X1 обнаружения, когда позиция на вертикальной оси определяется из подсчитанного числа PD пикселов.

[0175] Например, на фиг. 21(a), подсчитанное число пикселов DP на линии La равно 6, а подсчитанное число пикселов DP на линии Lb равно 5. Детектор 72c трехмерных объектов, следовательно, нормализует подсчитанное число посредством деления подсчитанного числа на расстояние пересечения, с тем чтобы определять позицию на вертикальной оси из подсчитанного числа на фиг. 21(a).

[0176] После этого, на этапе S65, в детекторе 72c трехмерных объектов, определяется то, составляет или нет пик формы DWt разностного сигнала, сформированной на этапе S64, второе пороговое значение α или более. Второе пороговое значение α является значением, заблаговременно заданным для детектора 72 находящихся рядом транспортных средств на этапе S60 после коррекции в модуле 50 регулирования чувствительности обнаружения. Ниже описывается способ коррекции.

[0177] В этом случае, когда пик формы DWt разностного сигнала не составляет второе пороговое значение α или более, а именно, разностное значение является очень небольшим, определяется то, что трехмерный объект не существует в изображении I. Когда определяется то, что пик формы DWt разностного сигнала не составляет второе пороговое значение α или более ("Нет" на этапе S65), процесс переходит к этапу S74. На этапе S74, определяется то, что трехмерный объект, а именно, другое транспортное средство 6 не существует, и завершается процесс обнаружения транспортных средств на фиг. 25, и после этого процесс возвращается к основной процедуре (фиг. 7).

[0178] С другой стороны, когда определяется то, что пик формы DWt разностного сигнала составляет второе пороговое значение α или более ("Да" на этапе S65), детектор 72c трехмерных объектов определяет наличие трехмерного объекта и сравнивает форму DWt разностного сигнала в текущий момент времени и форму DWt-1 разностного сигнала в предварительно определенный момент времени до этого, чтобы вычислять проезжаемое расстояние трехмерного объекта.

[0179] На этапе S66 в детекторе 72c трехмерных объектов, как проиллюстрировано на фиг. 22, форма DWt разностного сигнала разделяется на множество небольших областей DWt1-DWtn (n, произвольное целое число в 2 или более). В этом случае, небольшие области DWt1-DWtn разделяются с возможностью перекрываться друг с другом, как проиллюстрировано на фиг. 22. А именно, на фиг. 22, перекрываются небольшая область DWt1 и небольшая область DWt2, и перекрываются небольшая область DWt2 и небольшая область DWt3.

[0180] Затем на этапе S68 детектор 72c трехмерных объектов получает величину смещения (смещение формы разностного сигнала в направлении по горизонтальной оси (в вертикальном направлении на фиг. 21(b))) относительно каждой из разделенных небольших областей DWt1-DWtn. Величина смещения получается из разности (расстояния в направлении по горизонтальной оси) между формой DWt-1 разностного сигнала в предварительно определенный момент времени до этого и формой DWt разностного сигнала в текущий момент времени.

[0181] Более конкретно, позиция, в которой ошибка между формой DWt-1 разностного сигнала в предварительно определенный момент времени до этого и формой DWt разностного сигнала в текущий момент времени становится минимальной, когда форма DWt-1 разностного сигнала в предварительно определенный момент времени до этого перемещается в направлении по горизонтальной оси (в вертикальном направлении на фиг. 21(b)), определяется относительно каждой из небольших областей DWt1-DWtn, и смещение в направлении по горизонтальной оси исходной позиции формы DWt-1 разностного сигнала и позиции, в которой ошибка становится минимальной, получается в качестве величины смещения.

[0182] На этапе S69 детектор 72c трехмерных объектов формирует гистограмму посредством подсчета величины смещения полученной относительно каждой из небольших областей DWt1-DWtn. В этом случае, каждая из небольших областей DWt1-DWtn заблаговременно взвешивается, и величина смещения, полученная относительно каждой из небольших областей DWt1-DWtn, подсчитывается согласно взвешиванию, чтобы получать гистограмму.

[0183] Например, когда небольшая область DWt1 является областью, имеющей изменение яркости, а именно, разность между максимальным значением и минимальным значением подсчитанного числа пикселов DP является небольшой, снижается коэффициент величины взвешивания. Это обусловлено тем, что небольшая область DWti, имеющая изменение яркости, не имеет характерных признаков, так что может возрастать ошибка для вычисления величины смещения.

С другой стороны, когда небольшая область DWti является областью, имеющей большое изменение яркости, а именно, разность между максимальным значением и минимальным значением подсчитанного числа PD пикселов является большой, увеличивается коэффициент величины взвешивания. Это обусловлено тем, что небольшая область DWti, имеющая большое изменение яркости, имеет характерный признак, так что может точно вычисляться величина смещения. Посредством взвешивания так, как описано выше, может повышаться точность вычисления проезжаемого расстояния.

[0184] Фиг. 23 является видом, иллюстрирующим один пример гистограммы, сформированной на этапе S69. Как проиллюстрировано на фиг. 23, варьируется величина смещения, в которой ошибка между каждой небольшой областью DWt1-DWtn и формой DWt-1 разностного сигнала в предварительно определенный момент времени до этого является минимальной.

[0185] Затем на этапе S70 в детекторе 72c трехмерных объектов, относительное проезжаемое расстояние τ*, которое является проезжаемым расстоянием трехмерного объекта, вычисляется на основе позиции, в которой применяется максимальное значение гистограммы.

[0186] В примере гистограммы, проиллюстрированной на фиг. 23, величина смещения, показывающая максимальное значение гистограммы, вычисляется как относительное проезжаемое расстояние τ*. Это относительное проезжаемое расстояние τ* является относительным проезжаемым расстоянием другого транспортного средства 6 относительно транспортного средства 5.

[0187] Затем на этапе S71 в детекторе 72c трехмерных объектов, абсолютная скорость движения трехмерного объекта вычисляется из относительного проезжаемого расстояния. В этом случае, относительное проезжаемое расстояние дифференцируется во времени, чтобы вычислять относительное проезжаемое расстояние, и скорость транспортного средства, полученная в модуле 60 получения информации касательно транспортного средства, суммируется, чтобы вычислять абсолютную скорость движения.

[0188] Помимо этого, для того чтобы повышать точность вычисления проезжаемого расстояния, форма DWt разностного сигнала разделяется на множество небольших областей DWt1-DWtn, как описано выше. Тем не менее, когда не запрашивается высокая точность вычисления проезжаемого расстояния, необязательно разделять форму DWt разностного сигнала на множество небольших областей DWt1-DWtn. В этом случае, детектор 72c трехмерных объектов вычисляет проезжаемое расстояние из величины смещения формы DWt разностного сигнала, когда ошибка между формой DWt разностного сигнала и формой DWt-1 разностного сигнала становится минимальной. Иными словами, способ получения величины смещения формы DWt-1 разностного сигнала в предварительно определенный момент времени до этого и формы DWt разностного сигнала в текущий момент времени не ограничивается вышеприведенным описанием.

[0189] Затем на этапе S72 в детекторе 72c трехмерных объектов, определяется то, находится или нет абсолютная скорость движения трехмерного объекта в предварительно определенном диапазоне скоростей. Заблаговременно заданное значение используется для предварительно определенного диапазона скоростей. Когда абсолютная скорость движения трехмерного объекта находится в предварительно определенном диапазоне скоростей ("Да" на этапе S72), процесс переходит к этапу S73. На этапе S73 определяется то, что трехмерный объект представляет собой другое транспортное средство 6, и после этого процесс возвращается к основной процедуре (фиг. 7).

[0190] С другой стороны, когда абсолютная скорость движения трехмерного объекта не находится в предварительно определенном диапазоне скоростей ("Нет" на этапе S72), процесс переходит к этапу S74. На этапе S74 определяется то, что трехмерный объект, а именно другое транспортное средство 6 не существует, завершается процесс обнаружения транспортных средств по фиг. 25, и после этого процесс возвращается к основной процедуре (фиг. 7).

[0191] В этом случае, описывается способ коррекции первого порогового значения p и второго порогового значения α со ссылкой на фиг. 24. Фиг. 24(a) является видом, иллюстрирующим способ коррекции первого порогового значения p согласно уровню загрязненности линзы 12. Фиг. 24(b) является видом, иллюстрирующим способ коррекции второго порогового значения α согласно уровню загрязненности линзы 12.

[0192] Способ коррекции первого порогового значения p описывается со ссылкой на фиг. 24(a). Когда отсутствует загрязненность на линзе 12, первое пороговое значение p задается равным предварительно определенному значению p0 в модуле 50 регулирования чувствительности обнаружения. Горизонтальная ось на фиг. 24(a) иллюстрирует уровень U белой замутненности линзы 12, вычисленный в модуле 25 вычисления уровня белой замутненности, и иллюстрирует то, что уровень U белой замутненности становится более высоким к правой стороне.

[0193] Первое пороговое значение p корректируется таким образом, что оно является небольшим, когда уровень U белой замутненности является высоким. Посредством коррекции первого порогового значения p таким образом, что оно является небольшим, повышается чувствительность обнаружения транспортного средства. В этом случае, первое пороговое значение p корректируется таким образом, что уровень понижения управляется согласно уровню M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе 12, вычисленному в модуле 26 вычисления уровня прилипания.

[0194] Более конкретно, как проиллюстрировано на фиг. 24(a), когда имеется прилипшее вещество (пунктирная линия), величина уменьшения значения для первого порогового значения p задается небольшой, даже когда уровень белой замутненности линзы 12 становится более высоким, по сравнению с состоянием без прилипшего вещества (сплошной линией).

[0195] Значение для первого порогового значения p, скорректированное так, как описано выше, задается для детектора 72 находящихся рядом транспортных средств и используется для процесса обнаружения транспортных средств. В процессе обнаружения транспортных средств, когда уровень U белой замутненности линзы 12 является высоким, повышается чувствительность обнаружения. Затем, когда небольшое разностное значение обнаруживается в разностном изображении PDt, эта точка обнаруживается в качестве возможного варианта трехмерного объекта (другого транспортного средства). Тем не менее, когда линза 12 имеет прилипшее вещество, управляется повышение чувствительности обнаружения. Затем, когда большее разностное значение не обнаруживается в разностном изображении PDt, оно не обнаруживается в качестве возможного варианта трехмерного объекта.

[0196] Второе пороговое значение α корректируется способом, идентичным способу для первого порогового значения p. А именно, когда отсутствует загрязненность на линзе 12, второе пороговое значение α, заданное равным предварительно определенному значению α0, корректируется согласно уровню M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе 12, вычисленному в модуле 26 вычисления уровня прилипания, как проиллюстрировано на фиг. 24(b). Когда уровень U белой замутненности линзы 12 является высоким, повышается чувствительность обнаружения. Затем, когда небольшой пик обнаруживается в форме DWt разностного сигнала, эта точка обнаруживается в качестве возможного варианта трехмерного объекта (другого транспортного средства). Когда имеется прилипшее вещество на линзе 12, управляется повышение чувствительности обнаружения. Затем, когда больший пик не обнаруживается в форме DWt разностного сигнала, он не обнаруживается в качестве возможного варианта трехмерного объекта.

[0197] Как проиллюстрировано на фиг. 24(a), 24(b), пример линейной коррекции первого и второго пороговых значений p, α согласно уровню U белой замутненности. Тем не менее, способ коррекции первого и второго пороговых значений p, α не ограничен этим. Иными словами, например, первое и второе пороговые значения p, α пошагово корректируются согласно уровню U белой замутненности.

[0198] Способ коррекции чувствительности обнаружения транспортных средств (первого и второго пороговых значений p, α) может быть изменен для ночи и дня. А именно, величина управления ночью для чувствительности обнаружения транспортных средств (первого и второго пороговых значений p, α) согласно уровню U белой замутненности линзы 12 уменьшается относительно величины управления днем, так что может еще эффективнее обнаруживаться находящееся рядом транспортное средство. Помимо этого, ночь и день определяется на основе значения усиления, регулируемого в модуле 16 регулирования усиления, как описано выше. Когда значение усиления составляет предварительно определенное значение или более, определяется то, что сейчас ночь. Когда значение усиления меньше предварительно определенного значения, определяется, что сейчас день.

[0199] Относительная скорость находящегося рядом транспортного средства вычисляется на основе скорости транспортного средства транспортного средства 5 и абсолютной скорости движения обнаруженного трехмерного объекта (находящегося рядом транспортного средства), и способ коррекции чувствительности обнаружения транспортных средств (первого и второго пороговых значений p, α) может задаваться согласно вычисленной относительной скорости. Иными словами, когда вычисленная относительная скорость включает в себя положительное значение с предварительно определенным пороговым значением или более, а именно, когда транспортное средство 5 обгоняется посредством находящегося рядом транспортного средства сзади, снижается величина управления чувствительностью обнаружения транспортных средств (первого и второго пороговых значений) согласно уровню U белой замутненности линзы 12, и может еще эффективнее обнаруживаться находящееся рядом транспортное средство.

[0200] Обнаружение трехмерного объекта на основе информации краев

Далее описывается блок A2 обнаружения трехмерного объекта с использованием информации краев, который включает в себя модуль 72g вычисления яркостного различия, детектор 72h линий краев и детектор 72i трехмерных объектов. Блок A2 обнаружения может активироваться вместо блока A1 обнаружения, проиллюстрированного на фиг. 6.

[0201] Фиг. 26 является видом, иллюстрирующим диапазон формирования изображений модуля 10 формирования изображений. Фиг. 26(a) является видом сверху, а фиг. 26(b) является видом в перспективе реального пространства сзади транспортного средства 5. Как проиллюстрировано на фиг. 26(a), модуль 10 формирования изображений формирует изображение предварительно определенного диапазона ω сзади транспортного средства 5.

[0202] Области X1, X2 обнаружения настоящего варианта осуществления включают в себя трапецеидальную форму в подвергнутом преобразованию точки обзора изображении. Позиция, размер и форма областей X1, X2 обнаружения определяются на основе расстояний d1-d4. Помимо этого, области X1, X2 обнаружения не ограничены трапецеидальной формой и могут иметь другую форму, к примеру, прямоугольную, в подвергнутом преобразованию точки обзора изображении.

[0203] В этом случае, расстояние d1 является расстоянием от транспортного средства 5 до линий L1, L2 контакта. Линии L1, L2 контакта являются линиями, на которых трехмерный объект на полосе движения рядом с полосой движения, по которой движется транспортное средство 5, имеет контакт с землей. Этот вариант осуществления направлен на обнаружение другого транспортного средства 6, движущегося по полосе движения рядом с полосой движения транспортного средства 5 сзади транспортного средства 5. Расстояние d1 до позиций, которые представляют собой линии L1, L2 контакта другого транспортного средства 6, как следствие, практически фиксированно определяется из расстояния d11 от транспортного средства 5 до белой линии W дорожной разметки и расстояния d12 от белой линии W дорожной разметки до позиции, в которую предположительно должно приехать другое транспортное средство 6.

[0204] Расстояние d2 является расстоянием, идущим вдоль направления движения транспортного средства от заднего концевого участка транспортного средства 5. Расстояние d2 определяется таким образом, что области X1, X2 обнаружения попадают, по меньшей мере, в диапазон формирования изображений модуля 10 формирования изображений. Расстояние d3 является расстоянием, указывающим длину областей X1, X2 обнаружения в направлении движения транспортного средства. Расстояние d3 определяется на основе размера трехмерного объекта, который является целью обнаружения. В этом варианте осуществления, поскольку цель обнаружения представляет собой другое транспортное средство 6, расстояние d3 задается равным длине, включающей в себя другое транспортное средство 6.

[0205] Расстояние d4 является расстоянием, указывающим высоту, заданную таким образом, что она включает в себя шину другого транспортного средства 6 в реальном пространстве, как проиллюстрировано на фиг. 26(b). Расстояние d4 является длиной участка, проиллюстрированного на фиг. 26(a) в подвергнутом преобразованию точки обзора изображении. Помимо этого, расстояние d4 может быть длиной без включения полосы движения (а именно, полосы движения после находящейся рядом полосой движения) рядом с правой и левой находящимися рядом полосами движения в подвергнутом преобразованию точки обзора изображении.

[0206] Расстояния d1-d4 определяются так, как описано выше, и за счет этого определяются позиция, размер и форма областей X1, X2 обнаружения. Более конкретно, позиция верхнего основания b1 трапециевидных областей X1, X2 обнаружения определяется посредством расстояния d1. Начальная точка C1 верхнего основания b1 определяется посредством расстояния d2. Конечная позиция C2 верхнего основания b1 определяется посредством расстояния d3. Сторона b2 трапециевидных областей X1, X2 обнаружения определяется посредством линии L3, идущей к начальной точке C2 от модуля 10 формирования изображений. Аналогично, сторона b3 трапециевидных областей X1, X2 обнаружения определяется посредством прямой линии L4, идущей к конечной позиции C2 от модуля 10 формирования изображений. Нижнее основание b4 трапециевидных областей X1, X2 обнаружения определяется посредством расстояния d4.

[0207] Область, окруженная посредством сторон b1-b4, задается в качестве области X1 обнаружения. Область X1 обнаружения представляет собой правильный квадрат (прямоугольник) в реальном пространстве сзади транспортного средства 5, как проиллюстрировано на фиг. 26(b). Область X2 обнаружения имеет форму, аналогичную форме области X1 обнаружения, хотя это не проиллюстрировано на фиг. 26(b).

[0208] Модуль 72g вычисления яркостного различия, проиллюстрированный на фиг. 6, вычисляет яркостное различие относительно подвергнутого преобразованию точки обзора изображения посредством преобразователя 72a точки обзора, чтобы обнаруживать край трехмерного объекта в подвергнутом преобразованию точки обзора изображении. Модуль 72g вычисления яркостного различия вычисляет яркостное различие между двумя смежными пикселами в каждой позиции относительно каждой из множества позиций вдоль вертикальной виртуальной линии, идущей в вертикальном направлении в реальном пространстве. Модуль 72g вычисления яркостного различия вычисляет яркостное различие посредством способа задания только одной вертикальной виртуальной линии, идущей в вертикальном направлении в реальном пространстве, или способа задания двух вертикальных виртуальных линий.

[0209] Ниже описывается конкретный способ задания двух вертикальных виртуальных линий. Модуль 72g вычисления яркостного различия задает первую вертикальную виртуальную линию, соответствующую сегменту линии, идущему в вертикальном направлении в реальном пространстве, и вторую вертикальную виртуальную линию, соответствующую сегменту линии, идущему в вертикальном направлении в реальном пространстве, отличающуюся от первой вертикальной виртуальной линии относительно подвергнутого преобразованию точки обзора изображения. Модуль 72g вычисления яркостного различия непрерывно получает яркостное различие между точкой на первой вертикальной виртуальной линии и точкой на второй вертикальной виртуальной линии вдоль первой вертикальной виртуальной линии и второй вертикальной виртуальной линии. В дальнейшем в этом документе подробно описывается работа модуля 72g вычисления яркостного различия.

[0210] Модуль 72g вычисления яркостного различия задает первую вертикальную виртуальную линию Le (в дальнейшем называется "линией Le концентрации внимания"), которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и проходит через область X1 обнаружения, как проиллюстрировано на фиг. 27(a). Модуль 72g вычисления яркостного различия задает вторую вертикальную виртуальную линию Lr (в дальнейшем называется "опорной линией Lr), отличающуюся от линии Le концентрации внимания, которая соответствует сегменту линии, идущему в вертикальном направлении в реальном пространстве, и проходит через область X1 обнаружения. Опорная линия Lr задается в позиции, отстоящей от линии Le концентрации внимания на предварительно определенное расстояние в реальном пространстве. Помимо этого, линия, соответствующая сегменту линии, идущему в вертикальном направлении в реальном пространстве, значительно расходится от позиции Ps модуля 10 формирования изображений в подвергнутом преобразованию точки обзора изображении.

[0211] Модуль 72g вычисления яркостного различия задает точку Pe концентрации внимания (точку на первой вертикальной виртуальной линии) на линии Le концентрации внимания. Модуль 72g вычисления яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй вертикальной виртуальной линии). Эта линия Le концентрации внимания, точка Pe концентрации внимания, опорная линия Lr и опорная точка Pr имеют такую взаимосвязь, как проиллюстрировано на фиг. 27(b). А именно, линия Le концентрации внимания и опорная линия Lr идут в вертикальном направлении в реальном пространстве. Точка Pe концентрации внимания и опорная точка Pr задаются практически на идентичной высоте в реальном пространстве.

[0212] Модуль 72g вычисления яркостного различия получает яркостное различие между точкой Pe концентрации внимания и опорной точкой Pr. Когда яркостное различие между точкой Pe концентрации внимания и опорной точкой Pr является большим, считается, что край существует между точкой Pe концентрации внимания и опорной точкой Pr. Детектор 72h линий краев на фиг. 6 обнаруживает линию края на основе яркостного различия между точкой Pe концентрации внимания и опорной точкой Pr.

[0213] Это описывается подробно. Фиг. 28 является видом, иллюстрирующим подробную работу модуля 72g вычисления яркостного различия. Фиг. 28(a) иллюстрирует подвергнутое преобразованию точки обзора изображение, а фиг. 28(b) иллюстрирует вид, в котором укрупняется часть B1 подвергнутого преобразованию точки обзора изображения на фиг. 28(a). Помимо этого, на фиг. 28, описывается только область X1 обнаружения, но яркостное различие может вычисляться для области X2 обнаружения с помощью процедуры, аналогичной процедуре для области X1 обнаружения.

[0214] Когда изображение I, полученное посредством модуля 10 формирования изображений, включает в себя другое транспортное средство 6, как проиллюстрировано на фиг. 28(a), другое транспортное средство 6 появляется в области X1 обнаружения подвергнутого преобразованию точки обзора изображения. Как проиллюстрировано на фиг. 28(b), линия Le концентрации внимания задается на резиновом участке шины другого транспортного средства 6 в подвергнутом преобразованию точки обзора изображении. В этом состоянии, модуль 72g вычисления яркостного различия сначала задает опорную линию Lr. Опорная линия Lr задается в позиции, отстоящей на предварительно определенное расстояние от линии Le концентрации внимания в реальном пространстве вдоль вертикального направления.

[0215] В частности, в детекторе 72 находящихся рядом транспортных средств, опорная линия Lr задается в позиции, например, на расстоянии 10 см от линии Le концентрации внимания в реальном пространстве. Опорная линия Lr в силу этого задается на колесе шины другого транспортного средства 6, например, на расстоянии приблизительно 10 см от резины шины другого транспортного средства 6.

[0216] Затем модуль 72g вычисления яркостного различия задает множество точек Pe1-PeN концентрации внимания на линии Le концентрации внимания. На фиг. 28(b), шесть точек Pe1-Pe6 концентрации внимания (в дальнейшем просто называются "Pei" в случае указания произвольной точки) задаются для описания. Помимо этого, может свободно определяться число точек концентрации внимания, которые должны задаваться на линии Le концентрации внимания. В нижеприведенном описании, сумма N точек Pe концентрации внимания задается на линии Le концентрации внимания.

[0217] Затем, модуль 72g вычисления яркостного различия задает опорные точки Pr1-PrN таким образом, что они имеют высоты, идентичные высотам точек Pe1-PeN концентрации внимания в реальном пространстве. Модуль 72g вычисления яркостного различия вычисляет яркостное различие между точкой Pe концентрации внимания и опорной точкой Pr, имеющей идентичную высоту. Модуль 72g вычисления яркостного различия за счет этого вычисляет яркостное различие этих двух пикселов относительно множества позиций вдоль вертикальной виртуальной линии, идущей в вертикальном направлении в реальном пространстве.

[0218] Более конкретно, модуль 72g вычисления яркостного различия вычисляет яркостное различие между первой точкой Pe1 концентрации внимания и первой опорной точкой Pr1, например, и вычисляет яркостное различие между второй точкой Pe2 концентрации внимания и второй опорной точкой Pr2. Модуль 72g вычисления яркостного различия в силу этого непрерывно получает яркостное различие вдоль линии Le концентрации внимания и опорной линии Lr.

[0219] Модуль 72g вычисления яркостного различия повторяет задание опорной линии Lr, задание точки Pe концентрации внимания и опорной точки Pr и вычисление яркостного различия при сдвиге линии Le концентрации внимания в области X1 обнаружения. Более конкретно, модуль 72g вычисления яркостного различия повторяет вышеуказанные процессы при изменении позиций линии Le концентрации внимания и опорной линии Lr в идентичном расстоянии в направлении прохождения линии L1 контакта в реальном пространстве. Модуль 72g вычисления яркостного различия задает линию в качестве опорной линии Lr в предыдущем процессе как линию Le концентрации внимания и задает опорную линию Lr как линию Le концентрации внимания, с тем чтобы непрерывно получать яркостное различие.

[0220] Ссылаясь на фиг. 6, детектор 72h линий краев обнаруживает линию края из непрерывных яркостных различий, вычисленных в модуле 72g вычисления яркостного различия. Например, на фиг. 28(b), первая точка Pe1 концентрации внимания и первая опорная точка Pr1 расположены в идентичном участке шины, так что яркостное различие между этими точками является небольшим. С другой стороны, вторая-шестая точки Pe2-Pe6 концентрации внимания располагаются в резиновом участке шины, а вторая-шестая опорные точки Pr2-Pr6 располагаются в участке колеса шины. Яркостное различие между второй-шестой точками Pe2-Pe6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, как следствие, является большим. Таким образом, детектор 72h линий краев может обнаруживать наличие линии края между второй-шестой точками Pe2-Pe6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, имеющими большое яркостное различие.

[0221] В частности, для того чтобы обнаруживать линию края, детектор 72h линий краев применяет атрибут s к i-той точке Pei концентрации внимания на основе яркостного различия между i-той точкой Pei концентрации внимания (координата (xi, yi)) и i-той опорной точкой Pri (координата (xi′, yi′) в соответствии с тремя правилами, показанными в следующем уравнении 5.

Уравнение 5

s(xi, yi)=1, где I (xi, yi)>I (xi′, yi′)+w,

s(xi, yi)=-1, где I (xi, yi)<I (xi′, yi′)-w, и

s(xi, yi)=0, для условия, отличного от вышеописанного.

[0222] В уравнении 5 w обозначает третье пороговое значение, I (xi, yi) обозначает значение яркости i-той точки Pei концентрации внимания, и I (xi′, yi′) обозначает значение яркости i-той опорной точки Pri. Согласно уравнению 5, когда значение яркости точки Pei концентрации внимания выше значения яркости, при котором третье пороговое значение w суммируется с опорной точкой Pri, атрибут s(xi, yi) точки Pei концентрации внимания равен 1. С другой стороны, когда значение яркости точки Pei концентрации внимания ниже значения яркости, при котором третье пороговое значение w уменьшается от опорной точки Pri, атрибут s(xi, yi) точки Pei концентрации внимания равен -1. Когда значение яркости точки Pei концентрации внимания и значение яркости опорной точки Pri имеют взаимосвязь, отличную от вышеуказанной, атрибут s(xi, yi) точки Pei концентрации внимания равен 0. Третье пороговое значение w задается в детекторе 72 находящихся рядом транспортных средств после коррекции в модуле 50 регулирования чувствительности обнаружения. Ниже описывается способ коррекции.

[0223] Затем, детектор 72h линий краев вычисляет неразрывность c(xi, yi) атрибута s вдоль линии Le концентрации внимания на основе двух правил, показанных в уравнении 6.

Уравнение 6

c(xi, yi)=1, где s(xi, yi)=s(xi+1, yi+1), и

c(xi, yi)=0, для условия, отличного от вышеописанного.

[0224] Когда атрибут s(xi, yi) точки Pei концентрации внимания является идентичным атрибуту s(xi+1, yi+1) точки Pei+1 концентрации внимания около атрибута s(xi, yi), неразрывность c(xi, yi) равна 1. Когда атрибут s(xi, yi) точки Pei концентрации внимания не является этим идентичным атрибуту s(xi+1, yi+1) точки Pei+1 концентрации внимания около атрибута s(xi, yi), неразрывность равна 0.

[0225] Затем детектор 72h линий краев получает сумму неразрывности c всех точек Pe концентрации внимания на линии Le концентрации внимания. Детектор 72h линий краев делит сумму полученной неразрывности c на сумму N точки Pe концентрации внимания, чтобы нормализовать неразрывность c. Когда нормализованная неразрывность c превышает четвертое пороговое значение θ, детектор 72h линий краев определяет линию Le концентрации внимания в качестве линии края. Помимо этого, четвертое пороговое значение θ задается в детекторе 72 находящихся рядом транспортных средств после коррекции в модуле 50 регулирования чувствительности обнаружения. Ниже описывается способ коррекции.

[0226] А именно, детектор 72h линий краев определяет то, представляет или нет линия Le концентрации внимания собой линию края, на основе формулы 7. Детектор 72h линий краев определяет то, представляют или нет все линии Le концентрации внимания в области X1 обнаружения собой линию края.

Формула 7: Σc(xi, yi)/N>θ

[0227] Ссылаясь на фиг. 6, детектор 72i трехмерных объектов обнаруживает трехмерный объект на основе величины линии края, обнаруженной в детекторе 72h линий краев. Как описано выше, детектор 72 находящихся рядом транспортных средств обнаруживает линию края, идущую в вертикальном направлении в реальном пространстве. Когда обнаруживаются множество линий краев, идущих в вертикальном направлении, имеется высокая вероятность того, что трехмерный объект существует в областях X1, X2 обнаружения. Детектор 72i трехмерных объектов, следовательно, обнаруживает трехмерный объект на основе количества линий краев, обнаруженных в детекторе 72h линий краев. Детектор 72i трехмерных объектов определяет то, является или нет линия края, обнаруженная в детекторе 72h линий краев, корректной, до обнаружения трехмерного объекта. Детектор 72i трехмерных объектов определяет то, превышает или нет изменение яркости вдоль линии края подвергнутого преобразованию точки обзора изображения на линии края предварительно определенное пороговое значение. Когда изменение яркости подвергнутого преобразованию точки обзора изображения на линии края превышает предварительно определенное пороговое значение, определяется то, что линия края обнаруживается посредством ложного определения. С другой стороны, когда изменение яркости подвергнутого преобразованию точки обзора изображения на линии края не превышает предварительно определенное пороговое значение, определяется то, что линия края является корректной линией. Помимо этого, это предварительно определенное пороговое значение заблаговременно задается посредством экспериментов и т.п.

[0228] Фиг. 29 является видом, иллюстрирующим распределение яркости линии края. Фиг. 29(a) представляет собой линию края и распределением яркости, когда другое транспортное средство 6 в качестве трехмерного объекта существует в области X1 обнаружения, а фиг. 29(b) иллюстрирует линию края и распределение яркости, когда трехмерный объект не существует в области X1 обнаружения.

[0229] Как проиллюстрировано на фиг. 29(a), когда определяется то, что линия Le концентрации внимания, заданная в резиновом участке шины другого транспортного средства 6, представляет собой линию края в подвергнутом преобразованию точки обзора изображении, изменение яркости подвергнутого преобразованию точки обзора изображения на линии Le концентрации внимания является плавным. Это обусловлено тем, что шина другого транспортного средства 6 укрупняется в подвергнутом преобразованию точки обзора изображении посредством преобразования точки обзора изображения I, полученного посредством модуля 10 формирования изображений.

[0230] С другой стороны, как проиллюстрировано на фиг. 29(b), когда ложно определяется то, что линия Le концентрации внимания, заданная в участке знаков белого цвета как "50", нарисованного на поверхности дороги в подвергнутом преобразованию точки обзора изображении, представляет собой линию края, изменение яркости подвергнутого преобразованию точки обзора изображения на линии Le концентрации внимания является большим. Это обусловлено тем, что участок высокой яркости в знаке белого цвета и участок низкой яркости на поверхности дороги существуют на линии края.

[0231] Трехмерный детектор 72i определяет то, обнаруживается или нет линия края посредством ложного определения, на основе разности в распределении яркости на линии Le концентрации внимания, как описано выше. Трехмерный детектор 72i определяет то, что линия края обнаруживается посредством ложного определения, когда изменение яркости вдоль линии края превышает предварительно определенное пороговое значение. Линия края не используется для обнаружения трехмерного объекта. Управляется снижение точности обнаружения трехмерного объекта вследствие определения придорожной растительности, знака белого цвета как "50" на поверхности дороги и т.п. в качестве линии края.

[0232] Детектор 72i трехмерных объектов вычисляет изменение яркости линии края посредством уравнения 8 или уравнения 9. Изменение яркости линии края соответствует значению оценки в вертикальном направлении в реальном пространстве. Уравнение 8 оценивает распределение яркости с совокупным значением квадрата разности между i-тым значением I(xi, yi) яркости на линии Le концентрации внимания и близким (i+1)-ым значением I(xi+1, yi+1) яркости. Уравнение 9 оценивает распределение яркости с совокупным значением абсолютного значения разности между i-тым значением I(xi, yi) яркости на линии Le концентрации внимания и близким (i+1)-ым значением I(xi+1, yi+1) яркости.

Уравнение 8

Значение оценки соответствующего вертикального направления = Σ[{I(xi, yi)-I(xi+1, yi+1)}^-2]

Уравнение 9

Значение оценки соответствующего вертикального направления = Σ|I(xi, yi)-I(xi+1, yi+1)|

[0233] Помимо этого, атрибут b близкого значения яркости преобразуется в двоичную форму посредством использования порогового значения t2 в качестве уравнения 10 без ограничения уравнениями 8, 9, и преобразованный в двоичную форму атрибут b может быть суммирован для всех точек Pe концентрации внимания.

Уравнение 10

Значение оценки соответствующего вертикального направления = Σb(xi, yi), где |I (xi, yi)-I(xi+1, yi+1) |>t2, b(xi, yi)=1, и

b(xi, yi)=0, для условия, отличного от вышеописанного.

[0234] Когда абсолютное значение яркостного различия между значением яркости точки Pei концентрации внимания и значением яркости опорной точки Pri превышает пороговое значение t2, атрибут b точки Pe(xi, yi) концентрации внимания равен 1. Когда значение имеет взаимосвязь, отличную от вышеуказанной, атрибут b(xi, yi) точки Pei концентрации внимания равен 0. Это пороговое значение t2 заблаговременно задается посредством экспериментов и т.п., с тем чтобы определять то, что линия Le концентрации внимания не находится в идентичном трехмерном объекте. Детектор 72i трехмерных объектов суммирует атрибуты b для всех точек Pe концентрации внимания на линии Le концентрации внимания, получает значение оценки в соответствующем вертикальном направлении и определяет то, является или нет линия края корректной.

[0235] Здесь описывается способ коррекции третьего порогового значения w и четвертого порогового значения θ со ссылкой на фиг. 30. Фиг. 30(a) является видом, описывающим способ коррекции третьего порогового значения w согласно уровню загрязненности линзы 12. Фиг. 30(b) является видом, описывающим способ коррекции четвертого порогового значения θ согласно уровню загрязненности линзы 12.

[0236] Сначала описывается способ коррекции третьего порогового значения w со ссылкой на фиг. 30(a). Когда отсутствует загрязненность на линзе 12, третье пороговое значение w задается равным предварительно определенному значению w0 в модуле 50 регулирования чувствительности обнаружения. Горизонтальная ось на фиг. 30(a) иллюстрирует уровень U белой замутненности линзы 12, вычисленный в модуле 25 вычисления уровня белой замутненности, и указывает то, что уровень U белой замутненности становится более высоким к правой стороне.

[0237] Третье пороговое значение w корректируется таким образом, что оно является небольшим, когда уровень U белой замутненности является высоким. Посредством коррекции третьего порогового значения w таким образом, что оно является небольшим, повышается чувствительность обнаружения транспортного средства. В этом случае, третье пороговое значение w корректируется таким образом, что уровень понижения управляется согласно уровню M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе 12, вычисленному в модуле 26 вычисления уровня прилипания.

[0238] Как проиллюстрировано на фиг. 30(a), когда имеется прилипшее вещество (пунктирная линия), уменьшенная величина значения третьего порогового значения w задается небольшой, даже когда уровень белой замутненности линзы 12 становится более высоким, по сравнению со случаем отсутствия прилипшего вещества (сплошная линия).

[0239] Скорректированное третье пороговое значение w задается для детектора 72 находящихся рядом транспортных средств и используется для процесса обнаружения транспортных средств. В процессе обнаружения транспортных средств, когда уровень U белой замутненности линзы 12 является высоким, повышается чувствительность обнаружения. Когда обнаруживается яркостное различие между линией Le концентрации внимания и опорной линией Lr, заданной в подвергнутом преобразованию точки обзора изображении, эта точка обнаруживается в качестве возможного варианта трехмерного объекта (другого транспортного средства). Когда линза 12 включает в себя прилипшее вещество, управляется повышение чувствительности обнаружения. Когда яркостное различие, превышающее предыдущую разность, не обнаруживается между линией Le концентрации внимания и опорной линией Lr, она не обнаруживается в качестве возможного варианта трехмерного объекта.

[0240] Четвертое пороговое значение θ корректируется идентично третьему пороговому значению w. А именно, четвертое пороговое значение θ, заданное равным предварительно определенному значению θ₀, когда линза 12 не включает в себя загрязненность, корректируется согласно уровню M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе 12, вычисленному в модуле 26 вычисления уровня прилипания, как проиллюстрировано на фиг. 30(b). Когда уровень U белой замутненности линзы 12 является высоким, повышается чувствительность обнаружения, и когда неразрывность c пиксела, для которого атрибут s=1, является высокой на линии Le концентрации внимания, заданной в подвергнутом преобразованию точки обзора изображении, линия Le концентрации внимания определяется в качестве линии края. Когда линза 12 включает в себя прилипшее вещество, управляется повышение чувствительности обнаружения, и когда неразрывность c пиксела, для которого атрибут s=1, не достигает значения, превышающего предыдущее значение, он не обнаруживается в качестве линии края.

[0241] Помимо этого, на фиг. 30(a), 30(b) проиллюстрирован пример, в котором третье пороговое значение w и четвертое пороговое значение θ линейно корректируются согласно уровню U белой замутненности. Тем не менее, способ коррекции третьего порогового значения w и четвертого порогового значения θ не ограничен этим. А именно, третье пороговое значение w и четвертое пороговое значение θ могут быть скорректированы пошагово, например, согласно уровню U белой замутненности.

[0242] Далее описывается способ обнаружения трехмерного объекта с использованием информации краев согласно настоящему варианту осуществления. Фиг. 31 является блок-схемой последовательности операций, иллюстрирующей подробности способа обнаружения трехмерного объекта согласно настоящему варианту осуществления. На фиг. 31, описывается процесс для области X1 обнаружения, но идентичный процесс выполняется для области X2 обнаружения.

[0243] Как проиллюстрировано на фиг. 31, на этапе S80, в модуле 50 регулирования чувствительности обнаружения, третье пороговое значение w и четвертое пороговое значение θ, скорректированные на основе уровня загрязненности (уровня U белой замутненности и уровня M прилипания) линзы 12, задаются для детектора 72 находящихся рядом транспортных средств.

[0244] Затем на этапе S81 в преобразователе 72a точки обзора, изображение I, полученное посредством модуля 10 формирования изображений, преобразуется в подвергнутое преобразованию точки обзора изображение при просмотре сверху.

[0245] На этапе S82 модуль 72g вычисления яркостного различия задает линию Le концентрации внимания в области X1 обнаружения. В этом случае, модуль 72g вычисления яркостного различия задает линию, соответствующую линии, идущей в вертикальном направлении в реальном пространстве, в качестве линии Le концентрации внимания.

[0246] На этапе S83 модуль 72g вычисления яркостного различия задает в области X1 обнаружения линию, соответствующую сегменту линии, идущему в вертикальном направлении в реальном пространстве, и отстоящую на предварительно определенное расстояние от линии Le концентрации внимания в реальном пространстве, в качестве опорной линии Lr.

[0247] Затем на этапе S84,модуль 72g вычисления яркостного различия задает множество точек Pe концентрации внимания на линии Le концентрации внимания. В этом случае, модуль 72g вычисления яркостного различия задает некоторые точки Pe концентрации внимания, которые не вызывают проблему в обнаружении краев в детекторе 72h линий краев. Модуль 72g вычисления яркостного различия на этапе S85 задает опорную точку Pr таким образом, что точка Pe концентрации внимания и опорная точка Pr находятся практически на идентичной высоте в реальном пространстве. Точка Pe концентрации внимания и опорная точка Pr за счет этого размещаются приблизительно в горизонтальном направлении, и линия края, идущая в вертикальном направлении, легко обнаруживается в реальном пространстве.

[0248] На этапе S86 модуль 72g вычисления яркостного различия вычисляет яркостное различие между точкой Pe концентрации внимания и опорной точкой Pr с идентичной высотой в реальном пространстве. Детектор 72h линий краев вычисляет атрибут s каждой точки Pe концентрации внимания согласно вышеприведенному уравнению 5.

[0249] На этапе S87 детектор 72h линий краев вычисляет неразрывность c атрибута s каждой точки Pe концентрации внимания согласно вышеприведенному уравнению 6.

[0250] Затем на этапе S88 детектор 72h линий краев определяет то, превышает или нет значение, при котором нормализуется сумма неразрывности c, четвертое пороговое значение θ, согласно вышеприведенной формуле 7. Когда определяется то, что нормализованное значение превышает четвертое пороговое значение θ ("Да" на этапе S88), детектор 72h линий краев обнаруживает линию Le концентрации внимания в качестве линии края на этапе 89. Затем, процесс переходит к этапу S90. С другой стороны, на этапе S88, когда определяется то, что нормализованное значение меньше четвертого порогового значения θ ("Нет" на этапе S88), детектор 72h линий краев не обнаруживает линию Le концентрации внимания в качестве линии края, и процесс переходит к этапу S90.

[0251] На этапе S90 определяется то, выполняет или нет детектор 72 находящихся рядом транспортных средств процессы на этапах S82-S89 для всех линий Le концентрации внимания, задаваемых в области X1 обнаружения. Когда определяется то, что процессы не выполняются для всех линий Le концентрации внимания ("Нет" на этапе S90), процесс возвращается к этапу S82, заново задается линия Le концентрации внимания, и повторяются процессы до этапа S89. С другой стороны, когда определяется то, что процессы выполняются для всех линий Le концентрации внимания ("Да" на этапе S90), процесс переходит к этапу S91.

[0252] Затем на этапе S91 детектор 72i трехмерных объектов вычисляет изменение яркости вдоль линии края для каждой из линий краев, обнаруженных на этапе S89. Детектор 72i трехмерных объектов вычисляет изменение яркости линии края согласно любому из вышеприведенных уравнений 8, 9, 10. Затем, детектор 72i трехмерных объектов исключает линию края, изменение яркости которой превышает предварительно определенное пороговое значение в линиях краев, на этапе S92. А именно, определяется то, что линия края, имеющая большое изменение яркости, не является корректной линией края, и линия края не используется для обнаружения трехмерного объекта. Это служит для управления обнаружением символов на поверхности дороги и придорожной растительности в области X1 обнаружения в качестве линии края. Предварительно определенное значение в силу этого задается на основе изменения яркости, сформированного посредством символов на поверхности дороги и придорожной растительности, заблаговременно полученного посредством экспериментов и т.п.

[0253] Затем детектор 72i трехмерных объектов на этапе S93 определяет то, составляет или нет количество линий краев пятое пороговое значение β. Пятое пороговое значение β получается заблаговременно посредством экспериментов и т.п. Например, когда четырехколесный автомобиль задается в качестве цели обнаружения, пятое пороговое значение β задается на основе числа линий краев четырехколесного автомобиля, появляющегося в области X1 обнаружения, посредством экспериментов и т.п. Когда определяется то, что число линий краев составляет пятое пороговое значение β или более ("Да" на этапе S93), детектор 72i трехмерных объектов на этапе S94 определяет то, что существует трехмерный объект в области X1 обнаружения.

[0254] С другой стороны, когда определяется то, что количество линий краев не составляет пятое пороговое значение β или более ("Нет" на этапе S93), детектор 72i трехмерных объектов определяет то, что трехмерный объект отсутствует в области X1 обнаружения. После этого, процессы, проиллюстрированные на фиг. 31, завершаются, и процесс возвращается к основной процедуре (фиг. 7).

[0255] Помимо этого, может быть определено, что обнаруженный трехмерный объект представляет собой другое транспортное средство 6, движущееся на находящейся рядом полосе движения после полосы движения, по которой движется транспортное средство 5. Может быть определено то, представляет или нет собой обнаруженный трехмерный объект собой другое транспортное средство 6, движущееся на находящейся рядом полосе движения, с учетом относительной скорости относительно транспортного средства 5 обнаруженного трехмерного объекта.

[0256] В варианте 1 осуществления описывается способ обнаружения трехмерного объекта (находящегося рядом транспортного средства) с использованием информации форм разностных сигналов и способ обнаружения трехмерного объекта (находящегося рядом транспортного средства) с использованием информации краев, но способ обнаружения находящегося рядом транспортного средства не ограничен этим. Например, трехмерный объект (находящееся рядом транспортное средство) может быть обнаружен через процесс формирования изображения, который вычисляет оптический поток относительно изображения I, полученного посредством модуля 10 формирования изображений, без выполнения преобразования точки обзора, описанного в варианте 1 осуществления. В этом случае, в модуле 50 регулирования чувствительности обнаружения, пороговое значение для обнаружения характерной точки из изображения на основе временного ряда и пороговое значение для определения совпадения при сопоставлении характерных точек корректируются согласно уровню M прилипания прилипшего вещества и уровню U белой замутненности линзы 12, так что может эффективно обнаруживаться другое транспортное средство 6.

[0257] Как описано выше, согласно бортовому устройству 8 распознавания изображений по одному варианту осуществления настоящего изобретения, в модуле 50 регулирования чувствительности обнаружения, который регулирует чувствительность обнаружения таким образом, что она увеличивается согласно уровню белой замутненности, чувствительность обнаружения модуля выполнения приложения для распознавания изображений, например, детектора 70 транспортных средств, который обнаруживает движущийся объект, например, другое транспортное средство 6, присутствующее в окружающей области транспортного средства 5, с предварительно определенной чувствительностью обнаружения из изображения, полученного посредством модуля 10 формирования изображений, расположенного в транспортном средстве 5 с возможностью наблюдать окружающую область транспортного средства 5 через линзу 12 и преобразовывать световой сигнал наблюдаемой окружающей области транспортного средства 5 в сигнал изображения, корректируется на основе уровня M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе 12, который вычисляется посредством модуля 26 вычисления уровня прилипания. При этой конфигурации, даже когда прилипшее вещество, такое как грязь или капля воды, прилипло к линзе 12, управляется чрезмерное повышение чувствительности обнаружения, и в силу этого позиция другого транспортного средства 6 может быть эффективно обнаружена независимо от уровня M прилипания прилипшего вещества или уровня U белой замутненности линзы 12.

[0258] Согласно бортовому устройству 8 распознавания изображений по одному варианту осуществления настоящего изобретения, модуль 22 вычисления уровня белой замутненности вычисляет уровень U1 белой замутненности линзы 12 на основе, по меньшей мере, одного из распределения интенсивности краев и градиента яркости изображения, полученного посредством модуля 10 формирования изображений. При этой конфигурации, уровень U белой замутненности линзы 12 может быть стабильно и эффективно вычислен независимо от яркости за пределами транспортного средства 5.

[0259] Согласно бортовому устройству 8 распознавания изображений по одному варианту осуществления настоящего изобретения, повышение чувствительности обнаружения другого транспортного средства 6 управляется в модуле 50 регулирования чувствительности обнаружения, когда уровень M прилипания, к примеру, грязь или капля воды к линзе 12, вычисленный в модуле вычисления уровня прилипания 16, является высоким. При этой конфигурации, даже когда определяется то, что уровень U белой замутненности является высоким наряду с высоким уровнем M прилипания, может управляться повышение чувствительности обнаружения другого транспортного средства 6. Таким образом, другое транспортное средство 6 может быть эффективно обнаружено в модуле выполнения приложения для распознавания изображений, например, в детекторе 70 транспортных средств.

[0260] Согласно бортовому устройству 8 распознавания изображений по одному варианту осуществления настоящего изобретения, модуль 50 регулирования чувствительности обнаружения корректирует, по меньшей мере, одно пороговое значение из первого порогового значения p для обнаружения пиксела, имеющего яркостное различие, из одного изображения, полученного посредством модуля 10 формирования изображений, второго порогового значения α для обнаружения пиксела, имеющего изменение яркости в изображении временного ряда, полученном в разные моменты времени посредством модуля 10 формирования изображений, и порогового значения для определения совпадения при сопоставлении обнаруженных пикселов, имеющих изменение яркости, из изображения временного ряда, полученного в разные моменты времени посредством модуля 10 формирования изображений. При этой конфигурации, даже когда линза 12 имеет загрязненность, другое транспортное средство 6 может еще эффективнее обнаруживаться в модуле выполнения приложения для распознавания изображений, например, в детекторе 70 транспортных средств.

[0261] Согласно бортовому устройству 8 распознавания изображений по одному варианту осуществления настоящего изобретения, модуль 50 регулирования чувствительности обнаружения корректирует, по меньшей мере, одно из пороговых значений и управляет повышением чувствительности обнаружения ночью по сравнению с днем, когда уровень M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе 12 и уровень U белой замутненности линзы 12 являются высокими. При этой конфигурации, величина управления ночью для чувствительности обнаружения транспортных средств (например, первое пороговое значение p и второе пороговое значение α) согласно уровню U белой замутненности линзы 12 уменьшается относительно величины управления днем, и за счет этого может еще эффективнее обнаруживаться другое транспортное средство 6.

[0262] Согласно бортовому устройству 8 распознавания изображений по одному варианту осуществления настоящего изобретения, модуля выполнения приложения для распознавания изображений, например, детектор 70 транспортных средств обнаруживает другое транспортное средство 7 рядом с транспортным средством 5 сзади транспортного средства 5. При этой конфигурации, безопасное состояние сзади может эффективно подтверждаться, когда транспортное средство 5 сменяет полосу движения.

[0263] Согласно бортовому устройству 8 распознавания изображений по одному варианту осуществления настоящего изобретения, модуль 50 регулирования чувствительности обнаружения управляет повышением чувствительности обнаружения, когда другое транспортное средство 6 едет рядом с транспортным средством 5 с предварительно определенной положительной относительной скоростью, в случае если уровень M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе 12 и уровень U белой замутненности линзы 12 являются высокими. При этой конфигурации, когда относительная скорость имеет положительное значение в предварительно определенное значение или более, а именно, когда транспортное средство 5 обгоняется посредством находящегося рядом транспортного средства сзади, величина управления чувствительностью обнаружения транспортных средств (например, первое пороговое значение p и второе пороговое значение α) согласно уровню U белой замутненности линзы 12 уменьшается, и за счет этого может еще эффективнее обнаруживаться находящееся рядом транспортное средство.

[0264] Помимо этого, система приложений для распознавания изображений, которая работает одновременно с бортовым устройством 8 распознавания изображений, не ограничивается BSW-системой 9. А именно, может применяться система LDW (предупреждения о выезде за пределы полосы движения), которая определяет позицию разделительной линии, такой как белая линия дорожной разметки, которая перемещается согласно позиции движения транспортного средства 5, из изображения I, полученного посредством модуля 10 формирования изображений, и заблаговременно обнаруживает выезд за пределы полосы движения на основе обнаруженной позиции разделительной линии, чтобы информировать водителя касательно такого выезда за пределы полосы движения, либо другая система.

[0265] Хотя вариант осуществления настоящего изобретения описан выше, настоящее изобретение не ограничено этим. Следует принимать во внимание, что варьирования могут осуществляться в варианте осуществления и в описанных аспектах специалистами в данной области техники без отступления от объема настоящего изобретения.

[0266] Перекрестная ссылка на родственную заявку

Настоящая заявка испрашивает приоритет заявки на патент (Япония) № 2012-167702, поданной 27 июля 2012 года, раскрытие сущности которой настоящим полностью содержится в данном документе по ссылке.

Описание номеров ссылок

[0267] 8 - бортовое устройство распознавания изображений

9 - BSW-система

10 - модуль формирования изображений

12 - линза

14 - световой преобразователь

16 - модуль регулирования усиления

20 - детектор загрязненности линзы

22 - модуль вычисления первого уровня белой замутненности

24 - модуль вычисления второго уровня белой замутненности

25 - модуль вычисления уровня белой замутненности

26 - модуль вычисления уровня прилипания

30 - модуль вычисления уровня загрязненности линзы

50 - модуль регулирования чувствительности обнаружения

60 - модуль получения информации касательно транспортного средства

70 - детектор транспортных средств

72 - детектор находящихся рядом транспортных средств

74 - модуль вывода оповещений

Изобретение относится к бортовому устройству распознавания изображений. В модуле (50) регулирования чувствительности обнаружения, который регулирует чувствительность обнаружения таким образом, что она увеличивается согласно уровню (U) белой замутненности, чувствительность обнаружения детектора (70) транспортных средств (модуля выполнения приложения для распознавания изображений), который обнаруживает другое транспортное средство (6) (движущийся объект), присутствующий в окружающей области транспортного средства (5), с предварительно определенной чувствительностью обнаружения из изображения, полученного посредством модуля (10) формирования изображений, расположенного в транспортном средстве (5) с возможностью наблюдать окружающую область транспортного средства (5) через линзу (12) и преобразовывать световой сигнал наблюдаемой окружающей области транспортного средства (5) в сигнал изображения, корректируется на основе уровня M прилипания прилипшего вещества, такого как грязь или капля воды, к линзе (12), который вычисляется посредством модуля (26) вычисления уровня прилипания. Обеспечивается точное обнаруживание движущегося объекта из изображения, даже когда линза имеет загрязненность. 6 з.п. ф-лы, 31 ил.

1. Бортовое устройство распознавания изображений, содержащее:
- модуль формирования изображений, который расположен в транспортном средстве с возможностью наблюдать окружающую область транспортного средства через линзу и преобразовывать световой сигнал наблюдаемой окружающей области транспортного средства в сигнал изображения;
- модуль выполнения приложения для распознавания изображений, имеющий предварительно определенную чувствительность обнаружения для того, чтобы обнаруживать движущийся объект, присутствующий в окружающей области транспортного средства, из изображения, полученного посредством модуля формирования изображений;
- модуль вычисления уровня белой замутненности, который вычисляет уровень белой замутненности линзы из сигнала изображения;
- модуль вычисления уровня прилипания, который вычисляет уровень прилипания прилипшего вещества, такого как грязь или капля воды, к линзе; и
- модуль регулирования чувствительности обнаружения, который регулирует чувствительность обнаружения таким образом, что она увеличивается согласно уровню белой замутненности, при этом
модуль регулирования чувствительности обнаружения корректирует чувствительность обнаружения на основе уровня прилипания прилипшего вещества, такого как грязь или капля воды, к линзе.

2. Бортовое устройство распознавания изображений по п.1, в котором модуль вычисления уровня белой замутненности вычисляет уровень белой замутненности линзы на основе по меньшей мере одного из распределения интенсивности краев и градиента яркости изображения, полученного посредством модуля формирования изображений.

3. Бортовое устройство распознавания изображений по п.1 или 2, в котором модуль регулирования чувствительности обнаружения управляет повышением чувствительности обнаружения, когда уровень прилипания, к примеру, грязи или капли воды к линзе, вычисленный в модуле вычисления уровня прилипания, является высоким.

4. Бортовое устройство распознавания изображений по п.1 или 2, в котором модуль регулирования чувствительности обнаружения корректирует по меньшей мере одно пороговое значение из порогового значения для обнаружения пиксела, имеющего яркостное различие, из одного изображения, полученного посредством модуля формирования изображений, порогового значения для обнаружения пиксела, имеющего изменение яркости в изображении на основе временного ряда, полученном в разные моменты времени посредством модуля формирования изображений, и порогового значения для определения совпадения при сопоставлении обнаруженных пикселов, имеющих изменение яркости, из изображения на основе временного ряда, полученного в разные моменты времени посредством модуля формирования изображений.

5. Бортовое устройство распознавания изображений по п.1 или 2, в котором модуль регулирования чувствительности обнаружения корректирует по меньшей мере одно из пороговых значений и управляет повышением чувствительности обнаружения ночью по сравнению с днем, когда уровень прилипания прилипшего вещества, такого как грязь или капля воды, к линзе и уровень белой замутненности линзы являются высокими.

6. Бортовое устройство распознавания изображений по п.1 или 2, в котором модуль выполнения приложения для распознавания изображений обнаруживает другое транспортное средство рядом с транспортным средством сзади транспортного средства.

7. Бортовое устройство распознавания изображений по п.6, в котором модуль регулирования чувствительности обнаружения управляет повышением чувствительности обнаружения, когда другое транспортное средство едет рядом с транспортным средством с предварительно определенной положительной относительной скоростью, в случае если уровень прилипания прилипшего вещества, такого как грязь или капля воды, к линзе и уровень белой замутненности линзы являются высокими.