УСТРОЙСТВО ОБНАРУЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ Российский патент 2015 года по МПК G06T15/00 G08G1/16 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству обнаружения трехмерных объектов.

Данная заявка испрашивает приоритет японской заявки на патент №2012-166516, поданной 27 июля 2012 года, и в указанных государствах, которые признают включение документа по ссылке, содержимое, описанное в вышеуказанной заявке, содержится в данном документе по ссылке и считается частью описания настоящей заявки.

УРОВЕНЬ ТЕХНИКИ

[0002] Известно устройство обнаружения помех, в котором изображения, захваченные на периферии транспортного средства, преобразуются в виды «с высоты птичьего полета», и разность между двумя изображениями, преобразованными в виды «с высоты птичьего полета», отличающиеся во времени, используется для того, чтобы обнаруживать помехи (см. патентный документ 1).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Выложенная японская заявка на патент №2008-227646

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, РАЗРЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

[0004] При использовании изображения, захваченного позади транспортного средства, для того, чтобы обнаруживать в качестве помехи, другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое (ведущее) транспортное средство, и при выполнении обработки для того, чтобы обнаруживать трехмерный объект с идентичными условиями для области светлого окружения, освещаемого посредством солнца или другого интенсивного света, и области темного окружения, находящегося в тени рассматриваемого транспортного средства, другого транспортного средства или другого объекта, хотя может повышаться точность обнаружения трехмерного объекта либо в светлом окружении, либо в темном окружении, имеется проблема в том, что снижается точность обнаружения трехмерного объекта другого окружения.

[0005] В частности, в светлом окружении, в котором солнечный свет, поступающий в область обнаружения, отражается на поверхности дороги, яркость отраженного изображения (виртуального изображения), сформированного посредством отражения солнечного света или другого интенсивного света на поверхности дороги, превышает пороговое значение яркости для обнаружения трехмерного объекта, и изображение может быть ошибочно обнаружено в качестве трехмерного объекта. С другой стороны, в темном окружении, в котором поступающий солнечный свет или другой свет блокируется посредством другого транспортного средства и т.п., яркость захваченного изображения снижается, яркость изображения (действительного изображения) другого транспортного средства, фактически присутствующего, не превышает пороговое значение яркости для обнаружения трехмерного объекта, и изображение может быть ошибочно обнаружено в качестве не трехмерного объекта.

[0006] Задача настоящего изобретения заключается в том, чтобы предоставить устройство обнаружения трехмерных объектов, которое предотвращает ошибочное обнаружение отраженного изображения (виртуального изображения) вследствие солнечного света или другого интенсивного света, сформированного в области обнаружения светлого окружения, в качестве изображения (действительного изображения) другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство, и обнаруживает другое транспортное средство, движущееся в смежной полосе движения, в обстановке, в которой формируются область обнаружения светлого окружения и область обнаружения темного окружения.

СРЕДСТВО ДЛЯ РАЗРЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ

[0007] Настоящее изобретение решает вышеуказанную задачу посредством остановки оценки того, что трехмерный объект представляет собой другое транспортное средство, на основе информации изображений первой области обнаружения, включающей в себя область с высокой яркостью в правосторонней области обнаружения или в левосторонней области обнаружения, и посредством поддержания или стимулирования оценки того, что трехмерный объект представляет собой другое транспортное средство, на основе информации изображений второй области обнаружения, отличной от первой области обнаружения.

ПРЕИМУЩЕСТВО ИЗОБРЕТЕНИЯ

[0008] Согласно настоящему изобретению, ошибочное обнаружение отраженного изображения (виртуального изображения) солнечного света в качестве изображения (действительного изображения) другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство, может предотвращаться относительно первой области обнаружения, имеющей светлое окружение, и ошибочное обнаружение изображения (действительного изображения) другого транспортного средства, фактически присутствующего в смежной полосе движения как не являющегося другим транспортным средством, может предотвращаться относительно второй области обнаружения, имеющей относительно темное окружение, когда окружения яркости отличаются между правосторонней областью обнаружения и левосторонней областью обнаружения. Как результат, может предоставляться система обнаружения трехмерных объектов, которая обнаруживает с высокой точностью другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 является схематичным видом транспортного средства согласно одному варианту осуществления, в котором применяется устройство обнаружения трехмерных объектов настоящего изобретения.

Фиг. 2 является видом сверху, иллюстрирующим состояние движения транспортного средства на фиг. 1.

Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера на фиг. 1.

Фиг. 4 является видом для описания общего представления обработки модуля совмещения на фиг.3. Фиг. 4(a) является видом сверху, иллюстрирующим состояние движения транспортного средства, а фиг.4(b) является изображением, иллюстрирующим общее представление совмещения.

Фиг. 5 является схематичным видом, иллюстрирующим способ генерирования формы разностного сигнала посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 6 является видом, иллюстрирующим небольшие области, разделенные посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 7 является видом, иллюстрирующим пример гистограммы, полученной посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 8 является видом, иллюстрирующим взвешивание, выполняемое посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 9 является видом, иллюстрирующим обработку, выполняемую посредством модуля обнаружения размытостей на фиг. 3, и обработку вычисления формы разностного сигнала на ее основе.

Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 11 является блок-схемой последовательности операций (часть 1), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации форм разностных сигналов, осуществляемый посредством модуля преобразования точки обзора, модуля совмещения, модуля обнаружения размытостей и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 12 является блок-схемой последовательности операций (часть 2), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации форм разностных сигналов, осуществляемый посредством модуля преобразования точки обзора, модуля совмещения, модуля обнаружения размытостей и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 13 является видом (обнаружение трехмерных объектов с использованием информации краев), иллюстрирующим состояния движения транспортного средства на фиг. 1. Фиг. 13(a) является видом сверху, иллюстрирующим позиционные взаимосвязи области обнаружения и т.п., а фиг. 13(b) является видом в перспективе, иллюстрирующим позиционные взаимосвязи области обнаружения и т.п. в реальном пространстве.

Фиг. 14 является видом для описания работы модуля вычисления яркостного различия на фиг. 3. Фиг. 14(a) является видом, иллюстрирующим позиционные взаимосвязи между линиями концентрации внимания, опорными линиями, точками концентрации внимания и опорными точками в изображении вида «с высоты птичьего полета», а фиг. 14(b) является видом, иллюстрирующим позиционные взаимосвязи между линиями концентрации внимания, опорными линиями, точками концентрации внимания и опорными точками в реальном пространстве.

Фиг. 15 является видом для описания подробной работы модуля вычисления яркостного различия на фиг. 3. Фиг. 15(a) является видом, иллюстрирующим область обнаружения в изображении вида «с высоты птичьего полета», а фиг. 15(b) является видом, иллюстрирующим позиционные взаимосвязи между линиями концентрации внимания, опорными линиями, точками концентрации внимания и опорными точками в изображении вида «с высоты птичьего полета».

Фиг. 16 является видом, иллюстрирующим линию края и распределение яркости на линии края. Фиг. 16(a) является видом, иллюстрирующим распределение яркости, когда трехмерный объект (транспортное средство) присутствует в области обнаружения, а (b) является видом, иллюстрирующим распределение яркости, когда трехмерный объект не присутствует в области обнаружения.

Фиг. 17 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации краев, осуществляемый посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 18 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей способ обнаружения трехмерных объектов с использованием информации краев, осуществляемый посредством модуля преобразования точки обзора, модуля вычисления яркостного различия, модуля обнаружения линий краев и модуля обнаружения трехмерных объектов на фиг. 3.

Фиг. 19 является видом, иллюстрирующим пример изображения для описания операции обнаружения краев.

Фиг. 20A является видом для описания области с высокой яркостью, сформированной, когда солнечный свет поступает в область обнаружения.

Фиг. 20В является видом для описания области с высокой яркостью и области с низкой яркостью, сформированных, когда солнечный свет поступает в область обнаружения, и другое транспортное средство присутствует в области обнаружения.

Фиг. 21 является блок-схемой последовательности операций способа, иллюстрирующей процедуру управления устройства обнаружения трехмерных объектов настоящего варианта осуществления.

Фиг. 22 является видом, иллюстрирующим пример взаимосвязи между областью с высокой яркостью и пороговым значением.

ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0010] Фиг. 1 является схематичным видом транспортного средства согласно одному варианту осуществления, в котором применяется устройство 1 обнаружения трехмерных объектов настоящего изобретения. Устройство 1 обнаружения трехмерных объектов согласно настоящему примеру представляет собой устройство для обнаружения, в качестве помехи, другого транспортного средства, на которое должен обращать внимание водитель рассматриваемого транспортного средства V в ходе езды, например, другого транспортного средства, с которым имеется вероятность контакта, когда сменяет полосу движения рассматриваемое транспортное средство V. В частности, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру используется для обнаружения другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство (ниже также называется просто "смежной полосой движения"). Устройство 1 обнаружения трехмерных объектов согласно настоящему примеру также может вычислять проезжаемое расстояние и скорость движения обнаруженного другого транспортного средства. Следовательно, пример, описанный ниже, является примером, в котором устройство 1 обнаружения трехмерных объектов монтируется на рассматриваемом транспортном средстве V и используется для обнаружения другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, из трехмерных объектов, обнаруженных на периферии рассматриваемого транспортного средства. Как проиллюстрировано в идентичном виде, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру содержит камеру 10, датчик 20 скорости, компьютер 30 и устройство 50 обнаружения позиции.

[0011] Камера 10 присоединена к рассматриваемому транспортному средству V сзади рассматриваемого транспортного средства V в месте на высоте h и размещается таким образом, что оптическая ось располагается вниз под углом θ от горизонтали, как проиллюстрировано на фиг. 1. Камера 10 захватывает изображение предварительно определенной области во внешнем окружении рассматриваемого транспортного средства V из этой позиции. В настоящем варианте осуществления, одна камера 1 предоставляется для того, чтобы обнаруживать трехмерный объект сзади рассматриваемого транспортного средства V, но другая камера может предоставляться для другого применения, например, для того чтобы получать изображение на периферии транспортного средства. Датчик 20 скорости обнаруживает скорость движения рассматриваемого транспортного средства V, например, скорость транспортного средства вычисляется из скорости вращения колес, обнаруженной посредством датчика скорости вращения колес для считывания числа оборотов на колесе. Компьютер 30 обнаруживает трехмерный объект позади транспортного средства и в настоящем примере вычисляет проезжаемое расстояние и скорость движения относительно трехмерного объекта. Устройство 50 обнаружения позиции обнаруживает позицию движения рассматриваемого транспортного средства V.

[0012] Фиг. 2 является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V на фиг. 1. Как проиллюстрировано в идентичном виде, камера 10 захватывает изображение на задней стороне транспортного средства под предварительно определенным углом а. В это время угол а обзора камеры 10 задается равным углу обзора, в котором изображение может быть захвачено в левой и правой полосах движения, а также в полосе движения, в которой движется рассматриваемое транспортное средство V. Область, в которой может быть захвачено изображение, включает в себя полосы движения объекта обнаружения А1 и А2 сзади рассматриваемого транспортного средства V и на смежных полосах движения, смежных слева и справа от полосы движения, в которой движется рассматриваемое транспортное средство V. "Сзади транспортного средства" в настоящем варианте осуществления включает в себя не только непосредственно позади транспортного средства, но также сбоку на задней стороне транспортного средства. Область сзади транспортного средства, в которой захватывается изображение, задается в соответствии с углом обзора камеры 10. Кроме того, в одном примере, угол может задаваться таким образом, что он включает в себя область 0-90 градусов, предпочтительно 0-70 градусов и т.п. от "непосредственно позади", когда "непосредственно позади" транспортного средства в направлении длины транспортного средства составляет нуль градусов.

[0013] Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера 30 на фиг. 1. На фиг. 3, камера 10, датчик 20 скорости и устройство 50 обнаружения позиции также проиллюстрированы для прояснения взаимосвязи соединений.

[0014] Как проиллюстрировано на фиг. 3, компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 совмещения, модуль 33 обнаружения трехмерных объектов, модуль 34 оценки трехмерных объектов, модуль 38 оценки областей с высокой яркостью, контроллер 39 и модуль 40 обнаружения размытостей. Модуль 30 вычисления из настоящего варианта осуществления конфигурируется относительно блока для обнаружения трехмерного объекта с использованием информации форм разностных сигналов. Модуль 30 вычисления согласно настоящему изобретению может быть сконфигурирован также относительно блока для обнаружения трехмерного объекта с использованием информации краев. В этом случае, в конфигурации, проиллюстрированной на фиг. 3, возможна конфигурация посредством замены блочной конфигурации А, сконфигурированной с модулем 32 совмещения и модулем 33 обнаружения трехмерных объектов, на блочную конфигурацию В, сконфигурированную с модулем 35 вычисления яркостного различия, модулем 36 обнаружения линий краев и модулем 37 обнаружения трехмерных объектов, обведенными посредством прерывистых линий. Как должно быть очевидным, как блочная конфигурация А, так и блочная конфигурация В могут предоставляться с тем, чтобы позволять выполнять обнаружение трехмерного объекта с использованием информации форм разностных сигналов, а также обнаружение трехмерного объекта с использованием информации краев. Когда предоставляются блочная конфигурация А и блочная конфигурация В, блочная конфигурация А или блочная конфигурация В может работать, например, в соответствии с яркостью или другими факторами окружающей среды. Ниже описывается каждая конфигурация.

[0015] ОБНАРУЖЕНИЕ ТРЕХМЕРНОГО ОБЪЕКТА ПОСРЕДСТВОМ ИНФОРМАЦИИ ФОРМ РАЗНОСТНЫХ СИГНАЛОВ

Устройство 1 обнаружения трехмерных объектов из настоящего варианта осуществления используется для обнаружения трехмерного объекта, присутствующего в правосторонней области обнаружения или левосторонней области обнаружения сзади относительно транспортного средства, на основе информации изображений, полученной посредством однолинзовой зеркальной камеры для захвата изображения сзади относительно транспортного средства.

[0016] Захваченные данные изображений предварительно определенной области, полученные посредством захвата, выполняемого посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, и захваченные данные изображений, введенные таким способом, преобразуются в данные изображений вида «с высоты птичьего полета», которые являются состоянием вида «с высоты птичьего полета». Состояние вида «с высоты птичьего полета» представляет собой состояние просмотра с точки зрения воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз. Преобразование точки обзора может быть выполнено способом, описанным, например, в выложенной японской заявке на патент №2008-219063. Причина, по которой захваченные данные изображений преобразуются в данные изображений вида «с высоты птичьего полета», основана на таком принципе, что перпендикулярные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, посредством преобразования точки обзора в данные изображений вида «с высоты птичьего полета», и использование этого принципа дает возможность различения плоского объекта и трехмерного объекта. Результат обработки преобразования изображений, выполняемой посредством модуля 31 преобразования точки обзора, используется также при обнаружении трехмерного объекта с использованием информации краев, которое должно описываться ниже.

[0017] Данные изображений вида «с высоты птичьего полета», полученные посредством преобразования точки обзора, выполняемого посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, и введенные позиции данных изображений вида «с высоты птичьего полета» в различные моменты времени совмещаются. Фиг. 4 является видом для описания общего представления обработки модуля 32 совмещения. Фиг. 4(a) является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

[0018] Как проиллюстрировано на фиг. 4(a), рассматриваемое транспортное средство V в данный момент времени размещается в V1, и рассматриваемое транспортное средство V за один момент времени до этого размещается в V2. Предполагается, что другое транспортное средство VX размещается в направлении с задней стороны рассматриваемого транспортного средства V и движется параллельно рассматриваемому транспортному средству V, и что другое транспортное средство VX в текущий момент времени размещается в V3, а другое транспортное средство VX за один момент времени до этого размещается в V4. Кроме того, предполагается, что рассматриваемое транспортное средство V проезжает расстояние d в течение одного момента времени. Фраза "за один момент времени до этого" может быть моментом времени в прошлом на время, предварительно заданное (например, один цикл управления) с данного момента времени, либо может быть моментом времени в прошлом на произвольное время.

[0019] В этом состоянии, изображение PBt вида «с высоты птичьего полета» в текущий момент времени становится таким, как показано на фиг. 4(b). Белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными в этом изображении PBt вида «с высоты птичьего полета» и являются относительно точными в виде сверху, но другое транспортное средство VX в позиции V3 сплющивается. То же применимо к изображению PBt-1 вида «с высоты птичьего полета» за один момент времени до этого; белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными в виде сверху, но другое транспортное средство VX в позиции V4 сплющивается. Как описано выше, перпендикулярные края трехмерного объекта (края, которые расположены вертикально в трехмерном пространстве от поверхности дороги, также включаются в строгий смысл перпендикулярного края) выглядят как группа прямых линий вдоль направления сплющивания вследствие процесса для преобразования точки обзора в данные изображений вида «с высоты птичьего полета», но поскольку плоское изображение на поверхности дороги не включает в себя перпендикулярные края, такое сплющивание не возникает, даже когда точка обзора преобразована.

[0020] Модуль 32 совмещения совмещает изображения PBt и PBt-1 вида «с высоты птичьего полета», такие как изображения PBt и PBt-1, описанные выше, с точки зрения данных. Когда это выполняется, модуль 32 совмещения смещает изображение PBt-1 вида «с высоты птичьего полета» за один момент времени до этого и сопоставляет позицию с изображением PBt вида «с высоты птичьего полета» в данный момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения на проезжаемое расстояние d'. Величина d' смещения является величиной перемещения в данных изображений вида «с высоты птичьего полета», которая соответствует фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V, проиллюстрированного на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости и времени от одного момента времени до этого до данного момента времени.

[0021] После совмещения модуль 32 совмещения получает разность между изображениями PBt и PBt-1 вида «с высоты птичьего полета» и генерирует данные разностного изображения PDt. Здесь, пиксельные значения разностного изображения PDt могут рассматриваться в качестве абсолютного значения разности в пиксельных значениях изображений PBt и PBt-1 вида «с высоты птичьего полета» или могут задаваться равными 1, когда абсолютное значение превышает предварительно определенное пороговое значение p, или равными 0, когда абсолютное значение не превышает пороговое значение, с тем чтобы соответствовать варьированию в окружении освещения. Правостороннее изображение на фиг. 4(b) иллюстрирует разностное изображение PDt. Пороговое значение p может задаваться заранее.

[0022] Возвращаясь к фиг. 3, модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе данных разностного изображения PDt, показанных на фиг. 4(b). В этом случае, модуль 33 обнаружения трехмерных объектов согласно настоящему примеру вычисляет проезжаемое расстояние трехмерного объекта в фактическом пространстве. Модуль 33 обнаружения трехмерных объектов сначала генерирует форму разностного сигнала, когда обнаруживается трехмерный объект, и должно быть вычислено проезжаемое расстояние. Проезжаемое расстояние во времени для трехмерного объекта используется для вычисления скорости движения трехмерного объекта. Скорость движения трехмерного объекта также может быть использована для оценки того, представляет собой или нет трехмерный объект транспортное средство.

[0023] При генерировании формы разностного сигнала, модуль 33 обнаружения трехмерных объектов настоящего варианта осуществления задает область обнаружения в разностном изображении PDt. Устройство 1 обнаружения трехмерных объектов согласно настоящему примеру представляет собой устройство для обнаружения, в качестве объекта, который должен быть обнаружен, другого транспортного средства, на которое должен обращать внимание водитель рассматриваемого транспортного средства V, например, другого транспортного средства, движущегося в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, с которым имеется вероятность контакта, когда сменяет полосу движения рассматриваемое транспортное средство V. Следовательно, в настоящем примере, в котором трехмерный объект обнаруживается на основе информации изображений, две области обнаружения задаются справа и слева относительно рассматриваемого транспортного средства V в изображении, полученном посредством камеры 1. В частности, в настоящем варианте осуществления, прямоугольные области А1 и А2 обнаружения задаются слева и справа позади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 2. Другое транспортное средство, обнаруженное в этих областях А1 и А2 обнаружения, обнаруживается в качестве помехи, движущейся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V. Такие области А1 и А2 обнаружения могут задаваться согласно относительной позиции до рассматриваемого транспортного средства V либо могут задаваться на основе позиции белых линий дорожной разметки. Когда задаются на основе позиции белых линий дорожной разметки, устройство 1 обнаружения проезжаемого расстояния может использовать, например, известные технологии распознавания белых линий дорожной разметки.

[0024] Модуль 33 обнаружения трехмерных объектов распознает в качестве линий L1, L2 пересечения с землей (фиг. 2) границы областей А1 и А2 обнаружения, заданные таким способом, на стороне рассматриваемого транспортного средства V (на стороне вдоль направления движения). В общем, линия пересечения с землей означает линию, в которой трехмерный объект находится в контакте с землей, но в настоящем варианте осуществления, линия пересечения с землей не представляет собой линию в контакте с землей, а вместо этого задается способом, описанным выше. Даже в таком случае, разность между линией пересечения с землей согласно настоящему варианту осуществления и нормальной линией пересечения с землей, оцененной из позиции другого транспортного средства VX, не является чрезвычайно большой, как оценено посредством опыта, и фактически не представляет собой проблемы.

[0025] Фиг. 5 является схематичным видом, иллюстрирующим способ генерирования формы разностного сигнала посредством модуля 33 обнаружения трехмерных объектов на фиг. 3. Как проиллюстрировано на фиг. 5, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала из участка, который соответствует областям А1 и А2 обнаружения в разностном изображении PDt (чертеж справа на фиг. 4(b)), вычисленном посредством модуля 32 совмещения. В этом случае, модуль 33 обнаружения трехмерных объектов генерирует форму DWt разностного сигнала вдоль направления, в котором сплющивается трехмерный объект посредством преобразования точки обзора. В примере, проиллюстрированном на фиг. 5, для удобства описана только область А1 обнаружения, но форма DWt разностного сигнала также генерируется для области А2 обнаружения с использованием идентичной процедуры.

[0026] Более конкретно, сначала модуль 33 обнаружения трехмерных объектов задает линию La в направлении, в котором сплющивается трехмерный объект, в данных разностного изображения DWt. Модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, указывающих предварительно определенную разность на линии La. Здесь, разностные пикселы DP, указывающие предварительно определенное расстояние, представляют собой пикселы, превышающие предварительно определенное пороговое значение, когда пиксельные значения разностного изображения DWt рассматриваются в качестве абсолютного значения разности в пиксельных значениях изображений PBt и PBt-1 вида «с высоты птичьего полета», и представляют собой пикселы, указывающие 1, когда пиксельные значения разностного изображения DWt выражаются как 0 и 1.

[0027] Модуль 33 обнаружения трехмерных объектов подсчитывает число разностных пикселов DP и после этого оценивает точку CP пересечения линии La и линии L1 пересечения с землей. Модуль 33 обнаружения трехмерных объектов затем коррелирует точку CP пересечения и подсчитанное число, определяет позицию на горизонтальной оси, т.е. позицию на оси в продольном направлении на чертеже справа на фиг. 5 на основе позиции точки CP пересечения, определяет позицию на вертикальной оси, т.е. позицию на оси в продольном направлении на чертеже справа на фиг. 5, из подсчитанного числа и определяет позиции на графике в качестве подсчитанного числа в точке CP пересечения.

[0028] Аналогично, модуль 33 обнаружения трехмерных объектов задает линии Lb, Lc, …, в направлении, в котором сплющивается трехмерный объект, подсчитывает число разностных пикселов DP, определяет позицию на горизонтальной оси на основе позиции каждой точки CP пересечения, определяет позицию на вертикальной оси из подсчитанного числа (числа разностных пикселов DP) и определяет позиции на графике. Модуль 33 обнаружения трехмерных объектов повторяет вышеуказанное в последовательности, чтобы генерировать частотное распределение и за счет этого формировать форму DWt разностного сигнала, как проиллюстрировано на чертеже справа на фиг. 5.

[0029] Линии La и Lb в направлении, в котором сплющивается трехмерный объект, имеют различные расстояния, которые перекрывают область А1 обнаружения, как проиллюстрировано на чертеже слева на фиг. 5. Следовательно, число разностных пикселов DP больше на линии La, чем на линии Lb, когда предполагается, что область А1 обнаружения заполнена разностными пикселами DP. По этой причине, модуль 33 обнаружения трехмерных объектов выполняет нормализацию на основе расстояния, на котором перекрываются линии La и Lb в направлении, в котором сплющивается трехмерный объект, и область А1 обнаружения, когда позиция на вертикальной оси определяется из подсчитанного числа разностных пикселов DP. В конкретном примере, предусмотрено шесть разностных пикселов DP на линии La, и предусмотрено пять разностных пикселов DP на линии Lb на чертеже слева на фиг. 5. Следовательно, когда позиция на вертикальной оси определяется из подсчитанного числа на фиг. 5, модуль 33 обнаружения трехмерных объектов делит подсчитанное число на расстояние перекрытия или выполняет нормализацию другим способом. Значения формы DW_t разностного сигнала, которые соответствуют линиям La и Lb в направлении, в котором сплющивается трехмерный объект, в силу этого становятся практически идентичными.

[0030] После того, как сгенерирована форма DWt разностного сигнала, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние посредством сравнения с формой DWt-1 разностного сигнала за один момент времени до этого. Другими словами, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из изменения во времени форм DWt и DWt-1 разностных сигналов.

[0031] Более конкретно, модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество небольших областей DWt1-DWtn (где n является произвольным целым числом в 2 или более), как проиллюстрировано на фиг. 6. Фиг. 6 является видом, иллюстрирующим небольшие области DWt1-DWtn, разделенные посредством модуля 33 обнаружения трехмерных объектов. Небольшие области DWt1-DWtn разделяются с возможностью взаимно перекрываться, как проиллюстрировано, например, на фиг. 6. Например, небольшая область DWt1 и небольшая область DWt2 перекрывают друг друга, и небольшая область DWt2 и небольшая область DWt3 перекрывают друг друга.

[0032] Затем, модуль 33 обнаружения трехмерных объектов оценивает величину смещения (величину перемещения в направлении по горизонтальной оси (в продольном направлении на фиг. 6) формы разностного сигнала) для каждой из небольших областей DWt1-DWtn. Здесь, величина смещения оценивается из разности (расстояния в направлении по горизонтальной оси) между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени. В этом случае, модуль 33 обнаружения трехмерных объектов перемещает форму DWt-1 разностного сигнала за один момент времени до этого в направлении по горизонтальной оси для каждой из небольших областей DWt1-DWtn и после этого оценивает позицию (позицию в направлении по горизонтальной оси), в которой ошибка относительно формы DWt разностного сигнала в данный момент времени является минимальной, и оценивает в качестве величины смещения величину перемещения в направлении по горизонтальной оси между исходной позицией формы DWt-1 разностного сигнала и позицией, в которой ошибка является минимальной. Модуль 33 обнаружения трехмерных объектов затем подсчитывает величину смещения, оцененную для каждой из небольших областей DWt1-DWtn, и формирует гистограмму.

[0033] Фиг. 7 является видом, иллюстрирующим пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 7, в величине смещения возникает некоторая величина переменности, которая представляет собой величину перемещения, в которой ошибка между небольшими областями DWt1-DWtn и формой DWt-1 разностного сигнала за один момент времени до этого является минимальной. Следовательно, модуль 33 обнаружения трехмерных объектов формирует величины смещения, включающие в себя переменность, на гистограмме и вычисляет проезжаемое расстояние из гистограммы. В этот момент, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта из максимального значения на гистограмме. Другими словами, в примере, проиллюстрированном на фиг. 7, модуль 33 обнаружения трехмерных объектов вычисляет величину смещения, указывающую максимальное значение гистограммы, в качестве проезжаемого расстояния τ*. Проезжаемое расстояние τ* представляет собой относительное проезжаемое расстояние другого транспортного средства VX относительно рассматриваемого транспортного средства V. Следовательно, модуль 33 обнаружения трехмерных объектов вычисляет абсолютное проезжаемое расстояние на основе проезжаемого расстояния τ*, полученного таким способом, и сигнала из датчика 20 скорости, когда должно вычисляться абсолютное проезжаемое расстояние.

[0034] Когда гистограмма должна формироваться, модуль 33 обнаружения трехмерных объектов может применять взвешивание ко множеству небольших областей DWt1-DWtn и подсчитывать величины смещения, оцениваемые для каждой из небольших областей DWt1-DWtn в, соответствии со взвешиванием, чтобы формировать гистограмму. Фиг. 8 является видом, иллюстрирующим взвешивание, выполняемое посредством модуля 33 обнаружения трехмерных объектов.

[0035] Как проиллюстрировано на фиг. 8, небольшая область DWm (где m является целым числом в 1 или более и n-1 или меньше) является плоской. Другими словами, в небольшой области DWm, имеется несущественная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа небольшой области DWm. Это обусловлено тем, что в плоской небольшой области DWm отсутствует характерность, и имеется высокая вероятность того, что ошибка должна быть усилена, когда вычисляется величина смещения.

[0036] С другой стороны, небольшая область DWm+k (где k является целым числом в n-m или меньше) имеет значительную волнистость. Другими словами, в небольшой области DWm, имеется существенная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа небольшой области DWm. Это обусловлено тем, что небольшая область DWm+k с существенной волнистостью является характерной, и имеется высокая вероятность того, что величина смещения вычисляется точно. Такое взвешивание позволяет повышать точность вычисления проезжаемого расстояния.

[0037] Форма DWt разностного сигнала разделяется на множество небольших областей DWlt1-DWtn в настоящем варианте осуществления, чтобы повышать точность для вычисления проезжаемого расстояния, но разделение на небольшие области DWt1-DWtn не требуется, когда точность для вычисления проезжаемого расстояния не настолько требуется. В этом случае, модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из величины смещения формы DWt разностного сигнала, когда ошибка между формой DWt разностного сигнала и формой DWt-1 разностного сигнала является минимальной. Другими словами, способ для оценки величины смещения между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени не ограничивается подробностями, описанными выше.

[0038] Возвращаясь к фиг. 3, компьютер 30 содержит модуль 40 обнаружения размытостей. Модуль 40 обнаружения размытостей генерирует размытость из данных захваченного изображения, полученного посредством захвата, выполняемого посредством камеры 10. Поскольку размытость представляет собой явление белых полос, сформированное посредством CCD-датчика изображений и т.п., модуль 40 обнаружения размытостей может опускаться при использовании камеры 10 с использованием CMOS-датчика изображений и т.п., который не формирует такую размытость.

[0039] Фиг. 9 является видом, иллюстрирующим обработку, выполняемую посредством модуля 40 обнаружения размытостей, и обработку вычисления формы DWt разностного сигнала на ее основе. Во-первых, данные захваченного изображения Р, имеющего размытость S, вводятся в модуль 40 обнаружения размытостей. В это время, модуль 40 обнаружения размытостей обнаруживает размытость S из захваченного изображения Р. Предусмотрено множество способов для обнаружения размытости S, но, например, в случае стандартной камеры на основе CCD (прибора с зарядовой связью), размытость S формируется только в направлении вниз из источника света. Следовательно, в настоящем варианте осуществления поиск выполняется от нижней стороны изображения вверх для области, имеющей значение яркости, превышающее или равное предварительно определенному значению, и продолжается в вертикальном направлении, и она идентифицируется в качестве области возникновения размытости S.

[0040] Модуль 40 обнаружения размытостей генерирует данные изображения SP с размытостью, задавая пиксельное значение равным 1 для местоположения возникновения размытости S и равным 0 для других местоположений. После генерирования, модуль 40 обнаружения размытостей отправляет данные изображения SP с размытостью в модуль 31 преобразования точки обзора. Модуль 31 преобразования точки обзора, имеющий введенные данные изображения SP с размытостью, преобразует данные в состояние в виде «с высоты птичьего полета». Модуль 31 преобразования точки обзора за счет этого генерирует данные изображения SBt вида «с высоты птичьего полета» с размытостью. Модуль 31 преобразования точки обзора отправляет данные изображения SBt вида «с высоты птичьего полета» с размытостью в модуль 33 совмещения. Модуль 31 преобразования точки обзора также отправляет данные изображения SBt-1 вида «с высоты птичьего полета» с размытостью за один момент времени до этого в модуль 33 совмещения.

[0041] Модуль 32 совмещения совмещает изображения SBt, SBt-1 вида «с высоты птичьего полета» с размытостью для данных. Конкретное совмещение является идентичным при совмещении изображений PBt и PBt-1 вида «с высоты птичьего полета» для данных. После совмещения модуль 32 совмещения логически суммирует области возникновения каждой из размытостей S в изображениях SBt и SBt-1 вида «с высоты птичьего полета» с размытостью. Модуль 32 совмещения за счет этого генерирует данные изображения MP с маской. После генерирования, модуль 32 совмещения отправляет данные изображения MP с маской в модуль 33 обнаружения трехмерных объектов.

[0042] Модуль 33 обнаружения трехмерных объектов задает подсчитанное число частотного распределения равным нулю для местоположения, которое соответствует области возникновения размытости S в изображении MP с маской. Другими словами, когда генерируется форма DWt разностного сигнала, как проиллюстрировано на фиг. 9, модуль 33 обнаружения трехмерных объектов задает подсчитанное число SC согласно размытости S равным нулю и генерирует скорректированную форму DWt' разностного сигнала.

[0043] Модуль 33 обнаружения трехмерных объектов в настоящем варианте осуществления оценивает скорость движения рассматриваемого транспортного средства V (камера 10) и оценивает величину смещения для стационарного объекта из оцененной скорости движения. После того, как оценена величина смещения стационарного объекта, модуль 33 обнаружения трехмерных объектов игнорирует величину смещения, которая соответствует стационарному объекту в максимальном значении гистограммы, и вычисляет проезжаемое расстояние трехмерного объекта.

[0044] Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством модуля 33 обнаружения трехмерных объектов. Когда стационарный объект, отличный от другого транспортного средства VX, присутствует в пределах угла обзора камеры 10, два максимальных значения τ1 и τ2 появляются на результирующей гистограмме. В этом случае, одно из двух максимальных значений τ1 и τ2 является величиной смещения стационарного объекта. Следовательно, модуль 33 обнаружения трехмерных объектов оценивает величину смещения для стационарного объекта из скорости движения, игнорирует максимальное значение, которое соответствует величине смещения, и вычисляет проезжаемое расстояние трехмерного объекта с использованием оставшегося максимального значения.

[0045] Даже когда величина смещения, соответствующая стационарному объекту, игнорируется, может быть множество других транспортных средств VX, присутствующих в пределах угла обзора камеры 10, когда имеется множество максимальных значений. Тем не менее, множество других транспортных средств VX, присутствующих в областях А1 и А2 обнаружения, возникают очень редко. Следовательно, модуль 33 обнаружения трехмерных объектов прекращает вычисление проезжаемого расстояния.

[0046] Далее описывается процедура для обнаружения трехмерного объекта с использованием информации форм разностных сигналов. Фиг. 11 и 12 являются блок-схемами последовательности операций способа, иллюстрирующими процедуру обнаружения трехмерных объектов настоящего варианта осуществления. Как проиллюстрировано на фиг. 11, во-первых, данные захваченного изображения Р, полученного посредством камеры 10, вводятся в компьютер 30, и изображение SP с размытостью генерируется посредством модуля 40 обнаружения размытостей (S1). Затем, модуль 31 преобразования точки обзора генерирует данные изображения PBt вида «с высоты птичьего полета» из данных захваченного изображения Р из камеры 10 и генерирует данные изображения SBt вида «с высоты птичьего полета» с размытостью из данных изображения SP с размытостью (S2).

[0047] Модуль 33 совмещения затем совмещает данные изображения PBt вида «с высоты птичьего полета» с данными изображения PBt-1 вида «с высоты птичьего полета» за один момент времени до этого и совмещает данные изображения SBt вида «с высоты птичьего полета» с размытостью и данные изображения SBt-1 вида «с высоты птичьего полета» с размытостью за один момент времени до этого (S3). После этого совмещения, модуль 33 совмещения генерирует данные разностного изображения PDt и генерирует данные изображения MP с маской (S4). Модуль 33 обнаружения трехмерных объектов затем генерирует форму DWt разностного сигнала из данных разностного изображения PDt и данных разностного изображения PDt-1 за один момент времени до этого (S5). После генерирования формы DWt разностного сигнала модуль 33 обнаружения трехмерных объектов задает подсчитанное число, соответствующее области возникновения размытости S, равным нулю в форме DWt разностного сигнала и подавляет влияние размытости S (S6).

[0048] Модуль 33 обнаружения трехмерных объектов затем оценивает то, имеет или нет пик в форме DWt разностного сигнала первое пороговое значение α или более (S7). Это первое пороговое значение α может задаваться заранее и может быть изменено в соответствии с командой управления из контроллера 39, проиллюстрированного на фиг. 3, но подробности должны описываться ниже. Здесь, когда пик формы DWt разностного сигнала не имеет первое пороговое значение α или более, т.е. когда по существу нет разности, считается, что трехмерный объект не присутствует в захваченном изображении Р. Следовательно, когда оценено то, что пик формы DWt разностного сигнала не имеет первое пороговое значение а или более (S7: "Нет"), модуль 33 обнаружения трехмерных объектов оценивает то, что другое транспортное средство не присутствует в качестве помехи, не присутствует (фиг. 12: S16). Обработка, проиллюстрированная на фиг. 11 и 12, завершается.

[0049] С другой стороны, когда оценивается то, что пик формы DWt разностного сигнала имеет пороговое значение а или более (S7: "Да"), модуль 33 обнаружения трехмерных объектов оценивает то, что присутствует трехмерный объект, и разделяет форму DWt разностного сигнала на множество небольших областей DWt1-DWtn (S8). Модуль 33 обнаружения трехмерных объектов затем применяет взвешивание к каждой из небольших областей DWt1-DWtn (S9). Модуль 33 обнаружения трехмерных объектов затем вычисляет величину смещения для каждой из небольших областей DWt1-DWtn (S10) и генерирует гистограмму с учетом взвешиваний (S11).

[0050] Модуль 33 обнаружения трехмерных объектов вычисляет относительное проезжаемое расстояние, которое представляет собой проезжаемое расстояние трехмерного объекта относительно рассматриваемого транспортного средства V, на основе гистограммы (S12). Модуль 33 обнаружения трехмерных объектов после этого вычисляет абсолютную скорость движения трехмерного объекта из относительного проезжаемого расстояния (S13). В это время, модуль 33 обнаружения трехмерных объектов дифференцирует во времени относительное проезжаемое расстояние, чтобы вычислять относительную скорость движения, и суммирует скорость транспортного средства, обнаруженную посредством датчика 20 скорости для того, чтобы вычислять абсолютную скорость движения.

[0051] Затем модуль 33 обнаружения трехмерных объектов оценивает то, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и то, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V+60 км/ч или менее (S14). Когда оба условия удовлетворяются (S14: "Да"), модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект представляет собой другое транспортное средство VX (S15). Обработка, проиллюстрированная на фиг. 11 и 12, завершается. С другой стороны, когда любое из условий не удовлетворяется (S14: "Нет"), модуль 33 обнаружения трехмерных объектов оценивает то, что другое транспортное средство не присутствует (S16). Обработка, проиллюстрированная на фиг. 11 и 12, завершается.

[0052] В настоящем варианте осуществления, области А1 и А2 обнаружения являются направлениями с задней стороны относительно рассматриваемого транспортного средства V, и внимание акцентируется на обнаружении другого транспортного средства VX, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство, на которое должно обращаться внимание в ходе движения рассматриваемого транспортного средства V, и в частности, на том, может или нет рассматриваемое транспортное средство V контактировать с другим транспортным средством, если должна быть выполнена смена полосы движения. Следовательно, реализуется процесс этапа S14. Другими словами, при условии, что система в настоящем варианте осуществления активируется на скоростной автомагистрали, когда скорость трехмерного объекта меньше 10 км/ч, редко возникают проблемы, даже если должно присутствовать другое транспортное средство VX, поскольку другое транспортное средство размещается далеко позади рассматриваемого транспортного средства V, когда выполняется смена полосы движения. Аналогично, когда относительная скорость движения трехмерного объекта превышает +60 км/ч относительно рассматриваемого транспортного средства V (т.е. когда трехмерный объект движется со скоростью, на 60 км/ч большей скорости рассматриваемого транспортного средства), это редко представляет собой проблему, поскольку другое транспортное средство размещается перед рассматриваемым транспортным средством, когда выполняется смена полосы движения. Следовательно, этап S14 также может рассматриваться при выполнении оценки другого транспортного средства VX, которое должно становиться проблемой, если оно собирается сменять полосу движения.

[0053] На этапе S14, оценивается то, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и то, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V+60 км/ч или менее, за счет этого получая следующее преимущество. Например, возможный случай заключается в том, что абсолютная скорость движения стационарного объекта обнаруживается равной нескольким км/ч в зависимости от ошибки крепления камеры 10. Соответственно, оценка того, равна или нет скорость 10 км/ч или более, позволяет уменьшать вероятность того, что стационарный объект оценивается в качестве другого транспортного средства VX. Кроме того, возможно то, что относительная скорость трехмерного объекта относительно рассматриваемого транспортного средства V обнаруживается как превышающая +60 км/ч вследствие шума. Соответственно, оценка того, равна или нет относительная скорость+60 км/ч или менее, позволяет уменьшать вероятность ошибочного обнаружения вследствие шума.

[0054] Кроме того, может оцениваться то, что абсолютная скорость движения не является отрицательной или не составляет 0 км/ч, вместо обработки на этапе S14. В настоящем варианте осуществления, поскольку внимание обращается на то, имеется или нет вероятность контакта, когда рассматриваемое транспортное средство V сменяет полосу движения, предупреждающий звук может быть выдаваться водителю рассматриваемого транспортного средства, либо отображение, эквивалентное предупреждению, может отображаться на предварительно определенном устройстве отображения, когда другое транспортное средство VX обнаруживается на этапе S15.

[0055] Таким образом, согласно процедуре для обнаружения трехмерного объекта с использованием информации форм разностных сигналов в настоящем примере, форма DWt разностного сигнала генерируется посредством подсчета числа пикселов, указывающих предварительно определенную разность в данных разностного изображения PDt вдоль направления, в котором сплющивается трехмерный объект, посредством преобразования точки обзора и формирования частотного распределения. Здесь, пикселы, указывающие предварительно определенную разность в данных разностного изображения PDt, представляют собой пикселы, которые изменены в изображении в различные моменты времени, другими словами, местоположения, которые могут истолковываться как места, в которых присутствует трехмерный объект. Следовательно, в местоположениях, в которых присутствует трехмерный объект, число пикселов подсчитывается вдоль направления, в котором сплющивается трехмерный объект, чтобы формировать частотное распределение и за счет этого генерировать форму DW_t разностного сигнала. В частности, поскольку число пикселов подсчитывается вдоль направления, в котором сплющивается трехмерный объект, форма DW_t разностного сигнала генерируется из информации касательно направления высоты относительно трехмерного объекта. Проезжаемое расстояние трехмерного объекта вычисляется из изменения во времени формы DWt разностного сигнала, которая включает в себя информацию направления высоты. Следовательно, в отличие от акцентирования внимания исключительно на перемещении одной точки, местоположение обнаружения до изменения во времени и местоположение обнаружения после изменения во времени указываются с помощью включенной информации направления высоты и, соответственно, легко в итоге оказываются идентичным местоположением; проезжаемое расстояние вычисляется из изменения во времени в идентичном местоположении; и может повышаться точность вычисления проезжаемого расстояния.

[0056] Подсчитанное число частотного распределения задается равным нулю для местоположения, которое соответствует области возникновения размытости S в форме DWt разностного сигнала. В силу этого исключается участок формы сигнала, сформированный посредством размытости S в форме DWt разностного сигнала, и может предотвращаться ошибочное распознавание размытости S в качестве трехмерного объекта.

[0057] Проезжаемое расстояние трехмерного объекта вычисляется из величины смещения формы DWt разностного сигнала, когда ошибка в форме DWt разностного сигнала, сгенерированной в различные моменты времени, является минимальной. Разность движения в силу этого вычисляется из величины смещения одномерной информации, т.е. могут сдерживаться форма сигнала и затраты на вычисление для вычисления проезжаемого расстояния.

[0058] Формы DWt разностных сигналов, сгенерированные в различные моменты времени, разделяются на множество небольших областей DWt1-DWtn. Разделение на множество небольших областей DWt1-DWtn таким способом приводит ко множеству форм сигналов, выражающих соответствующие местоположения трехмерного объекта. Проезжаемое расстояние трехмерного объекта вычисляется посредством оценки величины смещения, когда ошибка в соответствующих формах сигналов является минимальной для каждой из небольших областей DWt1-DWtn, подсчета величин смещения, оцениваемых для каждой из небольших областей DWt1-DWtn, и формирования гистограмму. Следовательно, величина смещения вычисляется для каждого местоположения трехмерного объекта, проезжаемое расстояние оценивается из множества величин смещения, и может повышаться точность вычисления проезжаемого расстояния.

[0059] Взвешивание применяется к каждой из множества небольших областей DWt1-DWtn и величины смещения, оцениваемой для каждой из небольших областей DWt1-DWtn, подсчитывается в соответствии со взвешиванием, чтобы формировать гистограмму. Следовательно, проезжаемое расстояние должно оцениваться более корректно на один уровень посредством увеличения взвешивания для характерных областей и снижения весового коэффициента для нехарактерных областей. Соответственно, может повышаться точность вычисления проезжаемого расстояния еще на один уровень.

[0060] Для каждой небольшой области DWt1-DWtn в форме DWt разностного сигнала взвешивание увеличивается по мере того, как становится больше разность между максимальным значением и минимальным значением счетчика числа пикселов, указывающих предварительно определенную разность. Следовательно, взвешивание увеличивается по мере того, как область характерной волнистости имеет большую разность между максимальным значением и минимальным значением, и взвешивание снижается для плоских областей, имеющих незначительную волнистость. Здесь, поскольку величину смещения проще вычислять с точки зрения формы для области, имеющей большую волнистость, чем плоская область, точность вычисления проезжаемого расстояния должна повышаться еще на один уровень посредством увеличения взвешивания по мере того, как область имеет большую разность между максимальным значением и минимальным значением.

[0061] Проезжаемое расстояние трехмерного объекта также вычисляется из максимального значения гистограммы, полученной посредством подсчета величин смещения, оцененных для каждой из небольших областей DWt1-DWtn. Следовательно, проезжаемое расстояние может быть вычислено с большей точностью из максимального значения, даже когда существует переменность в величине смещения.

[0062] Поскольку величина смещения для стационарного объекта оценивается, и эта величина смещения игнорируется, может предотвращаться ситуация, в которой снижается точность вычисления проезжаемого расстояния трехмерного объекта вследствие стационарного объекта. Кроме того, при игнорировании величины смещения, которая соответствует стационарному объекту, прекращается вычисление проезжаемого расстояния трехмерного объекта, когда имеется множество максимальных значений. Следовательно, может предотвращаться ситуация, в которой вычисляется ошибочное проезжаемое расстояние, к примеру, когда имеется множество максимальных значений.

[0063] В вышеприведенном варианте осуществления, скорость рассматриваемого транспортного средства V оценивается на основе сигналов из датчика 20 скорости, но ограничения на это не налагаются, и скорость может быть оценена из изображений множества различных моментов времени. В этом случае, датчик скорости становится необязательным, и может упрощаться конфигурация.

[0064] В вышеприведенном варианте осуществления, захваченное изображение в данный момент времени и изображение за один момент времени до этого преобразуются в виды «с высоты птичьего полета», разностное изображение PDt генерируется после совмещения преобразованных видов «с высоты птичьего полета», и сгенерированное разностное изображение PDt оценивается вдоль направления сплющивания (направления, в котором сплющивается трехмерный объект, когда захваченное изображение преобразуется в вид «с высоты птичьего полета»), с тем чтобы генерировать форму DWt разностного сигнала, но ограничения на это не налагаются. Например, форма DWt разностного сигнала может быть сгенерирована посредством преобразования только изображения за один момент времени до этого в вид «с высоты птичьего полета», преобразования в эквивалент изображения, захваченного снова после совмещения преобразованного вида «с высоты птичьего полета», генерирования разностного изображения между этим изображением и изображением в данный момент времени и оценки сгенерированного разностного изображения вдоль направления, эквивалентного направлению сплющивания (т.е. направления, преобразующего направление сплющивания в направление для захваченного изображения). Другими словами, не обязательно, чтобы виды «с высоты птичьего полета» генерировались четко при условии, что изображение в данный момент времени и изображение за один момент времени до этого совмещаются, разностное изображение PDt генерируется из разности между двумя совмещенными изображениями, и разностное изображение PDt оценивается вдоль направления, в котором сплющивается трехмерный объект при преобразовании в вид «с высоты птичьего полета».

[0065] ОБНАРУЖЕНИЕ ТРЕХМЕРНОГО ОБЪЕКТА ПОСРЕДСТВОМ ИНФОРМАЦИИ КРАЕВ

Далее описывается блок В обнаружения трехмерных объектов, который может активироваться вместо блока А обнаружения трехмерных объектов, проиллюстрированного на фиг. 3. Блок В обнаружения трехмерных объектов конфигурируется с модулем 35 вычисления яркостного различия, модулем 36 обнаружения линий краев и модулем 37 обнаружения трехмерных объектов и обнаруживает трехмерный объект с использованием информации краев. Фиг. 13 является видом, иллюстрирующим диапазон изображений камеры 10 на фиг. 3, фиг. 13(a) является видом сверху, а фиг. 13(b) является видом в перспективе в реальном пространстве позади рассматриваемого транспортного средства V. Камера 10 задается под предварительно определенным углом обзора, и задняя сторона рассматриваемого транспортного средства V, включенная в предварительно определенный угол а обзора, захватывается, как проиллюстрировано на фиг. 13(a). Угол а обзора камеры 10 задается таким образом, что смежные полосы движения включаются в захватываемый диапазон камеры 10 в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V, способом, идентичным способу, проиллюстрированному на фиг. 2.

[0066] Области А1 и А2 обнаружения в настоящем примере являются трапецеидальными при виде сверху (в состоянии вида «с высоты птичьего полета»), и позиция, размер и форма областей А1, А2 обнаружения определяются на основе расстояний d1-d4. Области А1 и А2 обнаружения примера, проиллюстрированного на чертеже, не ограничены трапецеидальной формой и также могут иметь прямоугольную или другую форму в состоянии вида «с высоты птичьего полета», как проиллюстрировано на фиг. 2.

[0067] Здесь, расстояние d1 является расстоянием от рассматриваемого транспортного средства V до линий L1 и L2 пересечения с землей. Линии L1 и L2 пересечения с землей означают линию, в которой трехмерный объект, который присутствует в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, контактирует с землей. В настоящем варианте осуществления, цель заключается в том, чтобы обнаруживать другое транспортное средство VX и т.п. (включающее в себя двухколесные транспортные средства и т.п.), движущееся в левой или правой полосе движения позади рассматриваемого транспортного средства V и смежной с полосой движения рассматриваемого транспортного средства V. Следовательно, расстояние d1, которое является позицией линий L1 и L2 пересечения с землей другого транспортного средства VX, может быть определено таким образом, чтобы оно является практически фиксированным относительно расстояния d11 от рассматриваемого транспортного средства V до белой линии W дорожной разметки и расстояния d12 от белой линии W дорожной разметки до позиции, в которую, как прогнозируется, должно приехать другое транспортное средство VX.

[0068] Расстояние d1 не ограничивается фиксированным заданием и может быть переменным. В этом случае, компьютер 30 распознает позицию белой линии W дорожной разметки относительно рассматриваемого транспортного средства V с использованием распознавания белых линий дорожной разметки или другой технологии, и расстояние d11 определяется на основе позиции распознанной белой линии W дорожной разметки. Расстояние d1 за счет этого переменно задается с использованием определенного расстояния d11. В настоящем варианте осуществления, описанном ниже, главным образом прогнозируемы позиция, в которой движется другое транспортное средство VX (расстояние d12 от белой линии W дорожной разметки), и позиция, в которой движется рассматриваемое транспортное средство V (расстояние d11 от белой линии W дорожной разметки), и расстояние d1 фиксированно определяется.

[0069] Расстояние d2 является расстоянием, идущим от задней концевой части рассматриваемого транспортного средства V в направлении движения транспортного средства. Расстояние d2 определяется таким образом, что области А1 и А2 обнаружения размещаются, по меньшей мере, в пределах угла а обзора камеры 10. В настоящем варианте осуществления, в частности, расстояние d2 задается в контакте с диапазоном, секционированным в пределах угла а обзора. Расстояние d3 указывает длину областей А1 и А2 обнаружения в направлении продвижения транспортного средства. Расстояние d3 определяется на основе размера трехмерного объекта, который должен быть обнаружен. В настоящем варианте осуществления, объект, который должен быть обнаружен, представляет собой другое транспортное средство VX и т.п., и следовательно, расстояние d3 задается равным длине, которая включает в себя другое транспортное средство VX.

[0070] Расстояние d4 указывает высоту, которая задана таким образом, что шины другого транспортного средства VX и т.п. включаются в реальное пространство, как проиллюстрировано на фиг. 13(b). В изображении вида «с высоты птичьего полета» расстояние d4 является длиной, проиллюстрированной на фиг. 13(a). Расстояние d4 также может быть длиной, которая не включает в себя полосы движения, дополнительно смежные с левой и правой смежными полосами движения в изображении вида «с высоты птичьего полета» (т.е. смежные через одну полосы движения на расстоянии через одну полосу движения). Это обусловлено тем, что когда включаются полосы движения на расстоянии через одну полосу движения от полосы движения рассматриваемого транспортного средства V, более невозможно отличить то, присутствует или нет другое транспортное средство VX в смежных полосах движения слева и справа от полосы движения, в которой движется рассматриваемое транспортное средство V, либо то, присутствует или нет другое транспортное средство VX в смежной полосе движения на расстоянии через одну полосу движения.

[0071] Как описано выше, определяются расстояния d1-d4, и за счет этого определяются позиция, размер и форма областей А1 и А2 обнаружения. Более конкретно, позиция верхней стороны b1 областей А1 и А2 обнаружения, которые формируют трапецию, определяется посредством расстояния d1. Начальная позиция С1 верхней стороны b1 определяется посредством расстояния d2. Конечная позиция С2 верхней стороны b1 определяется посредством расстояния d3. Поперечная сторона b2 областей А1 и А2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L3, идущей от камеры 10 к начальной позиции С1. Аналогично, поперечная сторона b3 областей А1 и А2 обнаружения, которые формируют трапецию, определяется посредством прямой линии L4, идущей от камеры 10 к конечной позиции С2. Позиция нижней стороны b4 областей А1 и А2 обнаружения, которые формируют трапецию, определяется посредством расстояния d4. Таким образом, области, окруженные посредством сторон b1-b4, представляют собой области А1 и А2 обнаружения. Области А1 и А2 обнаружения являются правильными квадратами (прямоугольниками) в реальном пространстве позади рассматриваемого транспортного средства V, как проиллюстрировано на фиг. 13(b).

[0072] Возвращаясь к фиг. 3, модуль 31 преобразования точки обзора принимает ввод захваченных данных изображений предварительно определенной области, захваченных посредством камеры 10. Модуль 31 преобразования точки обзора преобразует точку обзора введенных захваченных данных изображений в данные изображений вида «с высоты птичьего полета», которые представляют собой состояние вида «с высоты птичьего полета». Состояние вида «с высоты птичьего полета» является состоянием просмотра с точки зрения воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз (или немного наклонена вниз). Преобразование точки обзора может быть выполнено с использованием технологии, описанной, например, в выложенной японской заявке на патент №2008-219063.

[0073] Модуль 35 вычисления яркостного различия вычисляет яркостные различия в данных изображений вида «с высоты птичьего полета», которые подвергнуты преобразованию точки обзора посредством модуля 31 преобразования точки обзора, чтобы обнаруживать края трехмерного объекта, включенного в изображение вида «с высоты птичьего полета». Модуль 35 вычисления яркостного различия вычисляет, для каждой из множества позиций вдоль перпендикулярной воображаемой линии, идущей вдоль перпендикулярного направления в реальном пространстве, яркостное различие между двумя пикселами около каждой позиции. Модуль 35 вычисления яркостного различия допускает вычисление яркостного различия посредством способа для задания одной перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве, или способа для задания двух перпендикулярных воображаемых линий.

[0074] Ниже описывается конкретный способ для задания двух перпендикулярных воображаемых линий. Модуль 35 вычисления яркостного различия задает первую перпендикулярную воображаемую линию, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и вторую перпендикулярную воображаемую линию, которая отличается от первой перпендикулярной воображаемой линии, и которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве. Модуль 35 вычисления яркостного различия оценивает яркостное различие между точкой на первой перпендикулярной воображаемой линии и точкой на второй перпендикулярной воображаемой линии непрерывно вдоль первой перпендикулярной воображаемой линии и второй перпендикулярной воображаемой линии. Ниже подробно описывается работа модуля 35 вычисления яркостного различия.

[0075] Модуль 35 вычисления яркостного различия задает первую перпендикулярную воображаемую линию La (ниже называемую "линией La концентрации внимания"), которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и которая проходит через область А1 обнаружения, как проиллюстрировано на фиг. 14(a). Модуль 35 вычисления яркостного различия задает вторую перпендикулярную воображаемую линию Lr (ниже называемую "опорной линией Lr"), которая отличается от линии La концентрации внимания, соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и проходит через область А1 обнаружения. Здесь, опорная линия Lr задается равной позиции на расстоянии от линии La концентрации внимания на предварительно определенное расстояние в реальном пространстве. Линии, которые соответствуют сегментам линии, идущим в перпендикулярном направлении в реальном пространстве, являются линиями, которые расходятся в радиальном направлении от позиции Ps камеры 10 в изображении вида «с высоты птичьего полета». Эти линии, расходящиеся в радиальном направлении, представляют собой линии, которые следуют направлению, в котором сплющивается трехмерный объект при преобразовании в вид «с высоты птичьего полета».

[0076] Модуль 35 вычисления яркостного различия задает точку Ра концентрации внимания на линии La концентрации внимания (точку на первой перпендикулярной воображаемой линии). Модуль 35 вычисления яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй перпендикулярной воображаемой линии). Линия La концентрации внимания, точка Ра концентрации внимания, опорная линия Lr и опорная точка Pr имеют взаимосвязь в реальном пространстве, проиллюстрированную на фиг. 14(b). Из фиг. 14(b) очевидно то, что линия La концентрации внимания и опорная линия Lr являются линиями, идущими в перпендикулярном направлении в реальном пространстве, и что точка Pa концентрации внимания и опорная точка Pr являются точками, заданными с практически идентичной высотой в реальном пространстве. Точка Pa концентрации внимания и опорная точка Pr не обязательно должны строго поддерживаться на идентичной высоте, и разрешается определенная величина ошибки, которая позволяет точке Pa концентрации внимания и опорной точке Pr считаться находящимся на идентичной высоте.

[0077] Модуль 35 вычисления яркостного различия оценивает яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr. Если яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr является большим, возможно то, что край присутствует между точкой Pa концентрации внимания и опорной точкой Pr. Следовательно, модуль 36 обнаружения линий краев, проиллюстрированный на фиг. 3, обнаруживает линию края на основе яркостного различия между точкой Pa концентрации внимания и опорной точкой Pr.

[0078] Этот аспект описывается подробнее. Фиг. 15 является видом, иллюстрирующим подробную работу модуля вычисления яркостного различия 35. Фиг. 15(a) иллюстрирует изображение вида «с высоты птичьего полета» состояния вида «с высоты птичьего полета», а фиг. 15(b) является укрупненным видом участка В1 изображения вида «с высоты птичьего полета», проиллюстрированного на фиг. 15(a). На фиг. 15, проиллюстрирована и описана только область А1 обнаружения, но яркостное различие вычисляется с использованием идентичной процедуры для области А2 обнаружения.

[0079] Когда другое транспортное средство VX отображается в полученном изображении, захваченном посредством камеры 10, другое транспортное средство VX появляется в области А1 обнаружения в изображении вида «с высоты птичьего полета», как проиллюстрировано на фиг. 15(a). Линия La концентрации внимания задается на резиновом участке шины другого транспортного средства VX в изображении вида «с высоты птичьего полета» на фиг. 15(b), как проиллюстрировано в укрупненном виде области В1 на фиг. 15(a). В этом состоянии, сначала модуль 35 вычисления яркостного различия задает опорную линию Lr. Опорная линия Lr задается вдоль перпендикулярного направления в позиции, заданной на предварительно определенном расстоянии в реальном пространстве от линии La концентрации внимания. В частности, в устройстве 1а обнаружения трехмерных объектов согласно настоящему варианту осуществления, опорная линия Lr задается в позиции на расстоянии на расстоянии в 10 см в реальном пространстве от линии La концентрации внимания. Опорная линия Lr за счет этого задается на колесе шины другого транспортного средства VX, заданном, например, на расстоянии, которое соответствует 10 см от резины шины другого транспортного средства VX в изображении вида «с высоты птичьего полета».

[0080] Затем, модуль 35 вычисления яркостного различия задает множество точек Pa1-PaN концентрации внимания на линии La концентрации внимания. На фиг. 15(b), шесть точек Pal-Раб концентрации внимания (ниже называемых "точкой Pai концентрации внимания" при указании произвольной точки) задаются для удобства описания. Произвольное число точек Pa концентрации внимания может задаваться на линии La концентрации внимания. В нижеприведенном описании, N точек Pa концентрации внимания задаются на линии La концентрации внимания.

[0081] Модуль 35 вычисления яркостного различия затем задает опорные точки Prl-PrN таким образом, что они имеют высоту, идентичную высоте точек Pal-PaN концентрации внимания в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие между парами из точки Pa концентрации внимания и опорной точки Pr с идентичной высотой. Модуль 35 вычисления яркостного различия за счет этого вычисляет яркостное различие между двумя пикселами для каждой из множества позиций (1-N) вдоль перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве. Модуль 35 вычисления яркостного различия вычисляет яркостное различие, например, между первой точкой Pal концентрации внимания и первой опорной точкой Prl и вычисляет яркостное различие между второй точкой Pa2 концентрации внимания и второй опорной точкой Pr2. Модуль 35 вычисления яркостного различия за счет этого оценивает яркостное различие непрерывно вдоль линии La концентрации внимания и опорной линии Lr. Другими словами, модуль 35 вычисления яркостного различия последовательно оценивает яркостное различие между третьей-N-ой точками Ра3-PaN концентрации внимания и третьей-N-ой опорными точками Pr3-PrN.

[0082] Модуль 35 вычисления яркостного различия повторяет процесс задания вышеописанной опорной линии Lr, задания точки Pa концентрации внимания, задания опорной точки Pr и вычисления яркостного различия при сдвиге линии La концентрации внимания в области А1 обнаружения. Другими словами, модуль 35 вычисления яркостного различия многократно выполняет вышеописанный процесс при изменении позиций линии La концентрации внимания и опорной линии Lr на идентичное расстояние в реальном пространстве вдоль направления, в котором идет линия L1 пересечения с землей. Модуль 35 вычисления яркостного различия, например, задает линию, которая представляет собой опорную линию Lr в предыдущем процессе, в качестве линии La концентрации внимания, задает опорную линию Lr относительно линии La концентрации внимания и последовательно оценивает яркостное различие.

[0083] Возвращаясь к фиг. 3, модуль 36 обнаружения линий краев обнаруживает линию края из непрерывного яркостного различия, вычисленного посредством модуля 35 вычисления яркостного различия. Например, в случае, проиллюстрированном на фиг. 15(b), первая точка Pa1 концентрации внимания и первая опорная точка Pr1 размещаются в идентичном участке шины, и следовательно, яркостное различие является небольшим. С другой стороны, вторая-шестая точки Pa2-Pa6 концентрации внимания размещаются в резиновых участках шины, и вторая-шестая опорные точки Pr2-Pr6 размещаются в участке колеса шины. Соответственно, яркостное различие между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6 является большим. Следовательно, модуль 36 обнаружения линий краев допускает обнаружение того, что линия края присутствует между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, где яркостное различие является высоким.

[0084] В частности, когда линия края должна быть обнаружена, модуль 36 обнаружения линий краев сначала назначает атрибут i-ой точке Pai концентрации внимания из яркостного различия между i-ой точкой Pai концентрации внимания (координаты (xi, yi)) и i-ой опорной точкой Pri (координаты (xi', yi')) в соответствии с формулой 1, приведенной ниже.

Формула 1

когда I(xi, yi)>I(xi', yi')+t

s(xi, yi)=1

когда I(xi, yi)<I(xi', yi')-t

s(xi, yi)=-1

в противном случае

s(xi, yi)=0

[0085] В вышеприведенной формуле 1, t представляет пороговое значение, I(xi, yi) представляет значение яркости i-ой точки Pai концентрации внимания, и I(xi', yi') представляет значение яркости i-ой опорной точки Pri. В соответствии с формулой 1, атрибут s(xi, yi) точки Pai концентрации внимания равен 1, когда значение яркости точки Pai концентрации внимания превышает значение яркости, полученное посредством прибавления порогового значения t к опорной точке Pri. С другой стороны, атрибут s(xi, yi) точки Pai концентрации внимания равен -1, когда значение яркости точки Pai концентрации внимания меньше значения яркости, полученного посредством вычитания порогового значения t из опорной точки Pri. Атрибут s(xi, yi) точки Pai концентрации внимания равен 0, когда значение яркости точки Pai концентрации внимания и значение яркости опорной точки Pri находятся во взаимосвязи, отличной от вышеизложенной взаимосвязи. Это первое пороговое значение может задаваться заранее и может быть изменено в соответствии с командой управления, выданной посредством контроллера 39, проиллюстрированного на фиг. 3, но подробности должны описываться ниже.

[0086] Затем, модуль 36 обнаружения линий краев оценивает то, является или нет линия La концентрации внимания линией края, из неразрывности c(xi, yi) атрибута s вдоль линии La концентрации внимания на основе следующей формулы 2.

Формула 2

когда s(xi, yi)=s(xi+1, yi+1) (за исключением 0=0)

c(xi, yi)=1

в противном случае

c(xi, yi)=0

[0087] Неразрывность c(xi, yi) равна 1, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания являются идентичными. Неразрывность c(xi, yi) равна 0, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания не являются идентичными.

[0088] Затем, модуль 36 обнаружения линий краев оценивает сумму неразрывностей с всех точек Pa концентрации внимания на линии La концентрации внимания. Модуль 36 обнаружения линий краев делит сумму неразрывностей с, оцененных таким способом, на число N точек Pa концентрации внимания, чтобы за счет этого нормализовать неразрывность с. Модуль 36 обнаружения линий краев оценивает линию La концентрации внимания в качестве линии края, когда нормализованное значение превышает пороговое значение θ. Пороговое значение θ задается заранее посредством экспериментирования или другого средства. Пороговое значение θ может задаваться заранее.

[0089] Другими словами, модуль 36 обнаружения линий краев оценивает то, является или нет линия La концентрации внимания линией края, на основе формулы 3, приведенной ниже. Модуль 36 обнаружения линий краев затем оценивает то, являются нет все линии La концентрации внимания, нарисованные в области А1 обнаружения, линиями краев.

Формула 3

Σ с(xi, yi)/N>θ

[0090] Возвращаясь к фиг. 3, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Как описано выше, устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает линию края, идущую в перпендикулярном направлении в реальном пространстве. Обнаружение множества линий краев, идущих в перпендикулярном направлении, указывает, что имеется высокая вероятность того, что трехмерный объект присутствует в областях А1 и А2 обнаружения. Следовательно, модуль 37 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, обнаруженных посредством модуля 36 обнаружения линий краев. Кроме того, до обнаружения трехмерного объекта, модуль 37 обнаружения трехмерных объектов оценивает то, являются или нет линии краев, обнаруженные посредством модуля 36 обнаружения линий краев, корректными. Модуль 37 обнаружения трехмерных объектов оценивает то, превышает или нет изменение яркости линий краев предварительно определенное пороговое значение, вдоль линий краев изображения вида «с высоты птичьего полета». Когда изменение яркости на линиях краев в изображении вида «с высоты птичьего полета» равно предварительно определенному пороговому значению, оценивается то, что линии краев обнаружены посредством ошибочной оценки. С другой стороны, когда изменение яркости на линиях краев в изображении вида «с высоты птичьего полета» не превышает предварительно определенное пороговое значение, оценивается то, что линии краев являются корректными. Пороговое значение задается заранее посредством экспериментирования или другого средства.

[0091] Фиг. 16 является видом, иллюстрирующим распределение яркости на линии края; фиг. 16(a) иллюстрирует линию края и распределение яркости, когда другое транспортное средство VX в качестве трехмерного объекта присутствует в области А1 обнаружения, а фиг. 16(b) иллюстрирует линию края и распределение яркости, когда трехмерный объект не присутствует в области А1 обнаружения.

[0092] Как проиллюстрировано на фиг. 16(a), предполагается, что оценено то, что линия La концентрации внимания, заданная на резиновом участке шины другого транспортного средства VX, находится на линии края в изображении вида «с высоты птичьего полета». В этом случае, изменение яркости на линии La концентрации внимания в изображении вида «с высоты птичьего полета» является постепенным. Это обусловлено преобразованием изображения, захваченного посредством камеры 10, в точке обзора, в изображение вида «с высоты птичьего полета», в силу чего шина другого транспортного средства VX укрупнена в изображении вида «с высоты птичьего полета». С другой стороны, предполагается, что линия La концентрации внимания, заданная в участке знаков белого цвета "50", нарисованном на поверхности дороги, в изображении вида «с высоты птичьего полета» ошибочно оценивается как линия края, как проиллюстрировано на фиг. 16(b). В этом случае, изменение яркости на линии La концентрации внимания в изображении вида «с высоты птичьего полета» имеет значительную волнистость. Это обусловлено тем, что поверхность дороги и другие участки с низкой яркостью смешиваются с участками с высокой яркостью в знаках белого цвета на линии края.

[0093] Модуль 37 оценки трехмерных объектов оценивает то, обнаружена или нет линия края посредством ошибочной оценки, на основе разностей в распределении яркости на линии La концентрации внимания, как описано выше. Модуль 37 обнаружения трехмерных объектов оценивает то, что линия края обнаружена посредством ошибочной оценки, когда изменение яркости вдоль линии края превышает предварительно определенное пороговое значение. Линия края не используется для обнаружения трехмерного объекта. Снижение точности обнаружения трехмерного объекта за счет этого подавляется, когда знаки белого цвета, такие как "50" на поверхности дороги, придорожная растительность и т.п., оцениваются в качестве линий краев.

[0094] В частности, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линии края с использованием нижеприведенной формулы 4 или 5. Изменение яркости линии края соответствует значению оценки в реальном пространстве в перпендикулярном направлении. Формула 4 оценивает распределение яркости с использованием совокупного значения квадрата разности между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания. Формула 5 оценивает распределение яркости с использованием совокупного значения абсолютного значения разности между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания.

Формула 4

Значение оценки в перпендикулярном эквивалентном направлении = Σ[{I(xi, yi)-I(xi+1, yi+1)}2]

Формула 5

Значение оценки в перпендикулярном эквивалентном направлении = Σ|I(xi, yi)-I(xi+1, yi+1)|

[0095] При использовании формулы 5 ограничения не налагаются, и также можно преобразовывать в двоичную форму атрибут b смежного значения яркости с использованием порогового значения t2 и затем суммировать преобразованный в двоичную форму атрибут b для всех точек Pa концентрации внимания, аналогично формуле 6, приведенной ниже.

Формула 6

Значение оценки в перпендикулярном эквивалентном направлении = Σb(xi, yi)

При этом, когда |I(xi, yi)-I(xi+1, yi+1)|>t2

b(xi, yi)=1

в противном случае

b(xi, yi)=0

[0096] Атрибут b(xi, yi) точки Pa концентрации внимания (xi, yi) равен 1, когда абсолютное значение яркостного различия между значением яркости точки Pai концентрации внимания и значением яркости опорной точки Pri превышает пороговое значение t2. Когда взаимосвязь является иной, атрибут b(xi, yi) точки Pai концентрации внимания равен 0. Пороговое значение t2 задается заранее посредством экспериментирования или другого средства, так что линия La концентрации внимания не оценивается как находящаяся на идентичном трехмерном объекте. Модуль 37 обнаружения трехмерных объектов затем суммирует атрибут b для всех точек Pa концентрации внимания на линии La концентрации внимания и оценивает значение оценки в перпендикулярном эквивалентном направлении, чтобы за счет этого оценивать то, является или нет линия края корректной.

[0097] Далее описывается способ для обнаружения трехмерного объекта с использованием информации краев согласно настоящему варианту осуществления. Фиг. 17 и 18 являются блок-схемами последовательности операций, иллюстрирующими подробности способа для обнаружения трехмерного объекта согласно настоящему варианту осуществления. На фиг. 17 и 18 для удобства описывается процесс, связанный с областью А1 обнаружения, но идентичный процесс также выполняется для области А2 обнаружения.

[0098] Во-первых, на этапе S21, камера 10 захватывает предварительно определенную область, указываемую посредством угла а обзора и позиции присоединения, как проиллюстрировано на фиг. 17. Затем, на этапе S22, модуль 31 преобразования точки обзора принимает ввод полученного изображения, захваченного посредством камеры 10 на этапе S21, и преобразует точку обзора, с тем чтобы генерировать данные изображений вида «с высоты птичьего полета».

[0099] Затем, на этапе S23, модуль 35 вычисления яркостного различия задает линию La концентрации внимания на области А1 обнаружения. В это время, модуль 35 вычисления яркостного различия задает линию, соответствующую линии, идущей в перпендикулярном направлении в реальном пространстве, в качестве линии La концентрации внимания. На этапе S324, модуль 35 вычисления яркостного различия затем задает опорную линию Lr на области А1 обнаружения. В это время, модуль 35 вычисления яркостного различия задает, в качестве опорной линии Lr, линию, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и которая отстоит на предварительно определенное расстояние в реальном пространстве от линии La концентрации внимания.

[0100] Затем, на этапе S25, модуль 35 вычисления яркостного различия задает множество точек концентрации внимания на линии La концентрации внимания. В это время, модуль 35 вычисления яркостного различия задает определенное число точек концентрации внимания Pa, которые не являются проблематичными во время обнаружения краев посредством модуля 36 обнаружения линий краев. На этапе S26, модуль 35 вычисления яркостного различия задает опорные точки Pr таким образом, что точки Pa концентрации внимания и опорные точки Pr имеют практически идентичную высоту в реальном пространстве. Точки Pa концентрации внимания и опорные точки Pr за счет этого выстраиваются в ряд практически в горизонтальном направлении, и линия края, идущая в перпендикулярном направлении в реальном пространстве, проще обнаруживается.

[0101] Затем, на этапе S27, модуль 35 вычисления яркостного различия вычисляет яркостное различие между точками Pa концентрации внимания и опорными точками Pr на идентичной высоте в реальном пространстве. Далее, модуль 36 обнаружения линий краев вычисляет атрибут s точек Pa концентрации внимания в соответствии с формулой 1, описанной выше. Далее, на этапе S28, модуль 36 обнаружения линий краев вычисляет неразрывность с атрибута s точек Pa концентрации внимания в соответствии с формулой 2. Далее, на этапе S29, модуль 36 обнаружения линий краев оценивает то, превышает или нет значение, полученное посредством нормализации суммы неразрывностей с, пороговое значение θ в соответствии с формулой 3. Когда оценено то, что нормализованное значение превышает пороговое значение θ (этап S29: "Да"), модуль 36 обнаружения линий краев обнаруживает линию La концентрации внимания в качестве линии края на этапе S30. После этого процесс переходит к этапу S31. Когда оценено то, что нормализованное значение не превышает пороговое значение θ (этап S29: "Нет"), модуль 36 обнаружения линий краев не обнаруживает то, что линия La концентрации внимания представляет собой линию края, и процесс переходит к этапу S31. Это пороговое значение θ может задаваться заранее, но может быть изменено в соответствии с командой управления посредством контроллера 39.

[0102] На этапе S31, компьютер 30 оценивает то, выполнены или нет процессы этапов S23-S30 для всех линий La концентрации внимания, которые могут задаваться в области А1 обнаружения. Когда оценено то, что вышеуказанные процессы не выполнены для всех линий La концентрации внимания (этап S31: "Нет"), процесс возвращается к этапу S23, задает новую линию La концентрации внимания и повторяет процесс посредством этапа S31. С другой стороны, когда оценено то, что процессы выполнены для всех линий La концентрации внимания (этап S31: "Да"), процесс переходит к этапу S32 на фиг. 18.

[0103] На этапе S32 на фиг. 18, модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости вдоль линии края для каждой линии края, обнаруженной на этапе S30 на фиг. 17. Модуль 37 обнаружения трехмерных объектов вычисляет изменение яркости линий краев в соответствии с любой из формул 4, 5 и 6. Далее, на этапе S33, модуль 37 обнаружения трехмерных объектов исключает, из числа линий краев, линии краев, в которых изменение яркости превышает предварительно определенное пороговое значение. Другими словами, когда линия края, имеющая большое изменение яркости, не оценивается в качестве корректной линии края, линия края не используется для обнаружения трехмерного объекта. Как описано выше, это осуществляется для того, чтобы подавлять обнаружение знаков на поверхности дороги, придорожной растительности и т.п., включенных в область А1 обнаружения, в качестве линий краев. Соответственно, предварительно определенное пороговое значение является значением, которое посредством экспериментирования или другого средства заранее и задается на основе изменения яркости, которое возникает вследствие знаков на поверхности дороги, придорожной растительности и т.п.

[0104] Затем, на этапе S34, модуль 37 обнаружения трехмерных объектов оценивает то, составляет или нет число линий краев второе пороговое значение β или выше. Это второе пороговое значение β может задаваться так, как оценено посредством экспериментирования или другого средства заранее, и может быть изменено в соответствии с командой управления, выданной посредством контроллера 39, проиллюстрированного на фиг. 3, но подробности должны описываться ниже. Например, когда четырехколесное транспортное средство задается в качестве трехмерного объекта, который должен быть обнаружен, второе пороговое значение β задается заранее посредством экспериментирования или другого средства на основе числа линий краев четырехколесного транспортного средства, которое появляется в области А1 обнаружения. Когда оценено то, что число линий краев составляет второе пороговое значение β или более (S34: "Да"), модуль 37 обнаружения трехмерных объектов на этапе S35 оценивает то, что трехмерный объект присутствует в области А1 обнаружения. С другой стороны, когда оценено то, что число линий краев не составляет пороговое значение β или выше (S34: "Нет"), модуль 37 обнаружения трехмерных объектов оценивает то, что трехмерный объект не присутствует в области А1 обнаружения. После этого обработка, проиллюстрированная на фиг. 17 и 18, завершается. Обнаруженный трехмерный объект может оцениваться в качестве другого транспортного средства VX, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, или может оцениваться в качестве другого транспортного средства VX, движущегося в смежной полосе движения, с учетом относительной скорости обнаруженного трехмерного объекта относительно рассматриваемого транспортного средства V. Это второе пороговое значение β может задаваться заранее, но может быть изменено в соответствии с командой управления посредством контроллера 39.

[0105] Как описано выше, согласно способу для обнаружения трехмерного объекта с использованием информации краев согласно настоящему изобретению, перпендикулярная воображаемая линия в качестве сегмента линии, идущего в перпендикулярном направлении в реальном пространстве относительно изображения вида «с высоты птичьего полета», задается для того, чтобы обнаруживать трехмерный объект, присутствующий в областях А1 и А2 обнаружения. Яркостное различие между двумя пикселами около каждой позиции вычисляется для каждой из множества позиций вдоль перпендикулярной воображаемой линии, и присутствие или отсутствие трехмерного объекта может оцениваться на основе неразрывности яркостного различия.

[0106] В частности, линия La концентрации внимания, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и опорная линия Lr, которая отличается от линии La концентрации внимания, задаются относительно областей А1 и А2 обнаружения в изображении вида «с высоты птичьего полета». Яркостное различие между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr оценивается непрерывным способом вдоль линии La концентрации внимания и опорной линии La. Яркостное различие между линией концентрации внимания и опорной линией Lr получается посредством оценки яркостного различия между точками непрерывным способом. Имеется высокая вероятность того, что имеется край трехмерного объекта в местоположении, в котором задана линия La концентрации внимания, когда яркостное различие между линией La концентрации внимания и опорной линией Lr является высоким. Трехмерный объект за счет этого может быть обнаружен на основе непрерывного яркостного различия. В частности, на процесс для обнаружения трехмерного объекта не оказывается влияние, даже когда трехмерный объект укрупняется в соответствии с высотой от поверхности дороги посредством преобразования в изображение вида «с высоты птичьего полета» для того, чтобы сравнивать яркость между перпендикулярными воображаемыми линиями, идущими в перпендикулярном направлении в реальном пространстве. Соответственно, может повышаться точность обнаружения трехмерного объекта согласно способу согласно настоящему примеру.

[0107] В настоящем примере, оценивается яркостное различие между двумя точками с практически идентичной высотой около перпендикулярной воображаемой линии. В частности, яркостное различие оценивается из точки Pa концентрации внимания на линии La концентрации внимания и опорной точки Pr на опорной линии Lr, имеющих практически идентичную высоту. Следовательно, может четко обнаруживаться яркостное различие, когда присутствует край, идущий в перпендикулярном направлении.

[0108] В настоящем примере, атрибут назначается точке Pa концентрации внимания на основе яркостного различия между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr, и оценивается то, является или нет линия La концентрации внимания линией края, на основе неразрывности с атрибутов вдоль линии концентрации внимания. Следовательно, границы между областями, имеющими высокую яркость, и областями, имеющими низкую яркость, обнаруживаются в качестве линий краев, и края могут быть обнаружены в соответствии с естественными ощущениями человека. Ниже описываются результаты вышеуказанного. Фиг. 19 является видом, иллюстрирующим пример изображения для описания обработки модуля 36 обнаружения линий краев. Этот пример изображения является изображением, в котором первый полосковый шаблон 101 и второй полосковый шаблон 102 являются смежными друг с другом, при этом первый полосковый шаблон 101 указывает полосковый шаблон, в котором повторяются области с высокой яркостью и области с низкой яркостью, а второй полосковый шаблон 102 указывает полосковый шаблон, в котором повторяются области с низкой яркостью и области с высокой яркостью. Кроме того, в этом примере изображения области первого полоскового шаблона 101, в которых яркость является высокой, и области второго полоскового шаблона 102, в которых яркость является низкой, являются смежными друг с другом, и области первого полоскового шаблона 101, в которых яркость является низкой, и области второго полоскового шаблона 102, в которых яркость является высокой, являются смежными друг с другом. Местоположение 103, размещаемое на границе между первым полосковым шаблоном 101 и вторым полосковым шаблоном 102, имеет тенденцию не восприниматься как край посредством органов чувств человека.

[0109] Напротив, поскольку области с низкой яркостью и области с высокой яркостью являются смежными друг с другом, местоположение 103 распознается в качестве края, когда край обнаруживается только посредством яркостного различия. Тем не менее, модуль 36 обнаружения линий краев оценивает местоположение 103 в качестве линии края только тогда, когда существует неразрывность атрибутов яркостного различия, в дополнение к яркостному различию в области 103. Следовательно, модуль 36 обнаружения линий краев допускает подавление ошибочной оценки, при которой местоположение 103, которое не распознается в качестве линии края посредством органов чувств человека, распознается в качестве линии края, и края могут быть обнаружены способом, совместимым с органами чувств человека.

[0110] В настоящем примере, оценивается то, обнаружена или нет линия края посредством ошибочной оценки, когда изменение яркости линии края, обнаруженное посредством модуля 36 обнаружения линий краев, превышает предварительно определенное пороговое значение. Трехмерный объект, включенный в захваченное изображение, зачастую появляется в укрупненном состоянии в изображении вида «с высоты птичьего полета», когда захваченное изображение, полученное посредством камеры 10, преобразуется в изображение вида «с высоты птичьего полета». Например, как описано выше, когда шина другого транспортного средства VX укрупняется, изменения яркости изображения вида «с высоты птичьего полета» в направлении укрупнения имеют тенденцию быть небольшими, поскольку шина в качестве одного местоположения укрупняется. Напротив, когда символ и т.п., нанесенный на поверхности дороги, ошибочно оценен в качестве линии края, такие области, как участок символов, имеющий высокую яркость, и такие области, как участок поверхности дороги, имеющий низкую яркость, смешанно включаются в изображение вида «с высоты птичьего полета». В этом случае, изменения яркости в направлении укрупнения имеют тенденцию быть больше в изображении вида «с высоты птичьего полета». Соответственно, линия края, обнаруженная посредством ошибочной оценки, может быть распознана посредством оценки изменения яркости в изображении вида «с высоты птичьего полета» вдоль линии края, и может повышаться точность обнаружения трехмерного объекта.

[0111] ОКОНЧАТЕЛЬНАЯ ОЦЕНКА ТРЕХМЕРНОГО ОБЪЕКТА

Возвращаясь к фиг. 3, устройство 1 обнаружения трехмерных объектов согласно настоящему примеру содержит два модуля 33 обнаружения трехмерных объектов (или модуль 37 обнаружения трехмерных объектов), модуль 34 оценки трехмерных объектов, модуль 38 оценки областей с высокой яркостью и контроллер 39, как описано выше. Модуль 34 оценки трехмерных объектов оценивает то, представляет собой обнаруженный трехмерный объект или нет в итоге другое транспортное средство VX в области А1 или А2 обнаружения, на основе результата обнаружения посредством модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов). Модуль 38 оценки областей с высокой яркостью оценивает любую из областей А1 и А2 обнаружения, которая содержит область с высокой яркостью. Контроллер 39 подавляет (останавливает) оценку того, что трехмерный объект, обнаруженный из информации изображений области А1 или А2 обнаружения, представляет собой другое транспортное средство VX, когда оценивается то, что область с высокой яркостью включается в любую из областей А1 и А2 обнаружения.

[0112] В частности, контроллер 39 выводит команду управления для того, чтобы управлять каждым модулем (включающим в себя контроллер 39), составляющим компьютер 30, чтобы подавлять оценку того, что обнаруженный трехмерный объект представляет собой другое транспортное средство V, присутствующее в области А1 или А2 обнаружения. Например, контроллер 39 генерирует команду управления для того, чтобы регулировать пороговое значение или выходное значение, используемое для обнаружения или оценки того, чтобы подавлять выдачу результата обнаружения посредством модуля 33 обнаружения трехмерных объектов (или модуля 37 обнаружения трехмерных объектов) того, что трехмерный объект присутствует, или результата оценки посредством модуля 34 оценки трехмерных объектов того, что трехмерный объект в итоге представляет собой другое транспортное средство VX, и отправляет команду управления в модуль 33 обнаружения трехмерных объектов (или модуль 37 обнаружения трехмерных объектов) или модуль 34 оценки трехмерных объектов.

[0113] Контроллер 39 также генерирует команду управления для того, чтобы прекращать обработку для того, чтобы обнаруживать трехмерный объект, или оценку того, что трехмерный объект представляет собой другое транспортное средство VX, и команду управления для того, чтобы выводить результат, что трехмерный объект не обнаруживается, или что трехмерный объект не представляет собой другое транспортное средство VX, и отправляет команду управления в модуль 33 обнаружения трехмерных объектов (или модуль 37 обнаружения трехмерных объектов) или модуль 34 оценки трехмерных объектов.

[0114] Модуль 33 обнаружения трехмерных объектов настоящего варианта осуществления регулирует пороговое значение или выходное значение в соответствии с командой управления из контроллера 39, обнаруживает трехмерный объект согласно строгому стандарту и выводит результат обнаружения того, что трехмерный объект не обнаруживается, или прекращает обработку для того, чтобы обнаруживать трехмерный объект. Аналогично, модуль 38 оценки трехмерных объектов регулирует пороговое значение или выходное значение в соответствии с командой управления из контроллера 39, оценивает то, представляет или нет трехмерный объект, обнаруженный согласно строгому стандарту, собой другое транспортное средство VX, и выводит оценку того, что трехмерный объект представляет собой другое транспортное средство VX, или прекращает обработку для того, чтобы определять трехмерный объект. Вышеуказанная обработка управления выполняется, когда первая область А1 или А2 обнаружения, которая включает в себя область с высокой яркостью, соответствующую предварительно определенному эталону, представляющую собой любую из правосторонней и левосторонней областей А1 и А2 обнаружения, обнаруживается посредством модуля 38 оценки областей с высокой яркостью.

[0115] Фиг. 20А и 20В являются видами для описания областей с высокой яркостью, сформированных в области А1 и А2 обнаружения.

[0116] В случае, проиллюстрированном на фиг. 20А, область L1 с высокой яркостью формируется в области А1 обнаружения поверхности дороги, когда интенсивный свет SUL от солнца SU или другого источника света поступает в область А1 обнаружения и отражается на поверхности дороги. Большая часть отраженного света в области L1 с высокой яркостью падает на линзу камеры 10 на рассматриваемом транспортном средстве V, и в силу этого информация, соответствующая области L1 с высокой яркостью, содержится в информации изображений, захватываемой в этом состоянии. С другой стороны, хотя область с высокой яркостью формируется таким же образом в области А2 обнаружения, когда интенсивный свет SUL от солнца SU и т.п. поступает в область А2 обнаружения и отражается, большая часть этого отраженного света не падает на линзу камеры 10 на рассматриваемом транспортном средстве V, и в силу этого область с высокой яркостью, соответствующая области L1 с высокой яркостью в области А1 обнаружения, не формируется в области А2 обнаружения. Таким образом, в случае, в котором солнечный свет SUL или другой интенсивный свет поступает в область А1 или А2 обнаружения со стороны (из направления, исключающего переднюю часть и заднюю часть) рассматриваемого транспортного средства V, область L с высокой яркостью формируется в любой из областей А1 и А2 обнаружения, приводящей к относительно светлому окружению, и область L с высокой яркостью не формируется в другой области обнаружения, приводящей к относительно темному окружению.

[0117] Поскольку отраженный свет из отражения солнечного света или другого интенсивного света также является интенсивным светом, яркостное различие, большее или равное предварительно определенной величине, возникает в окрестности области L1, и формируется край в так называемой технологии обработки изображений. Отраженное изображение непрерывно наблюдается в области А1 или А2 обнаружения рассматриваемого транспортного средства V, загораживая изменение обстановки, такое как прекращение попадания солнца или какая-либо блокировка света из другого источника света либо изменение направления движения рассматриваемого транспортного средства V. Край (пикселы или пиксельная группа, в которой яркостное различие превышает или равно предварительно определенному значению) отраженного изображения в области L1 имеет тенденцию появляться вдоль направления, в котором сплющивается трехмерный объект при преобразовании в изображение вида «с высоты птичьего полета», и в этом случае отраженное изображение (виртуальное изображение) области L1 оценивается как имеющее характеристику изображения (действительного изображения) трехмерного объекта. Поскольку отраженное изображение области L1 непрерывно наблюдается в области А1 или А2 обнаружения, стабильная скорость движения обнаруживается и имеет тенденцию становиться значением, меньшим относительной скорости относительно рассматриваемого транспортного средства V. В этом случае, отраженное изображение (виртуальное изображение) в области L1 может оцениваться как имеющее характеристику изображения (действительного изображения) другого транспортного средства VX.

[0118] В случае, проиллюстрированном на фиг. 20В, другое транспортное средство VX присутствует, соответственно, в каждой из областей А1 и А2 обнаружения, и интенсивный свет от солнца SU или другого источника света поступает в области А1 и А2 обнаружения. В этом случае, солнечный свет SUL отражается на правой стороне другого транспортного средства VX в области А2 обнаружения справа на чертеже, и область с высокой яркостью формируется в области L2. С другой стороны, свет отражается в области с правой стороны на заднюю часть другого транспортного средства VX в области А1 обнаружения слева на чертеже, тень формируется на левой стороне другого транспортного средства VX, и область с низкой яркостью формируется в области D1. Когда изображения областей А1 и А2 обнаружения захватываются посредством камеры 10 на рассматриваемом транспортном средстве 10, область L2 с высокой яркостью, вызываемая посредством отраженного изображения (виртуального изображения), включается в область А2 обнаружения, и область D1 с низкой яркостью, вызываемая посредством тени другого транспортного средства VX, включается в область А1 обнаружения. Таким образом, в случае, в котором солнечный свет SUL или другой интенсивный свет поступает в области А1 и А2 обнаружения со стороны (из направления, исключающего переднюю часть и заднюю часть) рассматриваемого транспортного средства V, и другое транспортное средство VX присутствует, соответственно, в каждой из областей А1 и А2 обнаружения, любая из областей А1 и А2 обнаружения становится светлым окружением, включающим в себя область L с высокой яркостью, а другая область обнаружения становится темным окружением, не включающим в себя область с высокой яркостью.

[0119] В случае на фиг. 20В, интенсивный отраженный свет возникает в области А2 обнаружения, когда солнечный свет попадает в правую сторону (кузов) другого транспортного средства VX. Яркость захваченного изображения в области А2 обнаружения сдвигается к высокой в целом вследствие этого отраженного света, и в силу этого значение информации форм разностных сигналов или информации краев в участке, не соответствующем характеристикам другого транспортного средства VX, может выводиться большим, либо характеристики информации форм разностных сигналов или информации краев в участке, соответствующем характеристикам другого транспортного средства VX, могут не выводиться четко. С другой стороны, когда солнечный свет и т.п. попадает с левой стороны на заднюю часть другого транспортного средства VX, яркость в области А1 обнаружения сдвигается к низкой в целом вследствие блокировки солнечного света и т.п., и в силу этого значение информации форм разностных сигналов или информации краев в участке, соответствующем характеристикам другого транспортного средства VX, может выводиться меньшим, или характеристики информации форм разностных сигналов или информации краев в участке, соответствующем характеристикам другого транспортного средства VX, могут не выводиться четко.

[0120] В устройстве 1 обнаружения трехмерных объектов согласно настоящему изобретению пороговое значение, используемое для обработки для того, чтобы обнаруживать трехмерный объект, может быть изменено равномерно (без различения между областями А1 и А2 обнаружения), чтобы управлять обнаружением трехмерного объекта. Например, когда линза засоряется посредством прилипания постороннего вещества, может выполняться управление для того, чтобы понижать пороговое значение, чтобы стимулировать обнаружение трехмерного объекта таким образом, что трехмерный объект может быть обнаружен даже с засоренной линзой. Тем не менее, когда пороговое значение в силу этого равномерно понижается при каждом управлении, пиксельное значение или значение, вычисленное на основе этого пиксельного значения отраженного изображения, вызываемого посредством вышеописанного солнечного света и т.п., может превышать пороговое значение в области А1 или А2 обнаружения, имеющей светлое окружение, включающее в себя область с высокой яркостью. Другими словами, отраженное изображение (виртуальное изображение) в вышеописанной области L1 может быть ошибочно обнаружено в качестве изображения (действительного изображения) трехмерного объекта или другого транспортного средства VX. С другой стороны, в области А1 или А2 обнаружения, имеющей темное окружение, не включающее в себя область с высокой яркостью или включающее в себя область с низкой яркостью, пиксельное значение или значение, вычисленное на основе этого пиксельного значения изображения (действительного изображения) другого транспортного средства VX, фактически присутствующего, может не превышать пороговое значение. Другими словами, изображение (действительное изображение) другого транспортного средства VX, фактически присутствующего, может быть ошибочно обнаружено в качестве изображения или виртуального изображения плоского объекта или стационарного объекта. В настоящем примере, описывается пример, в котором источник света является солнцем, и интенсивный свет, поступающий в области А1 и А2 обнаружения, является солнечным светом, но свет, формирующий область с высокой яркостью, не ограничен конкретным образом и может представлять собой передние фары другого транспортного средства VX, прожектор, устанавливаемый около дороги, либо осветительную установку для дорожных работ и т.п.

[0121] Следовательно, в устройстве 1 обнаружения трехмерных объектов настоящего варианта осуществления, обнаруживается первая область обнаружения, включающая в себя область с высокой яркостью, подавляется оценка трехмерного объекта, обнаруженного на основе информации изображений этой первой области обнаружения, в качестве другого транспортного средства VX, и поддерживается или стимулируется оценка трехмерного объекта, обнаруженного на основе информации изображений второй области обнаружения, отличной от первой области обнаружения, в качестве другого транспортного средства VX.

[0122] Далее описывается модуль 38 оценки областей с высокой яркостью для оценки первой области обнаружения. Модуль 38 оценки областей с высокой яркостью настоящего варианта осуществления оценивает в качестве первой области обнаружения любую из областей А1 и А2 обнаружения, которая включает в себя область с высокой яркостью, соответствующую предварительно определенному эталону, представляющую собой одну из областей А1 и А2 обнаружения справа или слева, и оценивает в качестве второй области обнаружения область обнаружения, отличную от первой области обнаружения.

[0123] "Предварительно определенный эталон", используемый при оценке области с высокой яркостью, не ограничен конкретным образом, но модуль 38 оценки областей с высокой яркостью настоящего варианта осуществления оценивает в качестве области с высокой яркостью область, в которой пикселы со значением, равным или выше предварительно определенной яркости, включаются со значением, равным или выше предварительно определенной плотности (пиксельной плотности) в правосторонней и левосторонней областях А1 и А2 обнаружения. Область с высокой яркостью в силу этого может количественно оцениваться на основе значения пикселов. В модуле 38 оценки областей с высокой яркостью настоящего варианта осуществления, "предварительно определенный эталон" также может быть задан на основе процентного отношения от числа пикселов из пикселов со значением, равным или выше предварительно определенной яркости, в распределении значений яркости в областях А1 и А2 обнаружения, процентного отношения от числа пикселов из пикселов, распределенных с предварительно определенным пороговом значением, центрированном на пике в распределении значений яркости в областях А1 и А2 обнаружения, степени подобия при сопоставлении с графиком распределения, задающим область с высокой яркостью в распределении значений яркости в областях А1 и А2 обнаружения, и т.п.

[0124] Модуль 38 оценки областей с высокой яркостью настоящего варианта осуществления также оценивает первую область обнаружения на основе направления движения и направления, в котором присутствует солнце для каждого местоположения движения рассматриваемого транспортного средства V. В частности, модуль 38 оценки областей с высокой яркостью настоящего варианта осуществления обнаруживает направление движения и местоположение движения рассматриваемого транспортного средства V и сохраняет с возможностью доступа корреляцию 381, имеющую заранее коррелированные левый и правый идентификаторы (дополнительную информацию для различения правосторонней области А1 обнаружения и левосторонней области А2 обнаружения) первой области обнаружения, включающей в себя область с высокой яркостью, относительно направления движения рассматриваемого транспортного средства V и направления, в котором присутствует солнце. Модуль 38 оценки областей с высокой яркостью также оценивает в предварительно определенном цикле направление, в котором присутствует солнце в местоположении движения, из обнаруженного местоположения движения рассматриваемого транспортного средства V и информации 391 календаря, имеющей коррелированное с моментом направление, в котором присутствует солнце в каждой точке. Модуль 38 оценки областей с высокой яркостью также обращается к корреляции 381 и оценивает в качестве первой области обнаружения, включающей в себя область с высокой яркостью, одну из правосторонней области А1 обнаружения или левосторонней области А2 обнаружения на основе направления, в котором присутствует солнце в местоположении движения, и направления движения рассматриваемого транспортного средства V. Первая область А1 или А2 обнаружения, включающая в себя область с высокой яркостью, в силу этого может быть корректно обнаружена в соответствии с окружением на основе позиционной взаимосвязи между рассматриваемым транспортным средством V и солнцем.

[0125] В этом случае, модуль 38 оценки областей с высокой яркостью настоящего варианта осуществления предпочтительно заранее сохраняет первую корреляцию 381(1), к которой обращаются, когда трехмерный объект не обнаруживается в области А1 или А2 обнаружения посредством модуля 33 или 37 обнаружения трехмерных объектов, и вторую корреляцию 381(2), к которой обращаются, когда трехмерный объект обнаруживается в области А1 или А2 обнаружения посредством модуля 33 или 37 обнаружения трехмерных объектов. Это обусловлено тем, что область А1 или А2 обнаружения, в которой формируется область с высокой яркостью, отличается в зависимости от того, присутствует или нет трехмерный объект в области А1 или А2 обнаружения, даже когда солнце светит на области А1 или А2 обнаружения из идентичного направления. Например, как проиллюстрировано на фиг. 20А, когда солнце SU находится на западе, первая область обнаружения, включающая в себя область с высокой яркостью, является правосторонней областью А1 обнаружения, когда трехмерные объекты не присутствуют в областях А1 и А2 обнаружения; но, как проиллюстрировано на фиг. 20В, аналогично, когда солнце SU находится на западе, первая область обнаружения, включающая в себя область с высокой яркостью, является левосторонней областью А2 обнаружения, когда трехмерные объекты присутствуют в областях А1 и А2 обнаружения.

[0126] Конкретные ограничения не налагаются, но в первой корреляции 381(1), которая является применимой, когда трехмерный объект не присутствует в области А1 или А2 обнаружения, когда направление, в котором присутствует солнце, имеет предварительно определенный угол (например, 100-170 градусов по часовой стрелке; угол W1 на фиг. 20А) относительно направления движения рассматриваемого транспортного средства, корреляция может задаваться как такая, что первая область обнаружения является правосторонней областью А1 обнаружения, а вторая область обнаружения является левосторонней областью А2 обнаружения. Аналогично, во второй корреляции 381(2), которая является применимой, когда трехмерный объект присутствует в области А1 или А2 обнаружения, когда направление, в котором присутствует солнце, имеет предварительно определенный угол (например, 100-170 градусов по часовой стрелке; угол W1 на фиг. 20В) относительно направления движения рассматриваемого транспортного средства, корреляция может задаваться как такая, что первая область обнаружения является левосторонней областью А2 обнаружения, а вторая область обнаружения является левосторонней областью А1 обнаружения. Область А1 или А2 обнаружения, включающая в себя область с высокой яркостью, в силу этого может корректно оцениваться в соответствии с ситуацией. То же применимо также тогда, когда направление, в котором присутствует солнце, составляет, например, 100-170 градусов против часовой стрелки (угол W2, проиллюстрированный на фиг. 20A и В) относительно направления движения рассматриваемого транспортного средства.

[0127] Модуль 38 оценки областей с высокой яркостью настоящего варианта осуществления обращается к первой корреляции 381(1), когда получен такой результат обнаружения, что модуль 33 или 37 обнаружения трехмерных объектов не обнаруживает трехмерный объект, обращается ко второй корреляции 381(2), когда получен такой результат обнаружения, что модуль 33 или 37 обнаружения трехмерных объектов обнаруживает трехмерный объект, и оценивает первую область А1 или А2 обнаружения посредством способа, описанного выше.

[0128] Модуль 38 оценки областей с высокой яркостью настоящего варианта осуществления выполняет обработку для того, чтобы определять первую область обнаружения с обращением к вышеописанной корреляции 381, только когда высота солнца меньше предварительно определенной высоты. Конкретные ограничения не налагаются, но когда высота солнца составляет предварительно определенную высоту или ниже, например, в 65 градусов или меньше, 40 градусов или меньше, или 20 градусов или меньше, свет, поступающий в области А1 и А2 обнаружения, становится более интенсивным, как для солнца с Запада в Японии, и это может рассматриваться в качестве окружения, в котором легко формируется область с высокой яркостью. В частности, модуль 38 оценки областей с высокой яркостью обнаруживает местоположение движения и момент движения рассматриваемого транспортного средства V, обращается к информации 391 календаря, в которой высота солнца в каждой точке коррелируется с моментом, обращается к корреляции 381, когда высота, в которой солнце присутствует в обнаруженном местоположении движения рассматриваемого транспортного средства V, составляет предварительно определенную высоту или ниже, и оценивает область с высокой яркостью. В этом случае, область с высокой яркостью может оцениваться с обращением к корреляции 381, когда высота солнца находится в момент становления равной предварительно определенным значением или ниже (момент восхода, момент заката). Таким образом, в настоящем варианте осуществления, поскольку обработка для того, чтобы определять первую область обнаружения с использованием корреляции 381, выполняется в окружении, в которой солнце располагается низко, и легко формируется область с высокой яркостью, могут сокращаться затраты на обработку, и может повышаться точность обнаружения первой области обнаружения.

[0129] В этой связи, местоположение движения рассматриваемого транспортного средства V, используемого в настоящей оценке, обнаруживается посредством устройства 50 обнаружения позиции, оснащенного GPS (глобальной системой позиционирования), содержащегося в рассматриваемом транспортном средстве V. Используемое устройство 50 обнаружения позиции может представлять собой устройство, которое содержится в навигационном устройстве в рассматриваемом транспортном средстве V. Направление движения может быть обнаружено на основе изменения во времени обнаруженной позиции. Информация календаря, имеющая коррелированное с моментом направление, в котором присутствует солнце в каждой точке, может быть заранее сохранена в контроллере 39.

[0130] Модуль 38 оценки областей с высокой яркостью выводит в контроллер 39 левый или правый идентификатор правосторонней области А1 обнаружения или левосторонней области А2 обнаружения, оцененной в качестве первой области обнаружения. Левый и правый идентификаторы являются информацией для идентификации первой области обнаружения.

[0131] Далее описывается контроллер 39. Контроллер 39 настоящего варианта осуществления генерирует команду управления, которая должна быть выполнена в модуле 33 или 37 обнаружения трехмерных объектов или модуле 34 оценки трехмерных объектов, когда посредством модуля 38 оценки областей с высокой яркостью оценено то, что "любая одна из правосторонней области А1 обнаружения или левосторонней области А2 обнаружения включает в себя область с высокой яркостью, соответствующую предварительно определенному эталону", и когда получен левый или правый идентификатор первой области обнаружения.

[0132] Контроллер 39 настоящего варианта осуществления подавляет оценку того, что обнаруженный трехмерный объект представляет собой другое транспортное средство VX, на основе информации изображений первой области А1 или А2 обнаружения, включающей в себя оцениваемую область с высокой яркостью, и поддерживает или стимулирует оценку того, что обнаруженный трехмерный объект представляет собой другое транспортное средство VX, на основе информации изображений второй области обнаружения, отличной от первой области обнаружения, в правосторонней области А1 обнаружения или левосторонней области А2 обнаружения.

[0133] Команда управления настоящего варианта осуществления представляет собой инструкцию для управления работой каждого модуля, чтобы подавлять обнаружение трехмерного объекта из информации изображений первой области А1 или А2 обнаружения, и оценку того, что обнаруженный трехмерный объект представляет собой другое транспортное средство VX, и поддерживать или стимулировать обнаружение трехмерного объекта из информации изображений второй области А1 или А2 обнаружения и оценку того, что обнаруженный трехмерный объект представляет собой другое транспортное средство VX. Это выполняется для того, чтобы предотвращать ошибочное обнаружение другого транспортного средства VX на основе изображения в области А1 или А2 обнаружения, которая включает в себя область с высокой яркостью. Поскольку компьютер 30 настоящего варианта осуществления представляет собой компьютер, команды управления для обработки для того, чтобы обнаруживать трехмерный объект, и обработки для того, чтобы определять трехмерный объект, могут быть включены заранее в программу для каждой обработки и могут отправляться во время выполнения. Команда управления настоящего варианта осуществления может представлять собой инструкцию, направленную на результат прерывания обработки для того, чтобы определять, в качестве другого транспортного средства, трехмерный объект, обнаруженный на основе информации изображений первой области обнаружения, или результат оценки того, что обнаруженный трехмерный объект не представляет собой другое транспортное средство; либо может представлять собой инструкцию, чтобы снижать чувствительность при обнаружении трехмерного объекта на основе информации форм разностных сигналов, сгенерированной из информации изображений первого обнаружения, или инструкцию, чтобы регулировать чувствительность при обнаружении трехмерного объекта на основе информации краев, сгенерированной из информации изображений первой области обнаружения.

[0134] В настоящем варианте осуществления, дополнительно сокращается информация изображений в качестве объекта управления, и подавляется оценка обнаруженного трехмерного объекта в качестве другого транспортного средства VX на основе информации изображений, соответствующей области с высокой яркостью, содержащейся в первой области обнаружения, а не во всей первой области обнаружения. Таким образом, управление подавлением обнаружения может выполняться с регулированием чувствительности обнаружения только для информации изображений, соответствующей отраженному изображению, вызываемому посредством солнечного света, и в силу этого другое транспортное средство VX может быть обнаружено с обычной чувствительностью обнаружения в участке, не подвергающемся влиянию солнечного света, и в силу этого может повышаться точность обнаружения другого транспортного средства VX.

[0135] Далее описывается каждая команда управления, выводимая посредством контроллера 39.

Сначала описываются команды управления, используемые при обнаружении трехмерного объекта на основе информации форм разностных сигналов. Модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации форм разностных сигналов и первого порогового значения α. Контроллер 39 настоящего варианта осуществления выводит в модуль 33 обнаружения трехмерных объектов команду управления для того, чтобы увеличивать первое пороговое значение α, используемое при обработке информации изображений первой области обнаружения или информации изображений области с высокой яркостью в первой области обнаружения, когда первая область обнаружения оценена посредством модуля 38 оценки областей с высокой яркостью. Первое пороговое значение α является первым пороговым значением α для оценки пика в форме DWt разностного сигнала на этапе S7, проиллюстрированном на фиг. 11 (см. фиг. 5). Контроллер 39 выводит в модуль 33 обнаружения трехмерных объектов команду управления для того, чтобы поддерживать равным идентичному значению или уменьшать первое пороговое значение α, используемое при обработке информации изображений второй области обнаружения. Контроллер 39 также выводит в модуль 33 обнаружения трехмерных объектов команду управления для того, чтобы увеличивать пороговое значение p, связанное с разностью пиксельных значений, в информации форм разностных сигналов.

[0136] Контроллер 39 оценивает то, что имеется вероятность того, что изображение в области с высокой яркостью, сформированной в области А1 или А2 обнаружения, может быть обнаружено в качестве информации, указывающей присутствие трехмерного объекта, когда оценивается первая область обнаружения. Когда трехмерный объект обнаруживается с равномерной чувствительностью обнаружения в этом состоянии, область с высокой яркостью, отражаемая посредством солнечного света или другого интенсивного света, может быть ошибочно обнаружена в качестве изображения другого транспортного средства VX, движущегося в области А1 или А2 обнаружения, хотя другое транспортное средство VX не присутствует в первой области А1 или А2 обнаружения. Следовательно, контроллер 39 увеличивает первое пороговое значение α или пороговое значение p, связанное с разностью пиксельных значений, при генерировании информации форм разностных сигналов, так что трехмерный объект не обнаруживается в первой области обнаружения. Таким образом, пороговое значение для оценки увеличивается только для обработки информации изображений первой области обнаружения, и пороговое значение для оценки поддерживается для снижения для обработки информации изображений второй области обнаружения, за счет чего может предотвращаться ошибочное обнаружение изображения в области с высокой яркостью, сформированной в первой области обнаружения, в качестве другого транспортного средства VX, и другое транспортное средство VX может быть обнаружено при подходящем пороговом значении также во второй области обнаружения, в которой не формируется область с высокой яркостью.

[0137] Контроллер 39 настоящего варианта осуществления может выводить в модуль 33 обнаружения трехмерных объектов команду управления для того, чтобы выводить более низким значение, полученное посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображений вида «с высоты птичьего полета» в первой области А1 или А2 обнаружения, и формирования частотного распределения, и выводить идентичным или более высоким значение, полученное посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображений вида «с высоты птичьего полета» в первой области А1 или А2 обнаружения, и формирования частотного распределения, когда первая область А1 или А2 обнаружения обнаружена посредством модуля 38 оценки областей с высокой яркостью. Значение, полученное посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображений вида «с высоты птичьего полета», и формирования частотного распределения является значением на вертикальной оси формы DWt разностного сигнала, сгенерированной на этапе S5 на фиг. 11. Поскольку оценивается то, что область с высокой яркостью формируется в области А1 или А2 обнаружения, при приеме результата оценки первой области А1 или А2 обнаружения, контроллер 39 снижает значение, полученное посредством формирования частотного распределения формы DWt разностного сигнала, так что труднее обнаруживать трехмерный объект из информации изображений этой первой области обнаружения. Таким образом, чувствительность обнаружения может регулироваться для каждой области обнаружения посредством снижения выходного значения на основе информации изображений первой области А1 или А2 обнаружения и поддержания или увеличения выходного значения информации изображений первой области А1 или А2 обнаружения. Следовательно, можно предотвращать ошибочное обнаружение изображения в области с высокой яркостью в первой области А1 или А2 обнаружения в качестве другого транспортного средства VX и предотвращать ошибочное обнаружение того, что трехмерный объект во второй области А1 или А2 обнаружения не представляет собой трехмерный объект.

[0138] Далее описываются команды управления для обнаружения трехмерного объекта на основе информации краев. Контроллер 39 настоящего варианта осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления для того, чтобы увеличивать предварительно определенное пороговое значение, связанное с яркостью, используемой при обнаружении информации краев на основе информации изображений первой области А1 или А2 обнаружения, и поддерживать или снижать предварительно определенное пороговое значение, связанное с яркостью, используемой при обнаружении информации краев на основе информации изображений второй области А1 или А2 обнаружения, когда первая область А1 или А2 обнаружения оценивается посредством модуля 38 оценки областей с высокой яркостью. Предварительно определенное пороговое значение, связанное с яркостью, используемой при обнаружении информации краев, является пороговым значением θ, используемым при оценке значения, нормализующего сумму неразрывностей с атрибутов точек Pa концентрации внимания на этапе S2 9 на фиг. 17, или вторым пороговым значением β для оценки числа линий краев на этапе 34 на фиг. 18. Контроллер 39 может выводить команду управления в модуль 33 обнаружения трехмерных объектов, чтобы увеличивать пороговое значение θ, используемое при обнаружении линий краев, или второе пороговое значение β для оценки числа линий краев на основе информации изображений первой области А1 или А2 обнаружения, и поддерживать или снижать пороговое значение θ, используемое при обнаружении линий краев, или второе пороговое значение β для оценки числа линий краев на основе информации изображений второй области А1 или А2 обнаружения. Таким образом, пороговое значение для оценки увеличивается только для первой области обнаружения, и пороговое значение для оценки поддерживается для снижения для второй области обнаружения, за счет чего может предотвращаться ошибочное обнаружение изображения в области с высокой яркостью, сформированной в первой области А1 или А2 обнаружения, в качестве другого транспортного средства VX, и другое транспортное средство VX может быть обнаружено при подходящем пороговом значении также во второй области обнаружения, в которой не формируется область с высокой яркостью.

[0139] Контроллер 39 настоящего варианта осуществления выводит в модуль 37 обнаружения трехмерных объектов команду управления для того, чтобы выводить более низкой информацию числа краев, обнаруженную из первой области А1 или А2 обнаружения, и поддерживать или выводить более высокой информацию числа краев, обнаруженную из второй области А1 или А2 обнаружения, когда первая область А1 или А2 обнаружения оценена посредством модуля 38 оценки областей с высокой яркостью. Обнаруженная информация числа краев является значением, нормализующим сумму неразрывностей с атрибутов точек Ра концентрации внимания на этапе S29 на фиг. 17 или числом линий краев на этапе 34 на фиг. 18. Когда первая область А1 или А2 обнаружения обнаруживается, контроллер 39 снижает значение, нормализующее сумму неразрывностей с атрибутов точек Ра концентрации внимания или числа линий краев информации изображений первой области А1 или А2 обнаружения, и поддерживает или увеличивает значение, нормализующее сумму неразрывностей с атрибутов точек Pa концентрации внимания или числа линий краев информации изображений второй области А1 или А2 обнаружения. Таким образом, чувствительность обнаружения может регулироваться для каждой области обнаружения посредством снижения выходного значения на основе информации изображений первой области А1 или А2 обнаружения и поддержания или увеличения выходного значения на основе информации изображений первой области А1 или А2 обнаружения. Следовательно, можно предотвращать ошибочное обнаружение изображения в области с высокой яркостью, сформированной в первой области А1 или А2 обнаружения, в качестве другого транспортного средства VX и предотвращать ошибочное обнаружение трехмерного объекта во второй области А1 или А2 обнаружения в качестве не трехмерного объекта.

[0140] Устройство 1 обнаружения трехмерных объектов настоящего варианта осуществления увеличивает пороговое значение или снижает выходное значение для обработки для того, чтобы обнаруживать трехмерный объект на основе первой области А1 или А2 обнаружения, и снижает пороговое значение или увеличивает выходное значение для обработки для того, чтобы обнаруживать трехмерный объект на основе второй области А1 или А2 обнаружения. Следовательно, в первой области А1 или А2 обнаружения, имеющей светлое окружение, можно предотвращать ошибочное обнаружение отраженного изображения (виртуального изображения) солнечного света или другого интенсивного света в качестве изображения (действительного изображения) другого изображения, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство, в то время как во второй области А1 или А2 обнаружения, имеющей темное окружение, можно предотвращать ошибочное обнаружение изображения (действительного изображения) другого транспортного средства, фактически присутствующего в смежной полосе движения, в качестве не другого транспортного средства.

[0141] Устройство 1 обнаружения трехмерных объектов настоящего варианта осуществления также увеличивает пороговое значение или снижает выходное значение для обработки для того, чтобы обнаруживать трехмерный объект на основе первой области А1 или А2 обнаружения, и снижает пороговое значение или увеличивает выходное значение для обработки для того, чтобы обнаруживать трехмерный объект на основе второй области А1 или А2 обнаружения. Следовательно, в первой области А1 или А2 обнаружения, в которой обнаруженная яркость является высокой вследствие света, отражаемого посредством кузова другого транспортного средства VX и т.п., отраженный свет (действительное изображение) трехмерного объекта, выводимый на стороне высоких значений, может быть корректно обнаружен в качестве изображения (действительного изображения) другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство, в то время как во второй области А1 или А2 обнаружения, в которой обнаруженная яркость является низкой вследствие блокирования света посредством кузова другого транспортного средства VX и т.п., отраженный свет (действительное изображение) трехмерного объекта, выводимый на стороне низких значений, может быть корректно обнаружен в качестве изображения (действительного изображения) другого транспортного средства, фактически присутствующего в смежной полосе движения.

[0142] Ниже описывается процедура управления устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления со ссылкой на фиг. 21.

[0143] Во-первых, на этапе S41, проиллюстрированном на фиг. 21, модуль 38 оценки областей с высокой яркостью обнаруживает первую область А1 или А2 обнаружения, включающую в себя область с высокой яркостью, и оценивает ее в качестве первой области А1 или А2 обнаружения. Модуль 38 оценки областей с высокой яркостью обнаруживает область с высокой яркостью, соответствующую предварительно определенному эталону, на основе информации изображений области А1 или А2 обнаружения, и обнаруживает и оценивает область А1 или А2 обнаружения в качестве первой области А1 или А2 обнаружения, включающей в себя область с высокой яркостью, когда эта область с высокой яркостью включается в любую из области А1 и А2 обнаружения слева и справа. Левосторонняя область А2 обнаружения является второй областью обнаружения, когда правосторонняя область А1 обнаружения оценивается в качестве первой области обнаружения.

[0144] Когда первая область А1 или А2 обнаружения обнаружена на этапе S42, другими словами, когда выведен результат оценки первой области А1 или А2 обнаружения, процесс переходит к этапу S51. Когда первая область А1 или А2 обнаружения не обнаружена, другими словами, когда выведен результат оценки того, что первая область А1 или А2 обнаружения не обнаружена, процесс переходит к этапу S43.

[0145] На этапе S51, контроллер 39 увеличивает (изменяет таким образом, что обнаружение становится более затруднительным) каждое пороговое значение, используемое в каждом процессе, относительно начального значения, стандартного значения или другого заданное значение либо уменьшает (изменяет таким образом, что обнаружение становится более затруднительным) выходное значение по сравнению с каждым пороговым значением, чтобы подавлять обнаружение трехмерного объекта посредством модуля 33 или 37 обнаружения трехмерных объектов или подавлять оценку того, что трехмерный объект оценивается в качестве другого транспортного средства, посредством модуля 37 оценки трехмерных объектов. Когда контроллер 39 выполняет обработку стимулирования, обработка стимулирования становится управлением, оцениваемым в качестве обработки остановки.

[0146] Конкретные подробности обработки заключаются в следующем.

[0147] Когда модуль 33 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации форм разностных сигналов, обнаруживает трехмерный объект, когда информация форм разностных сигналов равна или выше предварительно определенного первого порогового значения α, контроллер 39 генерирует команду управления для того, чтобы увеличивать первое пороговое значение α таким образом, что труднее выполнять обнаружение трехмерного объекта, и выводит команду управления в модуль 33 обнаружения трехмерных объектов.

[0148] Аналогично, когда модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект, когда информация форм разностных сигналов равна или выше предварительно определенного первого порогового значения α, контроллер 39 генерирует команду управления для того, чтобы выводить более низким значение, полученное посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении в изображении вида «с высоты птичьего полета», и формирования частотного распределения, и выводит эту команду управления в модуль 38 обнаружения трехмерных объектов.

[0149] Когда модуль 33 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации форм разностных сигналов, извлекает число пикселов, указывающих пиксельное значение, равное или превышающее пороговое значение p, в качестве числа пикселов, указывающих предварительно определенную разность, контроллер 39 генерирует команду управления для того, чтобы увеличивать пороговое значение p таким образом, что труднее обнаруживать трехмерный объект, и выводит команду управления в модуль 38 обнаружения трехмерных объектов.

[0150] Аналогично, когда модуль 33 обнаружения трехмерных объектов извлекает число пикселов, указывающих пиксельное значение, равное или превышающее пороговое значение p, в качестве числа пикселов, указывающих предварительно определенную разность, контроллер 39 генерирует команду управления для того, чтобы выводить более низким число пикселов, извлеченных для разностного изображения вдоль направления, в котором сплющивается трехмерный объект при преобразовании в изображение вида «с высоты птичьего полета», и выводит команду управления в модуль 38 обнаружения трехмерных объектов.

[0151] Когда модуль 37 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации краев, извлекает линию края на основе пикселов, указывающих яркостное различие, большее или равное предварительно определенному пороговому значению t, контроллер 39 генерирует команду управления для того, чтобы увеличивать предварительно определенное пороговое значение t таким образом, что труднее обнаруживать трехмерный объект, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.

[0152] Аналогично, когда модуль 37 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации краев, извлекает линию края на основе пикселов, указывающих яркостное различие, большее или равное предварительно определенному пороговому значению t, контроллер 39 генерирует команду управления для того, чтобы выводить более низким значение яркости пиксела, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.

[0153] Когда модуль 37 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации краев, обнаруживает трехмерный объект на основе линии края, имеющей длину, большую или равную предварительно определенному пороговому значению θ, контроллер 39 генерирует команду управления для того, чтобы увеличивать пороговое значение θ таким образом, что труднее обнаруживать трехмерный объект, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.

[0154] Аналогично, когда модуль 37 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации краев, обнаруживает трехмерный объект на основе линии края, имеющей длину, большую или равную предварительно определенному пороговому значению θ, контроллер 39 генерирует команду управления для того, чтобы выводить более низким значение длины линии края в обнаруженной линии края, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.

[0155] Когда модуль 37 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации краев, обнаруживает трехмерный объект на основе оценки того, что число линий краев, имеющих предварительно определенную длину или более, включенных в информацию краев, например, линий краев, имеющих длину, большую или равную пороговому значению θ, превышает или равно второму пороговому значению β, контроллер 39 генерирует команду управления для того, чтобы увеличивать второе пороговое значение β таким образом, что труднее обнаруживать трехмерный объект, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.

[0156] Когда модуль 37 обнаружения трехмерных объектов, используемый для обнаружения трехмерного объекта с использованием информации краев, обнаруживает трехмерный объект на основе оценки того, что число линий краев, имеющих предварительно определенную длину или более, включенных в информацию краев, например, линий краев, имеющих длину, большую или равную пороговому значению θ, превышает или равно второму пороговому значению β, контроллер 39 генерирует команду управления для того, чтобы выводить более низким обнаруженное число линий краев, имеющих предварительно определенную длину или более, и выводит команду управления в модуль 37 обнаружения трехмерных объектов.

[0157] Когда модуль 34 оценки трехмерных объектов оценивает обнаруженный трехмерный объект в качестве другого транспортного средства, когда скорость движения этого трехмерного объекта превышает или равна предварительно определенной скорости, заданной заранее, контроллер 39 генерирует команду управления для того, чтобы увеличивать предварительно определенную скорость, служащую в качестве нижнего предела при оценке трехмерного объекта в качестве другого транспортного средства таким образом, что труднее обнаруживать трехмерный объект, и выводит команду управления в модуль 34 оценки трехмерных объектов.

[0158] Аналогично, когда модуль 34 оценки трехмерных объектов оценивает обнаруженный трехмерный объект в качестве другого транспортного средства, когда скорость движения этого трехмерного объекта превышает или равна предварительно определенной скорости, заданной заранее, контроллер 39 генерирует команду управления для того, чтобы выводить более низкой скорость движения трехмерного объекта, которая должна сравниваться с предварительно определенной скоростью, служащей в качестве нижнего предела при оценке трехмерного объекта в качестве другого транспортного средства, и выводит команду управления в модуль 34 оценки трехмерных объектов.

[0159] Когда модуль 34 оценки трехмерных объектов оценивает обнаруженный трехмерный объект в качестве другого транспортного средства, когда скорость движения этого трехмерного объекта меньше предварительно определенной скорости, заданной заранее, контроллер 39 генерирует команду управления для того, чтобы снижать предварительно определенную скорость, служащую в качестве верхнего предела при оценке трехмерного объекта в качестве другого транспортного средства, и выводит команду управления в модуль 34 оценки трехмерных объектов.

[0160] Аналогично, когда модуль 34 оценки трехмерных объектов оценивает обнаруженный трехмерный объект в качестве другого транспортного средства, когда скорость движения этого трехмерного объекта меньше предварительно определенной скорости, заданной заранее, контроллер 39 генерирует команду управления для того, чтобы увеличивать скорость движения трехмерного объекта, которая должна сравниваться с предварительно определенной скоростью, служащей в качестве верхнего предела при оценке трехмерного объекта в качестве другого транспортного средства, и выводит команду управления в модуль 34 оценки трехмерных объектов.

[0161] "Скорость движения" здесь включает в себя абсолютную скорость трехмерного объекта и относительную скорость трехмерного объекта относительно рассматриваемого транспортного средства. Абсолютная скорость трехмерного объекта может быть вычислена из относительной скорости трехмерного объекта, и относительная скорость трехмерного объекта может быть вычислена из абсолютной скорости трехмерного объекта.

[0162] В этой связи, первое пороговое значение α является пороговым значением для оценки пика в форме DWt разностного сигнала на этапе S7 на фиг. 11. Пороговое значение p является пороговым значением для извлечения пикселов, имеющих предварительно определенное пиксельное значение. Предварительно определенное пороговое значение t является пороговым значением для извлечения пикселов или компонентов краев, имеющих предварительно определенное яркостное различие. Пороговое значение θ является пороговым значением для оценки значения (длины края), полученного посредством нормализации суммы неразрывностей с атрибутов точек Ра концентрации внимания на этапе S29 на фиг. 17, и второе пороговое значение β является пороговым значением для оценки количества (числа) линий краев на этапе 34 на фиг. 18. Таким образом, посредством увеличения порогового значения для оценки, чувствительность обнаружения может регулироваться таким образом, что труднее обнаруживать другое транспортное средство VX, движущееся в смежной полосе относительно полосы движения, в которой движется рассматриваемое транспортное средство V, и в силу этого может предотвращаться ошибочное обнаружение другого транспортного средства VX.

[0163] Контроллер 39 настоящего варианта осуществления выводит в модуль 33 обнаружения трехмерных объектов команду управления, чтобы выводить более низким значение, полученное посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении в изображении вида «с высоты птичьего полета», и формирования частотного распределения. Значение, полученное посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении в изображении вида «с высоты птичьего полета», и формирования частотного распределения, является значением на вертикальной оси формы DWt разностного сигнала, сгенерированной на этапе S5 на фиг. 11. Контроллер 39 настоящего варианта осуществления также выводит в модуль 37 обнаружения трехмерных объектов команду управления для того, чтобы выводить более низкой обнаруженную информацию краев. Обнаруженная информация краев является длиной линии края, которая является значением, полученным посредством нормализации суммы неразрывностей с атрибутов точек Pa концентрации внимания на этапе S29 на фиг. 17, а также числа линий краев на этапе 34 на фиг. 18. Контроллер 39 снижает значение, полученное посредством нормализации суммы неразрывностей с атрибутов точек Pa концентрации внимания или числа линий краев таким образом, что труднее обнаруживать трехмерный объект, на следующей стадии обработки. Таким образом, посредством снижения выходного значения, чувствительность обнаружения может регулироваться таким образом, что труднее обнаруживать другое транспортное средство VX, движущееся в смежной полосе относительно полосы движения, в которой движется рассматриваемое транспортное средство V, и в силу этого может предотвращаться ошибочное обнаружение другого транспортного средства VX, движущегося в смежной полосе движения.

[0164] Как описано выше, контроллер 39 настоящего варианта осуществления увеличивает каждое пороговое значение (первое пороговое значение α, пороговое значение G и второе пороговое значение β) и/или снижает выходное значение, так что подавляется оценка трехмерного объекта, обнаруженного на основе информации изображений первой области А1 или А2 обнаружения, в качестве другого транспортного средства VX. Целью этой обработки может быть информация изображений для всей первой области обнаружения или может быть область изображения, соответствующая области с высокой яркостью в информации изображений всей первой области обнаружения. Каждое пороговое значение (первое пороговое значение α, пороговое значение θ и второе пороговое значение β) увеличивается по мере того, как становится больше яркость (максимальная яркость, средняя яркость или стандартная яркость) области с высокой яркостью.

[0165] Фиг. 22 иллюстрирует пример взаимосвязи между этим значением яркости и каждым пороговым значением. Края и т.п. виртуального изображения, сформированного посредством отражения поступающего солнечного света или другого интенсивного света, выглядят более четко по мере того, как становится выше яркость области с высокой яркостью. Таким образом, посредством регулирования каждого порогового значения в соответствии с яркостью области с высокой яркостью, обнаружение другого транспортного средства подавляется более строго, когда яркость области с высокой яркостью является высокой, и может поддерживаться точность обнаружения трехмерного объекта.

[0166] На идентичном этапе S51, контроллер 39 поддерживает равным идентичному значению или снижает каждое пороговое значение (первое пороговое значение α, пороговое значение θ и второе пороговое значение β) и/или поддерживает равным идентичному значению или увеличивает выходное значение, так что поддерживается или стимулируется оценка трехмерного объекта, обнаруженного на основе информации изображений второй области А1 или А2 обнаружения, в качестве другого транспортного средства VX. Целью этой обработки является информация изображений для всей второй области обнаружения. После того, как пороговое значение задается на этапе S51, процесс переходит к этапу S43.

[0167] Когда первая область А1 или А2 обнаружения обнаружена на этапе S42, другими словами, когда оценено то, что имеется область с высокой яркостью, процесс переходит к этапу S47, информация изображений этой области с высокой яркостью маскируется (исключается из обработки), и процесс переходит к этапу S43. Когда первая область А1 или А2 обнаружения обнаружена на этапе S42, и выведен результат оценки первой области А1 или А2 обнаружения, процесс может переходить к этапу S48, и может прекращаться текущая стадия обработки для того, чтобы обнаруживать трехмерный объект.

[0168] На следующем этапе S43, устройство 1 обнаружения трехмерных объектов выполняет обработку для того, чтобы обнаруживать трехмерный объект. Эта обработка для того, чтобы обнаруживать трехмерный объект, выполняется в соответствии с процессом с использованием информации форм разностных сигналов на фиг. 11 и 12, который выполняется посредством модуля 33 обнаружения трехмерных объектов, или с процессом с использованием информации краев на фиг. 17 и 18, который выполняется посредством модуля 37 обнаружения трехмерных объектов. Когда трехмерный объект обнаружен в области А1 или А2 обнаружения посредством модуля 33 или 37 обнаружения трехмерных объектов на этапе 44, процесс переходит к этапу S45, и оценивается то, что обнаруженный трехмерный объект представляет собой другое транспортное средство VX. С другой стороны, когда трехмерный объект не обнаруживается в области А1 или А2 обнаружения посредством модуля 33 или 37 обнаружения трехмерных объектов, процесс переходит к этапу 47, и оценивается то, что другое транспортное средство VX не присутствует в области А1 или А2 обнаружения.

[0169] Устройство 1 обнаружения трехмерных объектов настоящего варианта осуществления согласно настоящему изобретению, которое конфигурируется и работает так, как описано выше, реализует следующие преимущества.

(1) С помощью устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда окружение яркости отличается между правосторонней областью А1 обнаружения и левосторонней областью А2 обнаружения, в первой области А1 или А2 обнаружения, имеющей светлое окружение, можно предотвращать ошибочное обнаружение отраженного изображения (виртуального изображения) солнечного света или другого интенсивного света в качестве изображения (действительного изображения) другого изображения, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство, в то время как во второй области А1 или А2 обнаружения, имеющей темное окружение, можно предотвращать ошибочное обнаружение изображения (действительного изображения) другого транспортного средства, фактически присутствующего в смежной полосе движения, в качестве не другого транспортного средства.

С помощью устройства 1 обнаружения трехмерных объектов настоящего варианта осуществления, когда различные окружения яркости формируются посредством присутствия трехмерного объекта между правосторонней областью А1 обнаружения и левосторонней областью А2 обнаружения, в первой области А1 или А2 обнаружения, в которой обнаруженная яркость является высокой вследствие света, отражаемого посредством кузова другого транспортного средства VX и т.п., отраженный свет (действительное изображение) трехмерного объекта, выводимый на стороне высоких значений, может быть корректно обнаружен в качестве изображения (действительного изображения) другого транспортного средства, движущегося в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство; между тем, во второй области А1 или А2 обнаружения, в которой обнаруженная яркость является низкой вследствие блокирования света посредством кузова другого транспортного средства VX и т.п., отраженный свет (действительное изображение) трехмерного объекта, выводимый на стороне низких значений, может быть корректно обнаружен в качестве изображения (действительного изображения) другого транспортного средства, фактически присутствующего в смежной полосе движения.

Как результат, может быть предусмотрено устройство обнаружения трехмерных объектов, которое обнаруживает с высокой точностью другое транспортное средство, движущееся в смежной полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство. Это преимущество реализуется идентично независимо от того, другое транспортное средство VX обнаруживается на основе информации форм разностных сигналов или другое транспортное средство VX обнаруживается на основе информации краев.

[0170] (2) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, первая область А1 или А2 обнаружения, включающая в себя область с высокой яркостью, может быть количественно обнаружена на основе значения пикселов информации изображений в первой области А1 или А2 обнаружения.

[0171] (3) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, первая область А1 или А2 обнаружения, включающая в себя область с высокой яркостью, может быть обнаружена на основе обстановки на основе позиционной взаимосвязи между рассматриваемым транспортным средством V и солнцем.

[0172] (4) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, первая область А1 или А2 обнаружения, включающая в себя область с высокой яркостью, может точно обнаруживаться и оцениваться на основе обстановки на основе позиционной взаимосвязи между рассматриваемым транспортным средством V и солнцем посредством подготовки первой корреляции, когда трехмерный объект не обнаруживается, и второй корреляции, когда трехмерный объект обнаруживается.

[0173] (5) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, обработка для того, чтобы обнаруживать и определять первую область обнаружения с обращением к корреляции 381, выполняется, когда высота солнца меньше предварительно определенной высоты. Следовательно, обработка для того, чтобы определять первую область обнаружения с использованием корреляции 381, выполняется, когда высота солнца является низкой, и свет, поступающий в область А1 или А2 обнаружения, является интенсивным (когда всходит солнце с Запада в Японии). Следовательно, могут сокращаться затраты на обработку, и может повышаться точность обнаружения первой области обнаружения.

[0174] (6) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, информация изображений в качестве объекта управления может быть дополнительно сокращена посредством остановки оценки обнаруженного трехмерного объекта в качестве другого транспортного средства VX на основе информации изображений, соответствующей области с высокой яркостью, содержащейся в первой области обнаружения. Следовательно, другое транспортное средство VX может быть обнаружено с обычной чувствительностью обнаружения в участке, не подвергающемся влиянию солнечного света, и в силу этого может повышаться точность обнаружения другого транспортного средства VX.

[0175] (7) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, первое пороговое значение а увеличивается, когда первая область А1 или А2 обнаружения обнаружена, в силу чего чувствительность обнаружения может регулироваться таким образом, что труднее обнаруживать другое транспортное средство VX, движущееся в смежной полосе относительно полосы движения, в которой движется рассматриваемое транспортное средство, и в силу этого может предотвращаться ошибочное обнаружение изображения области с высокой яркостью, сформированной в первой области А1 или А2 обнаружения, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0176] (8) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, выходное значение при генерировании информации форм разностных сигналов снижается, когда обнаружена и оценена первая область А1 или А2 обнаружения, за счет чего чувствительность обнаружения может регулироваться таким образом, что труднее обнаруживать другое транспортное средство VX, движущееся в смежной полосе относительно полосы движения, в которой движется рассматриваемое транспортное средство V, и в силу этого может предотвращаться ошибочное обнаружение изображения области с высокой яркостью, сформированной в первой области А1 или А2 обнаружения, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0177] (9) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, пороговое значение для оценки при генерировании информации краев увеличивается, когда обнаружена и оценена первая область А1 или А2 обнаружения, за счет чего чувствительность обнаружения может регулироваться таким образом, что труднее обнаруживать другое транспортное средство VX, движущееся в смежной полосе относительно полосы движения, в которой движется рассматриваемое транспортное средство, и в силу этого может предотвращаться ошибочное обнаружение изображения области с высокой яркостью, сформированной в первой области А1 или А2 обнаружения, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0178] (10) Согласно устройству 1 обнаружения трехмерных объектов настоящего варианта осуществления, выходное значение при генерировании информации краев снижается, когда обнаружена и оценена первая область А1 или А2 обнаружения, за счет чего чувствительность обнаружения может регулироваться таким образом, что труднее обнаруживать другое транспортное средство VX, движущееся в смежной полосе относительно полосы движения, в которой движется рассматриваемое транспортное средство V, и в силу этого может предотвращаться ошибочное обнаружение изображения области с высокой яркостью, сформированной в первой области А1 или А2 обнаружения, в качестве другого транспортного средства VX, движущегося в смежной полосе движения.

[0179] Работа и преимущества, идентичные работе и преимуществу устройства 1 обнаружения трехмерных объектов, описанного выше, могут получаться также в способе для обнаружения трехмерного объекта в настоящем варианте осуществления.

[0180] Вышеуказанная камера 10 соответствует средству захвата изображений согласно настоящему изобретению, модуль преобразования 31 соответствует средству преобразования изображений согласно настоящему изобретению, модуль 32 совмещения и модуль 33 обнаружения трехмерных объектов соответствуют средству обнаружения трехмерных объектов согласно настоящему изобретению, модуль 35 вычисления яркостного различия, модуль 36 обнаружения линий краев и модуль 37 обнаружения трехмерных объектов соответствуют средству обнаружения трехмерных объектов согласно настоящему изобретению, модуль 34 оценки трехмерных объектов соответствует средству оценки трехмерных объектов, модуль 38 оценки областей с высокой яркостью соответствует средству оценки областей с высокой яркостью, и контроллер 39 соответствует средству управления.

[0181] Модуль 21 совмещения в настоящем варианте осуществления совмещает позиции изображений вида «с высоты птичьего полета» в различные моменты времени в виде «с высоты птичьего полета», и получается совмещенный вид «с высоты птичьего полета», но эта обработка "совмещения" может выполняться с точностью, соответствующей виду обнаруженного объекта или точности обнаружения. Может выполняться обработка строгого совмещения, при которой совмещение основано на идентичных моментах времени и идентичных позициях, либо может выполняться обработка совмещения, ослабленная до определенной степени, в которой выясняются координаты каждого вида «с высоты птичьего полета».

СПИСОК НОМЕРОВ ССЫЛОК

[0182] 1 - устройство обнаружения трехмерных объектов

10 - камера

20 - датчик скорости

30 - компьютер

31 - модуль преобразования точки обзора

32 - модуль совмещения

33, 37 - модуль обнаружения трехмерных объектов

34 - модуль оценки трехмерных объектов

35 - модуль вычисления яркостного различия

36 - модуль обнаружения краев

38 - модуль оценки областей с высокой яркостью

39 - контроллер

40 - модуль обнаружения размытостей

50 - устройство обнаружения позиции

а - угол обзора

A1, А2 - область обнаружения

CP - точка пересечения

DP - разностные пикселы

DWt, DWt' - форма разностного сигнала

DWt1-DWm, DWm+k-DWtn - небольшая область

L1, L2 - линия пересечения с землей

La, Lb - линия в направлении, в котором трехмерный объект сплющивается

Р - захваченное изображение

PBt - изображение вида «с высоты птичьего полета»

PDt - разностное изображение MP - изображение с маской

S - размытость

SP - изображение с размытостью

SBt - изображение вида «с высоты птичьего полета» с размытостью

V - рассматриваемое транспортное средство

VX - другое транспортное средство

Изобретение относится к средствам обнаружения препятствий при движении транспортного средства. Техническим результатом является повышение точности обнаружения движущегося объекта при движении транспортного средства. Устройство содержит средство захвата изображений правосторонней и левосторонней областей обнаружения позади транспортного средства, средство обнаружения трехмерных объектов на основе полученного изображения, средство оценки областей с высокой яркостью, соответствующей предварительно определенному эталону в указанных областях обнаружения, средство управления остановкой обнаружения трехмерного объекта и стимулирования обнаружения трехмерного объекта на основе информации изображений в указанных областях обнаружения. 11 з.п. ф-лы, 23 ил.

1. Устройство обнаружения трехмерных объектов, содержащее:
- средство захвата изображений для захвата изображения области, включающей в себя правостороннюю область обнаружения или левостороннюю область обнаружения позади транспортного средства;
- средство обнаружения трехмерных объектов для обнаружения трехмерного объекта на основе изображения, полученного средством захвата изображений;
- средство оценки областей с высокой яркостью для оценки первой области обнаружения, включающей в себя область с высокой яркостью, соответствующую предварительно определенному эталону в правосторонней области обнаружения или в левосторонней области обнаружения; и
- средство управления для остановки обнаружения трехмерного объекта на основе информации изображений обнаруженной первой области обнаружения и поддержания или стимулирования обнаружения трехмерного объекта на основе информации изображений второй области обнаружения, отличной от первой области обнаружения, в правосторонней области обнаружения или левосторонней области обнаружения.

2. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что оно дополнительно содержит:
- средство преобразования изображений для выполнения преобразования точки обзора изображения, полученного средством захвата изображений, в изображение вида "с высоты птичьего полета"; и
- средство оценки трехмерных объектов для оценки того, представляет или нет трехмерный объект, обнаруженный средством обнаружения трехмерных объектов, собой другое транспортное средство;
- причем средство обнаружения трехмерных объектов совмещает, в виде "с высоты птичьего полета", позиции изображений вида "с высоты птичьего полета" в различные моменты времени, полученных средством преобразования изображений;
подсчитывает в разностном изображении в совмещенных изображениях вида "с высоты птичьего полета" число пикселов, в которых предварительно определенная разность указывается посредством яркостного различия в разностном изображении вдоль направления сплющивания трехмерного объекта, когда выполняется преобразование точки обзора изображения вида "с высоты птичьего полета", и формирует частотное распределение, за счет этого генерируя информацию форм разностных сигналов; и обнаруживает трехмерный объект на основе информации форм разностных сигналов; и
- причем средство управления останавливает обнаружение трехмерного объекта или оценку того, что трехмерный объект представляет собой другое транспортное средство, на основе информации изображений обнаруженной первой области обнаружения, и поддерживает или стимулирует обнаружение трехмерного объекта или оценку того, что трехмерный объект представляет собой другое транспортное средство, на основе информации изображений второй области обнаружения, отличной от первой области обнаружения, в правосторонней области обнаружения или левосторонней области обнаружения.

3. Устройство обнаружения трехмерных объектов по п. 1, отличающееся тем, что оно дополнительно содержит:
- средство преобразования изображений для выполнения преобразования точки обзора, в изображение вида "с высоты птичьего полета", изображения, полученного средством захвата изображений; и
- средство оценки трехмерных объектов для оценки того, представляет или нет трехмерный объект, обнаруженный средством обнаружения трехмерных объектов, собой другое транспортное средство;
- причем средство обнаружения трехмерных объектов обнаруживает, в изображении вида "с высоты птичьего полета", полученном средством преобразования изображений, компонент края, включающий в себя пиксели, в которых яркостное различие между взаимно смежными областями изображения превышает или равно предварительно определенной разности вдоль направления сплющивания трехмерного объекта, когда выполняется преобразование точки обзора изображения вида "с высоты птичьего полета", и обнаруживает трехмерный объект на основе информации краев, извлекаемой из компонента края; и
- причем средство управления подавляет обнаружение трехмерного объекта или оценку того, что трехмерный объект представляет собой другое транспортное средство, на основе информации изображений обнаруженной первой области обнаружения, и поддерживает или стимулирует обнаружение трехмерного объекта или оценку того, что трехмерный объект представляет собой другое транспортное средство, на основе информации изображений второй области обнаружения, отличной от первой области обнаружения, в правосторонней области обнаружения или левосторонней области обнаружения.

4. Устройство обнаружения трехмерных объектов по любому из пп. 1-3, отличающееся тем, что средство оценки областей с высокой яркостью обнаруживает в качестве первой области обнаружения область обнаружения, включающую в себя область с высокой яркостью, в которой пиксели со значением, равным или выше предварительно определенной яркости, включаются со значением, равным или выше предварительно определенной плотности, в правосторонней области обнаружения или левосторонней области обнаружения.

5. Устройство обнаружения трехмерных объектов по любому из пп. 1-3, отличающееся тем, что:
- средство оценки областей с высокой яркостью:
- получает из транспортного средства направление движения и местоположение движения транспортного средства;
- обращается к корреляции, полученной посредством ассоциирования левого и правого идентификаторов первой области обнаружения, которая, как прогнозируется, должна включать в себя область с высокой яркостью во взаимосвязи между направлением движения транспортного средства и направлением, в котором присутствует солнце; и
- оценивает первую область обнаружения, включающую в себя область с высокой яркостью в правосторонней области обнаружения или в левосторонней области обнаружения, на основе направления, в котором присутствует солнце в полученном местоположении движения, оцениваемого из полученного местоположения движения и информации календаря, которая ассоциирует направление, в котором присутствует солнце в отдельных местоположениях движения, и момент времени, и на основе направления движения в местоположении движения обнаруженного транспортного средства.

6. Устройство обнаружения трехмерных объектов по п. 5, отличающееся тем, что:
- корреляция включает в себя первую корреляцию для случая, когда трехмерный объект не обнаружен средством обнаружения трехмерных объектов, и вторую корреляцию для случая, когда трехмерный объект обнаружен средством обнаружения трехмерных объектов; и
- средство оценки областей с высокой яркостью оценивает первую область обнаружения посредством обращения к первой корреляции после получения результата обнаружения того, что средство обнаружения трехмерных объектов не обнаруживает трехмерный объект, и обращения ко второй корреляции после получения результата обнаружения того, что средство обнаружения трехмерных объектов обнаруживает трехмерный объект.

7. Устройство обнаружения трехмерных объектов по п. 5, отличающееся тем, что средство оценки областей с высокой яркостью обнаруживает местоположение движения и момент времени движения транспортного средства, обращается к информации календаря, ассоциирующей высоту солнца в отдельных местах с моментом времени, и обращается к корреляции, чтобы оценивать область с высокой яркостью, когда высота солнца в местоположении движения обнаруженного транспортного средства меньше предварительно определенной высоты.

8. Устройство обнаружения трехмерных объектов по п. 2 или по любому из пп. 6-7 со ссылкой на п. 2, отличающееся тем, что:
- средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации форм разностных сигналов и первого порогового значения α; и
- когда первая область обнаружения оценивается средством оценки областей с высокой яркостью, средство управления выводит в средство обнаружения трехмерных объектов команду управления для регулирования вверх первого порогового значения α при выполнении обработки обнаружения трехмерных объектов на основе информации изображений, соответствующей первой области обнаружения, так что трудно обнаруживать трехмерный объект, и регулирования вниз или поддержания равным идентичному значению первого порогового значения α при выполнении обработки обнаружения трехмерных объектов на основе информации изображений, соответствующей второй области обнаружения, так что несложно обнаруживать трехмерный объект.

9. Устройство обнаружения трехмерных объектов по п. 2 или по любому из пп. 6-7 со ссылкой на п. 2, отличающееся тем, что когда первая область обнаружения оценена средством оценки областей с высокой яркостью, средство управления выводит в средство обнаружения трехмерных объектов команду управления для вывода отрегулированного вниз значения, полученного посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида "с высоты птичьего полета", и формирования частотного распределения в процессе обнаружения трехмерных объектов на основе информации изображений, соответствующей первой области обнаружения, и вывода отрегулированного вверх или идентичного значения, полученного посредством подсчета числа пикселов, указывающих предварительно определенную разность в разностном изображении для изображения вида "с высоты птичьего полета", и формирования частотного распределения в процессе обнаружения трехмерных объектов на основе информации изображений, соответствующей второй области обнаружения.

10. Устройство обнаружения трехмерных объектов по п. 3 или по любому из пп. 6-7 со ссылкой на п. 3, отличающееся тем, что:
- средство обнаружения трехмерных объектов обнаруживает трехмерный объект на основе информации краев и второго порогового значения β; и
- когда первая область обнаружения оценивается средством оценки областей с высокой яркостью, средство управления выводит в средство обнаружения трехмерных объектов команду управления для регулирования вверх второго порогового значения β при выполнении обработки обнаружения трехмерных объектов на основе информации изображений, соответствующей первой области обнаружения, так что трудно обнаруживать трехмерный объект, и регулирования вниз или неизменения второго порогового значения β при выполнении обработки обнаружения трехмерных объектов на основе информации изображений, соответствующей второй области обнаружения, так что несложно обнаруживать трехмерный объект.

11. Устройство обнаружения трехмерных объектов по п. 3 или по любому из пп. 6-7 со ссылкой на п. 3, отличающееся тем, что когда первая область обнаружения оценивается средством оценки областей с высокой яркостью, средство управления выводит в средство обнаружения трехмерных объектов команду управления для того, чтобы выводить отрегулированную вниз информацию количества краев, обнаруженную при обработке обнаружения трехмерных объектов на основе информации изображений, соответствующей первой области обнаружения, и отрегулированную вверх или идентичную информацию количества краев, обнаруженную при обработке обнаружения трехмерных объектов на основе информации изображений, соответствующей второй области обнаружения.

12. Устройство обнаружения трехмерных объектов по любому из пп. 1-3, 6, 7, отличающееся тем, что средство управления подавляет оценку того, что обнаруженный трехмерный объект представляет собой другое транспортное средство, на основе информации изображений, соответствующей области с высокой яркостью в первой области обнаружения.